پردازش زبان طبیعی و زبان‌شناسی رایانه‌ای

سخنرانی پژوهشی من در دانشگاه خاتم (آنلاین)

توضیحات بدون شرح بیشتر در اینجا‌:

https://teias.institute/rasooli-talk202106/



 

۳۰ ارديبهشت ۰۰ ، ۱۷:۵۷ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

کتاب شیرجه در یادگیری عمیق

این کتاب به صورت متن‌باز منتشر شده است همراه با مثال‌هایی از پردازش زبان و تصویر.

http://d2l.ai/index.html

۲۱ اسفند ۹۷ ، ۱۹:۵۱ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

بازنمایی بافتی واژه‌ها

بعد از مدل ELMO این مسأله برای پردازش زبان طبیعی محرز شد که بازنمایی‌های برداری حساس به بافت خیلی بهتر از بردارهایی مانند word2vec می‌توانند در پردازش زبان مؤثر باشند. این بردارها ویژگی‌های بی‌ناظری هستند که بر روی متن خام خیلی بزرگ بدون برچسب  یاد گرفته می‌شوند و در مسائل مختلف پردازش زبان به صورت ویژگی کمکی به رده‌بند (معمولاً شبکهٔ عصبی) کمک می‌کنند. بعد از ELMO مدل‌های دیگری از جمله BERT پیشنهاد شده‌اند که آن‌ها از نظر محاسباتی پیچیده‌تر ولی از نظر دقت عملی بسیار بالاتر هستند. این جزوه از نوح اسمیث اخیراً منتشر شده است و برای آشنایی با این نوع از بردارها خواندنی است.

https://arxiv.org/pdf/1902.06006.pdf

۲۳ بهمن ۹۷ ، ۰۳:۱۳ ۰ نظر موافقین ۱ مخالفین ۰
محمدصادق رسولی

پایان‌نامهٔ دکتری

این هم از پایان‌نامهٔ دکتری‌ام که چند ماهی خاک خورد تا مشکل ویزایی‌ام برطرف شود. شکر خدا این مرحله از زندگی تحصیلی هم سپری شد. شاید بعدتر مطلبی در مورد دکتری بنویسم؛ این که کجا می‌شد بهتر باشم و به خاطر انتخاب‌های اشتباه نبودم، و کجا موفقیتی کسب شد که نتیجهٔ انتخاب یا تلاش درستی بوده است. نمی‌دانم؛ شاید آن مطلب به درد کسانی که در این مسیر هستند یا در حال ورود به این مسیر هستند بخورد. آن‌طور که متوجه شده‌ام، وضع روحی بسیاری از دانشجوهای دکتری [حداقل در امریکا] به خاطر رقابت بسیار شدید زیاد خوب نیست. خیلی‌ها خسته و ناامیدند و خیلی‌ها ناراضی از وضعیت تحصیلی‌شان. صادقانه بگویم من نیز از این بلایا در امان نبودم. نظام تحصیل دکتری امریکا بسیار طولانی و انتظارات از دانشجوی دکتری از نظر کیفیت کار بسیار بالاست. در این رقابت سخت خیلی‌ها درجا می‌زنند، و آن‌ها که درجا نمی‌زنند و سپری‌اش می‌کنند دیگر آن آدم قبل از دکتری نیستند. که عشق آسان نمود اول ولی افتاد مشکل‌ها.


دریافت پایان‌نامه


۰۸ دی ۹۷ ، ۰۴:۴۶ ۱ نظر موافقین ۲ مخالفین ۰
محمدصادق رسولی

کتاب یادگیری خودکار (ماشینی)

احتمالاً در ایران خبر خاصی محسوب نمی‌شود. یادم است ۸ سال پیش هم این کتاب در دسترس بود. حتی کتاب‌فروشی دانشگاه شریف کپی بی‌کیفیتش را می‌فروخت. در هر صورت، این کتاب کتاب مرجع خیلی از دانشگاه‌ها بوده است و اخیراً به صورت رایگان منتشر شده است.

https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/?OCID=msr_ebook_cbishop_tw


کتاب دیگری نیز در این زمینه است که خیلی جدیدتر و متن‌باز است:

https://mml-book.github.io/

۰۶ آذر ۹۷ ، ۲۱:۴۷ ۰ نظر موافقین ۱ مخالفین ۰
محمدصادق رسولی

نوشتن و داوری مقاله در پردازش زبان طبیعی

سه سال پیش مطلبی در این‌باره نوشته بودم. چند روز پیش، «بوید گرابر» استاد دانشگاه مری‌لند ویدئوهای مختصری در این مورد گذاشته است. پیشنهاد می‌کنم نگاه کنید.

https://www.youtube.com/watch?v=nEFahEyC-wE

https://www.youtube.com/watch?v=ouB4veKMnSw

https://www.youtube.com/watch?v=fBS9jPz-Gu8

۰۵ آذر ۹۷ ، ۰۸:۰۶ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

دربارهٔ transformer و مطالب دیگر

مدت نسبتاً طولانی‌ای است که در این وبلاگ مطلبی ننوشته‌ام. ان‌شاءالله به زودی متن پایان‌نامه‌ام را می‌گذارم ولی علی‌الحساب با تأخیر ویدئوی ارائهٔ مقاله‌ام در ژوئن ۲۰۱۸ در NAACL را می‌گذارم:

https://vimeo.com/276419865


و اما مدتی بود در فهمیدن مدل transformer در ترجمهٔ خودکار مشکل داشتم، که اخیراً به این مطلب نسبتاً قدیمی هم‌آزمایشگاهی سابقم برخوردم. به نظرم خوب است که این مطلب را بخوانید. 

http://nlp.seas.harvard.edu/2018/04/03/attention.html


نویسندگان مقالهٔ مورد نظر مصاحبه‌ای صوتی در مورد مقاله داشته‌اند که در این نشانی پیدا می‌شود:

https://soundcloud.com/nlp-highlights/36-attention-is-all-you-need-with-ashish-vaswani-and-jakob-uszkoreit



۳۰ آبان ۹۷ ، ۰۱:۴۶ ۱ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

مقاله: الگوی زبانی آگاه به موجودیت‌ها + آموزش یادگیری عمیق با دای‌نت

این مقاله حاصل کارآموزی آخرم در مایکروسافت بوده است. شاید این کار، برایم اولین تجربهٔ واقعی سر و کله زدن با یک شبکهٔ عمیق به معنای درست کلمه باشد؛ بدان معنا که مجبور بودم طوری پیاده‌سازی کنم که با بهترین سرعت ممکن روی دادهٔ بسیار بزرگ قابل اجرا باشد.  شایان ذکر است که این مدل از جمله مدل‌هایی است که با ابزارهای کتاب‌خانه‌ای مانند دای‌نت و پای‌تورچ قابل پیاده‌سازی است ولی پیاده‌سازی آن با تنسورفلو یا ثیانو به سادگی امکان‌پذیر نیست (ر.ک. شکل شبکه در ص ۴).

https://arxiv.org/abs/1803.04291



پ.ن.: برای درس پردازش زبانِ استاد راهنمایم در کلمبیا، آموزش استفاده از شبکهٔ عصبی برای پردازش زبان با کتابخانهٔ دای‌نت را آماده کرده بودم. شاید به کارتان بیاید. البته توجه کنید که این آموزش حالت غیربهینه از نظر پیاده‌سازی است و بیشتر جنبهٔ آموزش مقدماتی شبکهٔ عمیق در پردازش زبان طبیعی دارد. در صفحهٔ اول گیت‌هابِ این پروژه، نحوهٔ نصب در لینوکس و مک را گذاشته‌ام. برای ویندوز باید به خود سایت کتابخانهٔ دای‌نت مراجعه کنید. کل کد به صورت ساخت‌یافته در src موجود است ولی نوت‌بوک پایتونی هم در صفحهٔ گیت‌هاب برای آموزش قدم به قدم وجود دارد.

https://github.com/rasoolims/ff_tagger




۲۴ اسفند ۹۶ ، ۲۲:۲۹ ۰ نظر موافقین ۲ مخالفین ۰
محمدصادق رسولی

مقاله: انتقال بین‌زبانی احساسات با منابع محدود

این مقاله به تازگی در مجلهٔ ترجمهٔ ماشینی منتشر شده است. اگر دسترسی به مقاله ندارید و علاقه‌مندید به مطالعه، به ایمیل شخصی بنده پیام بفرستید. (rasooli{AT}cs.columbia.edu)


پیوند به مقاله

۲۴ آبان ۹۶ ، ۱۸:۴۰ ۱ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

ویدئوی ارائهٔ من در یوتیوب

اخیراً، خلاصه‌ای از کار پژوهشی دورهٔ دکترایم را (که رو به اتمام است) در مؤسسهٔ پژوهشی هوش مصنوعی آلن در سیاتل ارائه کردم و از قضا این ارائه در یوتیوب گذاشته شده است. اگر علاقه‌مندید، به پیوند زیر مراجعه نمایید.


پیوند به صفحهٔ یوتیوب



۲۴ آبان ۹۶ ، ۰۶:۴۰ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی