توضیحات بدون شرح بیشتر در اینجا:
https://teias.institute/rasooli-talk202106/
این کتاب به صورت متن‌باز منتشر شده است همراه با مثال‌هایی از پردازش زبان و تصویر.
بعد از مدل ELMO این مسأله برای پردازش زبان طبیعی محرز شد که بازنمایی‌های برداری حساس به بافت خیلی بهتر از بردارهایی مانند word2vec می‌توانند در پردازش زبان مؤثر باشند. این بردارها ویژگی‌های بی‌ناظری هستند که بر روی متن خام خیلی بزرگ بدون برچسب یاد گرفته می‌شوند و در مسائل مختلف پردازش زبان به صورت ویژگی کمکی به رده‌بند (معمولاً شبکهٔ عصبی) کمک می‌کنند. بعد از ELMO مدل‌های دیگری از جمله BERT پیشنهاد شده‌اند که آن‌ها از نظر محاسباتی پیچیده‌تر ولی از نظر دقت عملی بسیار بالاتر هستند. این جزوه از نوح اسمیث اخیراً منتشر شده است و برای آشنایی با این نوع از بردارها خواندنی است.
این هم از پایان‌نامهٔ دکتری‌ام که چند ماهی خاک خورد تا مشکل ویزایی‌ام برطرف شود. شکر خدا این مرحله از زندگی تحصیلی هم سپری شد. شاید بعدتر مطلبی در مورد دکتری بنویسم؛ این که کجا می‌شد بهتر باشم و به خاطر انتخاب‌های اشتباه نبودم، و کجا موفقیتی کسب شد که نتیجهٔ انتخاب یا تلاش درستی بوده است. نمی‌دانم؛ شاید آن مطلب به درد کسانی که در این مسیر هستند یا در حال ورود به این مسیر هستند بخورد. آن‌طور که متوجه شده‌ام، وضع روحی بسیاری از دانشجوهای دکتری [حداقل در امریکا] به خاطر رقابت بسیار شدید زیاد خوب نیست. خیلی‌ها خسته و ناامیدند و خیلی‌ها ناراضی از وضعیت تحصیلی‌شان. صادقانه بگویم من نیز از این بلایا در امان نبودم. نظام تحصیل دکتری امریکا بسیار طولانی و انتظارات از دانشجوی دکتری از نظر کیفیت کار بسیار بالاست. در این رقابت سخت خیلی‌ها درجا می‌زنند، و آن‌ها که درجا نمی‌زنند و سپری‌اش می‌کنند دیگر آن آدم قبل از دکتری نیستند. که عشق آسان نمود اول ولی افتاد مشکل‌ها.
احتمالاً در ایران خبر خاصی محسوب نمی‌شود. یادم است ۸ سال پیش هم این کتاب در دسترس بود. حتی کتاب‌فروشی دانشگاه شریف کپی بی‌کیفیتش را می‌فروخت. در هر صورت، این کتاب کتاب مرجع خیلی از دانشگاه‌ها بوده است و اخیراً به صورت رایگان منتشر شده است.
کتاب دیگری نیز در این زمینه است که خیلی جدیدتر و متن‌باز است:
سه سال پیش مطلبی در این‌باره نوشته بودم. چند روز پیش، «بوید گرابر» استاد دانشگاه مری‌لند ویدئوهای مختصری در این مورد گذاشته است. پیشنهاد می‌کنم نگاه کنید.
https://www.youtube.com/watch?v=nEFahEyC-wE
مدت نسبتاً طولانی‌ای است که در این وبلاگ مطلبی ننوشته‌ام. ان‌شاءالله به زودی متن پایان‌نامه‌ام را می‌گذارم ولی علی‌الحساب با تأخیر ویدئوی ارائهٔ مقاله‌ام در ژوئن ۲۰۱۸ در NAACL را می‌گذارم:
و اما مدتی بود در فهمیدن مدل transformer در ترجمهٔ خودکار مشکل داشتم، که اخیراً به این مطلب نسبتاً قدیمی هم‌آزمایشگاهی سابقم برخوردم. به نظرم خوب است که این مطلب را بخوانید.
http://nlp.seas.harvard.edu/2018/04/03/attention.html
نویسندگان مقالهٔ مورد نظر مصاحبه‌ای صوتی در مورد مقاله داشته‌اند که در این نشانی پیدا می‌شود:
این مقاله حاصل کارآموزی آخرم در مایکروسافت بوده است. شاید این کار، برایم اولین تجربهٔ واقعی سر و کله زدن با یک شبکهٔ عمیق به معنای درست کلمه باشد؛ بدان معنا که مجبور بودم طوری پیاده‌سازی کنم که با بهترین سرعت ممکن روی دادهٔ بسیار بزرگ قابل اجرا باشد. شایان ذکر است که این مدل از جمله مدل‌هایی است که با ابزارهای کتاب‌خانه‌ای مانند دای‌نت و پای‌تورچ قابل پیاده‌سازی است ولی پیاده‌سازی آن با تنسورفلو یا ثیانو به سادگی امکان‌پذیر نیست (ر.ک. شکل شبکه در ص ۴).
https://arxiv.org/abs/1803.04291
پ.ن.: برای درس پردازش زبانِ استاد راهنمایم در کلمبیا، آموزش استفاده از شبکهٔ عصبی برای پردازش زبان با کتابخانهٔ دای‌نت را آماده کرده بودم. شاید به کارتان بیاید. البته توجه کنید که این آموزش حالت غیربهینه از نظر پیاده‌سازی است و بیشتر جنبهٔ آموزش مقدماتی شبکهٔ عمیق در پردازش زبان طبیعی دارد. در صفحهٔ اول گیت‌هابِ این پروژه، نحوهٔ نصب در لینوکس و مک را گذاشته‌ام. برای ویندوز باید به خود سایت کتابخانهٔ دای‌نت مراجعه کنید. کل کد به صورت ساخت‌یافته در src موجود است ولی نوت‌بوک پایتونی هم در صفحهٔ گیت‌هاب برای آموزش قدم به قدم وجود دارد.
https://github.com/rasoolims/ff_tagger
این مقاله به تازگی در مجلهٔ ترجمهٔ ماشینی منتشر شده است. اگر دسترسی به مقاله ندارید و علاقه‌مندید به مطالعه، به ایمیل شخصی بنده پیام بفرستید. (rasooli{AT}cs.columbia.edu)
اخیراً، خلاصه‌ای از کار پژوهشی دورهٔ دکترایم را (که رو به اتمام است) در مؤسسهٔ پژوهشی هوش مصنوعی آلن در سیاتل ارائه کردم و از قضا این ارائه در یوتیوب گذاشته شده است. اگر علاقه‌مندید، به پیوند زیر مراجعه نمایید.