بعد از مدل ELMO این مسأله برای پردازش زبان طبیعی محرز شد که بازنمایی‌های برداری حساس به بافت خیلی بهتر از بردارهایی مانند word2vec می‌توانند در پردازش زبان مؤثر باشند. این بردارها ویژگی‌های بی‌ناظری هستند که بر روی متن خام خیلی بزرگ بدون برچسب یاد گرفته می‌شوند و در مسائل مختلف پردازش زبان به صورت ویژگی کمکی به رده‌بند (معمولاً شبکهٔ عصبی) کمک می‌کنند. بعد از ELMO مدل‌های دیگری از جمله BERT پیشنهاد شده‌اند که آن‌ها از نظر محاسباتی پیچیده‌تر ولی از نظر دقت عملی بسیار بالاتر هستند. این جزوه از نوح اسمیث اخیراً منتشر شده است و برای آشنایی با این نوع از بردارها خواندنی است.
سه سال پیش مطلبی در این‌باره نوشته بودم. چند روز پیش، «بوید گرابر» استاد دانشگاه مری‌لند ویدئوهای مختصری در این مورد گذاشته است. پیشنهاد می‌کنم نگاه کنید.
https://www.youtube.com/watch?v=nEFahEyC-wE
مدت نسبتاً طولانی‌ای است که در این وبلاگ مطلبی ننوشته‌ام. ان‌شاءالله به زودی متن پایان‌نامه‌ام را می‌گذارم ولی علی‌الحساب با تأخیر ویدئوی ارائهٔ مقاله‌ام در ژوئن ۲۰۱۸ در NAACL را می‌گذارم:
و اما مدتی بود در فهمیدن مدل transformer در ترجمهٔ خودکار مشکل داشتم، که اخیراً به این مطلب نسبتاً قدیمی هم‌آزمایشگاهی سابقم برخوردم. به نظرم خوب است که این مطلب را بخوانید.
http://nlp.seas.harvard.edu/2018/04/03/attention.html
نویسندگان مقالهٔ مورد نظر مصاحبه‌ای صوتی در مورد مقاله داشته‌اند که در این نشانی پیدا می‌شود:
این مقاله حاصل کارآموزی آخرم در مایکروسافت بوده است. شاید این کار، برایم اولین تجربهٔ واقعی سر و کله زدن با یک شبکهٔ عمیق به معنای درست کلمه باشد؛ بدان معنا که مجبور بودم طوری پیاده‌سازی کنم که با بهترین سرعت ممکن روی دادهٔ بسیار بزرگ قابل اجرا باشد. شایان ذکر است که این مدل از جمله مدل‌هایی است که با ابزارهای کتاب‌خانه‌ای مانند دای‌نت و پای‌تورچ قابل پیاده‌سازی است ولی پیاده‌سازی آن با تنسورفلو یا ثیانو به سادگی امکان‌پذیر نیست (ر.ک. شکل شبکه در ص ۴).
https://arxiv.org/abs/1803.04291
پ.ن.: برای درس پردازش زبانِ استاد راهنمایم در کلمبیا، آموزش استفاده از شبکهٔ عصبی برای پردازش زبان با کتابخانهٔ دای‌نت را آماده کرده بودم. شاید به کارتان بیاید. البته توجه کنید که این آموزش حالت غیربهینه از نظر پیاده‌سازی است و بیشتر جنبهٔ آموزش مقدماتی شبکهٔ عمیق در پردازش زبان طبیعی دارد. در صفحهٔ اول گیت‌هابِ این پروژه، نحوهٔ نصب در لینوکس و مک را گذاشته‌ام. برای ویندوز باید به خود سایت کتابخانهٔ دای‌نت مراجعه کنید. کل کد به صورت ساخت‌یافته در src موجود است ولی نوت‌بوک پایتونی هم در صفحهٔ گیت‌هاب برای آموزش قدم به قدم وجود دارد.
https://github.com/rasoolims/ff_tagger
این منابع را «شارون گلدواتر» استاد دانشگاه ادینبورگ معرفی کرده است. در الگوسازی بیزی از زبان، مسائل شناختی و احتمالی با هم آمیخته شده، به نتایج بهتری در یادگیری و نمونه‌برداری از داده رسیده می‌شود.
پیوند مطلب: Bayesian modeling for language