پردازش زبان طبیعی و زبان‌شناسی رایانه‌ای

کتاب یادگیری خودکار (ماشینی)

احتمالاً در ایران خبر خاصی محسوب نمی‌شود. یادم است ۸ سال پیش هم این کتاب در دسترس بود. حتی کتاب‌فروشی دانشگاه شریف کپی بی‌کیفیتش را می‌فروخت. در هر صورت، این کتاب کتاب مرجع خیلی از دانشگاه‌ها بوده است و اخیراً به صورت رایگان منتشر شده است.

https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/?OCID=msr_ebook_cbishop_tw


کتاب دیگری نیز در این زمینه است که خیلی جدیدتر و متن‌باز است:

https://mml-book.github.io/

۰۶ آذر ۹۷ ، ۲۱:۴۷ ۰ نظر موافقین ۱ مخالفین ۰
محمدصادق رسولی

نوشتن و داوری مقاله در پردازش زبان طبیعی

سه سال پیش مطلبی در این‌باره نوشته بودم. چند روز پیش، «بوید گرابر» استاد دانشگاه مری‌لند ویدئوهای مختصری در این مورد گذاشته است. پیشنهاد می‌کنم نگاه کنید.

https://www.youtube.com/watch?v=nEFahEyC-wE

https://www.youtube.com/watch?v=ouB4veKMnSw

https://www.youtube.com/watch?v=fBS9jPz-Gu8

۰۵ آذر ۹۷ ، ۰۸:۰۶ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

دربارهٔ transformer و مطالب دیگر

مدت نسبتاً طولانی‌ای است که در این وبلاگ مطلبی ننوشته‌ام. ان‌شاءالله به زودی متن پایان‌نامه‌ام را می‌گذارم ولی علی‌الحساب با تأخیر ویدئوی ارائهٔ مقاله‌ام در ژوئن ۲۰۱۸ در NAACL را می‌گذارم:

https://vimeo.com/276419865


و اما مدتی بود در فهمیدن مدل transformer در ترجمهٔ خودکار مشکل داشتم، که اخیراً به این مطلب نسبتاً قدیمی هم‌آزمایشگاهی سابقم برخوردم. به نظرم خوب است که این مطلب را بخوانید. 

http://nlp.seas.harvard.edu/2018/04/03/attention.html


نویسندگان مقالهٔ مورد نظر مصاحبه‌ای صوتی در مورد مقاله داشته‌اند که در این نشانی پیدا می‌شود:

https://soundcloud.com/nlp-highlights/36-attention-is-all-you-need-with-ashish-vaswani-and-jakob-uszkoreit



۳۰ آبان ۹۷ ، ۰۱:۴۶ ۱ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

مقاله: الگوی زبانی آگاه به موجودیت‌ها + آموزش یادگیری عمیق با دای‌نت

این مقاله حاصل کارآموزی آخرم در مایکروسافت بوده است. شاید این کار، برایم اولین تجربهٔ واقعی سر و کله زدن با یک شبکهٔ عمیق به معنای درست کلمه باشد؛ بدان معنا که مجبور بودم طوری پیاده‌سازی کنم که با بهترین سرعت ممکن روی دادهٔ بسیار بزرگ قابل اجرا باشد.  شایان ذکر است که این مدل از جمله مدل‌هایی است که با ابزارهای کتاب‌خانه‌ای مانند دای‌نت و پای‌تورچ قابل پیاده‌سازی است ولی پیاده‌سازی آن با تنسورفلو یا ثیانو به سادگی امکان‌پذیر نیست (ر.ک. شکل شبکه در ص ۴).

https://arxiv.org/abs/1803.04291



پ.ن.: برای درس پردازش زبانِ استاد راهنمایم در کلمبیا، آموزش استفاده از شبکهٔ عصبی برای پردازش زبان با کتابخانهٔ دای‌نت را آماده کرده بودم. شاید به کارتان بیاید. البته توجه کنید که این آموزش حالت غیربهینه از نظر پیاده‌سازی است و بیشتر جنبهٔ آموزش مقدماتی شبکهٔ عمیق در پردازش زبان طبیعی دارد. در صفحهٔ اول گیت‌هابِ این پروژه، نحوهٔ نصب در لینوکس و مک را گذاشته‌ام. برای ویندوز باید به خود سایت کتابخانهٔ دای‌نت مراجعه کنید. کل کد به صورت ساخت‌یافته در src موجود است ولی نوت‌بوک پایتونی هم در صفحهٔ گیت‌هاب برای آموزش قدم به قدم وجود دارد.

https://github.com/rasoolims/ff_tagger




۲۴ اسفند ۹۶ ، ۲۲:۲۹ ۰ نظر موافقین ۲ مخالفین ۰
محمدصادق رسولی

مقاله: انتقال بین‌زبانی احساسات با منابع محدود

این مقاله به تازگی در مجلهٔ ترجمهٔ ماشینی منتشر شده است. اگر دسترسی به مقاله ندارید و علاقه‌مندید به مطالعه، به ایمیل شخصی بنده پیام بفرستید. (rasooli{AT}cs.columbia.edu)


پیوند به مقاله

۲۴ آبان ۹۶ ، ۱۸:۴۰ ۱ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

ویدئوی ارائهٔ من در یوتیوب

اخیراً، خلاصه‌ای از کار پژوهشی دورهٔ دکترایم را (که رو به اتمام است) در مؤسسهٔ پژوهشی هوش مصنوعی آلن در سیاتل ارائه کردم و از قضا این ارائه در یوتیوب گذاشته شده است. اگر علاقه‌مندید، به پیوند زیر مراجعه نمایید.


پیوند به صفحهٔ یوتیوب



۲۴ آبان ۹۶ ، ۰۶:۴۰ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

کتاب‌های جدید از جمله «شبکهٔ عصبی در پردازش زبان طبیعی»

در این مدتی که مطلبی ننوشتم، کتاب‌های زیادی در انتشارات مرگان و کلی‌پول منتشر شده است. مهمترین آنها کتاب «روش‌های شبکه‌های عصبی در پردازش زبان طبیعی»‌ است:


Neural Network Methods for Natural Language Processing


Neural networks are a family of powerful machine learning models. This book focuses on the application of neural network models to natural language data. The first half of the book (Parts I and II) covers the basics of supervised machine learning and feed-forward neural networks, the basics of working with machine learning over language data, and the use of vector-based rather than symbolic representations for words. It also covers the computation-graph abstraction, which allows to easily define and train arbitrary neural networks, and is the basis behind the design of contemporary neural network software libraries.


The second part of the book (Parts III and IV) introduces more specialized neural network architectures, including 1D convolutional neural networks, recurrent neural networks, conditioned-generation models, and attention-based models. These architectures and techniques are the driving force behind state-of-the-art algorithms for machine translation, syntactic parsing, and many other applications. Finally, we also discuss tree-shaped networks, structured prediction, and the prospects of multi-task learning.


کتاب «یادگیری عمیق» هم به نهایی شده است و نسخهٔ رایگانش در دسترس است: http://www.deeplearningbook.org/

۰۷ ارديبهشت ۹۶ ، ۲۱:۱۷ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

کتاب: تحلیل بیزی در پردازش زبان طبیعی

این کتاب را به تازگی انتشارات مرگان و کلی‌پول منتشر کرده است. ۳ سال پیش پیش‌نویس این کتاب به عنوان جزوهٔ یکی از درس‌های ما بود با همین عنوان. با وجود ابهام در بعضی بخش‌ها، این کتاب به نظرم الان جامع‌ترین مرجع برای این موضوع است (اگر به کتاب دسترسی ندارید به بنده ایمیل بفرستید)


 دریافت کتاب


Bayesian Analysis in Natural Language Processing

Shay Cohen (University of Edinburgh)


Natural language processing (NLP) went through a profound transformation in the mid-1980s when it shifted to make heavy use of corpora and data-driven techniques to analyze language. Since then, the use of statistical techniques in NLP has evolved in several ways. One such example of evolution took place in the late 1990s or early 2000s, when full-fledged Bayesian machinery was introduced to NLP. This Bayesian approach to NLP has come to accommodate for various shortcomings in the frequentist approach and to enrich it, especially in the unsupervised setting, where statistical learning is done without target prediction examples.


We cover the methods and algorithms that are needed to fluently read Bayesian learning papers in NLP and to do research in the area. These methods and algorithms are partially borrowed from both machine learning and statistics and are partially developed "in-house" in NLP. We cover inference techniques such as Markov chain Monte Carlo sampling and variational inference, Bayesian estimation, and nonparametric modeling. We also cover fundamental concepts in Bayesian statistics such as prior distributions, conjugacy, and generative modeling. Finally, we cover some of the fundamental modeling techniques in NLP, such as grammar modeling and their use with Bayesian analysis.

۲۶ خرداد ۹۵ ، ۰۰:۴۲ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

ارائه: روش‌های تجزیهٔ بی‌ناظر وابستگی

ارائهٔ امتحان ارائهٔ مقالات دورهٔ دکتری را بارگذاری کرده‌ام. موضوع در مورد روش‌های توسعهٔ تجزیه‌گر وابستگی بدون داشتن پیکره‌های نحوی است.


دریافت


۱۷ فروردين ۹۵ ، ۰۵:۴۷ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

پیش‌نیازها و بایسته‌های پژوهش در پردازش زبان طبیعی

[شاید این مطلب را هر چند وقت یک بار به‌روز کنم تا نکته‌ای از قلم نیفتاده باشد]


در این چند ساله که در زمینهٔ پردازش زبان طبیعی شروع به کار کرده‌ام، سؤال‌های بسیاری در موضوعات مختلف ولی مرتبط با پردازش زبان برایم فرستاده شده. اغلب سؤالات در قالب‌هایی از قبیل «می‌خواهم یک مقالهٔ آی اس آی بنویسم در مورد ...، چه مقالاتی را باید بخوانم؟»، «من تازه شروع به کار کرده‌ام و نمی‌دانم از کجا شروع کنم»، «من از رشتهٔ زبان‌ها آمده‌ام و پیش‌زمینهٔ پردازشی ندارم و ...». از سؤال‌ها این برمی‌آید که یک دانشجوی باانگیزه دوست دارد بداند که دانشجویی که چند سال قبل‌تر از او در این مسیر قدم گذاشته چه راه‌های میانبری را بلد است و یا به قولی فوت کوزه‌گری چیست. نخست این که حقیر کمتر و کوچک‌تر از آنم که از فوت کوز‌ه‌گری بگویم. کیفیت مقالاتی که نوشته‌ام گواه آن هست که خود در این مسیر کمیتم لنگ است ولی تجربیاتی است که گفتنش به نگفتنش می‌ارزد. این تجربیات بیشتر حاصل تعاملم با استادان دانشگاه‌های معتبر و دانشجوهای فعال در این زمینه بوده است. در برخی جاهای این نوشتار از نظام آموزشی ایران بد گفته‌ام ولی این‌ها را به حساب دلسوزی بگذارید و نه خدای نکرده نگاه از بالا به پایین. دیگر آن که برخی از افاضاتم! هم ویژهٔ پردازش زبان طبیعی نیست و در هر پژوهش تجربی قاعده باید همین باشد. اگر اشکالی در این مطالب می‌بینید بنده را از نظراتتان محروم نفرمایید: rasooli[at]cs.columbia.edu



مطلب را به چند بخش تقسیم کرده‌ام: ۱)‌ پیش‌نیاز‌های پژوهش، ۲) کار پژوهشی، ۳)‌ نوشتن مقاله، و ۴) انتشار مقاله.

ادامه مطلب...
۱۱ اسفند ۹۴ ، ۰۶:۲۸ ۱ نظر موافقین ۱ مخالفین ۰
محمدصادق رسولی