پردازش زبان طبیعی و زبان‌شناسی رایانه‌ای

۵ مطلب با کلمه‌ی کلیدی «شبکهٔ عصبی» ثبت شده است

دربارهٔ transformer و مطالب دیگر

مدت نسبتاً طولانی‌ای است که در این وبلاگ مطلبی ننوشته‌ام. ان‌شاءالله به زودی متن پایان‌نامه‌ام را می‌گذارم ولی علی‌الحساب با تأخیر ویدئوی ارائهٔ مقاله‌ام در ژوئن ۲۰۱۸ در NAACL را می‌گذارم:

https://vimeo.com/276419865


و اما مدتی بود در فهمیدن مدل transformer در ترجمهٔ خودکار مشکل داشتم، که اخیراً به این مطلب نسبتاً قدیمی هم‌آزمایشگاهی سابقم برخوردم. به نظرم خوب است که این مطلب را بخوانید. 

http://nlp.seas.harvard.edu/2018/04/03/attention.html


نویسندگان مقالهٔ مورد نظر مصاحبه‌ای صوتی در مورد مقاله داشته‌اند که در این نشانی پیدا می‌شود:

https://soundcloud.com/nlp-highlights/36-attention-is-all-you-need-with-ashish-vaswani-and-jakob-uszkoreit



۳۰ آبان ۹۷ ، ۰۱:۴۶ ۱ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

مقاله: الگوی زبانی آگاه به موجودیت‌ها + آموزش یادگیری عمیق با دای‌نت

این مقاله حاصل کارآموزی آخرم در مایکروسافت بوده است. شاید این کار، برایم اولین تجربهٔ واقعی سر و کله زدن با یک شبکهٔ عمیق به معنای درست کلمه باشد؛ بدان معنا که مجبور بودم طوری پیاده‌سازی کنم که با بهترین سرعت ممکن روی دادهٔ بسیار بزرگ قابل اجرا باشد.  شایان ذکر است که این مدل از جمله مدل‌هایی است که با ابزارهای کتاب‌خانه‌ای مانند دای‌نت و پای‌تورچ قابل پیاده‌سازی است ولی پیاده‌سازی آن با تنسورفلو یا ثیانو به سادگی امکان‌پذیر نیست (ر.ک. شکل شبکه در ص ۴).

https://arxiv.org/abs/1803.04291



پ.ن.: برای درس پردازش زبانِ استاد راهنمایم در کلمبیا، آموزش استفاده از شبکهٔ عصبی برای پردازش زبان با کتابخانهٔ دای‌نت را آماده کرده بودم. شاید به کارتان بیاید. البته توجه کنید که این آموزش حالت غیربهینه از نظر پیاده‌سازی است و بیشتر جنبهٔ آموزش مقدماتی شبکهٔ عمیق در پردازش زبان طبیعی دارد. در صفحهٔ اول گیت‌هابِ این پروژه، نحوهٔ نصب در لینوکس و مک را گذاشته‌ام. برای ویندوز باید به خود سایت کتابخانهٔ دای‌نت مراجعه کنید. کل کد به صورت ساخت‌یافته در src موجود است ولی نوت‌بوک پایتونی هم در صفحهٔ گیت‌هاب برای آموزش قدم به قدم وجود دارد.

https://github.com/rasoolims/ff_tagger




۲۴ اسفند ۹۶ ، ۲۲:۲۹ ۰ نظر موافقین ۲ مخالفین ۰
محمدصادق رسولی

کتاب‌های جدید از جمله «شبکهٔ عصبی در پردازش زبان طبیعی»

در این مدتی که مطلبی ننوشتم، کتاب‌های زیادی در انتشارات مرگان و کلی‌پول منتشر شده است. مهمترین آنها کتاب «روش‌های شبکه‌های عصبی در پردازش زبان طبیعی»‌ است:


Neural Network Methods for Natural Language Processing


Neural networks are a family of powerful machine learning models. This book focuses on the application of neural network models to natural language data. The first half of the book (Parts I and II) covers the basics of supervised machine learning and feed-forward neural networks, the basics of working with machine learning over language data, and the use of vector-based rather than symbolic representations for words. It also covers the computation-graph abstraction, which allows to easily define and train arbitrary neural networks, and is the basis behind the design of contemporary neural network software libraries.


The second part of the book (Parts III and IV) introduces more specialized neural network architectures, including 1D convolutional neural networks, recurrent neural networks, conditioned-generation models, and attention-based models. These architectures and techniques are the driving force behind state-of-the-art algorithms for machine translation, syntactic parsing, and many other applications. Finally, we also discuss tree-shaped networks, structured prediction, and the prospects of multi-task learning.


کتاب «یادگیری عمیق» هم به نهایی شده است و نسخهٔ رایگانش در دسترس است: http://www.deeplearningbook.org/

۰۷ ارديبهشت ۹۶ ، ۲۱:۱۷ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

یادگیری عمیق و زبان‌شناسی رایانه‌ای

این مقاله را کریستوفر مانینگ استاد دانشگاه استنفورد، در مورد انقلابی که بر اثر نوآوری‌های اخیر در یادگیری عمیق ایجاد شده و تأثیر آن بر آیندهٔ پردازش زبان طبیعی، نوشته است.

Computational linguistics and deep learning

۲۱ آبان ۹۴ ، ۰۳:۰۲ ۱ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

مقالات و کتاب‌های جدید

باز هم بلاگفا دچار مشکلات عجیب و غریب شد و اصلاً معلوم نیست با این اوضاع بشود در این محیط ادامه داد.

پس از غیبتی نسبتاً طولانی با چند مطلب نسبتاً بی‌ربط وبلاگ را به‌روز می‌کنم.

****

مقالهٔ اخیرم در مورد یادگیری تجزیه‌گر نحوی بدون داشتن دادگان درختی و با استفاده از داده‌های ترجمه در همایش EMNLP 2015 منتشر شده است:

Mohammad Sadegh Rasooli and Michael Collins. Density-Driven Cross-Lingual Transfer of Dependency Parsers. Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 328–338, Lisboa, Portugal, September 2015. [Slides]

****

 اخیراً انتشارات مرگان کلی‌پول کتاب‌های متنوعی را در مورد پردازش زبان طبیعی منتشر کرده است: کتاب‌های «پردازش زبان طبیعی در رسانه‌های اجتماعی» و «شناخت خودکار فریب کلامی».

****

یکی از روش‌های پرطرفدار در یکی دو سال اخیر، «یادگیری عمیق» با استفاده از شبکه‌های عصبی است. برای علاقه‌مندان به این موضوع این کتاب طولانی و تخصصی پیشنهاد می‌شود. البته این کتاب خیلی تخصصی است و شاید این مقاله خیلی کاربردی‌تر و ساده‌تر باشد:

Yoav Goldberg, A Primer on Neural Network Models for Natural Language Processing. Arxiv preprints, Oct. 2015.

۱۵ مهر ۹۴ ، ۰۱:۲۲ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی