پردازش زبان طبیعی و زبان‌شناسی رایانه‌ای

کتاب‌های جدید از جمله «شبکهٔ عصبی در پردازش زبان طبیعی»

در این مدتی که مطلبی ننوشتم، کتاب‌های زیادی در انتشارات مرگان و کلی‌پول منتشر شده است. مهمترین آنها کتاب «روش‌های شبکه‌های عصبی در پردازش زبان طبیعی»‌ است:


Neural Network Methods for Natural Language Processing


Neural networks are a family of powerful machine learning models. This book focuses on the application of neural network models to natural language data. The first half of the book (Parts I and II) covers the basics of supervised machine learning and feed-forward neural networks, the basics of working with machine learning over language data, and the use of vector-based rather than symbolic representations for words. It also covers the computation-graph abstraction, which allows to easily define and train arbitrary neural networks, and is the basis behind the design of contemporary neural network software libraries.


The second part of the book (Parts III and IV) introduces more specialized neural network architectures, including 1D convolutional neural networks, recurrent neural networks, conditioned-generation models, and attention-based models. These architectures and techniques are the driving force behind state-of-the-art algorithms for machine translation, syntactic parsing, and many other applications. Finally, we also discuss tree-shaped networks, structured prediction, and the prospects of multi-task learning.


کتاب «یادگیری عمیق» هم به نهایی شده است و نسخهٔ رایگانش در دسترس است: http://www.deeplearningbook.org/

۰۷ ارديبهشت ۹۶ ، ۲۱:۱۷ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

کتاب: تحلیل بیزی در پردازش زبان طبیعی

این کتاب را به تازگی انتشارات مرگان و کلی‌پول منتشر کرده است. ۳ سال پیش پیش‌نویس این کتاب به عنوان جزوهٔ یکی از درس‌های ما بود با همین عنوان. با وجود ابهام در بعضی بخش‌ها، این کتاب به نظرم الان جامع‌ترین مرجع برای این موضوع است (اگر به کتاب دسترسی ندارید به بنده ایمیل بفرستید)


 دریافت کتاب


Bayesian Analysis in Natural Language Processing

Shay Cohen (University of Edinburgh)


Natural language processing (NLP) went through a profound transformation in the mid-1980s when it shifted to make heavy use of corpora and data-driven techniques to analyze language. Since then, the use of statistical techniques in NLP has evolved in several ways. One such example of evolution took place in the late 1990s or early 2000s, when full-fledged Bayesian machinery was introduced to NLP. This Bayesian approach to NLP has come to accommodate for various shortcomings in the frequentist approach and to enrich it, especially in the unsupervised setting, where statistical learning is done without target prediction examples.


We cover the methods and algorithms that are needed to fluently read Bayesian learning papers in NLP and to do research in the area. These methods and algorithms are partially borrowed from both machine learning and statistics and are partially developed "in-house" in NLP. We cover inference techniques such as Markov chain Monte Carlo sampling and variational inference, Bayesian estimation, and nonparametric modeling. We also cover fundamental concepts in Bayesian statistics such as prior distributions, conjugacy, and generative modeling. Finally, we cover some of the fundamental modeling techniques in NLP, such as grammar modeling and their use with Bayesian analysis.

۲۶ خرداد ۹۵ ، ۰۰:۴۲ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

ارائه: روش‌های تجزیهٔ بی‌ناظر وابستگی

ارائهٔ امتحان ارائهٔ مقالات دورهٔ دکتری را بارگذاری کرده‌ام. موضوع در مورد روش‌های توسعهٔ تجزیه‌گر وابستگی بدون داشتن پیکره‌های نحوی است.


دریافت


۱۷ فروردين ۹۵ ، ۰۵:۴۷ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

پیش‌نیازها و بایسته‌های پژوهش در پردازش زبان طبیعی

[شاید این مطلب را هر چند وقت یک بار به‌روز کنم تا نکته‌ای از قلم نیفتاده باشد]


در این چند ساله که در زمینهٔ پردازش زبان طبیعی شروع به کار کرده‌ام، سؤال‌های بسیاری در موضوعات مختلف ولی مرتبط با پردازش زبان برایم فرستاده شده. اغلب سؤالات در قالب‌هایی از قبیل «می‌خواهم یک مقالهٔ آی اس آی بنویسم در مورد ...، چه مقالاتی را باید بخوانم؟»، «من تازه شروع به کار کرده‌ام و نمی‌دانم از کجا شروع کنم»، «من از رشتهٔ زبان‌ها آمده‌ام و پیش‌زمینهٔ پردازشی ندارم و ...». از سؤال‌ها این برمی‌آید که یک دانشجوی باانگیزه دوست دارد بداند که دانشجویی که چند سال قبل‌تر از او در این مسیر قدم گذاشته چه راه‌های میانبری را بلد است و یا به قولی فوت کوزه‌گری چیست. نخست این که حقیر کمتر و کوچک‌تر از آنم که از فوت کوز‌ه‌گری بگویم. کیفیت مقالاتی که نوشته‌ام گواه آن هست که خود در این مسیر کمیتم لنگ است ولی تجربیاتی است که گفتنش به نگفتنش می‌ارزد. این تجربیات بیشتر حاصل تعاملم با استادان دانشگاه‌های معتبر و دانشجوهای فعال در این زمینه بوده است. در برخی جاهای این نوشتار از نظام آموزشی ایران بد گفته‌ام ولی این‌ها را به حساب دلسوزی بگذارید و نه خدای نکرده نگاه از بالا به پایین. دیگر آن که برخی از افاضاتم! هم ویژهٔ پردازش زبان طبیعی نیست و در هر پژوهش تجربی قاعده باید همین باشد. اگر اشکالی در این مطالب می‌بینید بنده را از نظراتتان محروم نفرمایید: rasooli[at]cs.columbia.edu



مطلب را به چند بخش تقسیم کرده‌ام: ۱)‌ پیش‌نیاز‌های پژوهش، ۲) کار پژوهشی، ۳)‌ نوشتن مقاله، و ۴) انتشار مقاله.

ادامه مطلب...
۱۱ اسفند ۹۴ ، ۰۶:۲۸ ۱ نظر موافقین ۱ مخالفین ۰
محمدصادق رسولی

یادگیری عمیق و زبان‌شناسی رایانه‌ای

این مقاله را کریستوفر مانینگ استاد دانشگاه استنفورد، در مورد انقلابی که بر اثر نوآوری‌های اخیر در یادگیری عمیق ایجاد شده و تأثیر آن بر آیندهٔ پردازش زبان طبیعی، نوشته است.

Computational linguistics and deep learning

۲۱ آبان ۹۴ ، ۰۳:۰۲ ۱ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

کتاب:‌ استنتاج دستور زبان در زبان‌شناسی رایانه‌ای

این کتاب به تازگی از انتشارات مرگان و کلی‌پول منتشر شده است.

Grammatical Inference for Computational Linguistics
Jeffrey Heinz, Colin de la Higuera, Menno van Zaanen

Abstract
This book provides a thorough introduction to the subfield of theoretical computer science known as grammatical inference from a computational linguistic perspective. Grammatical inference provides principled methods for developing computationally sound algorithms that learn structure from strings of symbols. The relationship to computational linguistics is natural because many research problems in computational linguistics are learning problems on words, phrases, and sentences: What algorithm can take as input some finite amount of data (for instance a corpus, annotated or otherwise) and output a system that behaves "correctly" on specific tasks?
Throughout the text, the key concepts of grammatical inference are interleaved with illustrative examples drawn from problems in computational linguistics. Special attention is paid to the notion of "learning bias." In the context of computational linguistics, such bias can be thought to reflect common (ideally universal) properties of natural languages. This bias can be incorporated either by identifying a learnable class of languages which contains the language to be learned or by using particular strategies for optimizing parameter values. Examples are drawn largely from two linguistic domains (phonology and syntax) which span major regions of the Chomsky Hierarchy (from regular to context-sensitive classes). The conclusion summarizes the major lessons and open questions that grammatical inference brings to computational linguistics.

Table of Contents: List of Figures / List of Tables / Preface / Studying Learning / Formal Learning / Learning Regular Languages / Learning Non-Regular Languages / Lessons Learned and Open Problems / Bibliography / Author Biographies

 

اگر به این کتاب دسترسی ندارید، به بنده ایمیل بفرستید.

۲۰ آبان ۹۴ ، ۰۰:۵۴ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

مقالات و کتاب‌های جدید

باز هم بلاگفا دچار مشکلات عجیب و غریب شد و اصلاً معلوم نیست با این اوضاع بشود در این محیط ادامه داد.

پس از غیبتی نسبتاً طولانی با چند مطلب نسبتاً بی‌ربط وبلاگ را به‌روز می‌کنم.

****

مقالهٔ اخیرم در مورد یادگیری تجزیه‌گر نحوی بدون داشتن دادگان درختی و با استفاده از داده‌های ترجمه در همایش EMNLP 2015 منتشر شده است:

Mohammad Sadegh Rasooli and Michael Collins. Density-Driven Cross-Lingual Transfer of Dependency Parsers. Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 328–338, Lisboa, Portugal, September 2015. [Slides]

****

 اخیراً انتشارات مرگان کلی‌پول کتاب‌های متنوعی را در مورد پردازش زبان طبیعی منتشر کرده است: کتاب‌های «پردازش زبان طبیعی در رسانه‌های اجتماعی» و «شناخت خودکار فریب کلامی».

****

یکی از روش‌های پرطرفدار در یکی دو سال اخیر، «یادگیری عمیق» با استفاده از شبکه‌های عصبی است. برای علاقه‌مندان به این موضوع این کتاب طولانی و تخصصی پیشنهاد می‌شود. البته این کتاب خیلی تخصصی است و شاید این مقاله خیلی کاربردی‌تر و ساده‌تر باشد:

Yoav Goldberg, A Primer on Neural Network Models for Natural Language Processing. Arxiv preprints, Oct. 2015.

۱۵ مهر ۹۴ ، ۰۱:۲۲ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

همایش‌های اخیر و مقاله‌ای در پردازش زبان فارسی

سلام،

بعد از مدت طولانی خراب شدن بلاگفا و پاک شدن پاره‌ای از اطلاعات باید دوباره مطلب بگذارم.

در این مدت اتفاقات زیادی در حوزهٔ‌ پردازش زبان افتاده است: NAACL 2015 و ACL-IJCNLP 2015 برگزار شدند و EMNLP 2015 به زودی برگزار خواهد شد. ویدئو ارائه‌های NAACL 2015 از این پیوند قابل دریافت است.

کتاب‌های مرگان کلی‌پول هم به روز شده‌اند و کتابی در مورد شباهت معنایی به تازگی منتشر شده است.

 

ما هم به تازگی مقاله‌ای در ACL-IJCNLP در مورد ساخت اضافه در زبان فارسی داشتیم که پیشنهاد می‌کنم اگر به موضوع پردازش زبان فارسی علاقه‌مندید مطالعه کنید:

Alireza Nourian, Mohammad Sadegh Rasooli, Mohsen Imany, and Heshaam FailiOn the Importance of Ezafe Construction in Persian Parsing. The 53rd Annual Meeting of the Association for Computational Linguistics (ACL) and the 7h International Joint Conference on Natural Language Processing (IJCNLP), Beijing, China, July 2015.

همچنین مقاله‌ای را برای EMNLP در مورد تجزیهٔ وابستگی با استفاده از داده‌های دوزبانه در دست انتشار داریم که ان‌شاءالله به زودی در وبلاگ خواهم گذاشت.

۱۲ مرداد ۹۴ ، ۰۲:۵۱ ۳ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

ویدئوی ارائه‌های EMNLP 2014

این ویدئوها همان موقع برگزاری همایش منتشر شده بود ولی من خبر نداشتم، بنابراین با تأخیری نه چندان اندک خبرش را در اینجا می‌گذارم.

 

پیوند به یوتیوب

۲۶ فروردين ۹۴ ، ۱۹:۲۳ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

مقاله: یادگیری برای جستجوی وابستگی‌ها (تجزیهٔ وابستگی با الگوریتم یادگیری جستجو)

این مقاله به تازگی منتشر شده است و ادعاهای جالبی در مورد نوشتن یک تجزیه‌گر وابستگی ساده با ۳۰۰ خط برنامه‌نویسی و استفاده از ابزارهای «یادگیری جستجو» کرده است. دقتی که این تجزیه‌گر با رویکرد حریصانه دارد به مراتب بالاتر از ابزارهای مشابه است. مبنای اصلی این مقاله یادگیری تقلیدی (imitation learning) است.

 

Chang, Kai-Wei, He He, Hal Daumé III, and John Langford. "Learning to Search for Dependencies." arXiv preprint arXiv:1503.05615 (2015).

 

Abstract

We create a transition-based dependency parser using a general purpose learning to search system. The result is a fast and accurate parser for many languages. Compared to other transition-based dependency parsing approaches, our parser provides similar statistical and computational performance with best-known approaches while avoiding various downsides including randomization, extra feature requirements, and custom learning algorithms. We show that it is possible to implement a dependency parser with an open-source learning to search library in about 300 lines of C++ code, while existing systems often requires several thousands of lines.

۱۰ فروردين ۹۴ ، ۲۲:۵۰ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی