پردازش زبان طبیعی و زبان‌شناسی رایانه‌ای

۴ مطلب با کلمه‌ی کلیدی «الگوی بیزی» ثبت شده است

کتاب: تحلیل بیزی در پردازش زبان طبیعی

این کتاب را به تازگی انتشارات مرگان و کلی‌پول منتشر کرده است. ۳ سال پیش پیش‌نویس این کتاب به عنوان جزوهٔ یکی از درس‌های ما بود با همین عنوان. با وجود ابهام در بعضی بخش‌ها، این کتاب به نظرم الان جامع‌ترین مرجع برای این موضوع است (اگر به کتاب دسترسی ندارید به بنده ایمیل بفرستید)


 دریافت کتاب


Bayesian Analysis in Natural Language Processing

Shay Cohen (University of Edinburgh)


Natural language processing (NLP) went through a profound transformation in the mid-1980s when it shifted to make heavy use of corpora and data-driven techniques to analyze language. Since then, the use of statistical techniques in NLP has evolved in several ways. One such example of evolution took place in the late 1990s or early 2000s, when full-fledged Bayesian machinery was introduced to NLP. This Bayesian approach to NLP has come to accommodate for various shortcomings in the frequentist approach and to enrich it, especially in the unsupervised setting, where statistical learning is done without target prediction examples.


We cover the methods and algorithms that are needed to fluently read Bayesian learning papers in NLP and to do research in the area. These methods and algorithms are partially borrowed from both machine learning and statistics and are partially developed "in-house" in NLP. We cover inference techniques such as Markov chain Monte Carlo sampling and variational inference, Bayesian estimation, and nonparametric modeling. We also cover fundamental concepts in Bayesian statistics such as prior distributions, conjugacy, and generative modeling. Finally, we cover some of the fundamental modeling techniques in NLP, such as grammar modeling and their use with Bayesian analysis.

۲۶ خرداد ۹۵ ، ۰۰:۴۲ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

مقاله: مردم هر جای جهان چقدر خوشحال یا ناراحتند

تحلیل احساسات یکی از کاربردهای پردازش زبان طبیعی است. در این مقاله، علاوه بر استفاده از الگوی بیزی بر تحلیل احساسات در مطالب توئیتر، میزان شادی یا ناراحتی مردم دنیا را با استفاده از روش بیزی مورد مقایسه قرار داده است.

Davies, Alexander, and Zoubin Ghahramani. "Language-independent Bayesian sentiment mining of Twitter.",  The 5th SNA-KDD Workshop '11 (SNA-KDD'11), August 2011.



۱۴ فروردين ۹۲ ، ۲۲:۰۰ ۱ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

مقاله: مروری بر الگوهای ناپارامتری بیزی در پردازش زبان طبیعی


در این مقاله به اصلی‌ترین الگوهای موجود در الگوهای بیزی ناپارامتری (nonparametric) پرداخته شده است. علاوه بر آن، به چند کاربرد اخیر که در مقالات دیگر آمده اشاره‌ای کوتاه شده است. خواندن این مقاله برای کسانی که بر روی روش‌هایی از خوشه‌بندی کار می‌کنند که از قبل، از تعداد خوشه‌ها مطلع نیستند، توصیه می‌شود.

Narges Sharif-Razavian and Andreas Zollmann. An Overview of Nonparametric Bayesian Models and Applications to Natural Language Processing, Languages and Statistics II project report, Carnegie Mellon University, January 2009.

۱۴ فروردين ۹۲ ، ۲۱:۵۴ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی

مقاله: استنتاج بیزی با ماشین‌های حالت محدود

در این مقاله روش استفاده از ماشین‌های حالت محدود برای یادگیری بی‌ناظر استفاده شده است. دو روش اصلی نیز مورد بررسی قرار گرفته است: بیشینه‌سازی امید ریاضی (امیدیابی-بیشینه‌سازی) و استنتاج بیزی. به عنوان مثال از کاربردهای مختلف از جمله برچسب‌زنی اجزای سخن نیز نمونه آزمایش‌هایی آورده شده است. این مقاله برای کسانی که علاقه به استفاده از ماشین‌های حالت دارند توصیه می‌شود.

Chiang, David, Jonathan Graehl, Kevin Knight, Adam Pauls, and Sujith Ravi. "Bayesian inference for finite-state transducers." In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 447-455. Association for Computational Linguistics, 2010.

نکتهٔ مثبت ماشین‌های حالت این است که ابزارهای آمادهٔ بسیاری برای آن وجود دارد مانند XeroxFST، OpenFst و AT&T FSM.

پی‌نوشت

برای آشنایی بیشتر با ماشین‌های حالت

Mohri, Mehryar. "Finite-state transducers in language and speech processing." Computational linguistics 23, no. 2 (1997): 269-311.
Weighted Finite-State Transducers in Speech Recognition (Tutorial) [ Part I, Part II] (Mehryar Mohri and Michael Riley). International Conference on Spoken Language Processing 2002 (ICSLP '02). Denver, Colorado, September 2002.

برای آشنایی با بیشینه‌سازی امید ریاضی

Collins, Micheal John, "The Naive Bayes Model, Maximum-Likelihood Estimation, and the EM Algorithm".


برای آشنایی با یادگیری بیزی زبان طبیعی 

Knight, Kevin, "Bayesian Inference with Tears", ISI, 2011.

۱۰ فروردين ۹۲ ، ۰۰:۵۶ ۰ نظر موافقین ۰ مخالفین ۰
محمدصادق رسولی