Bayesian Analysis in Natural Language Processing

پردازش زبان طبیعی (NLP) در اواسط دهه 1980 هنگامی که به سمت استفاده زیاد از تکنیک‌های موجودات و داده‌محور برای تجزیه و تحلیل زبان تغییر کرد، دچار تحول عمیقی شد. از آن زمان، استفاده از تکنیک های آماری در NLP به روش های مختلفی تکامل یافته است. یکی از این نمونه های تکامل در اواخر دهه 1990 یا اوایل دهه 2000 رخ داد، زمانی که ماشین آلات بیزی کامل به NLP معرفی شدند. این رویکرد بیزی به NLP برای انطباق با کاستی‌های مختلف در رویکرد مکرر و غنی‌سازی آن، به‌ویژه در محیط بدون نظارت، که در آن یادگیری آماری بدون مثال‌های پیش‌بینی هدف انجام می‌شود، آمده است.

ما روش‌ها و الگوریتم‌هایی را پوشش می‌دهیم که برای خواندن روان مقالات یادگیری بیزی در NLP و انجام تحقیقات در آن منطقه مورد نیاز است. این روش‌ها و الگوریتم‌ها تا حدی از یادگیری ماشینی و آمار وام گرفته شده‌اند و تا حدی در NLP توسعه داده شده‌اند. ما تکنیک‌های استنتاج مانند نمونه‌برداری مونت کارلو زنجیره مارکوف و استنتاج متغیر، تخمین بیزی و مدل‌سازی ناپارامتریک را پوشش می‌دهیم. ما همچنین مفاهیم اساسی در آمار بیزی مانند توزیع های قبلی، مزدوج و مدل سازی مولد را پوشش می دهیم. در نهایت، برخی از تکنیک‌های مدل‌سازی اساسی در NLP، مانند مدل‌سازی گرامر و استفاده از آن‌ها با تحلیل بیزی را پوشش می‌دهیم.

Natural language processing (NLP) went through a profound transformation in the mid-1980s when it shifted to make heavy use of corpora and data-driven techniques to analyze language. Since then, the use of statistical techniques in NLP has evolved in several ways. One such example of evolution took place in the late 1990s or early 2000s, when full-fledged Bayesian machinery was introduced to NLP. This Bayesian approach to NLP has come to accommodate for various shortcomings in the frequentist approach and to enrich it, especially in the unsupervised setting, where statistical learning is done without target prediction examples.

We cover the methods and algorithms that are needed to fluently read Bayesian learning papers in NLP and to do research in the area. These methods and algorithms are partially borrowed from both machine learning and statistics and are partially developed "in-house" in NLP. We cover inference techniques such as Markov chain Monte Carlo sampling and variational inference, Bayesian estimation, and nonparametric modeling. We also cover fundamental concepts in Bayesian statistics such as prior distributions, conjugacy, and generative modeling. Finally, we cover some of the fundamental modeling techniques in NLP, such as grammar modeling and their use with Bayesian analysis.