An Empirical Study of Smoothing Techniques for Language Modeling

دسته بندی: سایبرنتیک: هوش مصنوعی
ویرایش:  
نویسندگان: Chen S.F.,  Goodman J.  
سری:  
 
ناشر:  
سال نشر:  
تعداد صفحات: 63 
زبان: English 
فرمت فایل : PDF (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) 
حجم فایل: 779 کیلوبایت 

قیمت کتاب (تومان) : 52,000

دانشگاه هاروارد، 1998. – 63 с. ما یک مقدمه آموزشی بر مدل‌های n-gram برای مدل‌سازی زبان ارائه می‌کنیم و پرکاربردترین الگوریتم‌های هموارسازی را برای چنین مدل‌هایی بررسی می‌کنیم. . سپس یک مقایسه تجربی گسترده از چندین مورد از این تکنیک‌های هموارسازی ارائه می‌کنیم. ما بررسی می‌کنیم که چگونه عواملی مانند اندازه داده‌های آموزشی، پیکره آموزشی (به عنوان مثال، براون در مقابل وال استریت ژورنال)، برش‌های شمارش، و ترتیب n گرم (بی‌گرام در مقابل سه‌گرام) بر عملکرد نسبی این روش‌ها تأثیر می‌گذارند که از طریق متقاطع اندازه‌گیری می‌شود. آنتروپی داده های آزمون نتایج ما نشان می‌دهد که مقایسه‌های قبلی برای توصیف کامل عملکرد الگوریتم هموارسازی به اندازه کافی کامل نبوده است. ما روش‌هایی را برای تجزیه و تحلیل کارایی الگوریتم هموارسازی با جزئیات معرفی می‌کنیم، و با استفاده از این تکنیک‌ها، تنوع جدیدی از هموارسازی Kneser-Ney را ایجاد می‌کنیم که به طور مداوم از سایر الگوریتم‌های ارزیابی‌شده بهتر عمل می‌کند. در نهایت، نتایج نشان می‌دهد که هموارسازی مدل زبانی بهبود یافته منجر به بهبود عملکرد تشخیص گفتار می‌شود.

Harvard University, 1998. – 63 с. We present a tutorial introduction to n-gram models for language modeling and survey the most widely-used smoothing algorithms for such models. We then present an extensive empirical comparison of several of these smoothing techniques. We investigate how factors such as training data size, training corpus (e.g., Brown versus Wall Street Journal), count cutoffs, and n-gram order (bigram versus trigram) affect the relative performance of these methods, which is measured through the cross-entropy of test data. Our results show that previous comparisons have not been complete enough to fully characterize smoothing algorithm performance. We introduce methodologies for analyzing smoothing algorithm efficacy in detail, and using these techniques we motivate a novel variation of Kneser-Ney smoothing that consistently outperforms all other algorithms evaluated. Finally, results showing that improved language model smoothing leads to improved speech recognition performance are presented.