Language Modeling for Information Retrieval

یک مدل زبان آماری، یا به‌طور ساده‌تر یک مدل زبان، یک مکانیسم احتمالی برای تولید متن است. چنین تعریفی به اندازه کافی کلی است که شامل انواع بی پایانی از طرح ها می شود. با این حال، باید بین مدل‌های مولد، که در اصل می‌توانند برای ترکیب متن مصنوعی مورد استفاده قرار گیرند، و تکنیک‌های تمایز برای طبقه‌بندی متن به گروه‌های از پیش تعریف‌شده، تمایز قائل شد. اولین مدلساز زبان آماری کلود شانون بود. شانون در بررسی کاربرد نظریه اطلاعات تازه تأسیس خود در زبان انسان، زبان را به عنوان یک منبع آماری در نظر گرفت و چگونگی پیش‌بینی یا فشرده‌سازی متن طبیعی توسط مدل‌های ساده n-gram را اندازه‌گیری کرد. برای انجام این کار، او آنتروپی زبان انگلیسی را از طریق آزمایش‌هایی با افراد انسانی تخمین زد و همچنین آنتروپی متقاطع مدل‌های n-gram را روی متن طبیعی 1 تخمین زد. توانایی مدل های زبانی برای ارزیابی کمی به روش tbis یکی از فضایل مهم آنها است. البته، تخمین آنتروپی واقعی زبان، هدفی دست نیافتنی است که اهداف متحرک زیادی را هدف قرار می دهد، زیرا زبان بسیار متنوع است و به سرعت تکامل می یابد. با این حال، پنجاه سال پس از مطالعه شانون، مدل‌های زبانی، با همه معیارها، از نظر قدرت پیش‌بینی آن‌ها از آنتروپی شانون فاصله دارند. با این حال، tbis آنها را از مفید بودن برای انواع وظایف پردازش متن بازنداشته است، و علاوه بر این می‌تواند به عنوان تشویقی در نظر گرفته شود که هنوز فضای زیادی برای بهبود در مدل‌سازی زبان آماری وجود دارد.

A statisticallanguage model, or more simply a language model, is a prob­ abilistic mechanism for generating text. Such adefinition is general enough to include an endless variety of schemes. However, a distinction should be made between generative models, which can in principle be used to synthesize artificial text, and discriminative techniques to classify text into predefined cat­ egories. The first statisticallanguage modeler was Claude Shannon. In exploring the application of his newly founded theory of information to human language, Shannon considered language as a statistical source, and measured how weH simple n-gram models predicted or, equivalently, compressed natural text. To do this, he estimated the entropy of English through experiments with human subjects, and also estimated the cross-entropy of the n-gram models on natural 1 text. The ability of language models to be quantitatively evaluated in tbis way is one of their important virtues. Of course, estimating the true entropy of language is an elusive goal, aiming at many moving targets, since language is so varied and evolves so quickly. Yet fifty years after Shannon's study, language models remain, by all measures, far from the Shannon entropy liInit in terms of their predictive power. However, tbis has not kept them from being useful for a variety of text processing tasks, and moreover can be viewed as encouragement that there is still great room for improvement in statisticallanguage modeling.