Neural Representations of Natural Language

این کتاب مقدمه‌ای بر پردازش زبان طبیعی مدرن با استفاده از یادگیری ماشینی ارائه می‌کند، با تمرکز بر اینکه چگونه شبکه‌های عصبی یک نمایش قابل تفسیر ماشینی از معنای زبان طبیعی ایجاد می‌کنند. زبان به طور اساسی با ایده ها مرتبط است - همانطور که وبستر در سال 1923 "ترکیب و ادبیات انگلیسی" آن را بیان می کند: "جمله مجموعه ای از کلمات است که یک فکر کامل را بیان می کند". بنابراین نمایش جملات و کلماتی که آنها را تشکیل می دهند در پیشرفت هوش مصنوعی و سایر سیستم های "هوشمند" در حال توسعه حیاتی است. این کتاب با ارائه یک نمای کلی از تحقیقات در این منطقه، از کار اصلی Bengio و همکاران در مورد "مدل زبان احتمالی عصبی" در سال 2003، تا آخرین تکنیک‌ها، خوانندگان را قادر می‌سازد تا درک درستی از نحوه مرتبط بودن این تکنیک‌ها به دست آورند. چه چیزی برای اهداف آنها بهترین است. این کتاب علاوه بر مقدمه ای بر شبکه های عصبی به طور کلی و شبکه های عصبی تکراری به طور خاص، روش های مورد استفاده برای نمایش کلمات، حواس کلمات و ساختارهای بزرگتر مانند جملات یا اسناد را شرح می دهد. این کتاب پیاده‌سازی‌های عملی را برجسته می‌کند و بسیاری از جنبه‌ها را که اغلب نادیده گرفته می‌شوند یا اشتباه درک می‌شوند، مورد بحث قرار می‌دهد. این کتاب شامل دستورالعمل های کامل در زمینه های چالش برانگیز مانند نرم افزار سلسله مراتبی و نمونه گیری منفی است تا اطمینان حاصل شود که خواننده به طور کامل و آسان جزئیات نحوه عملکرد الگوریتم ها را درک می کند. با ترکیب جنبه های عملی با مرور سنتی تر ادبیات، به طور مستقیم برای خوانندگان گسترده قابل استفاده است. این یک مقدمه ارزشمند برای دانشجویان مقطع کارشناسی ارشد است که در پردازش زبان طبیعی کار می کنند. راهنمای قابل اعتماد برای توسعه دهندگان صنعت که مایل به استفاده از نوآوری های اخیر هستند. و پل محکمی برای محققانی که قبلاً با زبان‌شناسی یا یادگیری ماشینی آشنا هستند و می‌خواهند دیگران را درک کنند.

This book offers an introduction to modern natural language processing using machine learning, focusing on how neural networks create a machine interpretable representation of the meaning of natural language. Language is crucially linked to ideas – as Webster’s 1923 “English Composition and Literature” puts it: “A sentence is a group of words expressing a complete thought”. Thus the representation of sentences and the words that make them up is vital in advancing artificial intelligence and other “smart” systems currently being developed. Providing an overview of the research in the area, from Bengio et al.’s seminal work on a “Neural Probabilistic Language Model” in 2003, to the latest techniques, this book enables readers to gain an understanding of how the techniques are related and what is best for their purposes. As well as a introduction to neural networks in general and recurrent neural networks in particular, this book details the methods used for representing words, senses of words, and larger structures such as sentences or documents. The book highlights practical implementations and discusses many aspects that are often overlooked or misunderstood. The book includes thorough instruction on challenging areas such as hierarchical softmax and negative sampling, to ensure the reader fully and easily understands the details of how the algorithms function. Combining practical aspects with a more traditional review of the literature, it is directly applicable to a broad readership. It is an invaluable introduction for early graduate students working in natural language processing; a trustworthy guide for industry developers wishing to make use of recent innovations; and a sturdy bridge for researchers already familiar with linguistics or machine learning wishing to understand the other.