Developing Enterprise Chatbots: Learning Linguistic Structures

انتظار می‌رود که یک ربات چت بتواند از یک مکالمه منسجم و منسجم پشتیبانی کند و دانش داشته باشد، که آن را به یکی از پیچیده‌ترین سیستم‌های هوشمند در حال طراحی تبدیل می‌کند. طراحان باید بیاموزند که رویکردهای درک زبان و استدلال شهودی و قابل توضیح را با فناوری‌های آماری و یادگیری عمیق با کارایی بالا ترکیب کنند.

امروزه دو پارادایم محبوب برای ساخت ربات چت وجود دارد:

1. یک پلتفرم ربات با قابلیت‌های جهانی NLP و ML بسازید تا یک توسعه‌دهنده ربات برای یک شرکت خاص، که متخصص نیست، بتواند آن را با داده‌های آموزشی پر کند؛

2. مجموعه عظیمی از داده‌های گفتگوی آموزشی را جمع آوری کنید، آن را به یک شبکه یادگیری عمیق وارد کنید و از چت بات آموزش دیده انتظار داشته باشید که به طور خودکار "چگونه چت" را بیاموزد.

اگرچه گزارش شده است که این دو رویکرد از برخی گفتگوهای هوشمند تقلید می کنند، اما هر دوی آنها برای چت ربات های سازمانی مناسب نیستند، غیرقابل اعتماد و بسیار شکننده هستند.

رویکرد دوم بر این باور استوار است که معجزه یادگیری اتفاق می افتد و یک ربات چت بدون یک ویژگی کامل و مهندسی دامنه توسط یک الگوریتم های مدیریت گفتگوی متخصص و قابل تفسیر شروع به کار می کند.

چت ربات های سازمانی با کارایی بالا با دانش گسترده دامنه نیاز به ترکیبی از آماری و استقرایی دارند. ، یادگیری عمیق ماشینی و یادگیری از وب، NLP نحوی، معنایی و گفتمانی، استدلال مبتنی بر هستی شناسی و ماشین حالت برای کنترل گفتگو. این کتاب منبع جامعی از الگوریتم‌ها و معماری‌ها برای ساخت ربات‌های چت برای حوزه‌های مختلف بر اساس روندهای اخیر در زبان‌شناسی محاسباتی و یادگیری ماشین ارائه می‌کند. کانون‌های این کتاب، کاربردهای تحلیل گفتمان در ارزیابی متن، مدیریت گفت‌وگو و تولید محتوا است که به غلبه بر محدودیت‌های رویکردهای مبتنی بر پلت‌فرم و مبتنی بر داده‌ها کمک می‌کند.

مواد و کد تکمیلی موجود در https://github.com/bgalitsky/relevance-based-on-parse-trees

A chatbot is expected to be capable of supporting a cohesive and coherent conversation and be knowledgeable, which makes it one of the most complex intelligent systems being designed nowadays. Designers have to learn to combine intuitive, explainable language understanding and reasoning approaches with high-performance statistical and deep learning technologies.

Today, there are two popular paradigms for chatbot construction:

1. Build a bot platform with universal NLP and ML capabilities so that a bot developer for a particular enterprise, not being an expert, can populate it with training data;

2. Accumulate a huge set of training dialogue data, feed it to a deep learning network and expect the trained chatbot to automatically learn “how to chat”.

Although these two approaches are reported to imitate some intelligent dialogues, both of them are unsuitable for enterprise chatbots, being unreliable and too brittle.

The latter approach is based on a belief that some learning miracle will happen and a chatbot will start functioning without a thorough feature and domain engineering by an expert and interpretable dialogue management algorithms.

Enterprise high-performance chatbots with extensive domain knowledge require a mix of statistical, inductive, deep machine learning and learning from the web, syntactic, semantic and discourse NLP, ontology-based reasoning and a state machine to control a dialogue. This book will provide a comprehensive source of algorithms and architectures for building chatbots for various domains based on the recent trends in computational linguistics and machine learning. The foci of this book are applications of discourse analysis in text relevant assessment, dialogue management and content generation, which help to overcome the limitations of platform-based and data driven-based approaches.

Supplementary material and code is available at https://github.com/bgalitsky/relevance-based-on-parse-trees