Interactive Multi-modal Question-Answering

این کتاب نتیجه گروهی از محققان از رشته‌های مختلف است که از خود یک سوال می‌پرسند: برای ایجاد یک رابط رایانه‌ای که گوش می‌دهد، صحبت می‌کند و می‌تواند به سؤالات در یک دامنه پاسخ دهد، چه چیزی لازم است؟ ابتدا، بدیهی است که ماژول های تخصصی برای تشخیص و ترکیب گفتار، مدیریت تعامل انسانی (گفتگو، ادغام ورودی، و ترکیب خروجی چندوجهی)، درک سؤال اولیه و یافتن پاسخ نیاز دارد. در حالی که همه ماژول‌ها به عنوان زیرشاخه‌های مستقل مورد تحقیق قرار می‌گیرند، این کتاب توسعه ماژول‌های پیشرفته و ادغام آن‌ها در یک برنامه کاربردی واحد را توضیح می‌دهد که قادر به پاسخگویی به سؤالات پزشکی (دایره‌المعارفی) مانند «مدت زمانی است که فرد مبتلا سرخک مسری است؟\" یا \"چگونه می توانم از RSI جلوگیری کنم؟\".

مشارکت های موجود در این کتاب که از پروژه IMIX تامین شده توسط سازمان تحقیقات علمی هلند حاصل شده است، مستند است. توسعه این سیستم، بلکه به مسائل کلی تری در پردازش زبان طبیعی نیز می پردازد، مانند توسعه سیستم های گفتگوی چند بعدی، کسب دانش طبقه بندی از متن، ترکیب پاسخ، پردازش توالی برای تشخیص موجودیت خاص دامنه، و تجزیه نحوی برای پاسخ سوال آنها با هم مروری بر مهم‌ترین یافته‌ها و درس‌های آموخته‌شده در محدوده پروژه IMIX ارائه می‌کنند و این کتاب را برای توسعه‌دهندگان دانشگاهی و تجاری سیستم‌های تعامل انسان و ماشین به هلندی یا هر زبان دیگری مورد توجه قرار می‌دهند.

موارد برجسته عبارتند از: ادغام ترکیب ورودی چندوجهی در مدیریت گفتگو (ون شوتن و اوپ دن آکر)، رویکردهای پیشرفته برای استخراج انواع اصطلاحات (ون در پلاس، تیدمان، و فهمی) ؛ Tjong Kim Sang، Hofmann، و De Rijke)، و تلفیقی پاسخ چند وجهی (دو فصل توسط Van Hooijdonk، Bosma، Krahmer، Maes، Theune و Marsi).

IMIX را تماشا کنید. فیلم در www.nwo.nl/imix-film .

همانند واتسون IBM، سیستم IMIX که در کتاب توضیح داده شده است، به سوالاتی که به طور طبیعی مطرح می شوند، پاسخ هایی با عبارت طبیعی می دهد. در جایی که واتسون فقط می تواند گفتار مصنوعی تولید کند، سیستم IMIX نیز گفتار را تشخیص می دهد. از سوی دیگر، واتسون می تواند در مسابقه تلویزیونی برنده شود، در حالی که سیستم IMIX مختص دامنه است و فقط به سوالات پزشکی پاسخ می دهد.

\"هلند همیشه یکی از پیشتازان بوده است. در زمینه کلی فناوری زبان انسانی، و IMIX نیز از این قاعده مستثنی نیست. این یک برنامه بسیار جاه طلبانه بود، با یک عملکرد موفقیت آمیز قابل توجه که منجر به نتایج جالبی شد. تیم ها محدوده قابل توجهی از قلمرو را در حوزه کلی پاسخگویی به سؤالات چندوجهی و اطلاعات پوشش دادند. تحویل، پاسخ به سؤال، استخراج اطلاعات و فن‌آوری‌های مؤلفه.\"

ادوارد هوی، USC، ایالات متحده، جان اوبرلندر، دانشگاه ادینبورگ، اسکاتلند، و نوربرت رایتینگر، DFKI، آلمان

This book is the result of a group of researchers from different disciplines asking themselves one question: what does it take to develop a computer interface that listens, talks, and can answer questions in a domain? First, obviously, it takes specialized modules for speech recognition and synthesis, human interaction management (dialogue, input fusion, andmultimodal output fusion), basic question understanding, and answer finding. While all modules are researched as independent subfields, this book describes the development of state-of-the-art modules and their integration into a single, working application capable of answering medical (encyclopedic) questions such as "How long is a person with measles contagious?" or "How can I prevent RSI?".

The contributions in this book, which grew out of the IMIX project funded by the Netherlands Organisation for Scientific Research, document the development of this system, but also address more general issues in natural language processing, such as the development of multidimensional dialogue systems, the acquisition of taxonomic knowledge from text, answer fusion, sequence processing for domain-specific entity recognition, and syntactic parsing for question answering. Together, they offer an overview of the most important findings and lessons learned in the scope of the IMIX project, making the book of interest to both academic and commercial developers of human-machine interaction systems in Dutch or any other language.

Highlights include: integrating multi-modal input fusion in dialogue management (Van Schooten and Op den Akker), state-of-the-art approaches to the extraction of term variants (Van der Plas, Tiedemann, and Fahmi; Tjong Kim Sang, Hofmann, and De Rijke), and multi-modal answer fusion (two chapters by Van Hooijdonk, Bosma, Krahmer, Maes, Theune, and Marsi).

Watch the IMIX movie at www.nwo.nl/imix-film .

Like IBM's Watson, the IMIX system described in the book gives naturally phrased responses to naturally posed questions. Where Watson can only generate synthetic speech, the IMIX system also recognizes speech. On the other hand, Watson is able to win a television quiz, while the IMIX system is domain-specific, answering only to medical questions.

"The Netherlands has always been one of the leaders in the general field of Human Language Technology, and IMIX is no exception. It was a very ambitious program, with a remarkably successful performance leading to interesting results. The teams covered a remarkable amount of territory in the general sphere of multimodal question answering and information delivery, question answering, information extraction and component technologies."

Eduard Hovy, USC, USA, Jon Oberlander, University of Edinburgh, Scotland, and Norbert Reithinger, DFKI, Germany