Estimating Spoken Dialog System Quality with User Models

سیستم‌های گفتگوی گفتاری پتانسیل ارائه رابط‌های کاربری بسیار شهودی را دارند، زیرا به سیستم‌ها اجازه می‌دهند با استفاده از زبان طبیعی کنترل شوند. با این حال، پیچیدگی ذاتی گفتگوهای زبان طبیعی به این معنی است که آزمایش دقیق سیستم باید از همان ابتدای فرآیند طراحی انجام شود. این کتاب به بررسی این موضوع می‌پردازد که چگونه می‌توان از مدل‌های کاربر برای حمایت از چنین ارزیابی‌های اولیه به دو طریق استفاده کرد: با اجرای شبیه‌سازی گفتگوها، و با تخمین قضاوت‌های کیفی کاربران. ابتدا، یک محیط طراحی که از ایجاد جریان های گفتگو، شبیه سازی دیالوگ ها و تجزیه و تحلیل داده های شبیه سازی شده پشتیبانی می کند، پیشنهاد شده است. چگونه کیفیت شبیه‌سازی‌های کاربر را می‌توان با توجه به مناسب بودن آن‌ها برای ارزیابی تکوینی و جمعی اندازه‌گیری کرد سپس مورد بحث قرار می‌گیرد. بقیه کتاب به مسئله پیش‌بینی قضاوت‌های کیفی کاربران بر اساس داده‌های تعامل اختصاص دارد. رویکردهای مدل‌سازی جدیدی ارائه شده‌اند که گفتگوها را به‌عنوان توالی پردازش می‌کنند و اجازه می‌دهند دانش درباره رفتار قضاوت کاربران در پیش‌بینی‌ها گنجانده شود. همه روش‌های پیشنهادی با مطالعات ارزیابی نمونه تأیید می‌شوند.

Spoken dialog systems have the potential to offer highly intuitive user interfaces, as they allow systems to be controlled using natural language. However, the complexity inherent in natural language dialogs means that careful testing of the system must be carried out from the very beginning of the design process. This book examines how user models can be used to support such early evaluations in two ways: by running simulations of dialogs, and by estimating the quality judgments of users. First, a design environment supporting the creation of dialog flows, the simulation of dialogs, and the analysis of the simulated data is proposed. How the quality of user simulations may be quantified with respect to their suitability for both formative and summative evaluation is then discussed. The remainder of the book is dedicated to the problem of predicting quality judgments of users based on interaction data. New modeling approaches are presented, which process the dialogs as sequences, and which allow knowledge about the judgment behavior of users to be incorporated into predictions. All proposed methods are validated with example evaluation studies.