Multimodal Corpora: From Models of Natural Interaction to Systems and Applications

تحقیق مبتنی بر تجربی در چندوجهی با جمع‌آوری داده‌های ویدیویی مرتبط با یک سؤال تحقیقی خاص شروع می‌شود. سپس این داده‌ها باید توسط کدنویس‌های انسانی غنی‌سازی شوند، که پیکره را حاشیه‌نویسی می‌کنند و همچنین ارتباطات بالقوه بین روش‌ها (مانند صورت، ژست، گفتار، وضعیت بدن و غیره) را بررسی می‌کنند. سپس داده ها باید برای سازگاری با استفاده از معیارهای کمی اعتبار سنجی شوند - تجزیه و تحلیل سیستماتیک رفتارهای چندوجهی مشاهده شده مشخصه اصلی مجموعه های چندوجهی است. برای کارهای تحلیل و مدل‌سازی، ابزارهای تحلیل کمی و کیفی اکتشافی برای مرور، مشاهده، استخراج و مدل‌سازی مورد نیاز است. در عین حال، بعد بین فرهنگی باید در نظر گرفته شود، زیرا تعامل چندوجهی همیشه در یک محیط اجتماعی تعبیه شده است.

این نظرسنجی پیشرفته، نتایج علمی کارگاه بین المللی در مورد را مستند می کند. \"چند وجهی: از مدل‌های تعامل طبیعی تا سیستم‌ها و کاربردها\"، که همزمان با ششمین کنفرانس بین‌المللی منابع و ارزیابی زبان (LREC)، در 27 می 2008، در مراکش، مراکش برگزار شد. این پژوهش‌های فعلی را از زمینه‌های متنوعی مانند روان‌شناسی، هوش مصنوعی، روباتیک، پردازش سیگنال، زبان‌شناسی محاسباتی، و تعامل انسان و رایانه ارائه می‌کند. از پروژه های بزرگ بین المللی چند وجهی مانند AMI و SmartWeb. همه مقالات تحت یک فرآیند بررسی ویژه برای این جلد قرار گرفتند که منجر به بازنگری و توسعه قابل توجهی بر اساس توصیه کارشناسان شد.

Empirically based research in multimodality starts with the collection of video data relevant for a specific research question. This data must then be enriched by human coders, who annotate the corpus and who also explore the potential interconnections between modalities (e.g., face, gesture, speech, posture, etc.). The data must then be validated for consistency using quantitative measures -- systematic analysis of the observed multimodal behaviors is the central characteristic of multimodal corpora. For analysis and modeling tasks, exploratory qualitative and quantitative analysis tools are needed for browsing, viewing, extraction, and modeling. At the same time, the intercultural dimension must be taken into account, since multimodal interaction is always embedded in a social setting.

This state-of-the-art survey documents the scientific outcome of the International Workshop on "Multimodal Corpora: From Models of Natural Interaction to Systems and Applications", held in conjunction with the 6th International Conference for Language Resources and Evaluation (LREC), on May 27, 2008, in Marrakech, Morocco. It presents current research from fields as diverse as psychology, artificial intelligence, robotics, signal processing, computational linguistics, and human-computer interaction.

The 6 selected workshop contributions are complemented by 7 invited research articles, including contributions from major international multimodal corpus projects like AMI and SmartWeb. All papers underwent a special review process for this volume, resulting in significant revisions and extensions based on the experts' advice.