Cognitively Inspired Audiovisual Speech Filtering: Towards an Intelligent, Fuzzy Based, Multimodal, Two-Stage Speech Enhancement System

این کتاب خلاصه‌ای از پایه‌های الهام‌گرفته از شناختی را در پس تقویت گفتار چندوجهی ارائه می‌کند، که رابطه بین روش‌های صوتی و بصری در گفتار و همچنین تحقیقات اخیر در مورد همبستگی گفتار سمعی و بصری را پوشش می‌دهد. تعدادی از رویکردهای فیلتر گفتار سمعی و بصری که از این رابطه استفاده می کنند نیز مورد بحث قرار می گیرند. یک سیستم تقویت گفتار چندوجهی جدید، با استفاده از اطلاعات بصری و صوتی برای فیلتر کردن گفتار، ارائه شده است، و این کتاب گسترش این سیستم را با استفاده از منطق فازی برای نشان دادن اجرای اولیه یک سیستم مستقل، تطبیقی ​​و زمینه بررسی می‌کند. سیستم چندوجهی آگاه این کار همچنین چالش‌های ارائه‌شده در رابطه با آزمایش چنین سیستمی، محدودیت‌های بسیاری از مجموعه‌های گفتاری سمعی و بصری فعلی را مورد بحث قرار می‌دهد و رویکردی مناسب برای توسعه مجموعه‌ای طراحی شده برای آزمایش این سیستم جدید فیلتر گفتار با الهام از شناختی را مورد بحث قرار می‌دهد.

This book presents a summary of the cognitively inspired basis behind multimodal speech enhancement, covering the relationship between audio and visual modalities in speech, as well as recent research into audiovisual speech correlation. A number of audiovisual speech filtering approaches that make use of this relationship are also discussed. A novel multimodal speech enhancement system, making use of both visual and audio information to filter speech, is presented, and this book explores the extension of this system with the use of fuzzy logic to demonstrate an initial implementation of an autonomous, adaptive, and context aware multimodal system. This work also discusses the challenges presented with regard to testing such a system, the limitations with many current audiovisual speech corpora, and discusses a suitable approach towards development of a corpus designed to test this novel, cognitively inspired, speech filtering system.