Animating Virtual Speakers or Singers from Audio - Lip-Synching Facial Animation

دسته بندی: سازمان و پردازش داده ها
ویرایش:  
نویسندگان: Bailly G.,  Fagel S. Theobald B.-J. (eds.)  
سری:  
 
ناشر:  
سال نشر:  
تعداد صفحات: 66 
زبان: English 
فرمت فایل : PDF (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) 
حجم فایل: 11 مگابایت 

قیمت کتاب (تومان) : 42,000

مجله EURASIP در مورد پردازش صدا، گفتار و موسیقی، 2009، -66 ص. هدف این شماره ویژه ارائه شرح مفصلی از وضعیت سیستم‌های هنری برای متحرک کردن چهره‌ها در حین سخنرانی، و شناسایی تکنیک‌های جدیدی که اخیراً از جوامع پژوهشی گفتار سمعی و بصری و گرافیک رایانه‌ای پدید آمده‌اند. این شماره ویژه ادامه اولین چالش ترکیبی گفتار بصری LIPS است که به عنوان یک جلسه ویژه در INTERSPEECH 2008 در بریزبن، استرالیا برگزار شد. به عنوان انگیزه ای برای شماره ویژه حاضر، ما در مورد چالش LIPS با توجه به تکنیک های سنتز و مهمتر از آن روش ها و نتایج ارزیابی ذهنی گزارش خواهیم کرد.
انیمیشن گفتار چهره را می توان در طیف گسترده ای از کاربردها یافت. از جمله تولید فیلم و بازی های رایانه ای، وسایل کمکی ارتباطی و ابزارهای گفتار درمانی، نرم افزارهای آموزشی و انواع سیستم های اطلاعاتی دیگر. تقاضا برای انیمیشن صورت تا حد زیادی با برنامه متفاوت است. دو بعد اصلی کیفیت انیمیشن گفتار را می توان شناسایی کرد: جنبه های زیبایی شناختی و عملکردی. طبیعی بودن و جذابیت بیشتر به زیبایی شناسی مرتبط است. در حالی که درک و تلاش گوش دادن عملکرد را مشخص می کند. ابعاد متعامد هستند: سیستم‌های پویانمایی با طبیعی بودن بالا وجود دارند که خروجی آن‌ها را نمی‌توان از ویدیوی طبیعی متمایز کرد در حالی که درک آن می‌تواند بسیار کم باشد. برعکس، سیستم‌هایی با ظاهر کاملاً مصنوعی وجود دارند که درک قابل فهمی قابل مقایسه با یک بلندگوی طبیعی ارائه می‌دهند. متحرک سازی سخنرانان مجازی یا خوانندگان از طریق صدا: انیمیشن صورت همگام سازی لب
بهینه سازی سیستم سر صحبت بر اساس تصویر
ترکیب بر اساس مدل حرکات گفتار بصری از ویدئوی سه بعدی
همگام سازی لب با استفاده از مدل های بیان، شکل و ظاهر خاص بلندگو
SynFace—Speech -تحرکات صورت محور برای پشتیبانی از گفتار-خواندن مجازی
درباره اهمیت انسجام سمعی و بصری برای کیفیت درک شده گفتار بصری ترکیبی

EURASIP Journal on Audio, Speech, and Music Processing, 2009, -66 pp. The aim of this special issue is to provide a detailed description of state-of-the-art systems for animating faces during speech, and identify new techniques that have recently emerged from both the audiovisual speech and computer graphics research communities. This special issue is a followup to the first LIPS Visual Speech Synthesis Challenge held as a special session at INTERSPEECH 2008 in Brisbane, Australia. As a motivation for the present special issue, we will report on the LIPS Challenge with respect to the synthesis techniques, andmore importantly the methods and results of the subjective evaluation.
Facial speech animation can be found in a wide range of applications, among them the production of films and computer games, communication aids and tools for speech therapy, educational software, and various other kinds of information systems. The demands on facial animation differ largely with the application. Two main dimensions of the quality of speech animation can be identified: aesthetical and functional aspects. Naturalness and appeal are more connected to aesthetics; whilst intelligibility and listening effort define the function. The dimensions are orthogonal: there are animation systems of high naturalness whose output cannot be distinguished fromnatural video whilst the intelligibility can be very low. Conversely there are systems of clearly artificial appearance that provide intelligibility comparable to that of a natural speaker. Animating Virtual Speakers or Singers from Audio: Lip-Synching Facial Animation
Optimization of an Image-Based Talking Head System
Model-Based Synthesis of Visual Speech Movements from 3D Vide
Lip-Synching Using Speaker-Specific Articulation, Shape and Appearance Models
SynFace—Speech-Driven Facial Animation for Virtual Speech-Reading Support
On the Importance of Audiovisual Coherence for the Perceived Quality of Synthesized Visual Speech