Animation and Performance Capture Using Digitized Models

نسل واقع گرایانه دوتایی مجازی بازیگران دنیای واقعی، سال هاست که کانون تحقیقات گرافیک کامپیوتری بوده است. با این حال، برخی از مشکلات هنوز حل نشده باقی مانده اند: تولید انیمیشن های شخصیتی با استفاده از خط لوله سنتی مبتنی بر اسکلت هنوز زمان بر است، ضبط عملکرد غیرفعال بازیگران انسانی با پوشیدن لباس های روزانه خودسرانه هنوز چالش برانگیز است، و تا کنون، تنها مقدار محدودی وجود دارد. تکنیک‌های پردازش و اصلاح انیمیشن‌های مش، برخلاف تعداد زیادی از تکنیک‌های مبتنی بر اسکلت. در این کار، ما راه حل های الگوریتمی برای هر یک از این مسائل را پیشنهاد می کنیم. ابتدا، دو جایگزین کارآمد مبتنی بر مش برای ساده‌سازی فرآیند کلی انیمیشن کاراکتر پیشنهاد شده‌اند. اگرچه مفهوم اسکلت سینماتیک را کنار گذاشتیم، هر دو تکنیک را می توان مستقیماً در خط لوله سنتی ادغام کرد و انیمیشن هایی با تغییر شکل های واقعی بدن ایجاد کرد. پس از آن، سه روش ضبط عملکرد غیرفعال ارائه می‌شوند که از یک مدل تغییر شکل‌پذیر به عنوان نمایش صحنه زیرین استفاده می‌کنند. این تکنیک‌ها می‌توانند به طور مشترک هندسه، حرکت، و ظاهر سطح بافتی سوژه‌هایی را که لباس‌های گشاد و روزمره می‌پوشند، منسجم مکانی-زمانی را بازسازی کنند. علاوه بر این، بازسازی های با کیفیت بالا به ما امکان می دهد ویدیوهای سه بعدی واقعی را ارائه دهیم. در پایان، دو الگوریتم جدید برای پردازش انیمیشن های مش توضیح داده شده است. اولی تبدیل تمام خودکار یک انیمیشن مش به یک انیمیشن مبتنی بر اسکلت را امکان پذیر می کند و دومی به طور خودکار یک انیمیشن مش را به یک کولاژ انیمیشن تبدیل می کند، یک سبک هنری جدید برای رندر کردن انیمیشن ها. روش های شرح داده شده در این کتاب را می توان به عنوان راه حلی برای مشکلات خاص یا بلوک های ساختمانی مهم برای کاربرد بزرگتر در نظر گرفت. به طور کلی، آنها یک سیستم قدرتمند را برای ضبط دقیق، دستکاری و ارائه واقعی عملکردهای انسان در دنیای واقعی تشکیل می دهند که از قابلیت های بسیاری از تکنیک های ضبط مرتبط فراتر می رود. به این ترتیب، ما می‌توانیم به درستی حرکت، جزئیات متغیر با زمان و اطلاعات بافت یک انسان واقعی در حال اجرا را ضبط کنیم و آن را به یک انیمیشن شخصیتی کاملاً جعلی تبدیل کنیم که می‌تواند مستقیماً توسط یک انیماتور استفاده شود یا از آن استفاده کند. برای نمایش واقعی بازیگر از دیدگاه‌های دلخواه.

The realistic generation of virtual doubles of real-world actors has been the focus of computer graphics research for many years. However, some problems still remain unsolved: it is still time-consuming to generate character animations using the traditional skeleton-based pipeline, passive performance capture of human actors wearing arbitrary everyday apparel is still challenging, and until now, there is only a limited amount of techniques for processing and modifying mesh animations, in contrast to the huge amount of skeleton-based techniques. In this work, we propose algorithmic solutions to each of these problems. First, two efficient mesh-based alternatives to simplify the overall character animation process are proposed. Although abandoning the concept of a kinematic skeleton, both techniques can be directly integrated in the traditional pipeline, generating animations with realistic body deformations. Thereafter, three passive performance capture methods are presented which employ a deformable model as underlying scene representation. The techniques are able to jointly reconstruct spatio-temporally coherent time-varying geometry, motion, and textural surface appearance of subjects wearing loose and everyday apparel. Moreover, the acquired high-quality reconstructions enable us to render realistic 3D Videos. At the end, two novel algorithms for processing mesh animations are described. The first one enables the fully-automatic conversion of a mesh animation into a skeletonbased animation and the second one automatically converts a mesh animation into an animation collage, a new artistic style for rendering animations. The methods described in this book can be regarded as solutions to specific problems or important building blocks for a larger application. As a whole, they form a powerful system to accurately capture, manipulate and realistically render real-world human performances, exceeding the capabilities of many related capture techniques. By this means, we are able to correctly capture the motion, the time-varying details and the texture information of a real human performing, and transform it into a fully-rigged character animation, that can be directly used by an animator, or use it to realistically display the actor from arbitrary viewpoints.