Cage-based Performance Capture

امروزه، دستیابی به انیمیشن‌های با جزئیات بسیار زیاد از اجرای بازیگران زنده به طور فزاینده‌ای آسان‌تر است و ویدیوهای سه بعدی توجه قابل توجهی را در تولید رسانه‌های بصری به خود جلب کرده است. در این کتاب به مشکل استخراج یا به دست آوردن و سپس استفاده مجدد از پارامترسازی غیر صلب برای انیمیشن های مبتنی بر ویدئو می پردازیم. در نگاه اول، یک چالش حیاتی، بازتولید تغییر شکل‌های قابل قبول بدون استخوان با حفظ ویژگی‌های جهانی و محلی سطوح پویا با تعداد محدودی از پارامترهای قابل کنترل، انعطاف‌پذیر و قابل استفاده مجدد است. برای حل این چالش، به لطف پارادایم شناخته شده مبتنی بر قفس، مستقیماً بر کاهش ابعاد جدا شده از پوست تکیه می کنیم. اول، ما به مدل‌سازی مبتنی بر قفس معکوس مقیاس‌پذیر با جابجایی پارادایم سینماتیک معکوس بر روی سطوح دست می‌یابیم. بنابراین، ما یک فرآیند وارونگی قفس را با محدودیت‌های فضای صفحه نمایش مشخص شده توسط کاربر معرفی می‌کنیم. ثانیا، سطوح متحرک غیر صلب را از طریق تبدیل انیمیشن مبتنی بر قفس به دنباله ای از پارامترهای بهینه قفس تبدیل می کنیم. بر اساس این روش پوسته‌سازی مجدد، ما همچنین یک الگوریتم کارتون‌سازی انیمیشن را برای داده‌های چند نمایه از نظر اغراق سطحی مبتنی بر قفس و سبک‌سازی ظاهری مبتنی بر ویدیو ایجاد می‌کنیم. ثالثاً، با انگیزه آرام کردن دانش قبلی در مورد داده‌ها، ما یک رویکرد بدون نظارت امیدوارکننده برای انجام ثبت هندسی مبتنی بر قفس تکراری پیشنهاد می‌کنیم. این طرح ثبت نام جدید با ابرهای نقطه هدف بازسازی شده به دست آمده از ضبط ویدئوی چند نمایش، در ارتباط با یک مش الگوی ایستا و چروکیده سروکار دارد. مهمتر از همه، ما استحکام زیرفضاهای مبتنی بر قفس را به منظور پارامترسازی مجدد سطوح دینامیکی بسیار غیر صلب، بدون نیاز به تغییر شکل‌های ثانویه نشان می‌دهیم. تا جایی که ما می دانیم، این کتاب زمینه عکسبرداری عملکرد مبتنی بر قفس را باز می کند.

Nowadays, highly-detailed animations of live-actor performances are increasingly easier to acquire and 3D Video has reached considerable attentions in visual media production. In this book, we address the problem of extracting or acquiring and then reusing non-rigid parametrization for video-based animations. At first sight, a crucial challenge is to reproduce plausible boneless deformations while preserving global and local captured properties of dynamic surfaces with a limited number of controllable, flexible and reusable parameters. To solve this challenge, we directly rely on a skin-detached dimension reduction thanks to the well-known cage-based paradigm. First, we achieve Scalable Inverse Cage-based Modeling by transposing the inverse kinematics paradigm on surfaces. Thus, we introduce a cage inversion process with user-specified screen-space constraints. Secondly, we convert non-rigid animated surfaces into a sequence of optimal cage parameters via Cage-based Animation Conversion. Building upon this reskinning procedure, we also develop a well-formed Animation Cartoonization algorithm for multi-view data in term of cage-based surface exaggeration and video-based appearance stylization. Thirdly, motivated by the relaxation of prior knowledge on the data, we propose a promising unsupervised approach to perform Iterative Cage-based Geometric Registration. This novel registration scheme deals with reconstructed target point clouds obtained from multi-view video recording, in conjunction with a static and wrinkled template mesh. Above all, we demonstrate the strength of cage-based subspaces in order to reparametrize highly non-rigid dynamic surfaces, without the need of secondary deformations. To the best of our knowledge this book opens the field of Cage-based Performance Capture.