Video genre categorization and representation using audio-visual information

دسته بندی: سازمان و پردازش داده ها
ویرایش:  
نویسندگان: Ionescu B.E.  
سری:  
 
ناشر:  
سال نشر:  
تعداد صفحات: 41 
زبان: English 
فرمت فایل : PDF (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) 
حجم فایل: 1 مگابایت 

قیمت کتاب (تومان) : 41,000

منتشر شده در \"Journal of Electronic Imaging 21, 2 (2012) 1-17\" 26 فوریه 2012، ارسال شده به مجله بین المللی SPIE در مورد تصویربرداری الکترونیکی. کلمات کلیدی: طبقه بندی ژانر ویدیویی، توصیفگرهای صوتی در سطح بلوک، تقسیم بندی کنش، درک رنگ، آمار هندسه خطوط، نمایه سازی ویدیو. Bogdan Ionescu، Christoph Rasche، Constantin Vertan، دانشگاه «Politehnica» بخارست، 061071، رومانی، {bionescu, rasche, cvertan}@alpha.imag.pub.ro. Klaus Seyerlehner، DCP، دانشگاه یوهانس کپلر، A-4040 اتریش، klaus.seyerlehner@jku.at. پاتریک لمبرت لاپی اتی، LISTIC، پلی‌تک آنسی‌چمبری، دانشگاه ساووی، 74944 فرانسه patrick.lambert@univ-savoie.fr. ما یک فایل صوتی پیشنهاد می‌کنیم رویکرد بصری به طبقه‌بندی ژانر ویدیویی با استفاده از توصیفگرهای محتوا که از اطلاعات صوتی، رنگی، زمانی و حاشیه‌ای استفاده می‌کند. اطلاعات صوتی در سطح بلوک استخراج می‌شوند که مزیت ضبط اطلاعات زمانی محلی را دارد. در سطح ساختار زمانی، محتوای کنش را در ارتباط با ادراک انسان در نظر می گیریم. درک رنگ با استفاده از آمار توزیع رنگ، رنگ های اولیه، ویژگی های رنگ و روابط بین رنگ ها کمی سازی می شود. علاوه بر این، ما آمار هندسه خطوط و روابط را محاسبه می کنیم. سهم اصلی کار ما در استفاده از قدرت توصیفی ترکیب این توصیفگرها در طبقه بندی ژانر نهفته است. اعتبارسنجی بر روی بیش از 91 ساعت فیلم ویدئویی شامل 7 ژانر ویدئویی رایج انجام شد که میانگین دقت و نسبت‌های یادآوری به ترتیب 87% تا 100% و 77% تا 100% و میانگین طبقه‌بندی صحیح کلی تا 97% را به دست آورد. همچنین، مقایسه تجربی به عنوان بخشی از کمپین محک زنی MediaEval 2011، کارایی توصیفگرهای صوتی و تصویری پیشنهادی را نسبت به سایر رویکردهای موجود نشان داد. در نهایت، ما یک پلت فرم مرور ویدیوی سه بعدی را مورد بحث قرار می دهیم که فیلم ها را با استفاده از مختصات مبتنی بر ویژگی نمایش می دهد و بنابراین آنها را بر اساس ژانر گروه بندی می کند.

Published in "Journal of Electronic Imaging 21, 2 (2012) 1-17" February 26, 2012, Submitted to SPIE International Journal on Electronic Imaging. Keywords: video genre classification, block-level audio descriptors, action segmentation, color perception, statistics of contour geometry, video indexing. Bogdan Ionescu, Christoph Rasche, Constantin Vertan, University «Politehnica» of Bucharest, 061071, Romania, {bionescu, rasche, cvertan}@alpha.imag.pub.ro. Klaus Seyerlehner , DCP, Johannes Kepler University, A-4040 Austria, klaus.seyerlehner@jku.at. Patrick Lambert Lapi-Etti, LISTIC, Polytech Annecy-Chambery, University of Savoie, 74944 France patrick.lambert@univ-savoie.fr. We propose an audio-visual approach to video genre classification using content descriptors that exploit audio, color, temporal, and contour information. Audio information is extracted at block-level, which has the advantage of capturing local temporal information. At the temporal structure level, we consider action content in relation to human perception. Color perception is quantified using statistics of color distribution, elementary hues, color properties, and relationships between colors. Further, we compute statistics of contour geometry and relationships. The main contribution of our work lies in harnessing the descriptive power of the combination of these descriptors in genre classification. Validation was carried out on over 91 h of video footage encompassing 7 common video genres, yielding average precision and recall ratios of 87% to 100% and 77% to 100%, respectively, and an overall average correct classification of up to 97%. Also, experimental comparison as part of the MediaEval 2011 benchmarking campaign demonstrated the efficiency of the proposed audio-visual descriptors over other existing approaches. Finally, we discuss a 3-D video browsing platform that displays movies using feature-based coordinates and thus regroups them according to genre.