Computer Vision in the Infrared Spectrum: Challenges and Approaches

ادراک بصری انسان محدود به طیف بصری-نوری است. بینایی ماشین اینطور نیست.دوربین‌های حساس به طیف‌های مادون قرمز مختلف می‌توانند توانایی‌های سیستم‌های خودمختار را افزایش دهند و به‌صورت بصری محیط را به روشی جامع درک کنند. محتوای صحنه مربوطه را می‌توان به‌ویژه در موقعیت‌هایی که حسگرهای سایر روش‌ها با مشکلاتی مانند دوربین بصری-اپتیکال که به منبع روشنایی نیاز دارد، قابل مشاهده است. در نتیجه، نه تنها می توان از اشتباهات انسانی با افزایش سطح اتوماسیون جلوگیری کرد، بلکه خطاهای ناشی از ماشین را نیز می توان کاهش داد که به عنوان مثال، می تواند باعث تصادف یک خودروی خودران با عابر پیاده در شرایط سخت روشنایی شود. علاوه بر این، سیستم‌های حسگر چند طیفی با تصاویر مادون قرمز به عنوان یک روش، منبع غنی اطلاعات هستند و به‌طور قابل‌توجهی می‌توانند استحکام بسیاری از سیستم‌های مستقل را افزایش دهند. کاربردهایی که می توانند از استفاده از تصاویر مادون قرمز بهره مند شوند، از رباتیک تا خودرو و از بیومتریک تا نظارت را شامل می شوند. در این کتاب، مقدمه‌ای مختصر و در عین حال مختصر درباره وضعیت فعلی بینایی کامپیوتر و یادگیری ماشین در طیف مادون قرمز ارائه می‌کنیم. بر اساس وظایف مختلف بینایی کامپیوتری رایج مانند بهبود تصویر، تشخیص اشیا، یا ردیابی شی، ابتدا هر کار را با شروع از ادبیات موجود در طیف بصری-نوری انگیزه می‌دهیم. سپس، تفاوت‌های بین پردازش تصاویر و فیلم‌ها در طیف بصری-اپتیکی و طیف‌های مختلف مادون قرمز را مورد بحث قرار می‌دهیم. مروری بر ادبیات فعلی همراه با چشم اندازی برای هر کار ارائه شده است. علاوه بر این، مجموعه داده های عمومی موجود و مشروح و روش ها و معیارهای ارزیابی رایج ارائه شده است. در فصلی جداگانه، برنامه های کاربردی محبوبی که می توانند از استفاده از تصاویر مادون قرمز به عنوان منبع داده بهره زیادی ببرند، ارائه و مورد بحث قرار گرفته اند. از جمله آنها می توان به تشخیص خودکار هدف، نظارت تصویری یا بیومتریک از جمله تشخیص چهره اشاره کرد. در نهایت، ما با توصیه‌هایی برای تنظیمات حسگر مناسب و الگوریتم‌های پردازش داده‌ها برای برخی وظایف بینایی کامپیوتری نتیجه‌گیری می‌کنیم. ما این کتاب را خطاب به محققان و مهندسین آینده نگر که تازه وارد این حوزه شده‌اند، می‌خوانیم، اما همچنین برای هر کسی که می‌خواهد با چالش‌ها و رویکردهای بینایی رایانه با استفاده از تصاویر یا فیلم‌های مادون قرمز آشنا شود. خوانندگان می توانند کار خود را مستقیماً پس از خواندن کتاب با پشتوانه بسیار جامعی از ادبیات جدید و مرتبط و همچنین مجموعه داده های مادون قرمز مرتبط از جمله چارچوب های ارزیابی موجود، شروع کنند. همراه با کاهش مداوم هزینه‌های دوربین‌های مادون قرمز، زمینه‌های کاربردی جدیدی ظاهر می‌شوند و دید کامپیوتری در طیف مادون قرمز را به فرصتی عالی برای رویارویی با چالش‌های علمی و مهندسی امروزی تبدیل می‌کنند.

Human visual perception is limited to the visual-optical spectrum. Machine vision is not. Cameras sensitive to the different infrared spectra can enhance the abilities of autonomous systems and visually perceive the environment in a holistic way. Relevant scene content can be made visible especially in situations, where sensors of other modalities face issues like a visual-optical camera that needs a source of illumination. As a consequence, not only human mistakes can be avoided by increasing the level of automation, but also machine-induced errors can be reduced that, for example, could make a self-driving car crash into a pedestrian under difficult illumination conditions. Furthermore, multi-spectral sensor systems with infrared imagery as one modality are a rich source of information and can provably increase the robustness of many autonomous systems. Applications that can benefit from utilizing infrared imagery range from robotics to automotive and from biometrics to surveillance. In this book, we provide a brief yet concise introduction to the current state-of-the-art of computer vision and machine learning in the infrared spectrum. Based on various popular computer vision tasks such as image enhancement, object detection, or object tracking, we first motivate each task starting from established literature in the visual-optical spectrum. Then, we discuss the differences between processing images and videos in the visual-optical spectrum and the various infrared spectra. An overview of the current literature is provided together with an outlook for each task. Furthermore, available and annotated public datasets and common evaluation methods and metrics are presented. In a separate chapter, popular applications that can greatly benefit from the use of infrared imagery as a data source are presented and discussed. Among them are automatic target recognition, video surveillance, or biometrics including face recognition. Finally, we conclude with recommendations for well-fitting sensor setups and data processing algorithms for certain computer vision tasks. We address this book to prospective researchers and engineers new to the field but also to anyone who wants to get introduced to the challenges and the approaches of computer vision using infrared images or videos. Readers will be able to start their work directly after reading the book supported by a highly comprehensive backlog of recent and relevant literature as well as related infrared datasets including existing evaluation frameworks. Together with consistently decreasing costs for infrared cameras, new fields of application appear and make computer vision in the infrared spectrum a great opportunity to face nowadays scientific and engineering challenges.