Visual Question Answering: From Theory to Application

پاسخ‌گویی به سؤالات بصری (VQA) معمولاً ورودی‌های بصری مانند تصویر و ویدیو را با یک سؤال زبان طبیعی در مورد ورودی ترکیب می‌کند و یک پاسخ زبان طبیعی را به عنوان خروجی ایجاد می‌کند. طبیعتاً این یک مشکل تحقیقاتی چند رشته‌ای است که شامل بینایی رایانه (CV)، پردازش زبان طبیعی (NLP)، بازنمایی دانش و استدلال (KR) و غیره است.

بیشتر VQA یک تعهد بلندپروازانه است، زیرا باید بر چالش‌های درک کلی تصویر و وظیفه پاسخگویی به سؤال و همچنین مشکلات ناشی از استفاده از پایگاه‌های داده در مقیاس بزرگ با ورودی‌های با کیفیت ترکیبی غلبه کند. با این حال، با ظهور یادگیری عمیق (DL) و وجود تکنیک‌های پیشرفته در CV و NLP و در دسترس بودن مجموعه داده‌های مرتبط با مقیاس بزرگ، اخیراً شاهد پیشرفت‌های عظیمی در VQA بوده‌ایم، با سیستم‌های بیشتر و نتایج امیدوارکننده‌ای در حال ظهور.

این کتاب یک مرور کلی از VQA ارائه می‌کند که نظریه‌های اساسی، مدل‌ها، مجموعه داده‌ها و جهت‌های آینده امیدوارکننده را پوشش می‌دهد. با توجه به گستردگی آن، می توان از آن به عنوان کتاب درسی بینایی کامپیوتری و پردازش زبان طبیعی، به ویژه برای محققان و دانشجویان در زمینه پاسخگویی بصری به سوالات استفاده کرد. همچنین مدل‌های کلیدی مورد استفاده در VQA را برجسته می‌کند.

Visual Question Answering (VQA) usually combines visual inputs like image and video with a natural language question concerning the input and generates a natural language answer as the output. This is by nature a multi-disciplinary research problem, involving computer vision (CV), natural language processing (NLP), knowledge representation and reasoning (KR), etc.

Further, VQA is an ambitious undertaking, as it must overcome the challenges of general image understanding and the question-answering task, as well as the difficulties entailed by using large-scale databases with mixed-quality inputs. However, with the advent of deep learning (DL) and driven by the existence of advanced techniques in both CV and NLP and the availability of relevant large-scale datasets, we have recently seen enormous strides in VQA, with more systems and promising results emerging.

This book provides a comprehensive overview of VQA, covering fundamental theories, models, datasets, and promising future directions. Given its scope, it can be used as a textbook on computer vision and natural language processing, especially for researchers and students in the area of visual question answering. It also highlights the key models used in VQA.