The Technology of Binaural Understanding

صدا، بدون معنا، برای ما مهم نیست. این صدا اطلاعاتی است که به مغز کمک می کند تا محیط خود را درک کند. صدا و معنای زیرین آن همیشه با زمان و مکان مرتبط است. هیچ صدایی بدون ویژگی های مکانی وجود ندارد و مغز همیشه این اطلاعات را در چارچوب زمانی- مکانی سازماندهی می کند. این کتاب به درک اهمیت معنا برای جنبه‌های فضایی و بیشتر مرتبط با شنوایی، از جمله استنتاج متقابل اختصاص داده شده است.
افراد، زمانی که در معرض محرک‌های صوتی قرار می‌گیرند، مستقیماً به آنچه می‌شنوند واکنش نشان نمی‌دهند، بلکه به آن واکنش نشان می‌دهند. آنچه می شنوند برای آنها معنی دارد.
این اصل نشانه شناختی ممکن است همیشه صدق نکند، برای مثال، زمانی که واکنش ها بازتابی هستند. اما، در جایی که کاربرد دارد، یک چالش بزرگ برای سازندگان مدل‌های سیستم شنوایی ایجاد می‌کند. به عنوان مثال، یک مدل شنوایی را در نظر بگیرید که قرار است بر روی یک عامل رباتیک برای اقدامات جستجو و نجات مستقل اجرا شود. یا به سیستمی فکر کنید که بتواند در مورد کیفیت صدای سیستم های بازتولید چند رسانه ای قضاوت کند. بلافاصله مشخص می‌شود که چنین سیستمی به قابلیت‌های شناختی، از جمله دانش ذاتی قابل توجهی نیاز دارد. این عملکردها، سیستم شنوایی یک جفت اندام حسی، دو گوش، و ابزاری برای انجام پیش پردازش کافی سیگنال های ارائه شده توسط گوش را فراهم می کند. این در قسمت های زیر قشری سیستم شنوایی تحقق می یابد. در عنوان کتاب قبلی، اصطلاح گوش دادن دو گوش برای نشان دادن تمرکز بر عملکردهای زیر قشر مغز استفاده شده است. روان آکوستیک و پردازش سیگنال شنوایی به طور قابل توجهی به این ناحیه کمک می کند.

سیگنال های از پیش پردازش شده سپس به قسمت های قشری سیستم شنوایی فرستاده می شوند، جایی که، از جمله موارد دیگر، تشخیص، طبقه بندی، محلی سازی، تجزیه و تحلیل صحنه، تخصیص معنا وجود دارد. ارزیابی کیفیت و برنامه ریزی اقدام صورت می گیرد. همچنین، اطلاعات از روش های حسی مختلف در این سطح یکپارچه شده است. بین نواحی زیر قشری و قشری سیستم شنوایی، حلقه‌های بازخورد متعددی وجود دارد که در نهایت از پیچیدگی و انعطاف پذیری بالای سیستم شنوایی پشتیبانی می‌کند.

کتاب فعلی بر روی این عملکردهای شناختی تمرکز دارد. به جای پردازش سیگنال ها، پردازش نمادها اکنون وظیفه مدل سازی غالب است. کمک های قابل توجهی در این زمینه بر اساس دانش به دست آمده توسط روانشناسی شناختی است. کلمه کلیدی درک دو گوش در عنوان کتاب مشخص کننده این تغییر است.

هر دو کتاب، فناوری گوش دادن دو گوش و کتاب فعلی، توسط AABBA، یک گروه تحقیقاتی باز که به توسعه و کاربرد اختصاص داده شده است، تحریک و پشتیبانی شده است. مدل های شنوایی دو گوش کتاب حاضر به فناوری هایی اختصاص داده شده است که به توضیح، تسهیل، اعمال و پشتیبانی از جنبه های مختلف درک دو گوش کمک می کند. این در پنج بخش سازماندهی شده است که هر کدام شامل سه تا شش فصل است تا یک نمای کلی از این حوزه در حال ظهور ارائه دهد. هر فصل به طور کامل توسط حداقل دو کارشناس خارجی ناشناس بررسی شد.

قسمت اول به اثرات روانی و فیزیولوژیکی شکل‌دهی و تفسیر اجسام شنیداری و همچنین مدل‌های زیربنایی می‌پردازد. مفاهیم اساسی بازخورد شنیداری بازتابی و بازتابی معرفی شده است. مکانیسم های توجه دو گوش و تغییر توجه پوشش داده شده است - و همچنین اینکه چگونه قوانین گشتالت شنوایی درک دو گوش را تسهیل می کند. یک معماری کلی تخته سیاه به عنوان نمونه ای از این که چگونه ماشین ها می توانند شکل دادن و تفسیر اشیاء شنیداری را برای شبیه سازی گوش دادن شناختی انسان یاد بگیرند، معرفی شده است.

بخش دوم، پیکربندی و درک فضای شنیداری، بر درک انسان از پیچیده تمرکز دارد. محیط های سه بعدی - مبانی روانی و بیولوژیکی تشکیل فضای شنوایی را پوشش می دهد. این بخش بیشتر به مکانیسم‌های انسانی مورد استفاده برای پردازش اطلاعات و تعامل در محیط‌های پر طنین پیچیده، مانند سالن‌های کنسرت و جنگل‌ها می‌پردازد، و به‌علاوه بررسی می‌کند که چگونه سیستم شنوایی می‌تواند یاد بگیرد که این محیط‌ها را درک کند و با آنها سازگار شود.

بخش سوم به پردازش استنتاج متقاطع اختصاص دارد و مکانیسم‌های اساسی انسانی مورد استفاده برای ادغام نشانه‌های شنیداری با نشانه‌های سایر روش‌ها برای بومی‌سازی و شکل‌گیری اشیاء ادراکی را برجسته می‌کند. این بخش همچنین چارچوبی کلی برای درک چگونگی شبیه‌سازی و رندر کردن صحنه‌های چندوجهی پیچیده ارائه می‌کند.

بخش چهارم، ارزیابی کیفیت صحنه شنیداری و درک گفتار، بر جنبه‌های شکل‌دهی شیء گوش دادن به دو گوش تمرکز می‌کند. درك كردن. به مکانیسم های شناختی مربوط به درک گفتار و پردازش اطلاعات غیرکلامی مانند کیفیت صدا و کیفیت تجربه می پردازد. قضاوت زیبایی شناختی اتاق ها نیز در این زمینه مورد بحث قرار می گیرد. مدل‌هایی که فرآیندها و عملکرد زیربنایی انسانی را شبیه‌سازی می‌کنند، علاوه بر تکنیک‌هایی برای رندر کردن محیط‌های مجازی که می‌توان برای آزمایش این مدل‌ها استفاده کرد، پوشش داده می‌شود.

بخش پنجم به کاربرد مکانیسم‌های شناختی در فناوری صوتی می‌پردازد. این نشان می‌دهد که چگونه می‌توان از مکانیسم‌های شناختی برای ایجاد توهمات شنوایی فضایی با استفاده از فناوری‌های دو گوش و سایر فناوری‌های صوتی سه بعدی استفاده کرد. علاوه بر این، نحوه استفاده از فناوری‌های دوگوشی شناختی برای بهبود عملکرد انسان در نمایش‌های شنیداری و توسعه فناوری‌های شنیداری جدید برای روبات‌های تعاملی را پوشش می‌دهد. این کتاب با استفاده از فناوری های شناختی دو گوش در نسل بعدی سمعک ها به پایان می رسد.

Sound, devoid of meaning, would not matter to us. It is the information sound conveys that helps the brain to understand its environment. Sound and its underlying meaning are always associated with time and space. There is no sound without spatial properties, and the brain always organizes this information within a temporal–spatial framework. This book is devoted to understanding the importance of meaning for spatial and related further aspects of hearing, including cross-modal inference.
People, when exposed to acoustic stimuli, do not react directly to what they hear but rather to what they hear means to them.
This semiotic maxim may not always apply, for instance, when the reactions are reflexive. But, where it does apply, it poses a major challenge to the builders of models of the auditory system. Take, for example, an auditory model that is meant to be implemented on a robotic agent for autonomous search-&-rescue actions. Or think of a system that can perform judgments on the sound quality of multimedia-reproduction systems. It becomes immediately clear that such a system needs

• Cognitive capabilities, including substantial inherent knowledge

• The ability to integrate information across different sensory modalities

To realize these functions, the auditory system provides a pair of sensory organs, the two ears, and the means to perform adequate preprocessing of the signals provided by the ears. This is realized in the subcortical parts of the auditory system. In the title of a prior book, the term Binaural Listening is used to indicate a focus on sub-cortical functions. Psychoacoustics and auditory signal processing contribute substantially to this area.

The preprocessed signals are then forwarded to the cortical parts of the auditory system where, among other things, recognition, classification, localization, scene analysis, assignment of meaning, quality assessment, and action planning take place. Also, information from different sensory modalities is integrated at this level. Between sub-cortical and cortical regions of the auditory system, numerous feedback loops exist that ultimately support the high complexity and plasticity of the auditory system.

The current book concentrates on these cognitive functions. Instead of processing signals, processing symbols is now the predominant modeling task. Substantial contributions to the field draw upon the knowledge acquired by cognitive psychology. The keyword Binaural Understanding in the book title characterizes this shift.

Both books, The Technology of Binaural Listening and the current one, have been stimulated and supported by AABBA, an open research group devoted to the development and application of models of binaural hearing. The current book is dedicated to technologies that help explain, facilitate, apply, and support various aspects of binaural understanding. It is organized into five parts, each containing three to six chapters in order to provide a comprehensive overview of this emerging area. Each chapter was thoroughly reviewed by at least two anonymous, external experts.

The first part deals with the psychophysical and physiological effects of Forming and Interpreting Aural Objects as well as the underlying models. The fundamental concepts of reflexive and reflective auditory feedback are introduced. Mechanisms of binaural attention and attention switching are covered—as well as how auditory Gestalt rules facilitate binaural understanding. A general blackboard architecture is introduced as an example of how machines can learn to form and interpret aural objects to simulate human cognitive listening.

The second part, Configuring and Understanding Aural Space, focuses on the human understanding of complex three-dimensional environments—covering the psychological and biological fundamentals of auditory space formation. This part further addresses the human mechanisms used to process information and interact in complex reverberant environments, such as concert halls and forests, and additionally examines how the auditory system can learn to understand and adapt to these environments.

The third part is dedicated to Processing Cross-Modal Inference and highlights the fundamental human mechanisms used to integrate auditory cues with cues from other modalities to localize and form perceptual objects. This part also provides a general framework for understanding how complex multimodal scenes can be simulated and rendered.

The fourth part, Evaluating Aural-scene Quality and Speech Understanding, focuses on the object-forming aspects of binaural listening and understanding. It addresses cognitive mechanisms involved in both the understanding of speech and the processing of nonverbal information such as Sound Quality and Quality-of- Experience. The aesthetic judgment of rooms is also discussed in this context. Models that simulate underlying human processes and performance are covered in addition to techniques for rendering virtual environments that can then be used to test these models.

The fifth part deals with the Application of Cognitive Mechanisms to Audio Technology. It highlights how cognitive mechanisms can be utilized to create spatial auditory illusions using binaural and other 3D-audio technologies. Further, it covers how cognitive binaural technologies can be applied to improve human performance in auditory displays and to develop new auditory technologies for interactive robots. The book concludes with the application of cognitive binaural technologies to the next generation of hearing aids.