Speech Enhancement in the STFT Domain

این کار به این مشکل در دامنه تبدیل فوریه کوتاه مدت (STFT) می پردازد. بسته به تعداد میکروفون های مورد استفاده و اینکه آیا همبستگی میان فریم یا بین باند در نظر گرفته می شود، مشکل کلی را به پنج دسته اصلی تقسیم می کنیم. دسته اول به مسئله تک کاناله می پردازد که در آن ضرایب STFT در فریم ها و باندهای فرکانسی مختلف مستقل فرض می شوند. در این حالت، فیلتر کاهش نویز در هر باند فرکانسی اساساً یک سود واقعی است. از آنجایی که افزایش نسبت سیگنال به نویز (SNR) را برای هر زیر باند و فریم مشخصی بهبود نمی‌بخشد، کاهش نویز اساساً با بلند کردن زیر باندها و فریم‌هایی که نویز کمتری دارند و در عین حال سنگین کردن آنهایی که نویز بیشتری دارند، به دست می‌آید. دسته دوم نیز به مشکل تک کانال مربوط می شود. تفاوت این است که در حال حاضر همبستگی میان فریم در نظر گرفته شده و در هر زیر باند به جای فقط یک بهره، یک فیلتر اعمال می شود.
مزیت استفاده از همبستگی بین فریم این است که می‌توانیم نه تنها SNR کامل باند طولانی مدت، بلکه SNR فریم فریم را نیز بهبود ببخشیم. کلاس های سوم و چهارم مشکل کاهش نویز چند کاناله در حوزه STFT را با و بدون همبستگی میان قاب مورد بحث قرار می دهند. در آخرین دسته، همبستگی بین باند را در طراحی فیلترهای کاهش نویز در نظر می گیریم. ما اصل اساسی را برای مورد تک کانالی به عنوان مثال نشان می دهیم، در حالی که این مفهوم را می توان به سناریوهای دیگر تعمیم داد. در همه دسته‌ها، ما توابع هزینه بهینه‌سازی مختلفی را پیشنهاد می‌کنیم که از آنها فیلترهای بهینه را استخراج می‌کنیم و همچنین معیارهای عملکردی را تعریف می‌کنیم که به تجزیه و تحلیل آنها کمک می‌کند.

This work addresses this problem in the short-time Fourier transform (STFT) domain. We divide the general problem into five basic categories depending on the number of microphones being used and whether the interframe or interband correlation is considered. The first category deals with the single-channel problem where STFT coefficients at different frames and frequency bands are assumed to be independent. In this case, the noise reduction filter in each frequency band is basically a real gain. Since a gain does not improve the signal-to-noise ratio (SNR) for any given subband and frame, the noise reduction is basically achieved by liftering the subbands and frames that are less noisy while weighing down on those that are more noisy. The second category also concerns the single-channel problem. The difference is that now the interframe correlation is taken into account and a filter is applied in each subband instead of just a gain.
The advantage of using the interframe correlation is that we can improve not only the long-time fullband SNR, but the frame-wise subband SNR as well. The third and fourth classes discuss the problem of multichannel noise reduction in the STFT domain with and without interframe correlation, respectively. In the last category, we consider the interband correlation in the design of the noise reduction filters. We illustrate the basic principle for the single-channel case as an example, while this concept can be generalized to other scenarios. In all categories, we propose different optimization cost functions from which we derive the optimal filters and we also define the performance measures that help analyzing them.