Source Coding Theory

تئوری کدگذاری منبع هدف خود مشخص کردن عملکرد بهینه قابل دستیابی در سیستم های ارتباطی ایده آل است که باید یک منبع اطلاعاتی را برای انتقال از طریق یک کانال ارتباطی دیجیتال یا ذخیره سازی برای انتقال به کاربر کدگذاری کند. کاربر باید اطلاعات را به شکلی رمزگشایی کند که تقریب خوبی با اصل باشد. یک کد در یک کلاس بهینه است اگر با توجه به محدودیت‌هایی که توسط کانال موجود بر روی کد اعمال می‌شود، به بهترین وفاداری ممکن دست یابد. در تئوری، محدودیت اصلی اعمال شده بر روی یک کد توسط کانال، نرخ یا وضوح آن، تعداد بیت در ثانیه یا هر نماد ورودی است که می تواند از فرستنده به گیرنده منتقل کند. در دنیای واقعی، پیچیدگی ممکن است به اندازه نرخ مهم باشد. منشأ و شکل اصلی بسیاری از نظریه‌ها از توسعه کلاسیک شان نون در کدگذاری منبع بی‌صدا و کدگذاری منبع با معیار وفاداری (همچنین نظریه اعوجاج نرخ نامیده می‌شود) آغاز شده است [73] [74]. شانون یک مفهوم احتمالی از اطلاعات را با مفاهیم حدی از نظریه ارگودیک و یک تکنیک کدگذاری تصادفی ترکیب کرد تا عملکرد بهینه سیستم‌ها را با نرخ محدود اما با پیچیدگی و تاخیر نامحدود توصیف کند. یک رویکرد جایگزین به نام تئوری کوانتیزاسیون مجانبی یا نرخ بالا بر اساس تکنیک‌های مختلف و تصاویر تقریبی تقریباً در همان زمان توسط بنت معرفی شد [4]. این رویکرد تأخیر را محدود کرد، اما اجازه داد که نرخ افزایش یابد.

Source coding theory has as its goal the characterization of the optimal performance achievable in idealized communication systems which must code an information source for transmission over a digital communication or storage channel for transmission to a user. The user must decode the information into a form that is a good approximation to the original. A code is optimal within some class if it achieves the best possible fidelity given whatever constraints are imposed on the code by the available channel. In theory, the primary constraint imposed on a code by the channel is its rate or resolution, the number of bits per second or per input symbol that it can transmit from sender to receiver. In the real world, complexity may be as important as rate. The origins and the basic form of much of the theory date from Shan­ non's classical development of noiseless source coding and source coding subject to a fidelity criterion (also called rate-distortion theory) [73] [74]. Shannon combined a probabilistic notion of information with limit theo­ rems from ergodic theory and a random coding technique to describe the optimal performance of systems with a constrained rate but with uncon­ strained complexity and delay. An alternative approach called asymptotic or high rate quantization theory based on different techniques and approx­ imations was introduced by Bennett at approximately the same time [4]. This approach constrained the delay but allowed the rate to grow large.