Information Theory for Systems Engineers

این کتاب بر اساس سخنرانی های نویسنده در موسسه تحقیقات سیستم های اروپایی آی بی ام (ESRI) در ژنو است. تئوری اطلاعات در سطح نحوی، همانطور که توسط کلود شانون در سال 1949 معرفی شد، هنگامی که برای پردازش اطلاعات توسط رایانه اعمال می شود، محدودیت های زیادی دارد. اما علیرغم برخی کاستی های آشکار، اصول اساسی برای مهندسان سیستم در درک ماهیت مشکلات مدیریت اطلاعات، کسب، ذخیره سازی، پردازش و تفسیر آن اهمیت اساسی دارد. سخنرانی‌ها، همانطور که در این کتاب ارائه شده‌اند، تلاش می‌کنند تا توضیحی از مبانی و اصول اساسی ارائه دهند و در عین حال، مبنایی برای مطالعه بیشتر در زمینه‌های خاص‌تر این نظریه بسط، مانند کدگذاری، تشخیص، تشخیص الگو و فیلتر کردن بیشتر مشکلات ضمیمه C به عنوان پسوند متن در نظر گرفته شده است، در حالی که خواستار مشارکت دانش آموز است. برخی دیگر از مشکلات کاربرد مستقیم نظریه در موقعیت های خاص است. برخی مشکلات نیازمند محاسبات عددی گسترده هستند. در آن موارد فرض بر این است که دانش آموز به کامپیوتر دسترسی دارد و توانایی نوشتن برنامه های لازم را دارد. فرض بر این است که دانش آموز تسلط خوبی به حساب دیفرانسیل و انتگرال، و تئوری احتمالات و همچنین آمار دارد. بنابراین هیچ مفاهیم اساسی ریاضی در این کتاب چهارم مورد بحث قرار نگرفته است. تبدیل فوریه و برخی از مفاهیم ریاضی مرتبط در پیوست A.

This book is based on lectures given by the author at the IBM European Systems Research Institute (ESRI) in Geneva. Information Theory on the syntactic level, as introduced by Claude Shannon in 1949, has many limitations when applied to information processing by computers. But in spite of some obvious shortcomings, the underlyin~ principles are of fundamental importance for systems engineers in understanding the nature of the problems of handling information, its acquisition, storage, processing, and interpretation. The lectures, as presented in this book, attempt to give an exposition of the lovical foundation and basic principles, and to provide at the same time a basis for further study in more specific areas of this expan1in~ theory, such as coding, detection, pattern recognition, and filtering. Most of the problems in Appendix C are intended as extensions of the text, while calling for actjve participation by the stu1ent. Some other problems are direct applications of the theory to specific situations. Some problems require extensive numerical calculations. It is assumed in those cases that the student has access to a computer and that he is capable of writing the necessary programs. The stu1ent is assumed to have a good command of the calculus, and of the theory of probability as well as statistics. Therefore no basic mathematical concepts are discussed in this IV book. The Fourier transform and some related mathematical concepts are introduced in Appendix A.