The Mathematical Theory of Information

مفهوم کلی اطلاعات در اینجا برای اولین بار با افزودن یک اصل موضوعی به نظریه احتمال به صورت ریاضی تعریف شده است. این نظریه ریاضی اطلاعات در چهارده فصل بررسی شده است: 1. اطلاعات را می توان در واحدهای مختلف، از بیت تا دلار اندازه گیری کرد. ما در اینجا استدلال خواهیم کرد که هر اقدامی در صورتی قابل قبول است که قانون کاهش اطلاعات را نقض نکند. این قانون توسط دو استدلال مستقل پشتیبانی می شود: یکی از گیرنده ایده آل Bar-Hillel مشتق شده است، و دیگری بر اساس کانال نویز شانون است. آنتروپی در "نظریه اطلاعات کلاسیک" یکی از معیارهای منطبق با قانون اطلاعات کاهشی است، اما دارای ویژگی هایی مانند متقارن بودن است که آن را برای برخی از کاربردها نامناسب می کند. پایایی اندازه گیری یک معیار اطلاعات جهانی است. 2. برای سیگنال های گسسته و متناهی، قانون کاهش اطلاعات به صورت ریاضی با استفاده از نظریه احتمال و جبر ماتریس تعریف می شود. 3. قانون اطلاعات در حال کاهش به عنوان یک اصل برای استخراج ویژگی های اساسی اطلاعات استفاده می شود. قانون بایرون: در دروغ، اطلاعات بیشتری نسبت به حرف های بیهوده وجود دارد. حفظ: هیچ اطلاعاتی در یک کانال برگشت پذیر از بین نمی رود. و غیره. نظریه ریاضی اطلاعات از جمع بندی پشتیبانی می کند. ه. خاصیت پیوند دادن حقایق به هم و ایجاد «دو به علاوه دو بزرگتر از چهار». هنگامی که اطلاعات حامل دانش است، یا پایگاهی برای تصمیم گیری است، جمع بندی ضروری است. در چنین مواردی، قابلیت اطمینان همیشه یک معیار اطلاعات مفید است. آنتروپی اجازه تلاقی را نمی دهد.

The general concept of information is here, for the first time, defined mathematically by adding one single axiom to the probability theory. This Mathematical Theory of Information is explored in fourteen chapters: 1. Information can be measured in different units, in anything from bits to dollars. We will here argue that any measure is acceptable if it does not violate the Law of Diminishing Information. This law is supported by two independent arguments: one derived from the Bar-Hillel ideal receiver, the other is based on Shannon's noisy channel. The entropy in the 'classical information theory' is one of the measures conforming to the Law of Diminishing Information, but it has, however, properties such as being symmetric, which makes it unsuitable for some applications. The measure reliability is found to be a universal information measure. 2. For discrete and finite signals, the Law of Diminishing Information is defined mathematically, using probability theory and matrix algebra. 3. The Law of Diminishing Information is used as an axiom to derive essential properties of information. Byron's law: there is more information in a lie than in gibberish. Preservation: no information is lost in a reversible channel. Etc. The Mathematical Theory of Information supports colligation, i. e. the property to bind facts together making 'two plus two greater than four'. Colligation is a must when the information carries knowledge, or is a base for decisions. In such cases, reliability is always a useful information measure. Entropy does not allow colligation.