Information Theoretic Learning: Renyi's Entropy and Kernel Perspectives

این کتاب اولین درمان منسجم از الگوریتم‌های یادگیری نظری اطلاعات (ITL) را برای تطبیق ماشین‌های یادگیری خطی یا غیرخطی در پارادایم‌های تحت نظارت یا بدون نظارت ارائه می‌کند. ITL چارچوبی است که در آن مفاهیم مرسوم آمار مرتبه دوم (کوواریانس، فاصله L2، توابع همبستگی) با اسکالرها و توابع با زیربنای نظری اطلاعات، به ترتیب آنتروپی، اطلاعات متقابل و همبستگی جایگزین می‌شوند.

ITL ساختار تصادفی داده‌ها را فراتر از آمارهای مرتبه دوم برای بهبود عملکرد بدون استفاده از رویکردهای بیزی کامل که به هزینه محاسباتی بسیار بیشتری نیاز دارند، کمیت می‌کند. این به دلیل تخمین‌گر ناپارامتری آنتروپی درجه دوم Reny که فقط تابعی از تفاوت‌های زوجی بین نمونه‌ها است، امکان‌پذیر است. این کتاب عملکرد الگوریتم‌های ITL را با نمونه‌های مرتبه دوم در بسیاری از برنامه‌های مهندسی و یادگیری ماشین مقایسه می‌کند.

دانش‌آموزان، پزشکان و محققان علاقه‌مند به پردازش سیگنال آماری، هوش محاسباتی و یادگیری ماشین در این کتاب خواهند یافت. تئوری برای درک اصول اولیه، الگوریتم‌هایی برای پیاده‌سازی برنامه‌ها، و سرنخ‌های هیجان‌انگیز اما هنوز ناشناخته که زمینه مناسبی را برای تحقیقات آینده فراهم می‌کنند.

José C. Principe استاد ممتاز مهندسی برق و بیومدیکال و پروفسور BellSouth در دانشگاه فلوریدا و موسس و مدیر آزمایشگاه مهندسی عصبی محاسباتی است. او عضو IEEE و AIMBE، رئیس سابق انجمن بین المللی شبکه عصبی، سردبیر سابق IEEE Trans. در مهندسی زیست پزشکی و موسس سردبیر بررسی های IEEE در مورد مهندسی پزشکی. او یک کتاب الکترونیکی تعاملی در مورد شبکه های عصبی، کتابی در زمینه مهندسی رابط ماشین مغز و اخیراً کتابی در مورد فیلتر تطبیقی ​​هسته نوشته است و جایزه پیشگام شبکه عصبی IEEE در سال 2011 را دریافت کرد.

This book presents the first cohesive treatment of Information Theoretic Learning (ITL) algorithms to adapt linear or nonlinear learning machines both in supervised or unsupervised paradigms. ITL is a framework where the conventional concepts of second order statistics (covariance, L2 distances, correlation functions) are substituted by scalars and functions with information theoretic underpinnings, respectively entropy, mutual information and correntropy.

ITL quantifies the stochastic structure of the data beyond second order statistics for improved performance without using full-blown Bayesian approaches that require a much larger computational cost. This is possible because of a non-parametric estimator of Renyi’s quadratic entropy that is only a function of pairwise differences between samples. The book compares the performance of ITL algorithms with the second order counterparts in many engineering and machine learning applications.

Students, practitioners and researchers interested in statistical signal processing, computational intelligence, and machine learning will find in this book the theory to understand the basics, the algorithms to implement applications, and exciting but still unexplored leads that will provide fertile ground for future research.

José C. Principe is Distinguished Professor of Electrical and Biomedical Engineering, and BellSouth Professor at the University of Florida, and the Founder and Director of the Computational NeuroEngineering Laboratory. He is an IEEE and AIMBE Fellow, Past President of the International Neural Network Society, Past Editor-in-Chief of the IEEE Trans. on Biomedical Engineering and the Founder Editor-in-Chief of the IEEE Reviews on Biomedical Engineering. He has written an interactive electronic book on Neural Networks, a book on Brain Machine Interface Engineering and more recently a book on Kernel Adaptive Filtering, and was awarded the 2011 IEEE Neural Network Pioneer Award.