An Information-Theoretic Approach to Neural Computing

شبکه‌های عصبی یک فناوری جدید قدرتمند برای مدل‌سازی و کنترل سیستم‌های غیرخطی و پیچیده ارائه می‌کنند. در این کتاب، نویسندگان فرمول بندی دقیقی از شبکه های عصبی از دیدگاه نظری اطلاعات ارائه می دهند. آنها نشان می دهند که چگونه این دیدگاه بینش جدیدی را در مورد نظریه طراحی شبکه های عصبی ارائه می دهد. آنها به طور خاص نشان می دهند که چگونه این روش ها ممکن است در موضوعات یادگیری نظارت شده و بدون نظارت از جمله استخراج ویژگی، تجزیه و تحلیل اجزای مستقل خطی و غیر خطی و ماشین های بولتزمن اعمال شوند. فرض بر این است که خوانندگان درک اولیه ای از شبکه های عصبی دارند، اما تمام مفاهیم مرتبط از نظریه اطلاعات به دقت معرفی و توضیح داده شده است. در نتیجه، خوانندگانی از چندین رشته علمی مختلف، به ویژه دانشمندان علوم شناختی، مهندسان، فیزیکدانان، آماردانان و دانشمندان کامپیوتر، این را مقدمه بسیار ارزشمندی برای این موضوع خواهند دانست.

Neural networks provide a powerful new technology to model and control nonlinear and complex systems. In this book, the authors present a detailed formulation of neural networks from the information-theoretic viewpoint. They show how this perspective provides new insights into the design theory of neural networks. In particular they show how these methods may be applied to the topics of supervised and unsupervised learning including feature extraction, linear and non-linear independent component analysis, and Boltzmann machines. Readers are assumed to have a basic understanding of neural networks, but all the relevant concepts from information theory are carefully introduced and explained. Consequently, readers from several different scientific disciplines, notably cognitive scientists, engineers, physicists, statisticians, and computer scientists, will find this to be a very valuable introduction to this topic.