Second-Order Methods for Neural Networks: Fast and Reliable Training Methods for Multi-Layer Perceptrons

درباره این کتاب این کتاب در مورد روش‌های آموزشی - به ویژه، روش‌های آموزش سریع مرتبه دوم - برای پرسپترون‌های چند لایه (MLP) است. MLP ها (همچنین به عنوان شبکه های عصبی فید فوروارد نیز شناخته می شوند) پرکاربردترین کلاس شبکه های عصبی هستند. در طول دهه گذشته، MLPها به عنوان ابزاری برای مقابله با طیف گسترده ای از وظایف پردازش اطلاعات، به محبوبیت فزاینده ای در میان دانشمندان، مهندسان و سایر متخصصان دست یافته اند. مشابه همه شبکه های عصبی، MLPs برای انجام عملکرد پردازش اطلاعات انتخاب شده (به جای برنامه ریزی) آموزش دیده است. متأسفانه، روش (روش سنتی برای آموزش MLPs - روش معروف انتشار پس زمینه - زمانی که برای بسیاری از کارهای عملی به کار می رود بسیار کند و غیرقابل اعتماد است. توسعه الگوریتم های آموزشی سریع و قابل اعتماد برای MLPsis یکی از مهم ترین زمینه های تحقیق در کل زمینه است. هدف اصلی این کتاب ارائه طیف وسیعی از روش‌های جایگزین برای آموزش MLPها است، روش‌هایی که در بسیاری از وظایف آموزشی سریع‌تر از انتشار پس‌پشتی ثابت شده‌اند. این کتاب همچنین به این موارد می‌پردازد. شناخته شده (مسئله حداقل های محلی، و روش هایی را توضیح می دهد که در آنها روش های تمرین سریع را می توان با استراتژی هایی برای اجتناب (یا فرار از) حداقل های محلی ترکیب کرد. همه روش های شرح داده شده در این کتاب دارای یک پایه نظری قوی هستند و از چنین زمینه های ریاضی متنوعی استفاده می کنند. به عنوان نظریه بهینه سازی کلاسیک، نظریه همتوپیک و نظریه تقریب تصادفی.

About This Book This book is about training methods - in particular, fast second-order training methods - for multi-layer perceptrons (MLPs). MLPs (also known as feed-forward neural networks) are the most widely-used class of neural network. Over the past decade MLPs have achieved increasing popularity among scientists, engineers and other professionals as tools for tackling a wide variety of information processing tasks. In common with all neural networks, MLPsare trained (rather than programmed) to carryout the chosen information processing function. Unfortunately, the (traditional' method for trainingMLPs- the well-knownbackpropagation method - is notoriously slow and unreliable when applied to many prac­ tical tasks. The development of fast and reliable training algorithms for MLPsis one of the most important areas ofresearch within the entire field of neural computing. The main purpose of this book is to bring to a wider audience a range of alternative methods for training MLPs, methods which have proved orders of magnitude faster than backpropagation when applied to many training tasks. The book also addresses the well-known (local minima' problem, and explains ways in which fast training methods can be com­ bined with strategies for avoiding (or escaping from) local minima. All the methods described in this book have a strong theoretical foundation, drawing on such diverse mathematical fields as classical optimisation theory, homotopic theory and stochastic approximation theory.