A theoretical framework for Back-Propagation

دسته بندی: سایبرنتیک: هوش مصنوعی
ویرایش:  
نویسندگان: Le Cun Y.  
سری:  
 
ناشر:  
سال نشر:  
تعداد صفحات: 8 
زبان: English 
فرمت فایل : DJVU (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) 
حجم فایل: 109 کیلوبایت 

قیمت کتاب (تومان) : 40,000

/Proceedings of the 1988 Connectionist Models Summer School, pages 21-28, CMU, Pittsburgh, Pa, 1988 چکیده:
در میان همه الگوریتم های یادگیری تحت نظارت ، انتشار پشت (BP) احتمالاً بیشترین استفاده را دارد. اگرچه کارهای تجربی متعددی قابلیت‌های آن را نشان داده‌اند، اما قطعاً به درک نظری عمیق‌تری از الگوریتم نیاز است. ما یک چارچوب ریاضی برای مطالعه پس انتشار بر اساس فرمالیسم لانگرانژ ارائه می کنیم. در این چارچوب، با الهام از تئوری کنترل بهینه، انتشار معکوس به عنوان یک مسئله بهینه‌سازی با محدودیت‌های غیرخطی فرمول‌بندی می‌شود. تابع لاگرانژ مجموع تابع هدف خروجی و یک عبارت محدودیتی است که پویایی شبکه را توصیف می کند.
این رویکرد، بسیاری از پسوندهای طبیعی را برای الگوریتم پایه پیشنهاد می کند.
همچنین یک فرمول (و مشتق) بسیار ساده ارائه می کند. ) معادلات شبکه تکراری پیوسته همانطور که توسط پیندا توضیح داده شد.
سایر تغییراتی که به راحتی توصیف می شوند شامل عبارت های اضافی در تابع خطا، محدودیت های اضافی در مجموعه راه حل ها، یا تبدیل فضای پارامتر هستند. یک نوع محدودیت جالب، محدودیت برابری بین وزن ها است که می تواند با سربار کمی اجرا شود. نشان داده شده است که این نوع محدودیت راهی برای قرار دادن دانش اولیه در شبکه و در عین حال کاهش تعداد پارامترهای آزاد فراهم می کند.

/Proceedings of the 1988 Connectionist Models Summer School, pages 21-28, CMU, Pittsburgh, Pa, 1988 Abstract:
Among all the supervised learning algorithms, back propagation (BP) is probably the most widely used. Although numerous experimental works have demonstrated its capabilities, a deeper theoretical understanding of the algorithm is definitely needed. We present a mathematical framework for studying back-propagation based on the Langrangian formalism. In this framework, inspired by optimal control theory, back-propagation is formulated as an optimisation problem with nonlinear constraints. The Lagrange function is the sum of the output objective function and a constraint term which describes the network dynamics.
This approach suggests many natural extensions to the basic algorithm.
It also provides an extremely simple formulation (and derivation) of continuous recurrent network equations as described by Pineda.
Other easily described variations involve either additional terms in the error function, additional constraints on the set of solutions, or transformations of the parameter space. An interesting kind of constraint is an equality constraint among the weights, which can be implemented with little overhead. It is shown that this sort of constraint provides a way of putting apriory knowledge into the network while reducing the number of free parameters.