Convergence Analysis of Recurrent Neural Networks

از زمان کار تحقیقاتی برجسته و پیشگام هاپفیلد روی شبکه‌های عصبی مکرر (RNN) در اوایل دهه 80 قرن گذشته، شبکه‌های عصبی علاقه شدید دانشمندان و محققان را دوباره برانگیختند. سال های اخیر پیشرفت قابل توجهی در کار تحقیق و توسعه بر روی RNN ها، هم در تحقیقات نظری و هم به عنوان کاربردهای واقعی، ثبت کرده است. حوزه RNN ها اکنون به یک موضوع کامل و مستقل تبدیل می شود. از تئوری گرفته تا کاربرد، از نرم‌افزار تا سخت‌افزار، نتایج جدید و هیجان‌انگیزی روز به روز در حال ظهور هستند که نشان‌دهنده علاقه شدیدی است که RNN ها در همه، از محققان گرفته تا پزشکان، القا کرده‌اند. RNN ها حاوی اتصالات بازخوردی بین نورون ها هستند، پدیده ای که به طور طبیعی منجر به این شده است که RNN ها به عنوان سیستم های دینامیکی در نظر گرفته شوند. RNN ها را می توان با سیستم های دیفرانسیل زمانی پیوسته، سیستم های زمانی گسسته، یا سیستم های دیفرانسیل عملکردی و به طور کلی تر، بر حسب سیستم های غیر خطی توصیف کرد. بنابراین، RNN ها باید مجموعه عظیمی از ابزارهای ریاضی مربوط به نظریه سیستم های دینامیکی را در اختیار داشته باشند که در امکان تجزیه و تحلیل دقیق RNN ها بسیار مفید است.

Since the outstanding and pioneering research work of Hopfield on recurrent neural networks (RNNs) in the early 80s of the last century, neural networks have rekindled strong interests in scientists and researchers. Recent years have recorded a remarkable advance in research and development work on RNNs, both in theoretical research as weIl as actual applications. The field of RNNs is now transforming into a complete and independent subject. From theory to application, from software to hardware, new and exciting results are emerging day after day, reflecting the keen interest RNNs have instilled in everyone, from researchers to practitioners. RNNs contain feedback connections among the neurons, a phenomenon which has led rather naturally to RNNs being regarded as dynamical systems. RNNs can be described by continuous time differential systems, discrete time systems, or functional differential systems, and more generally, in terms of non­ linear systems. Thus, RNNs have to their disposal, a huge set of mathematical tools relating to dynamical system theory which has tumed out to be very useful in enabling a rigorous analysis of RNNs.