Stochastic Approximation and Optimization of Random Systems

سمینار DMV \"Stochastische Approximation und Optimierung zufalliger Systeme\" در Blaubeuren، 28 برگزار شد. 5. -4. 6. 1989. هدف ارائه رویکردی به تئوری و کاربرد تقریب تصادفی با توجه به مسائل بهینه سازی، به ویژه در سیستم های مهندسی بود. این یادداشت ها بر اساس سخنرانی های سمینار است. آنها از سه بخش تشکیل شده اند: I. مبانی تقریب تصادفی (H. Walk). n جنبه های کاربردی تقریب تصادفی (G. PHug); که در. برنامه های کاربردی برای انطباق: یوگویتم ها (L. Ljung). پیش نیاز مطالعه این کتاب دانش اولیه احتمالات، آمار ریاضی، بهینه سازی است. مایلیم از پروفسور M. Barner و پروفسور G. Fischer برای سازماندهی سمینار تشکر کنیم. همچنین از همکاری شرکت کنندگان و دستیاران و دبیران خود برای تایپ نسخه خطی تشکر می کنیم. نوامبر 1991 L. Ljung, G. PHug, H. Walk فهرست مطالب I مبانی تقریب تصادفی (H. Walk) §1 همگرایی تقریباً مطمئن رویه های تقریب تصادفی 2 §2 روش های بازگشتی برای مسائل خطی 17 §3 بهینه سازی تصادفی تحت stochastic محدودیت ها 22 §4 یک مدل یادگیری. تخمین چگالی بازگشتی 27 § 5 اصول تغییر ناپذیری در تقریب تصادفی 30 § 6 در مورد تئوری انحرافات بزرگ 43 مراجع برای قسمت اول 45 11 جنبه های کاربردی تقریب تصادفی (G. PHug) §7 §7 مارکویی بهینه سازی تصادفی و 3 روش بهینه سازی تصادفی توزیع ها 71 §9 زمان های توقف 79 §1O کاربرد روش های تقریب تصادفی 80 مراجع برای قسمت II 90 III کاربردها در الگوریتم های تطبیق (L.

The DMV seminar "Stochastische Approximation und Optimierung zufalliger Systeme" was held at Blaubeuren, 28. 5. -4. 6. 1989. The goal was to give an approach to theory and application of stochas­ tic approximation in view of optimization problems, especially in engineering systems. These notes are based on the seminar lectures. They consist of three parts: I. Foundations of stochastic approximation (H. Walk); n. Applicational aspects of stochastic approximation (G. PHug); In. Applications to adaptation :ugorithms (L. Ljung). The prerequisites for reading this book are basic knowledge in probability, mathematical statistics, optimization. We would like to thank Prof. M. Barner and Prof. G. Fischer for the or­ ganization of the seminar. We also thank the participants for their cooperation and our assistants and secretaries for typing the manuscript. November 1991 L. Ljung, G. PHug, H. Walk Table of contents I Foundations of stochastic approximation (H. Walk) §1 Almost sure convergence of stochastic approximation procedures 2 §2 Recursive methods for linear problems 17 §3 Stochastic optimization under stochastic constraints 22 §4 A learning model; recursive density estimation 27 §5 Invariance principles in stochastic approximation 30 §6 On the theory of large deviations 43 References for Part I 45 11 Applicational aspects of stochastic approximation (G. PHug) §7 Markovian stochastic optimization and stochastic approximation procedures 53 §8 Asymptotic distributions 71 §9 Stopping times 79 §1O Applications of stochastic approximation methods 80 References for Part II 90 III Applications to adaptation algorithms (L.