Stationarity and Convergence in Reduce-or-Retreat Minimization

​ایستایی و همگرایی در کاهش یا عقب نشینی یک چارچوب متحد کننده برای طیف گسترده ای از روش های عددی در بهینه سازی ارائه و تجزیه و تحلیل می کند. چارچوب "کاهش یا عقب نشینی" نویسنده یک طرح کلی روش مفهومی است که هر روشی را پوشش می دهد که تکرار آن بین کاهش هدف به نحوی در یک نقطه آزمایشی یا عقب نشینی به مجموعه ای نزدیکتر از نقاط آزمایشی انتخاب می شود. هم‌سویی روش‌های مبتنی بر مشتق‌های مختلف در چارچوب یکسان، ساخت روش‌های جدید را تشویق می‌کند، و الهام‌بخش پیشرفت‌های نظری جدید به‌عنوان همراهی برای نتایج حاصل از شکاف‌های سنتی است. متن اولی را با توسعه دو تعمیم از روش‌های مبتنی بر مشتق کلاسیک که اهداف غیر هموار را در بر می‌گیرد، و دومی را با تجزیه و تحلیل جزئیات این دو روش همراه با روش جستجوی الگو و روش معروف نلدر مید نشان می‌دهد. این مونوگراف با ارائه پلی برای تئوری از طریق چارچوب "کاهش یا عقب نشینی"، تحلیل های همگرایی سنتی را به طرق مختلف گسترش داده و گسترش می دهد. لوی یک مفهوم کلی از نزدیک شدن به ایستایی را توسعه می دهد که برای اهداف غیر هموار اعمال می شود، و نقش شرایط نزول و غیر انحطاط را در ایجاد این ویژگی بررسی می کند. تجزیه و تحلیل سنتی با در نظر گرفتن همگرایی "موقعیتی" عناصر مختلف محاسبه شده در هر تکرار از یک روش کاهش یا عقب نشینی گسترش می یابد. چارچوب «کاهش یا عقب نشینی» که در این متن توضیح داده شده است، روش‌های کمینه‌سازی تخصصی، برخی از روش‌های کلی برای کمینه‌سازی و یک روش جستجوی مستقیم را پوشش می‌دهد، در حالی که تجزیه و تحلیل همگرایی را ارائه می‌کند که نتایج موجود را تکمیل و گسترش می‌دهد.​

​​​​​​ Stationarity and Convergence in Reduce-or-Retreat Minimization presents and analyzes a unifying framework for a wide variety of numerical methods in optimization. The author’s “reduce-or-retreat” framework is a conceptual method-outline that covers any method whose iterations choose between reducing the objective in some way at a trial point, or retreating to a closer set of trial points. The alignment of various derivative-based methods within the same framework encourages the construction of new methods, and inspires new theoretical developments as companions to results from across traditional divides. The text illustrates the former by developing two generalizations of classic derivative-based methods which accommodate non-smooth objectives, and the latter by analyzing these two methods in detail along with a pattern-search method and the famous Nelder-Mead method.In addition to providing a bridge for theory through the “reduce-or-retreat” framework, this monograph extends and broadens the traditional convergence analyses in several ways. Levy develops a generalized notion of approaching stationarity which applies to non-smooth objectives, and explores the roles of the descent and non-degeneracy conditions in establishing this property. The traditional analysis is broadened by considering “situational” convergence of different elements computed at each iteration of a reduce-or-retreat method. The “reduce-or-retreat” framework described in this text covers specialized minimization methods, some general methods for minimization and a direct search method, while providing convergence analysis which complements and expands existing results.​ ​