Lagrange-type Functions in Constrained Non-Convex Optimization

روش های تابع لاگرانژ و جریمه یک رویکرد قدرتمند، هم به عنوان یک ابزار نظری و هم به عنوان وسیله محاسباتی، برای مطالعه مسائل بهینه سازی محدود ارائه می کنند. با این حال، برای یک مسئله بهینه‌سازی محدود غیر محدب، روش کلاسیک اولیه-دوگانه لاگرانژ ممکن است نتواند یک mini mum پیدا کند زیرا شکاف دوگانه صفر همیشه تضمین شده نیست. یک پارامتر جریمه بزرگ، به طور کلی، برای توابع جریمه درجه دوم کلاسیک مورد نیاز است تا حداقل مسائل جریمه تقریب خوبی با مسائل بهینه‌سازی محدود اصلی باشد. به خوبی شناخته شده است که توابع penaity با پارامترهای بیش از حد بزرگ مانعی برای پیاده سازی عددی ایجاد می کنند. بنابراین این سوال مطرح می‌شود که چگونه می‌توان توابع لاگرانژ و جریمه کلاسیک را تعمیم داد، تا بتوان یک طرح مناسب برای کاهش مسائل بهینه‌سازی محدود به موارد غیرمحدود که برای کلاس‌های به‌اندازه کافی گسترده از مسائل بهینه‌سازی از دیدگاه نظری و محاسباتی مناسب باشد، به دست آورد. برخی از رویکردها برای چنین طرحی در این کتاب بررسی شده است. یکی از آنها به شرح زیر است: یک مسئله نامحدود ساخته شده است، که در آن تابع هدف، پیچیدگی توابع هدف و محدودیت مسئله اصلی است. در حالی که یک انحراف خطی منجر به تابع لاگرانژ کلاسیک می شود، انواع مختلف پیچیدگی های غیرخطی به تعمیم های جالبی منجر می شود. ما توابعی را که به صورت کانولوشنی از تابع هدف و توابع محدودیت ظاهر می شوند، توابع نوع لاگرانژ می نامیم.

Lagrange and penalty function methods provide a powerful approach, both as a theoretical tool and a computational vehicle, for the study of constrained optimization problems. However, for a nonconvex constrained optimization problem, the classical Lagrange primal-dual method may fail to find a mini­ mum as a zero duality gap is not always guaranteed. A large penalty parameter is, in general, required for classical quadratic penalty functions in order that minima of penalty problems are a good approximation to those of the original constrained optimization problems. It is well-known that penaity functions with too large parameters cause an obstacle for numerical implementation. Thus the question arises how to generalize classical Lagrange and penalty functions, in order to obtain an appropriate scheme for reducing constrained optimiza­ tion problems to unconstrained ones that will be suitable for sufficiently broad classes of optimization problems from both the theoretical and computational viewpoints. Some approaches for such a scheme are studied in this book. One of them is as follows: an unconstrained problem is constructed, where the objective function is a convolution of the objective and constraint functions of the original problem. While a linear convolution leads to a classical Lagrange function, different kinds of nonlinear convolutions lead to interesting generalizations. We shall call functions that appear as a convolution of the objective function and the constraint functions, Lagrange-type functions.