Mathematical Theories of Machine Learning - Theory and Applications

این کتاب تئوری های ریاضی یادگیری ماشین را مطالعه می کند. بخش اول کتاب بهینگی و سازگاری انتخاب اندازه های گام شیب نزولی برای فرار از نقاط زینی سخت در مسائل بهینه سازی غیر محدب را بررسی می کند. در بخش دوم، نویسندگان الگوریتم‌هایی را برای یافتن حداقل‌های محلی در بهینه‌سازی غیرمحدب و به دست آوردن حداقل‌های جهانی تا حدی از قانون دوم نیوتن بدون اصطکاک پیشنهاد می‌کنند. در بخش سوم، نویسندگان مشکل خوشه‌بندی زیرفضا با داده‌های پر سر و صدا و از دست رفته را مطالعه می‌کنند، که مشکلی است که به خوبی توسط داده‌های کاربردی کاربردی در معرض نویز گاوسی تصادفی و/یا داده‌های ناقص با ورودی‌های گمشده یکنواخت ایجاد می‌شود. در بخش آخر، نویسندگان یک مدل VAR جدید با منظم‌سازی شبکه الاستیک و مدل بیزی معادل آن را معرفی می‌کنند که هم یک پراکندگی پایدار و هم انتخاب گروهی را امکان‌پذیر می‌کند.

This book studies mathematical theories of machine learning. The first part of the book explores the optimality and adaptivity of choosing step sizes of gradient descent for escaping strict saddle points in non-convex optimization problems. In the second part, the authors propose algorithms to find local minima in nonconvex optimization and to obtain global minima in some degree from the Newton Second Law without friction. In the third part, the authors study the problem of subspace clustering with noisy and missing data, which is a problem well-motivated by practical applications data subject to stochastic Gaussian noise and/or incomplete data with uniformly missing entries. In the last part, the authors introduce an novel VAR model with Elastic-Net regularization and its equivalent Bayesian model allowing for both a stable sparsity and a group selection.