Oracle Inequalities in Empirical Risk Minimization and Sparse Recovery Problems: École d’Été de Probabilités de Saint-Flour XXXVIII-2008

هدف از این یادداشت‌های سخنرانی ارائه مقدمه‌ای بر تئوری کلی کمینه‌سازی ریسک تجربی با تأکید بر محدودیت‌های اضافی ریسک و نابرابری‌های اوراکل در مسائل جریمه‌شده است. در سال‌های اخیر، پیشرفت‌های جدیدی در این زمینه با انگیزه مطالعه کلاس‌های جدید روش‌ها در یادگیری ماشین مانند روش‌های طبقه‌بندی حاشیه بزرگ (تقویت، ماشین‌های هسته) رخ داده است. ابزارهای احتمالی اصلی درگیر در تجزیه و تحلیل این مسائل، نابرابری های تمرکز و انحراف توسط تالاگراند به همراه سایر روش های تئوری فرآیندهای تجربی (نابرابری های تقارن، نابرابری انقباضی برای مجموع Rademacher، آنتروپی و کران های زنجیره ای عمومی) هستند. بازیابی پراکنده بر اساس جریمه‌سازی نوع l_1 و بازیابی ماتریس رتبه پایین بر اساس جریمه‌سازی هنجار هسته‌ای از دیگر حوزه‌های فعال پژوهشی است که مشکلات اصلی را می‌توان در چارچوب کمینه‌سازی ریسک تجربی جریمه‌شده بیان کرد و نابرابری‌های تمرکز و ابزارهای فرآیندهای تجربی را نشان داد. ثابت شد که بسیار مفید است.

The purpose of these lecture notes is to provide an introduction to the general theory of empirical risk minimization with an emphasis on excess risk bounds and oracle inequalities in penalized problems. In recent years, there have been new developments in this area motivated by the study of new classes of methods in machine learning such as large margin classification methods (boosting, kernel machines). The main probabilistic tools involved in the analysis of these problems are concentration and deviation inequalities by Talagrand along with other methods of empirical processes theory (symmetrization inequalities, contraction inequality for Rademacher sums, entropy and generic chaining bounds). Sparse recovery based on l_1-type penalization and low rank matrix recovery based on the nuclear norm penalization are other active areas of research, where the main problems can be stated in the framework of penalized empirical risk minimization, and concentration inequalities and empirical processes tools have proved to be very useful.