Statistical Learning Theory and Stochastic Optimization: Ecole d’Eté de Probabilités de Saint-Flour XXXI - 2001

نظریه یادگیری آماری با هدف تجزیه و تحلیل داده های پیچیده با مدل های لزوماً تقریبی است. این کتاب برای مخاطبانی با سابقه تحصیلات تکمیلی در نظریه احتمال و آمار در نظر گرفته شده است. برای هر خواننده ای که بداند چرا ممکن است ایده خوبی باشد، استفاده از یک مدل معروف "اشتباه" (یعنی بیش از حد ساده شده) برای پیش بینی، تخمین یا طبقه بندی، ایده خوبی باشد. ریشه های آن در سه زمینه: تئوری اطلاعات، مکانیک آماری، و قضایای PAC-Bayesian. نتایج مربوط به انحرافات بزرگ مسیر زنجیره های مارکوف با انتقال نادر نیز شامل می شود. آنها به منظور ارائه درک بهتری از الگوریتم های بهینه سازی تصادفی رایج هستند. در برآوردگرهای محاسباتی. نویسنده بر روی مرزهای غیر مجانبی ریسک آماری تمرکز می‌کند، و به فرد اجازه می‌دهد که به طور تطبیقی ​​بین خانواده‌های غنی و ساختار یافته مدل‌ها و برآوردگرهای متناظر انتخاب کند. دو شیء ریاضی در کتاب نفوذ کرده است: آنتروپی و معیارهای گیبس. هدف نشان دادن است. چگونه می توان آنها را به ابزارهای فنی همه کاره و کارآمد تبدیل کرد که باعث تحریک مطالعات و نتایج بیشتر می شود.

Statistical learning theory is aimed at analyzing complex data with necessarily approximate models. This book is intended for an audience with a graduate background in probability theory and statistics. It will be useful to any reader wondering why it may be a good idea, to use as is often done in practice a notoriously "wrong'' (i.e. over-simplified) model to predict, estimate or classify. This point of view takes its roots in three fields: information theory, statistical mechanics, and PAC-Bayesian theorems. Results on the large deviations of trajectories of Markov chains with rare transitions are also included. They are meant to provide a better understanding of stochastic optimization algorithms of common use in computing estimators. The author focuses on non-asymptotic bounds of the statistical risk, allowing one to choose adaptively between rich and structured families of models and corresponding estimators. Two mathematical objects pervade the book: entropy and Gibbs measures. The goal is to show how to turn them into versatile and efficient technical tools, that will stimulate further studies and results.