Minimum Divergence Methods in Statistical Machine Learning: From an Information Geometric Viewpoint

این کتاب روش‌های حداقل واگرایی یادگیری ماشینی آماری را برای تخمین، رگرسیون، پیش‌بینی و غیره بررسی می‌کند، که در آن‌ها در هندسه اطلاعات شرکت می‌کنیم تا ویژگی‌های ذاتی آن‌ها از دست دادن مربوطه را روشن کنیم. توابع، الگوریتم های یادگیری و مدل های آماری. یکی از ابتدایی‌ترین نمونه‌ها، برآوردگر حداقل مربعات گاوس در مدل رگرسیون خطی است، که در آن برآوردگر با کمینه‌سازی مجموع مربع‌های بین بردار پاسخ و بردار زیرفضای خطی که توسط بردارهای توضیحی پوسته شده است، به دست می‌آید. این به تخمین‌گر حداکثر احتمال فیشر (MLE) برای یک مدل نمایی، که در آن برآوردگر با کمینه‌سازی واگرایی Kullback-Leibler (KL) بین توزیع داده‌ها و توزیع پارامتری مدل نمایی در یک آنالوگ تجربی ارائه می‌شود، گسترش می‌یابد. بنابراین، ما یک تفسیر هندسی از چنین رویه‌های کمینه‌سازی را در نظر می‌گیریم به گونه‌ای که یک مثلث قائم الزاویه با هویت فیثاغورثی به معنای واگرایی KL حفظ شود. این درک یک تعامل دوگانه بین یک تخمین آماری و مدل را تعالی می بخشد، که نیازمند مسیرهای ژئودزیکی دوگانه، به نام مسیرهای m-geodesic و e-geodesic، در چارچوبی از هندسه اطلاعات است.
ما چنین ساختار دوگانه MLE و نمایی را گسترش می دهیم. مدل به برآوردگر حداقل واگرایی و مدل حداکثر آنتروپی، که برای آمارهای قوی، حداکثر آنتروپی، تخمین چگالی، تجزیه و تحلیل مؤلفه‌های اصلی، تجزیه و تحلیل مؤلفه‌های مستقل، تحلیل رگرسیون، یادگیری چندگانه، الگوریتم تقویت، خوشه‌بندی، رژیم‌های درمان پویا، و غیره ما انواع مختلفی از معیارهای واگرایی اطلاعات را در نظر می گیریم که معمولاً شامل واگرایی KL برای بیان انحراف از یک توزیع احتمال به دیگری است. یک واگرایی اطلاعاتی به آنتروپی متقاطع و آنتروپی (مورب) تجزیه می شود که در آن آنتروپی با یک مدل مولد به عنوان خانواده ای از حداکثر توزیع های آنتروپی مرتبط است. آنتروپی متقاطع با روش تخمین آماری از طریق به حداقل رساندن آنالوگ تجربی بر اساس داده های داده شده مرتبط است. بنابراین هر واگرایی آماری شامل یک شی ذاتی بین مدل تولیدی و روش تخمین است. به طور معمول، واگرایی KL منجر به مدل نمایی و برآورد حداکثر احتمال می شود. نشان داده شده است که هر گونه واگرایی اطلاعاتی منجر به یک متریک ریمانی و یک جفت اتصال خطی در چارچوب هندسه اطلاعات می شود.
ما روی دسته ای از واگرایی اطلاعاتی تمرکز می کنیم که توسط یک تابع افزایشی و محدب U به نام U ایجاد می شود. -واگرایی نشان داده شده است که هر تابع مولد U U-آنتروپی و U را ایجاد می کند. -واگرایی، که در آن یک ساختار دوگانه بین روش U-واگرایی و حداکثر U-مدل آنتروپی. مشاهده می‌کنیم که انتخاب خاصی از  U منجر به یک روش آماری قوی از طریق روش حداقل U-واگرایی می‌شود. اگر U به عنوان یک تابع نمایی انتخاب شده باشد،  U-آنتروپی و U-واگرایی به آنتروپی بولتزمن-شانون و واگرایی KL کاهش می یابد. حداقل برآوردگر واگرایی U- معادل MLE است. برای یادگیری نظارت شده قوی برای پیش‌بینی برچسب کلاس، مشاهده می‌کنیم که الگوریتم تقویت کننده U برای آلوده کردن نمونه‌های برچسب اشتباه به خوبی عمل می‌کند اگر U به طور مناسب انتخاب شده است. ما چنین روشهای واگرایی حداکثر U-آنتروپی و حداقل U- را ارائه می کنیم، به ویژه، انتخاب یک تابع توان به عنوان U برای ارائه عملکرد انعطاف پذیر در یادگیری ماشین آماری.

This book explores minimum divergence methods of statistical machine learning for estimation,  regression, prediction, and so forth,  in which we engage in information geometry to elucidate their intrinsic properties of the corresponding loss functions, learning algorithms, and statistical models. One of the most elementary  examples is Gauss's least squares estimator in a linear regression model, in which the estimator is given by minimization of the sum of squares between a response vector and a vector of the linear subspace hulled by explanatory vectors.  This is extended to Fisher's maximum likelihood estimator (MLE) for an exponential model, in which the estimator is provided by minimization of the Kullback-Leibler (KL) divergence between a data distribution and a parametric distribution of the exponential model in an empirical analogue. Thus, we envisage a geometric interpretation of such  minimization procedures such that a right triangle is kept with Pythagorean identity in the sense of the KL divergence.  This understanding sublimates  a dualistic interplay between a statistical estimation and model, which requires dual geodesic paths, called m-geodesic and e-geodesic paths, in a framework of information geometry.
We extend such a dualistic structure of the MLE and exponential model to that of the minimum divergence estimator and the maximum entropy model, which is applied to robust statistics, maximum entropy, density estimation, principal component analysis, independent component analysis, regression analysis, manifold learning, boosting algorithm,  clustering, dynamic treatment regimes, and so forth. We consider a variety of information divergence measures typically including KL divergence to express departure from one probability distribution to another. An information divergence is decomposed into the cross-entropy and the (diagonal) entropy in which the entropy associates with a generative model as a family of maximum entropy distributions; the cross entropy associates with a statistical estimation method via minimization of the empirical analogue based on given data. Thus any statistical divergence includes an intrinsic object between the generative model and the estimation method. Typically, KL divergence leads to the exponential model and the maximum likelihood estimation. It is shown that any information divergence leads to a Riemannian metric and a pair of the linear connections in the framework of information geometry.
We focus on a class of information divergence generated by an increasing and convex function U, called U-divergence. It is shown that any generator function U generates the U-entropy and U-divergence, in which there is a dualistic structure between the U-divergence method and the maximum U-entropy model. We observe that a specific choice of  U leads to a robust statistical procedure via the minimum U-divergence method. If U is selected as an exponential function, then the corresponding  U-entropy and U-divergence are reduced to the Boltzmann-Shanon entropy and the KL divergence; the minimum U-divergence estimator is equivalent to the MLE. For robust supervised learning to predict a class label we observe that the U-boosting algorithm performs well for contamination of mislabel examples if U is appropriately selected. We present such maximal U-entropy and minimum U-divergence methods, in particular, selecting a power function as U to provide flexible performance in statistical machine learning.