Graphical Models, Exponential Families, and Variational Inference

دسته بندی: سایبرنتیک: هوش مصنوعی
ویرایش:  
نویسندگان: Wainwright M.J. Jordan M.I.  
سری:  
 
ناشر:  
سال نشر:  
تعداد صفحات: 305 
زبان: English 
فرمت فایل : PDF (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) 
حجم فایل: 2 مگابایت 

قیمت کتاب (تومان) : 40,000

مبانی و گرایش‌ها در یادگیری ماشینی издательства NOWPress, 2008, -305 pp. رسم‌گرایی مدل‌های گرافیکی احتمالی چارچوبی یکپارچه برای ثبت وابستگی‌های پیچیده در میان متغیرهای تصادفی فراهم می‌کند، و ساخت مدل های آماری چند متغیره در مقیاس بزرگ مدل‌های گرافیکی در بسیاری از زمینه‌های آماری، محاسباتی و ریاضی، از جمله بیوانفورماتیک، نظریه ارتباطات، فیزیک آماری، بهینه‌سازی ترکیبی، پردازش سیگنال و تصویر، بازیابی اطلاعات و یادگیری ماشین آماری به کانون تحقیقات تبدیل شده‌اند. بسیاری از مشکلاتی که در موارد خاص ایجاد می‌شوند - از جمله مشکلات کلیدی محاسبه حاشیه‌ها و حالت‌های توزیع احتمال - به بهترین وجه در محیط عمومی مطالعه می‌شوند. با کار با نمایش‌های خانواده نمایی، و بهره‌برداری از دوگانگی مزدوج بین تابع تجمعی و آنتروپی برای خانواده‌های نمایی، ما بازنمایی‌های تغییرات کلی از مشکلات محاسباتی احتمالات، احتمالات حاشیه‌ای و پیکربندی‌های محتمل را توسعه می‌دهیم. ما توضیح می‌دهیم که چگونه طیف گسترده‌ای از الگوریتم‌ها - از جمله روش‌های جمع-محصول، روش‌های تغییرات خوشه‌ای، انتظارات-انتشار، روش‌های میدان میانگین، حداکثر محصول و آرامش برنامه‌نویسی خطی، و همچنین آرامش‌های برنامه‌ریزی مخروطی - همه را می‌توان از نظر دقیق درک کرد. یا اشکال تقریبی این بازنمایی های متغیر. رویکرد متغیر جایگزینی مکمل برای زنجیره مارکوف مونت کارلو به عنوان یک منبع کلی از روش‌های تقریب برای استنتاج در مدل‌های آماری در مقیاس بزرگ ارائه می‌کند. مقدمه
زمینه
مدل های گرافیکی به عنوان خانواده های نمایی
محصول جمع، بته-کیکوچی و انتشار-انتظار
روش های میدان میانگین
روش های متغیر در تخمین پارامتر
آرامش های محدب و کران های بالایی
برنامه نویسی عدد صحیح، حداکثر محصول، و برنامه ریزی خطی آرامش
ماتریس های لحظه ای، محدودیت های نیمه معین، و آرامش برنامه ریزی مخروطی
بحث
مواد پس زمینه
B اثبات ها و نتایج کمکی: نمایی خانواده ها و دوگانگی
اصول متغیر C برای گاوسیان چند متغیره
خوشه بندی D و ابرگراف های تقویت شده
نتایج متفرقه E

Из серии Foundations and Trends in Machine Learning издательства NOWPress, 2008, -305 pp. The formalism of probabilistic graphical models provides a unifying framework for capturing complex dependencies among random variables, and building large-scale multivariate statistical models. Graphical models have become a focus of research in many statistical, computational and mathematical fields, including bioinformatics, communication theory, statistical physics, combinatorial optimization, signal and image processing, information retrieval and statistical machine learning. Many problems that arise in specific instances — including the key problems of computing marginals and modes of probability distributions — are best studied in the general setting. Working with exponential family representations, and exploiting the conjugate duality between the cumulant function and the entropy for exponential families, we develop general variational representations of the problems of computing likelihoods, marginal probabilities and most probable configurations. We describe how a wide variety of algorithms — among them sum-product, cluster variational methods, expectation-propagation, mean field methods, max-product and linear programming relaxation, as well as conic programming relaxations — can all be understood in terms of exact or approximate forms of these variational representations. The variational approach provides a complementary alternative to Markov chain Monte Carlo as a general source of approximation methods for inference in large-scale statistical models. Introduction
Background
Graphical Models as Exponential Families
Sum-Product, Bethe–Kikuchi, and Expectation-Propagation
Mean Field Methods
Variational Methods in Parameter Estimation
Convex Relaxations and Upper Bounds
Integer Programming, Max-product, and Linear Programming Relaxations
Moment Matrices, Semidefinite Constraints, and Conic Programming Relaxation
Discussion
A Background Material
B Proofs and Auxiliary Results: Exponential Families and Duality
C Variational Principles for Multivariate Gaussians
D Clustering and Augmented Hypergraphs
E Miscellaneous Results