An introduction to Markov processes

این کتاب مقدمه ای دقیق اما ابتدایی بر نظریه فرآیندهای مارکوف در فضای حالت قابل شمارش ارائه می دهد. این باید برای دانش‌آموزانی که دارای پیش‌زمینه کارشناسی قوی در ریاضیات هستند، از جمله دانش‌آموزان مهندسی، اقتصاد، فیزیک و زیست‌شناسی در دسترس باشد. موضوعات تحت پوشش عبارتند از: تئوری دوبلین، خواص ارگودی کلی و فرآیندهای زمان پیوسته. برنامه ها در سراسر کتاب پراکنده هستند. علاوه بر این، یک فصل کامل به فرآیندهای برگشت پذیر و استفاده از اشکال دیریکله مرتبط با آنها برای تخمین میزان همگرایی به تعادل اختصاص یافته است. سپس این نتایج برای تجزیه و تحلیل الگوریتم Metropolis (معروف به بازپخت شبیه‌سازی شده) اعمال می‌شود.

نسخه 2^nd تصحیح‌شده و بزرگ‌شده شامل فصل جدیدی است که در آن نویسنده روش‌های محاسباتی را توسعه می‌دهد. برای زنجیره های مارکوف در فضای حالت محدود. جذاب‌ترین بخش بخشی با تکنیک جدیدی برای محاسبه معیارهای ثابت است که در مشتقات الگوریتم ویلسون و فرمول کرچوف برای پوشاندن درختان در یک نمودار متصل به کار می‌رود.

This book provides a rigorous but elementary introduction to the theory of Markov Processes on a countable state space. It should be accessible to students with a solid undergraduate background in mathematics, including students from engineering, economics, physics, and biology. Topics covered are: Doeblin's theory, general ergodic properties, and continuous time processes. Applications are dispersed throughout the book. In addition, a whole chapter is devoted to reversible processes and the use of their associated Dirichlet forms to estimate the rate of convergence to equilibrium. These results are then applied to the analysis of the Metropolis (a.k.a simulated annealing) algorithm.

The corrected and enlarged 2^nd edition contains a new chapter in which the author develops computational methods for Markov chains on a finite state space. Most intriguing is the section with a new technique for computing stationary measures, which is applied to derivations of Wilson's algorithm and Kirchoff's formula for spanning trees in a connected graph.