Markov Chains: Theory, Algorithms and Applications

زنجیره های مارکوف یک کلاس اساسی از فرآیندهای تصادفی هستند. آنها به طور گسترده ای برای حل مشکلات در تعداد زیادی از حوزه ها مانند تحقیقات عملیاتی، علوم کامپیوتر، شبکه های ارتباطی و سیستم های تولیدی استفاده می شوند. موفقیت زنجیره‌های مارکوف عمدتاً به دلیل سادگی استفاده از آنها، تعداد زیاد نتایج نظری موجود و کیفیت الگوریتم‌های توسعه‌یافته برای ارزیابی عددی بسیاری از معیارهای مورد علاقه است.
نویسنده نظریه هر دو گسسته را ارائه می‌کند. زنجیره های مارکوف همگن زمان و زمان پیوسته. او پدیده انفجار، معادلات کولموگروف، همگرایی به تعادل و توزیع زمان گذر را به یک حالت و به زیر مجموعه ای از حالت ها به دقت بررسی می کند. این نتایج برای فرآیندهای تولد و مرگ اعمال می شود. سپس او مطالعه دقیق تکنیک یکنواخت سازی را با استفاده از جبر Banach پیشنهاد می کند. این تکنیک برای تجزیه و تحلیل گذرا چندین سیستم صف استفاده می شود.

محتوا

1. زنجیر مارکوف زمان گسسته
2. زنجیره مارکوف زمان پیوسته
3. فرآیندهای تولد و مرگ
4. یکسان سازی
5. صف‌ها

درباره نویسندگان

برونو سریکولا یک پژوهشگر ارشد در Inria Rennes – Bretagne Atlantique در فرانسه است. فعالیت اصلی تحقیقاتی او در ارزیابی عملکرد سیستم‌های کامپیوتری و ارتباطی، تحلیل قابلیت اطمینان سیستم‌های تحمل‌پذیر خطا و مدل‌های تصادفی است.

Markov chains are a fundamental class of stochastic processes. They are widely used to solve problems in a large number of domains such as operational research, computer science, communication networks and manufacturing systems. The success of Markov chains is mainly due to their simplicity of use, the large number of available theoretical results and the quality of algorithms developed for the numerical evaluation of many metrics of interest.
The author presents the theory of both discrete-time and continuous-time homogeneous Markov chains. He carefully examines the explosion phenomenon, the Kolmogorov equations, the convergence to equilibrium and the passage time distributions to a state and to a subset of states. These results are applied to birth-and-death processes. He then proposes a detailed study of the uniformization technique by means of Banach algebra. This technique is used for the transient analysis of several queuing systems.

Contents

1. Discrete-Time Markov Chains
2. Continuous-Time Markov Chains
3. Birth-and-Death Processes
4. Uniformization
5. Queues

About the Authors

Bruno Sericola is a Senior Research Scientist at Inria Rennes – Bretagne Atlantique in France. His main research activity is in performance evaluation of computer and communication systems, dependability analysis of fault-tolerant systems and stochastic models.