Markov Processes for Stochastic Modeling

این کتاب توسعه جبری تئوری زنجیره‌های مارکوف فضای حالت قابل شمارش را با پارامترهای زمان گسسته و پیوسته ارائه می‌کند. زنجیره مارکوف یک فرآیند تصادفی است که با ویژگی مارکوف مشخص می شود که توزیع آینده فقط به وضعیت فعلی بستگی دارد، نه به کل تاریخ. علیرغم شکل ساده وابستگی آن، ویژگی مارکوف ما را قادر می سازد تا یک سیستم غنی از مفاهیم و قضایا ایجاد کنیم و نتایج زیادی را بدست آوریم که در کاربردها مفید هستند. در واقع، حوزه‌هایی که می‌توان با درجات مختلف موفقیت، توسط زنجیره‌های مارکوف مدل‌سازی کرد، گسترده هستند و هنوز در حال گسترش هستند. هدف این کتاب بحث در مورد رفتار وابسته به زمان، به نام رفتار گذرا، زنجیره مارکوف است. از نقطه نظر عملی، هنگام مدل‌سازی یک سیستم تصادفی توسط یک زنجیره مارکوف، موارد زیادی وجود دارد که در آنها نتایج محدودکننده زمانی مانند توزیع‌های ثابت بی‌معنی هستند. یا، حتی زمانی که توزیع ثابت از اهمیت خاصی برخوردار است، اغلب استفاده از نتیجه ثابت به تنهایی بدون اطلاع از رفتار گذرا زنجیره مارکوف خطرناک است. با وجود اهمیت آشکار، کتاب های زیادی به این موضوع توجه نکرده اند.

This book presents an algebraic development of the theory of countable state space Markov chains with discrete- and continuous-time parameters. A Markov chain is a stochastic process characterized by the Markov prop­ erty that the distribution of future depends only on the current state, not on the whole history. Despite its simple form of dependency, the Markov property has enabled us to develop a rich system of concepts and theorems and to derive many results that are useful in applications. In fact, the areas that can be modeled, with varying degrees of success, by Markov chains are vast and are still expanding. The aim of this book is a discussion of the time-dependent behavior, called the transient behavior, of Markov chains. From the practical point of view, when modeling a stochastic system by a Markov chain, there are many instances in which time-limiting results such as stationary distributions have no meaning. Or, even when the stationary distribution is of some importance, it is often dangerous to use the stationary result alone without knowing the transient behavior of the Markov chain. Not many books have paid much attention to this topic, despite its obvious importance.