Markov Chains with Stationary Transition Probabilities

نظریه زنجیره‌های مارکوف، اگرچه مورد خاصی از فرآیندهای مارکوف است، اما در اینجا به خاطر خود توسعه یافته و بر اساس شایستگی‌های خود ارائه شده است. به طور کلی، فرضیه فضای حالت شمارش‌پذیر، که فرضیه تعیین‌کننده چیزی است که در اینجا «زنجیره» می‌نامیم، سؤالات واضح‌تری ایجاد می‌کند و پاسخ‌های دقیق‌تر و قطعی‌تری را می‌طلبد. به عنوان مثال، قضیه حد اصلی (§§ 1. 6، II. 10)، که هنوز موضوع تحقیق برای فرآیندهای عمومی مارکوف است، در اینجا در شکل نهایی خود است. و ویژگی قوی مارکوف (§ 11. 9) در اینجا همیشه قابل استفاده است. در حالی که نظریه احتمال به اندازه کافی پیشرفت کرده است که حتی در زمینه محدود این کتاب به درجه ای از پیچیدگی نیاز است، هنوز هم در اینجا می توان نسبت تعاریف به قضایا را نسبتاً پایین نگه داشت. . از نقطه نظر نظریه کلی فرآیندهای تصادفی، به نظر می رسد یک زنجیره مارکوف پارامتر پیوسته اولین فرآیند اساساً ناپیوسته است که با جزئیات مورد مطالعه قرار گرفته است. معمول است که توابع نمونه چنین زنجیره‌ای ناپیوستگی‌هایی بدتر از پرش‌ها دارند و این ناپیوستگی‌های پایه نقش اصلی را در تئوری بازی می‌کنند، که هنوز معمای آن کاملاً کشف نشده است. در این رابطه مفاهیم اساسی تفکیک پذیری و اندازه گیری، که معمولاً فقط در مراحل اولیه بحث برای ایجاد یکنواختی خاصی از توابع نمونه به کار می روند، در اینجا دائماً به عنوان ابزار ضروری استفاده می شوند.

The theory of Markov chains, although a special case of Markov processes, is here developed for its own sake and presented on its own merits. In general, the hypothesis of a denumerable state space, which is the defining hypothesis of what we call a "chain" here, generates more clear-cut questions and demands more precise and definitive an­ swers. For example, the principal limit theorem (§§ 1. 6, II. 10), still the object of research for general Markov processes, is here in its neat final form; and the strong Markov property (§ 11. 9) is here always applicable. While probability theory has advanced far enough that a degree of sophistication is needed even in the limited context of this book, it is still possible here to keep the proportion of definitions to theorems relatively low. . From the standpoint of the general theory of stochastic processes, a continuous parameter Markov chain appears to be the first essentially discontinuous process that has been studied in some detail. It is common that the sample functions of such a chain have discontinuities worse than jumps, and these baser discontinuities play a central role in the theory, of which the mystery remains to be completely unraveled. In this connection the basic concepts of separability and measurability, which are usually applied only at an early stage of the discussion to establish a certain smoothness of the sample functions, are here applied constantly as indispensable tools.