Foundations of Average-Cost Nonhomogeneous Controlled Markov Chains

این خلاصه Springer به چالش‌هایی می‌پردازد که در مطالعه بهینه‌سازی زنجیره‌های مارکوف ناهمگن با زمان مواجه می‌شوند. بینش‌های جدید و روش‌های جدیدی را برای سیستم‌هایی ایجاد می‌کند که در آنها مفاهیمی مانند ثابت بودن، ارگودیسیته، تناوب و اتصال کاربرد ندارند.

این مختصر مفهوم جدید تلاقی را معرفی می‌کند و یک رویکرد بهینه‌سازی نسبی را اعمال می‌کند. این یک نظریه جامع برای بهینه‌سازی میانگین بلندمدت زنجیره‌های مارکوف غیرهمگن زمان ایجاد می‌کند. این کتاب نشان می‌دهد که تلاقی اساسی‌ترین مفهوم در بهینه‌سازی است و بهینه‌سازی نسبی برای درمان سیستم‌های مورد بررسی مناسب‌تر از ایده‌های استاندارد برنامه‌نویسی پویا است. نویسنده با استفاده از تلاقی و بهینه‌سازی نسبی، حالت‌ها را به‌عنوان هم‌رو یا انشعاب طبقه‌بندی می‌کند و نشان می‌دهد که چگونه می‌توان به آسانی به مسئله عدم انتخاب میانگین بلندمدت پرداخت، بهینه‌سازی چند کلاسه اجرا شد، و بایاس‌های N و شرایط بهینه بلک‌ول به دست آمد. این نتایج برای اولین بار در یک کتاب ارائه می‌شود و بنابراین ممکن است درک بهینه‌سازی را افزایش داده و ایده‌های تحقیقاتی جدید را در این منطقه ایجاد کند.

This Springer brief addresses the challenges encountered in the study of the optimization of time-nonhomogeneous Markov chains. It develops new insights and new methodologies for systems in which concepts such as stationarity, ergodicity, periodicity and connectivity do not apply.

This brief introduces the novel concept of confluencity and applies a relative optimization approach. It develops a comprehensive theory for optimization of the long-run average of time-nonhomogeneous Markov chains. The book shows that confluencity is the most fundamental concept in optimization, and that relative optimization is more suitable for treating the systems under consideration than standard ideas of dynamic programming. Using confluencity and relative optimization, the author classifies states as confluent or branching and shows how the under-selectivity issue of the long-run average can be easily addressed, multi-class optimization implemented, and Nth biases and Blackwell optimality conditions derived. These results are presented in a book for the first time and so may enhance the understanding of optimization and motivate new research ideas in the area.