Simulation-Based Algorithms for Markov Decision Processes

مدل‌های فرآیند تصمیم مارکوف (MDP) به طور گسترده برای مدل‌سازی مشکلات تصمیم‌گیری متوالی که در مهندسی، اقتصاد، علوم کامپیوتر و علوم اجتماعی به وجود می‌آیند استفاده می‌شوند. بسیاری از مسائل دنیای واقعی که توسط MDPها مدل‌سازی شده‌اند، دارای فضاهای حالت و/یا عمل بزرگی هستند که به نفرین ابعاد گشوده می‌شوند و بنابراین راه‌حل عملی مدل‌های حاصل را غیرقابل حل می‌کنند. در موارد دیگر، سیستم مورد نظر آنقدر پیچیده است که اجازه نمی دهد مشخصات صریح برخی از پارامترهای مدل MDP را مشخص کند، اما نمونه های شبیه سازی به آسانی در دسترس هستند (به عنوان مثال، برای انتقال های تصادفی و هزینه ها). برای این تنظیمات، الگوریتم‌های نمونه‌گیری و مبتنی بر جمعیت مختلف برای غلبه بر مشکلات محاسبه یک راه‌حل بهینه از نظر یک خط مشی و/یا تابع مقدار توسعه داده شده‌اند. رویکردهای خاص عبارتند از نمونه گیری تطبیقی، تکرار خط مشی تکاملی، جستجوی خط مشی تصادفی تکاملی، و جستجوی تطبیقی ​​مرجع مدل.
این نسخه جدید به طور قابل ملاحظه‌ای بزرگ‌شده، آخرین پیشرفت‌ها در الگوریتم‌های جدید و نظریه‌های زیربنایی آن‌ها را منعکس می‌کند و گزارشی به‌روز از موضوعاتی را ارائه می‌دهد که از زمان انتشار اولین نسخه پدیدار شده‌اند. شامل موارد زیر است:
مواد ابتکاری در MDP ها، هم در تنظیمات محدود و هم با ویژگی های انتقال نامشخص.
روش تئوری بازی برای حل MDP;
تئوری ها برای توسعه الگوریتم های مبتنی بر رول-out; و
جزئیات بازپخت تصادفی تقریبی، یک الگوریتم مبتنی بر شبیه‌سازی آنلاین مبتنی بر جمعیت.
رویکرد مستقل این کتاب نه تنها برای محققان MDP، مدل‌سازی تصادفی، و کنترل و شبیه‌سازی جذاب خواهد بود، بلکه منبع ارزشمندی برای آموزش و مرجع برای دانشجویان تحقیقات کنترل و عملیات خواهد بود.

Markov decision process (MDP) models are widely used for modeling sequential decision-making problems that arise in engineering, economics, computer science, and the social sciences. Many real-world problems modeled by MDPs have huge state and/or action spaces, giving an opening to the curse of dimensionality and so making practical solution of the resulting models intractable. In other cases, the system of interest is too complex to allow explicit specification of some of the MDP model parameters, but simulation samples are readily available (e.g., for random transitions and costs). For these settings, various sampling and population-based algorithms have been developed to overcome the difficulties of computing an optimal solution in terms of a policy and/or value function. Specific approaches include adaptive sampling, evolutionary policy iteration, evolutionary random policy search, and model reference adaptive search.
This substantially enlarged new edition reflects the latest developments in novel algorithms and their underpinning theories, and presents an updated account of the topics that have emerged since the publication of the first edition. Includes:
innovative material on MDPs, both in constrained settings and with uncertain transition properties;
game-theoretic method for solving MDPs;
theories for developing roll-out based algorithms; and
details of approximation stochastic annealing, a population-based on-line simulation-based algorithm.
The self-contained approach of this book will appeal not only to researchers in MDPs, stochastic modeling, and control, and simulation but will be a valuable source of tuition and reference for students of control and operations research.