Markov Decision Processes in Practice

این کتاب فرآیندهای تصمیم گیری مارکوف کلاسیک (MDP) را برای کاربردهای واقعی و بهینه سازی ارائه می کند. MDP به کاربران اجازه می دهد تا قوانین تصمیم گیری تقریبی و ساده را توسعه دهند و رسماً پشتیبانی کنند، و این کتاب برنامه های کاربردی پیشرفته ای را به نمایش می گذارد که در آنها MDP کلید رویکرد راه حل بود. کتاب به شش بخش تقسیم شده است. بخش 1 به مبانی نظری پیشرفته MDP، از جمله روش‌های تقریبی مانند بهبود خط مشی، تقریب متوالی و فضاهای حالت نامحدود و همچنین فصلی آموزنده در برنامه‌نویسی پویا تقریبی اختصاص دارد. سپس با پنج بخش از حوزه های کاربردی خاص و غیر جامع ادامه می یابد. بخش 2 کاربردهای مراقبت های بهداشتی MDP را پوشش می دهد که شامل روش های مختلف غربالگری، برنامه ریزی قرار ملاقات، برنامه ریزی آمبولانس و مدیریت خون است. بخش 3 مدل سازی MDP در حمل و نقل را بررسی می کند. این از حمل و نقل عمومی تا خصوصی، از فرودگاه ها و چراغ های راهنمایی گرفته تا پارکینگ خودرو یا شارژ خودروی برقی شما را شامل می شود. بخش 4 شامل سه فصل است که ساختار سیاست های تقریبی برای ساختارهای تولیدی یا تولیدی را نشان می دهد. در قسمت 5، ارتباطات به عنوان یک منطقه کاربردی مهم برای MDP برجسته شده است. این شامل شاخص های Gittins، مراکز تماس پایین به زمین و شبکه های حسگر بی سیم است. در نهایت، قسمت 6 به مدل‌سازی مالی اختصاص داده شده است، و یک بررسی آموزنده برای حسابداری پرتفوی‌های مالی و مشتقات تحت هزینه‌های معاملاتی متناسب ارائه می‌دهد. کاربردهای MDP در این کتاب انواع جنبه‌های استاندارد و غیراستاندارد مدل‌سازی MDP و کاربرد عملی آن را نشان می‌دهد. این کتاب باید برای خوانندگان برای اهداف تمرینی، تحقیقاتی دانشگاهی و آموزشی، با پیشینه، از جمله تحقیقات عملیات، ریاضیات، علوم کامپیوتر و مهندسی صنایع، جذاب باشد.

This book presents classical Markov Decision Processes (MDP) for real-life applications and optimization. MDP allows users to develop and formally support approximate and simple decision rules, and this book showcases state-of-the-art applications in which MDP was key to the solution approach. The book is divided into six parts. Part 1 is devoted to the state-of-the-art theoretical foundation of MDP, including approximate methods such as policy improvement, successive approximation and infinite state spaces as well as an instructive chapter on Approximate Dynamic Programming. It then continues with five parts of specific and non-exhaustive application areas. Part 2 covers MDP healthcare applications, which includes different screening procedures, appointment scheduling, ambulance scheduling and blood management. Part 3 explores MDP modeling within transportation. This ranges from public to private transportation, from airports and traffic lights to car parking or charging your electric car . Part 4 contains three chapters that illustrates the structure of approximate policies for production or manufacturing structures. In Part 5, communications is highlighted as an important application area for MDP. It includes Gittins indices, down-to-earth call centers and wireless sensor networks. Finally Part 6 is dedicated to financial modeling, offering an instructive review to account for financial portfolios and derivatives under proportional transactional costs. The MDP applications in this book illustrate a variety of both standard and non-standard aspects of MDP modeling and its practical use. This book should appeal to readers for practitioning, academic research and educational purposes, with a background in, among others, operations research, mathematics, computer science, and industrial engineering.