Approximate Dynamic Programming: Solving the Curses of Dimensionality, 2nd Edition

''در نهایت، کتابی به برنامه نویسی پویا و با استفاده از زبان تحقیق در عملیات (OR) نوشته شده است! این کتاب زیبا شکافی را در کتابخانه‌های متخصصان و پزشکان OR پر می‌کند.»
—بررسی‌های محاسباتی

این نسخه جدید تمرکز بر روی مدل‌سازی و محاسبه برای کلاس‌های پیچیده از مسائل برنامه‌نویسی پویا تقریبی

درک برنامه‌نویسی دینامیکی تقریبی (ADP) به منظور توسعه راه‌حل‌های عملی و با کیفیت بالا برای مسائل پیچیده صنعتی حیاتی است، به‌ویژه زمانی که این مشکلات شامل تصمیم‌گیری در وجود عدم قطعیت برنامه نویسی پویا تقریبی، ویرایش دوم به طور منحصر به فرد چهار رشته مجزا - فرآیندهای تصمیم مارکوف، برنامه نویسی ریاضی، شبیه سازی و آمار - را ادغام می کند تا نشان دهد که چگونه می توان با موفقیت به رویکرد، مدل سازی و حل طیف گسترده ای از مسائل زندگی واقعی اشاره کرد. با استفاده از ADP.

این کتاب همچنان به پر کردن شکاف بین علوم کامپیوتر، شبیه‌سازی، و تحقیقات عملیاتی ادامه می‌دهد و اکنون از نماد و واژگان یادگیری تقویتی و همچنین جستجوی تصادفی و بهینه‌سازی شبیه‌سازی استفاده می‌کند. نویسنده الگوریتم های اساسی را که به عنوان نقطه شروع در طراحی راه حل های عملی برای مسائل واقعی عمل می کنند، تشریح می کند. سه نفرین ابعادی که بر مشکلات پیچیده تأثیر می‌گذارند معرفی شده‌اند و پوشش دقیق چالش‌های پیاده‌سازی ارائه شده‌اند. نسخه دوم همچنین دارای موارد زیر است:

• فصل جدیدی که چهار طبقه اساسی از سیاست‌ها را برای کار با مسائل مختلف بهینه‌سازی تصادفی توصیف می‌کند: خط‌مشی‌های نزدیک‌بین، سیاست‌های پیش‌بینی، تقریب‌های تابع خط‌مشی. و سیاست‌های مبتنی بر تقریب‌های تابع مقدار

• فصل جدیدی در جستجوی خط‌مشی که مفاهیم بهینه‌سازی شبیه‌سازی و جستجوی تصادفی را گرد هم می‌آورد و کلاس جدیدی از استراتژی‌های یادگیری بهینه را معرفی می‌کند

• پوشش به‌روز شده بهره‌برداری اکتشافی مشکل در ADP، در حال حاضر شامل یک روش اخیرا توسعه یافته برای انجام یادگیری فعال در حضور یک حالت فیزیکی، با استفاده از مفهوم گرادیان دانش

• توالی جدیدی از فصول که روش های آماری را برای تقریب توابع ارزش توصیف می کند، تخمین ارزش یک خط مشی ثابت و تقریب تابع ارزش در حین جستجوی سیاست های بهینه

پوشش ارائه شده از ADP بر مدل ها و الگوریتم ها تأکید می کند، بر برنامه های کاربردی مرتبط و محاسبات تمرکز می کند و در عین حال جنبه نظری موضوع را نیز مورد بررسی قرار می دهد که اثبات ها را بررسی می کند. همگرایی و میزان همگرایی. یک وب‌سایت مرتبط دارای بحثی مداوم در مورد زمینه‌های در حال تکامل برنامه‌نویسی پویا تقریبی و یادگیری تقویتی، همراه با خواندن‌های اضافی، نرم‌افزار و مجموعه داده‌ها است.

فقط نیاز به درک اولیه آمار و احتمال، برنامه‌نویسی پویا تقریبی i>، ویرایش دوم کتابی عالی برای دروس مهندسی صنایع و تحقیقات عملیات در مقاطع فوق لیسانس و فوق لیسانس است. همچنین به عنوان یک مرجع ارزشمند برای محققان و متخصصانی که از برنامه نویسی پویا، برنامه نویسی تصادفی و تئوری کنترل برای حل مسائل در کارهای روزمره خود استفاده می کنند، عمل می کند.

''Finally, a book devoted to dynamic programming and written using the language of operations research (OR)! This beautiful book fills a gap in the libraries of OR specialists and practitioners.''
—Computing Reviews

This new edition showcases a focus on modeling and computation for complex classes of approximate dynamic programming problems

Understanding approximate dynamic programming (ADP) is vital in order to develop practical and high-quality solutions to complex industrial problems, particularly when those problems involve making decisions in the presence of uncertainty. Approximate Dynamic Programming, Second Edition uniquely integrates four distinct disciplines—Markov decision processes, mathematical programming, simulation, and statistics—to demonstrate how to successfully approach, model, and solve a wide range of real-life problems using ADP.

The book continues to bridge the gap between computer science, simulation, and operations research and now adopts the notation and vocabulary of reinforcement learning as well as stochastic search and simulation optimization. The author outlines the essential algorithms that serve as a starting point in the design of practical solutions for real problems. The three curses of dimensionality that impact complex problems are introduced and detailed coverage of implementation challenges is provided. The Second Edition also features:

• A new chapter describing four fundamental classes of policies for working with diverse stochastic optimization problems: myopic policies, look-ahead policies, policy function approximations, and policies based on value function approximations

• A new chapter on policy search that brings together stochastic search and simulation optimization concepts and introduces a new class of optimal learning strategies

• Updated coverage of the exploration exploitation problem in ADP, now including a recently developed method for doing active learning in the presence of a physical state, using the concept of the knowledge gradient

• A new sequence of chapters describing statistical methods for approximating value functions, estimating the value of a fixed policy, and value function approximation while searching for optimal policies

The presented coverage of ADP emphasizes models and algorithms, focusing on related applications and computation while also discussing the theoretical side of the topic that explores proofs of convergence and rate of convergence. A related website features an ongoing discussion of the evolving fields of approximation dynamic programming and reinforcement learning, along with additional readings, software, and datasets.

Requiring only a basic understanding of statistics and probability, Approximate Dynamic Programming, Second Edition is an excellent book for industrial engineering and operations research courses at the upper-undergraduate and graduate levels. It also serves as a valuable reference for researchers and professionals who utilize dynamic programming, stochastic programming, and control theory to solve problems in their everyday work