Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions

پاکسازی جنگل از بهینه سازی تصادفی

مسائل تصمیم متوالی، که شامل "تصمیم، اطلاعات، تصمیم گیری، اطلاعات، همه جا وجود دارد و تقریباً همه فعالیت های انسانی را از برنامه های کاربردی تجاری، سلامت (سلامت شخصی و عمومی و تصمیم گیری پزشکی)، انرژی، علوم، همه زمینه های مهندسی، مالی و تجارت الکترونیک را در بر می گیرد. تنوع برنامه ها توجه حداقل 15 زمینه تحقیقاتی متمایز را با استفاده از هشت سیستم نمادگذاری متمایز که مجموعه وسیعی از ابزارهای تحلیلی را تولید می کردند، به خود جلب کرد. یک محصول جانبی این است که ابزار قدرتمند توسعه یافته در یک جامعه ممکن است برای جوامع دیگر ناشناخته باشد.

یادگیری تقویتی و بهینه‌سازی تصادفی یک چارچوب متعارف ارائه می‌دهد که می‌تواند هر مشکل تصمیم‌گیری متوالی را با استفاده از پنج مؤلفه اصلی مدل‌سازی کند: متغیرهای حالت، متغیرهای تصمیم، برون‌زا. متغیرهای اطلاعات، تابع انتقال و تابع هدف. این کتاب دوازده نوع عدم قطعیت را که ممکن است وارد هر مدلی شود برجسته می‌کند و مجموعه متنوعی از روش‌ها برای تصمیم‌گیری را که به نام خط‌مشی‌ها شناخته می‌شوند، در چهار طبقه اساسی که شامل هر روش پیشنهادی در ادبیات آکادمیک یا در عمل استفاده می‌شود، گرد هم می‌آورد.

یادگیری تقویتی و بهینه‌سازی تصادفی اولین کتابی است که به روش‌های مختلف برای مدل‌سازی و حل مسائل تصمیم‌گیری متوالی، با پیروی از سبک، رفتار متعادلی ارائه می‌دهد. بیشتر کتاب‌های یادگیری ماشین، بهینه‌سازی و شبیه‌سازی استفاده می‌کنند. این ارائه برای خوانندگان با دوره احتمال و آمار و علاقه مند به مدل سازی و برنامه های کاربردی طراحی شده است. برنامه نویسی خطی گاهی اوقات برای کلاس های مشکل خاص استفاده می شود. این کتاب برای خوانندگانی طراحی شده است که در این زمینه تازه کار هستند و همچنین کسانی که پیشینه ای در زمینه بهینه سازی در شرایط عدم قطعیت دارند.

در سراسر این کتاب، خوانندگان ارجاعاتی به بیش از 100 کاربرد مختلف، شامل مشکلات یادگیری خالص، مشکلات تخصیص منابع پویا، مسائل کلی وابسته به حالت، و یادگیری ترکیبی/تخصیص منابع پیدا خواهند کرد. مشکلاتی مانند مواردی که در همه گیری کووید به وجود آمدند. 370 تمرین وجود دارد که در هفت گروه سازماندهی شده‌اند، از سؤالات مروری، مدل‌سازی، محاسبات، حل مسئله، تئوری، تمرین‌های برنامه‌نویسی و یک «مسئله دفترچه خاطرات» که خواننده در ابتدای کتاب انتخاب می‌کند و به عنوان مبنایی استفاده می‌شود. برای سؤالات بقیه کتاب.

Clearing the jungle of stochastic optimization

Sequential decision problems, which consist of “decision, information, decision, information,” are ubiquitous, spanning virtually every human activity ranging from business applications, health (personal and public health, and medical decision making), energy, the sciences, all fields of engineering, finance, and e-commerce. The diversity of applications attracted the attention of at least 15 distinct fields of research, using eight distinct notational systems which produced a vast array of analytical tools. A byproduct is that powerful tools developed in one community may be unknown to other communities.

Reinforcement Learning and Stochastic Optimization offers a single canonical framework that can model any sequential decision problem using five core components: state variables, decision variables, exogenous information variables, transition function, and objective function. This book highlights twelve types of uncertainty that might enter any model and pulls together the diverse set of methods for making decisions, known as policies, into four fundamental classes that span every method suggested in the academic literature or used in practice.

Reinforcement Learning and Stochastic Optimization is the first book to provide a balanced treatment of the different methods for modeling and solving sequential decision problems, following the style used by most books on machine learning, optimization, and simulation. The presentation is designed for readers with a course in probability and statistics, and an interest in modeling and applications. Linear programming is occasionally used for specific problem classes. The book is designed for readers who are new to the field, as well as those with some background in optimization under uncertainty.

Throughout this book, readers will find references to over 100 different applications, spanning pure learning problems, dynamic resource allocation problems, general state-dependent problems, and hybrid learning/resource allocation problems such as those that arose in the COVID pandemic. There are 370 exercises, organized into seven groups, ranging from review questions, modeling, computation, problem solving, theory, programming exercises and a “diary problem” that a reader chooses at the beginning of the book, and which is used as a basis for questions throughout the rest of the book.