Discrete-Time Markov Control Processes: Basic Optimality Criteria

این کتاب اولین قسمت از یک مجموعه دو جلدی برنامه ریزی شده را ارائه می دهد که به توضیح سیستماتیک برخی از پیشرفت های اخیر در تئوری فرآیندهای کنترل مارکوف زمان گسسته (MCPs) اختصاص دارد. علاقه عمدتاً به MCPهایی با فضاهای حالت بورل و کنترل (یا عمل) و احتمالاً هزینه‌های نامحدود و مجموعه‌های محدودیت کنترل غیر فشرده محدود می‌شود. MCPها دسته‌ای از مسائل کنترل تصادفی هستند که به‌عنوان فرآیندهای تصمیم مارکوف، فرآیندهای مارکوف کنترل‌شده یا برنامه‌های پویای تصادفی نیز شناخته می‌شوند. گاهی اوقات، به ویژه هنگامی که فضای حالت یک مجموعه قابل شمارش است، به آنها زنجیره های تصمیم مارکوف (یا مارکوف کنترل شده) نیز می گویند. صرف نظر از نام استفاده شده، MCPها در بسیاری از زمینه ها ظاهر می شوند، به عنوان مثال، مهندسی، اقتصاد، تحقیق در عملیات، آمار، مدیریت منابع تجدیدپذیر و تجدید ناپذیر، (کنترل) اپیدمی ها، و غیره. حداقل 90٪ روی MCPهایی متمرکز است که (الف) فضای حالت یک مجموعه قابل شمارش است، و/یا (ب) هزینه های هر مرحله محدود شده است، و/یا (ج) مجموعه محدودیت های کنترل فشرده هستند. اما به اندازه کافی عجیب، پرکاربردترین مدل کنترل در مهندسی و اقتصاد - یعنی مدل LQ (سیستم خطی / هزینه درجه دوم) هیچ یک از این شرایط را برآورده نمی کند. علاوه بر این، هنگامی که با سیستم‌های «جزئی قابل مشاهده» سروکار داریم، یک رویکرد استاندارد تبدیل آنها به سیستم‌های معادل «کاملاً قابل مشاهده» در یک فضای حالت بزرگ‌تر (در واقع فضای اندازه‌گیری‌های احتمال) است که حتی غیرقابل شمارش است. اگر فرآیند حالت اولیه دارای ارزش محدود باشد.

This book presents the first part of a planned two-volume series devoted to a systematic exposition of some recent developments in the theory of discrete-time Markov control processes (MCPs). Interest is mainly confined to MCPs with Borel state and control (or action) spaces, and possibly unbounded costs and noncompact control constraint sets. MCPs are a class of stochastic control problems, also known as Markov decision processes, controlled Markov processes, or stochastic dynamic pro­ grams; sometimes, particularly when the state space is a countable set, they are also called Markov decision (or controlled Markov) chains. Regardless of the name used, MCPs appear in many fields, for example, engineering, economics, operations research, statistics, renewable and nonrenewable re­ source management, (control of) epidemics, etc. However, most of the lit­ erature (say, at least 90%) is concentrated on MCPs for which (a) the state space is a countable set, and/or (b) the costs-per-stage are bounded, and/or (c) the control constraint sets are compact. But curiously enough, the most widely used control model in engineering and economics--namely the LQ (Linear system/Quadratic cost) model-satisfies none of these conditions. Moreover, when dealing with "partially observable" systems) a standard approach is to transform them into equivalent "completely observable" sys­ tems in a larger state space (in fact, a space of probability measures), which is uncountable even if the original state process is finite-valued.