Stochastic Control Theory: Dynamic Programming Principle

این کتاب مقدمه ای سیستماتیک بر نظریه کنترل تصادفی بهینه از طریق اصل برنامه نویسی پویا ارائه می دهد که ابزاری قدرتمند برای تجزیه و تحلیل مسائل کنترلی است.

ابتدا مسائل کنترلی کاملاً قابل مشاهده با محدود را در نظر می گیریم. افق ها با استفاده از گسسته سازی زمانی، یک نیمه گروه غیرخطی مرتبط با اصل برنامه ریزی پویا (DPP) می سازیم، که مولد آن معادله همیلتون-جاکوبی-بلمن (HJB) را ارائه می دهد، و تابع مقدار را از طریق نیمه گروه غیرخطی، علاوه بر تئوری حل ویسکوزیته، مشخص می کنیم. هنگامی که ما نه تنها دینامیک یک سیستم، بلکه زمان پایانی تکامل آن را نیز کنترل می کنیم، مشکلات توقف کنترل ایجاد می شود. این مشکل در چارچوب های مشابه، از طریق نیمه گروه غیر خطی درمان می شود. نتایج آن برای مسئله قیمت آپشن آمریکایی قابل استفاده است.

بازی‌های دیفرانسیل تصادفی همگن زمان دو نفره مجموع صفر و راه‌حل‌های ویسکوزیته معادلات آیزاک ناشی از چنین بازی‌هایی از طریق یک نیمه گروه غیرخطی مرتبط با DPP مورد مطالعه قرار گرفته‌اند. (به طور دقیق، اصل حداقل حداکثر). با استفاده از آرگومان‌های نیمه گسسته‌سازی، نیمه‌گروه‌های غیرخطی را می‌سازیم که مولدهای آنها معادلات آیزاک پایین و بالایی را ارائه می‌کنند.

در رابطه با مسائل کنترل تا حدی قابل مشاهده، ما به معادلات سهموی تصادفی که توسط نویزهای رنگی وینر، به‌ویژه، Zakai هدایت می‌شوند، اشاره می‌کنیم. معادله وجود و منحصر به فرد بودن راه حل ها و قاعده مندی ها و همچنین فرمول Itô بیان شده است. یک مسئله کنترلی برای معادلات زکای دارای یک نیمه گروه غیرخطی است که مولد آن معادله HJB را در فضای باناخ ارائه می دهد. معلوم می شود که تابع مقدار یک راه حل ویسکوزیته منحصر به فرد برای معادله HJB در شرایط ملایم است.

این نسخه نسبت به کتاب قبلی سخنرانی در نظریه کنترل تصادفی<�، درمان کلی تری از موضوع ارائه می دهد. /i> (یادداشت های سخنرانی ISI 9)، که در آن به موارد همگن زمان پرداخته می شود. در اینجا، برای مسائل کنترل افق زمانی محدود، DPP به عنوان یک نیمه گروه غیرخطی تک پارامتری فرموله شد که مولد آن معادله HJB را با استفاده از روش گسسته سازی زمان ارائه می کند. نیمه گروه مربوط به تابع مقدار است و به عنوان پوشش نیمه گروه های انتقالی مارکوویی از پاسخ ها برای فرآیندهای کنترل ثابت مشخص می شود. علاوه بر کنترل‌های افق زمانی محدود، این کتاب مشکلات توقف کنترل را در چارچوب‌های مشابه مورد بحث قرار می‌دهد.

This book offers a systematic introduction to the optimal stochastic control theory via the dynamic programming principle, which is a powerful tool to analyze control problems.

First we consider completely observable control problems with finite horizons. Using a time discretization we construct a nonlinear semigroup related to the dynamic programming principle (DPP), whose generator provides the Hamilton–Jacobi–Bellman (HJB) equation, and we characterize the value function via the nonlinear semigroup, besides the viscosity solution theory. When we control not only the dynamics of a system but also the terminal time of its evolution, control-stopping problems arise. This problem is treated in the same frameworks, via the nonlinear semigroup. Its results are applicable to the American option price problem.

Zero-sum two-player time-homogeneous stochastic differential games and viscosity solutions of the Isaacs equations arising from such games are studied via a nonlinear semigroup related to DPP (the min-max principle, to be precise). Using semi-discretization arguments, we construct the nonlinear semigroups whose generators provide lower and upper Isaacs equations.

Concerning partially observable control problems, we refer to stochastic parabolic equations driven by colored Wiener noises, in particular, the Zakai equation. The existence and uniqueness of solutions and regularities as well as Itô's formula are stated. A control problem for the Zakai equations has a nonlinear semigroup whose generator provides the HJB equation on a Banach space. The value function turns out to be a unique viscosity solution for the HJB equation under mild conditions.

This edition provides a more generalized treatment of the topic than does the earlier book Lectures on Stochastic Control Theory (ISI Lecture Notes 9), where time-homogeneous cases are dealt with. Here, for finite time-horizon control problems, DPP was formulated as a one-parameter nonlinear semigroup, whose generator provides the HJB equation, by using a time-discretization method. The semigroup corresponds to the value function and is characterized as the envelope of Markovian transition semigroups of responses for constant control processes. Besides finite time-horizon controls, the book discusses control-stopping problems in the same frameworks.