Foundations of Non-stationary Dynamic Programming with Discrete Time Parameter

کار حاضر نسخه توسعه یافته یک نسخه خطی از یک دوره است که نویسنده در تابستان 1969 در دانشگاه هامبورگ تدریس کرده است. هدف اصلی ارائه پایه ای دقیق از برنامه نویسی پویا تصادفی به شیوه ای است که نظریه را بسازد. به راحتی برای بسیاری از مسائل مختلف عملی قابل استفاده است. ما ویژگی های زیر را ذکر می کنیم که باید در خدمت هدف ما باشد. الف) این تئوری برای مدل‌های غیر ثابت ساخته شده است، بنابراین امکان درمان به عنوان مثال را فراهم می‌کند. برنامه نویسی پویا تحت ریسک، برنامه ریزی پویا تحت عدم قطعیت، مدل های مارکوین، مدل های ثابت و مدل های با افق محدود از دیدگاه یکپارچه. ب) از آن مفهوم بهینه (p-optimality) استفاده می کنیم که به نظر می رسد برای اهداف عملی مناسب ترین باشد. ج) از آنجایی که ما خود را به پایه ها محدود می کنیم، مسائل و راه های عملی را برای حل عددی آنها درج نکردیم، اما (به بخش 8 رجوع کنید) تعدادی مسئله ارائه می دهیم که تنوع ساختارهای قابل دسترسی برای برنامه ریزی دینامیکی غیر ثابت را نشان می دهد. منابع اصلی مقالات Blackwell (65)، Strauch (66) و Maitra (68) در مورد مدل های ثابت با فضاهای حالت کلی و عمل و مقالات Dynkin (65)، Hinderer (67) و Sirjaev (67) در مورد غیر بود. -مدل های ثابت تعدادی از نتایج باید جدید باشند، در حالی که بیشتر قضایا بسط (معمولاً از مدل‌های ثابت به مدل‌های غیر ثابت) یا مشابه نتایج شناخته‌شده را تشکیل می‌دهند.

The present work is an extended version of a manuscript of a course which the author taught at the University of Hamburg during summer 1969. The main purpose has been to give a rigorous foundation of stochastic dynamic programming in a manner which makes the theory easily applicable to many different practical problems. We mention the following features which should serve our purpose. a) The theory is built up for non-stationary models, thus making it possible to treat e.g. dynamic programming under risk, dynamic programming under uncertainty, Markovian models, stationary models, and models with finite horizon from a unified point of view. b) We use that notion of optimality (p-optimality) which seems to be most appropriate for practical purposes. c) Since we restrict ourselves to the foundations, we did not include practical problems and ways to their numerical solution, but we give (cf.section 8) a number of problems which show the diversity of structures accessible to non­ stationary dynamic programming. The main sources were the papers of Blackwell (65), Strauch (66) and Maitra (68) on stationary models with general state and action spaces and the papers of Dynkin (65), Hinderer (67) and Sirjaev (67) on non-stationary models. A number of results should be new, whereas most theorems constitute extensions (usually from stationary models to non-stationary models) or analogues to known results.