Adaptive Representations for Reinforcement Learning

این کتاب الگوریتم‌های جدیدی را برای یادگیری تقویتی ارائه می‌کند، شکلی از یادگیری ماشین که در آن یک عامل مستقل به دنبال یک خط مشی کنترل برای یک کار تصمیم‌گیری متوالی است. از آنجایی که روش‌های فعلی معمولاً بر نمایش‌های راه‌حل طراحی‌شده دستی متکی هستند، عواملی که به‌طور خودکار بازنمایی‌های خود را تطبیق می‌دهند، پتانسیل بهبود چشمگیر عملکرد را دارند. این کتاب دو رویکرد جدید را برای کشف خودکار نمایش‌های با عملکرد بالا معرفی می‌کند. رویکرد اول روش‌های تفاوت زمانی، رویکرد سنتی برای یادگیری تقویتی را با روش‌های تکاملی ترکیب می‌کند، که می‌تواند نمایش‌هایی را برای کلاس وسیعی از مسائل بهینه‌سازی بیاموزد. این ترکیب با سفارشی کردن روش‌های تکاملی به ماهیت آنلاین یادگیری تقویتی و استفاده از آنها برای تکامل نمایش‌هایی برای تقریب‌کننده‌های تابع ارزش انجام می‌شود. رویکرد دوم به طور خودکار نمایش‌هایی را بر اساس تقریب‌های ثابت تکه‌ای توابع ارزش می‌آموزد. با نمایش‌های درشت شروع می‌شود و به تدریج آنها را در طول یادگیری اصلاح می‌کند و خط مشی فعلی و تابع ارزش را برای استنباط بهترین اصلاحات تحلیل می‌کند. این کتاب همچنین یک روش جدید برای ابداع نمایش های ورودی معرفی می کند. این روش با گسترش الگوریتمی که توپولوژی و وزن شبکه‌های عصبی را به گونه‌ای تغییر می‌دهد که ورودی‌های آنها را نیز تکامل می‌دهد، مشکل انتخاب ویژگی را حل می‌کند. علاوه بر معرفی این روش‌های جدید، این کتاب نتایج تجربی گسترده‌ای را در حوزه‌های متعدد ارائه می‌کند که نشان می‌دهد این تکنیک‌ها می‌توانند عملکرد را نسبت به روش‌هایی با نمایش دستی به طور قابل ملاحظه‌ای بهبود بخشند.

This book presents new algorithms for reinforcement learning, a form of machine learning in which an autonomous agent seeks a control policy for a sequential decision task. Since current methods typically rely on manually designed solution representations, agents that automatically adapt their own representations have the potential to dramatically improve performance. This book introduces two novel approaches for automatically discovering high-performing representations. The first approach synthesizes temporal difference methods, the traditional approach to reinforcement learning, with evolutionary methods, which can learn representations for a broad class of optimization problems. This synthesis is accomplished by customizing evolutionary methods to the on-line nature of reinforcement learning and using them to evolve representations for value function approximators. The second approach automatically learns representations based on piecewise-constant approximations of value functions. It begins with coarse representations and gradually refines them during learning, analyzing the current policy and value function to deduce the best refinements. This book also introduces a novel method for devising input representations. This method addresses the feature selection problem by extending an algorithm that evolves the topology and weights of neural networks such that it evolves their inputs too. In addition to introducing these new methods, this book presents extensive empirical results in multiple domains demonstrating that these techniques can substantially improve performance over methods with manual representations.