Neural Networks for Conditional Probability Estimation: Forecasting Beyond Point Predictions

کاربردهای معمولی شبکه های عصبی معمولاً یک مقدار واحد را به عنوان تابعی از ورودی های داده شده پیش بینی می کنند. برای مثال، در پیش‌بینی، یک هدف استاندارد، پیش‌بینی ارزش آتی یک واحد مورد علاقه بر اساس یک سری زمانی از اندازه‌گیری‌ها یا مشاهدات گذشته است. طرح‌های آموزشی معمولی با هدف به حداقل رساندن مجموع انحرافات مجذور بین مقادیر پیش‌بینی‌شده و واقعی («هدف‌ها»)، که به‌طور ایده‌آل، شبکه میانگین شرطی هدف را با توجه به ورودی می‌آموزد، انجام می‌شود. اگر توزیع شرطی زیربنایی گاوس سیان یا حداقل یک وجهی باشد، این ممکن است یک رویکرد رضایت‌بخش باشد. با این حال، برای یک توزیع چندوجهی، میانگین شرطی ویژگی‌های مربوط به سیستم را نشان نمی‌دهد، و عملکرد پیش‌بینی، به طور کلی، بسیار ضعیف خواهد بود. این نیاز به یک مدل قوی تر و پیچیده تر دارد که می تواند کل توزیع احتمال شرطی را یاد بگیرد. فصل 1 نشان می‌دهد که حتی برای یک سیستم قطعی و نویز مشاهده‌ای گاوسی «خفیف»، توزیع مشروط مشاهدات آینده، مشروط به مجموعه‌ای از مشاهدات گذشته، می‌تواند به شدت منحرف و چندوجهی شود. در فصل 2، یک ساختار شبکه عصبی کلی برای مدل‌سازی چگالی احتمال شرطی مشتق شده است، و نشان داده می‌شود که یک تقریب جهانی برای این کار توسعه‌یافته حداقل به دو لایه پنهان نیاز دارد. یک طرح آموزشی از رویکرد حداکثر احتمال در فصل 3 ایجاد شده است، و عملکرد این روش در سه سری زمانی تصادفی در فصل های 4 و 5 نشان داده شده است.

Conventional applications of neural networks usually predict a single value as a function of given inputs. In forecasting, for example, a standard objective is to predict the future value of some entity of interest on the basis of a time series of past measurements or observations. Typical training schemes aim to minimise the sum of squared deviations between predicted and actual values (the 'targets'), by which, ideally, the network learns the conditional mean of the target given the input. If the underlying conditional distribution is Gaus­ sian or at least unimodal, this may be a satisfactory approach. However, for a multimodal distribution, the conditional mean does not capture the relevant features of the system, and the prediction performance will, in general, be very poor. This calls for a more powerful and sophisticated model, which can learn the whole conditional probability distribution. Chapter 1 demonstrates that even for a deterministic system and 'be­ nign' Gaussian observational noise, the conditional distribution of a future observation, conditional on a set of past observations, can become strongly skewed and multimodal. In Chapter 2, a general neural network structure for modelling conditional probability densities is derived, and it is shown that a universal approximator for this extended task requires at least two hidden layers. A training scheme is developed from a maximum likelihood approach in Chapter 3, and the performance ofthis method is demonstrated on three stochastic time series in chapters 4 and 5.