Fat-Tailed Distributions: Data, Diagnostics and Dependence

این عنوان برای افراد غیرمتخصص شماره نوشته شده است، و امیدوار است سه هدف را برآورده کند. ابتدا مطالب ریاضی را از حوزه‌های مختلف اما مرتبط آمار نظم، سوابق، نظریه ارزش افراطی، عمده‌سازی، تنوع منظم و زیرنمایی جمع‌آوری می‌کند. همه این‌ها برای درک دم‌های چاق مرتبط هستند، اما طبق دانش ما، در یک منبع واحد برای خوانندگان هدف گردآوری نشده‌اند. شواهدی که بینش ارائه می‌کنند گنجانده شده‌اند، اما برای بسیاری از محاسبات سخت، خواننده به منابع عالی اشاره‌شده در متن ارجاع داده می‌شود. افراط های چند متغیره درمان نمی شوند. این به ما امکان می دهد مطالبی را که در صدها صفحه در متون تخصصی در بیست صفحه پخش شده است ارائه کنیم. فصل 5 مطالب جدیدی را در مورد تشخیص دم سنگین ایجاد می کند و جزئیات ریاضی بیشتری را ارائه می دهد. از آنجایی که ممکن است واریانس ها و کوواریانس ها برای توزیع های مفصل دنباله سنگین وجود نداشته باشد، فصل 6 مفاهیم وابستگی را برای کلاس های خاصی از توزیع های مفصل دنباله سنگین با در نظر گرفتن رگرسیون متغیرهای دم سنگین بررسی می کند.

دوم، معیار جدیدی ارائه می کند. از چاقی محبوب‌ترین تعاریف از نظر تغییرات منظم و زیرنمایی، ویژگی‌های فرضی را فرا می‌خوانند که در بی‌نهایت نگه می‌دارند، و این هر تخمین تجربی را پیچیده می‌کند. هر تعریفی برخی از شهودات مرتبط با سنگینی دم را در بر می گیرد، اما نه همه. فصل 5 دو شاخص کاندید سنگینی دم را بر اساس تمایل نمودار بیش از حد میانگین به فروپاشی با جمع‌آوری داده‌ها مطالعه می‌کند. احتمال اینکه بزرگترین مقدار بیش از دو برابر دومین مقدار باشد جذابیت بصری دارد اما برآوردگر آن دقت بسیار ضعیفی دارد. شاخص چاقی برای یک متغیر تصادفی مثبت X به صورت زیر تعریف می شود:

Ob(X) = P (X1 +X4 > X2 +X3|X1 ≤ X2 ≤ X3 ≤ X4)، Xi کپی های مستقل X.

برای توزیع های تجربی، چاقی با بوت استرپ تعریف می شود. این شاخص به طور منطقی شهود سنگینی دم را نشان می دهد. از جمله خواص آن، اگر α > 1 باشد، Ob(X) < Ob(Xα) است. با این حال، به طور کامل از شاخص دم توزیع‌های متغیر یا شاخص ارزش شدید تقلید نمی‌کند. توزیع Weibull با شکل 1/4 چاق‌تر از توزیع پارتو با شاخص دم 1 است، حتی اگر این پارتو میانگین بی‌نهایت داشته باشد و ممان‌های Weibull همگی محدود هستند. فصل 5 ویژگی‌های شاخص چاقی را بررسی می‌کند.

سومین و مهم‌ترین، ما امیدواریم که خواننده را متقاعد کنیم که پدیده‌های دم چاق مشکلات واقعی ایجاد می‌کنند. آن‌ها واقعاً بیرون هستند و شیوه‌های تفکر معمول ما را در مورد میانگین‌های تاریخی، نقاط دورافتاده، روندها، ضرایب رگرسیون و مرزهای اطمینان در میان بسیاری از چیزهای دیگر به طور جدی به چالش می‌کشند. داده‌های مربوط به مطالبات بیمه سیل، مطالبات خسارت محصول، صورت‌حساب‌های ترخیص از بیمارستان، بارندگی و خسارات و تلفات ناشی از بلایای طبیعی، این نقطه را به خانه می‌آورد. در حالی که اکثر توزیع های دم چاق "بد" هستند، تحقیقات در مورد دم چاق توزیعی است که امیدواریم دم آن چاق تر شود.

This title is written for the numerate nonspecialist, and hopes to serve three purposes. First it gathers mathematical material from diverse but related fields of order statistics, records, extreme value theory, majorization, regular variation and subexponentiality. All of these are relevant for understanding fat tails, but they are not, to our knowledge, brought together in a single source for the target readership. Proofs that give insight are included, but for most fussy calculations the reader is referred to the excellent sources referenced in the text. Multivariate extremes are not treated. This allows us to present material spread over hundreds of pages in specialist texts in twenty pages. Chapter 5 develops new material on heavy tail diagnostics and gives more mathematical detail. Since variances and covariances may not exist for heavy tailed joint distributions, Chapter 6 reviews dependence concepts for certain classes of heavy tailed joint distributions, with a view to regressing heavy tailed variables.

Second, it presents a new measure of obesity. The most popular definitions in terms of regular variation and subexponentiality invoke putative properties that hold at infinity, and this complicates any empirical estimate. Each definition captures some but not all of the intuitions associated with tail heaviness. Chapter 5 studies two candidate indices of tail heaviness based on the tendency of the mean excess plot to collapse as data are aggregated. The probability that the largest value is more than twice the second largest has intuitive appeal but its estimator has very poor accuracy. The Obesity index is defined for a positive random variable X as:

Ob(X) = P (X1 +X4 > X2 +X3|X1 ≤ X2 ≤ X3 ≤ X4), Xi independent copies of X.

For empirical distributions, obesity is defined by bootstrapping. This index reasonably captures intuitions of tail heaviness. Among its properties, if α > 1 then Ob(X) < Ob(Xα). However, it does not completely mimic the tail index of regularly varying distributions, or the extreme value index. A Weibull distribution with shape 1/4 is more obese than a Pareto distribution with tail index 1, even though this Pareto has infinite mean and the Weibull’s moments are all finite. Chapter 5 explores properties of the Obesity index.

Third and most important, we hope to convince the reader that fat tail phenomena pose real problems; they are really out there and they seriously challenge our usual ways of thinking about historical averages, outliers, trends, regression coefficients and confidence bounds among many other things. Data on flood insurance claims, crop loss claims, hospital discharge bills, precipitation and damages and fatalities from natural catastrophes drive this point home. While most fat tailed distributions are ”bad”, research in fat tails is one distribution whose tail will hopefully get fatter.