Principal Component Analysis and Randomness Test for Big Data Analysis: Practical Applications of RMT-Based Technique

این کتاب رویکرد جدید تجزیه و تحلیل داده های عددی مستطیلی شکل با اندازه بزرگ (به اصطلاح داده های بزرگ) را ارائه می دهد. ماهیت این رویکرد این است که \"معنا\" داده ها را بلافاصله بدون وارد شدن به جزئیات داده های فردی درک کنید. برخلاف رویکردهای مرسوم تجزیه و تحلیل مؤلفه‌های اصلی، آزمون‌های تصادفی و روش‌های تجسم، رویکرد نویسندگان بدون در نظر گرفتن انواع داده‌ها، ساختارها یا حوزه‌های خاص علم، از مزایای جهانی بودن و سادگی تحلیل داده‌ها برخوردار است.

اول. ، آماده سازی ریاضی شرح داده شده است. RMT-PCA و آزمون RMT از ماتریس همبستگی متقابل سری های زمانی، C = XX استفاده می کنند. ^T، جایی که X نماینده یک ماتریس مستطیلی از N< است. span> ردیف ها و L ستون ها و X^T نماینده ماتریس عرضی X است. زیرا C متقارن است، یعنی C =  C< span>^T، می‌توان آن را با یک تبدیل تشابه به یک ماتریس مورب از مقادیر ویژه تبدیل کرد SCS ^-1 = SCS^T با استفاده از یک ماتریس متعامد </ span>S. وقتی N به‌طور قابل‌توجهی بزرگ است، هیستوگرام توزیع مقدار ویژه را می‌توان با فرمول نظری مشتق‌شده در زمینه نظریه ماتریس تصادفی (RMT، به اختصار) مقایسه کرد. br>
سپس RMT-PCA اعمال شده برای قیمت سهام با فرکانس بالا در بازارهای ژاپن و آمریکا بررسی می شود. این رویکرد اثربخشی خود را در استخراج بخش‌های تجاری «مد روز» بازار مالی در مقیاس زمانی تعیین‌شده ثابت می‌کند. در این مورد، X شامل N استوک- قیمت‌های طول L< /span>، و ماتریس همبستگی C یک N با N ماتریس مربع، که عنصر آن در ردیف i-امین و j است. ستون -مین محصول داخلی سری زمانی قیمت طول L  i-امین سهام است. و jامین سهام با طول مساوی L.

بعد، RMT -تست برای اندازه گیری تصادفی بودن مولدهای اعداد تصادفی مختلف، از جمله اعداد تصادفی تولید شده به صورت الگوریتمی و اعداد تصادفی تولید شده به صورت فیزیکی استفاده می شود.

این کتاب با نشان دادن دو کاربرد آزمون RMT به پایان می رسد: (1) مقایسه هش توابع، و (2) پیش بینی سهام با استفاده از تصادفی بودن، از جمله یک شاخص جدید غیر تصادفی مربوط به کاهش بازار.

This book presents the novel approach of analyzing large-sized rectangular-shaped numerical data (so-called big data). The essence of this approach is to grasp the "meaning" of the data instantly, without getting into the details of individual data. Unlike conventional approaches of principal component analysis, randomness tests, and visualization methods, the authors' approach has the benefits of universality and simplicity of data analysis, regardless of data types, structures, or specific field of science.

First, mathematical preparation is described. The RMT-PCA and the RMT-test utilize the cross-correlation matrix of time series, C = XX^T, where X represents a rectangular matrix of N rows and L columns and X^T represents the transverse matrix of X. Because C is symmetric, namely, C = C^T, it can be converted to a diagonal matrix of eigenvalues by a similarity transformation SCS^-1 = SCS^T using an orthogonal matrix S. When N is significantly large, the histogram of the eigenvalue distribution can be compared to the theoretical formula derived in the context of the random matrix theory (RMT, in abbreviation).

Then the RMT-PCA applied to high-frequency stock prices in Japanese and American markets is dealt with. This approach proves its effectiveness in extracting "trendy" business sectors of the financial market over the prescribed time scale. In this case, X consists of N stock- prices of length L, and the correlation matrix C is an N by N square matrix, whose element at the i-th row and j-th column is the inner product of the price time series of the length L of the i-th stock and the j-th stock of the equal length L.

Next, the RMT-test is applied to measure randomness of various random number generators, including algorithmically generated random numbers and physically generated random numbers.

The book concludes by demonstrating two applications of the RMT-test: (1) a comparison of hash functions, and (2) stock prediction by means of randomness, including a new index of off-randomness related to market decline.