Robust Network Compressive Sensing

این کتاب به بررسی تکنیک‌های سنجش فشاری می‌پردازد تا چارچوبی قوی و کلی برای تجزیه و تحلیل داده‌های شبکه ارائه دهد. هدف معرفی یک چارچوب سنجش فشرده برای درونیابی داده های از دست رفته، تشخیص ناهنجاری، تقسیم بندی داده ها و تشخیص فعالیت و نشان دادن مزایای آن است. فصل 1 سنجش فشاری را شامل تعریف، محدودیت و نحوه پشتیبانی آن از برنامه های مختلف تحلیل شبکه معرفی می کند. فصل 2 امکان سنجش فشاری در تجزیه و تحلیل شبکه را نشان می‌دهد، نویسندگانی که آن را برای شناسایی ناهنجاری‌ها در مجموعه داده تماس مراقبت از مشتری از یک ISP سطح 1 در ایالات متحده استفاده می‌کنیم. یک مدل مبتنی بر رگرسیون برای یافتن رابطه بین تماس ها و رویدادها استفاده می شود. نویسندگان نشان می‌دهند که سنجش فشاری در شناسایی عوامل مهم مؤثر است و می‌تواند از ساختار پایین رتبه و پایداری زمانی برای بهبود دقت تشخیص استفاده کند. فصل 3 بحث می‌کند که چالش‌های متعددی در استفاده از سنجش فشرده برای داده‌های دنیای واقعی وجود دارد. درک دلایل پشت چالش ها برای طراحی روش ها و کاهش تاثیر آنها مهم است. نویسندگان طیف وسیعی از آثار دنیای واقعی را تجزیه و تحلیل می کنند. تجزیه و تحلیل نشان می دهد که عوامل مختلفی وجود دارد که به نقض ویژگی های رتبه پایین در داده های واقعی کمک می کند. به طور خاص، نویسندگان دریافته‌اند که (1) نویز، خطاها و ناهنجاری‌ها، و (2) ناهمزمانی در حوزه‌های زمان و فرکانس منجر به ابهام ناشی از شبکه می‌شود و می‌تواند به راحتی باعث شود که ماتریس‌های رتبه پایین رتبه‌بندی شوند. برای رسیدگی به مشکل نویز، خطاها و ناهنجاری ها در فصل. 4، نویسندگان یک تکنیک سنجش فشاری قوی را پیشنهاد می‌کنند. این به صراحت ناهنجاری ها را با تجزیه داده های دنیای واقعی که به شکل ماتریس نشان داده شده اند به یک ماتریس با رتبه پایین، یک ماتریس ناهنجاری پراکنده، یک عبارت خطا و یک ماتریس نویز کوچک محاسبه می کند. فصل 5 به مشکل عدم همگام سازی می پردازد و نویسندگان یک الگوریتم همگام سازی مبتنی بر داده را پیشنهاد می کنند. می‌تواند ناهماهنگی را از بین ببرد و در عین حال ناهمگونی داده‌های دنیای واقعی را در هر دو حوزه زمان و فرکانس در نظر بگیرد. همگام سازی مبتنی بر داده می تواند برای هر تکنیک سنجش فشرده ای اعمال شود و برای هر داده دنیای واقعی عمومیت دارد. نویسندگان نشان می‌دهند که ترکیب این دو تکنیک می‌تواند رتبه‌بندی داده‌های دنیای واقعی را کاهش دهد، اثربخشی سنجش فشاری را بهبود بخشد و طیف گسترده‌ای از کاربردها را داشته باشد.

This book investigates compressive sensing techniques to provide a robust and general framework for network data analytics. The goal is to introduce a compressive sensing framework for missing data interpolation, anomaly detection, data segmentation and activity recognition, and to demonstrate its benefits. Chapter 1 introduces compressive sensing, including its definition, limitation, and how it supports different network analysis applications. Chapter 2 demonstrates the feasibility of compressive sensing in network analytics, the authors we apply it to detect anomalies in the customer care call dataset from a Tier 1 ISP in the United States. A regression-based model is applied to find the relationship between calls and events. The authors illustrate that compressive sensing is effective in identifying important factors and can leverage the low-rank structure and temporal stability to improve the detection accuracy. Chapter 3  discusses that there are several challenges in applying compressive sensing to real-world data. Understanding the reasons behind the challenges is important for designing methods and mitigating their impact. The authors analyze a wide range of real-world traces. The analysis demonstrates that there are different factors that contribute to the violation of the low-rank property in real data. In particular, the authors find that (1) noise, errors, and anomalies, and (2) asynchrony in the time and frequency domains lead to network-induced ambiguity and can easily cause low-rank matrices to become higher-ranked. To address the problem of noise, errors and anomalies in Chap. 4, the authors propose a robust compressive sensing technique. It explicitly accounts for anomalies by decomposing real-world data represented in matrix form into a low-rank matrix, a sparse anomaly matrix, an error term and a small noise matrix. Chapter 5 addresses the problem of lack of synchronization, and the authors propose a data-driven synchronization algorithm. It can eliminate misalignment while taking into account the heterogeneity of real-world data in both time and frequency domains. The data-driven synchronization can be applied to any compressive sensing technique and is general to any real-world data. The authors illustrates that the combination of the two techniques can reduce the ranks of real-world data, improve the effectiveness of compressive sensing and have a wide range of applications.

The networks are constantly generating a wealth of rich and diverse information. This information creates exciting opportunities for network analysis and provides insight into the complex interactions between network entities. However, network analysis often faces the problems of (1) under-constrained, where there is too little data due to feasibility and cost issues in collecting data, or (2) over-constrained, where there is too much data, so the analysis becomes unscalable. Compressive sensing is an effective technique to solve both problems. It utilizes the underlying data structure for analysis. Specifically, to solve the under-constrained problem, compressive sensing technologies can be applied to reconstruct the missing elements or predict the future data.  Also, to solve the over-constraint problem, compressive sensing technologies can be applied to identify significant elements

To support compressive sensing in network data analysis, a robust and general framework is needed to support diverse applications. Yet this can be challenging for real-world data where noise, anomalies and lack of synchronization are common. First, the number of unknowns for network analysis can be much larger than the number of measurements. For example, traffic engineering requires knowing the complete traffic matrix between all source and destination pairs, in order to properly configure traffic and avoid congestion. However, measuring the flow between all source and destination pairs is very expensive or even infeasible. Reconstructing data from a small number of measurements is an underconstrained problem. In addition, real-world data is complex and heterogeneous, and often violate the low-level assumptions required by existing compressive sensing techniques. These violations significantly reduce the applicability and effectiveness of existing compressive sensing methods. Third, synchronization of network data reduces the data ranks and increases spatial locality. However, periodic time series exhibit not only misalignment but also different frequencies, which makes it difficult to synchronize data in the time and frequency domains.