Data Profiling (Synthesis Lectures on Data Management)

پروفایل‌سازی داده به فعالیت جمع‌آوری داده‌ها در مورد داده‌ها، به عنوان مثال، فراداده اشاره دارد. اکثر متخصصان و محققان فناوری اطلاعات که با داده ها کار می کنند، حداقل به صورت غیررسمی، برای درک و کاوش یک مجموعه داده ناآشنا یا برای تعیین اینکه آیا یک مجموعه داده جدید برای یک کار خاص مناسب است یا خیر، درگیر پروفایل داده شده اند. نتایج پروفایل داده ها در موقعیت های مختلف دیگر از جمله بهینه سازی پرس و جو، یکپارچه سازی داده ها و پاکسازی داده ها نیز مهم هستند. ابرداده های ساده آماری هستند، مانند تعداد سطرها و ستون ها، اطلاعات طرحواره و نوع داده، تعداد مقادیر متمایز، توزیع مقادیر آماری، و تعداد مقادیر پوچ یا خالی در هر ستون. انواع پیچیده‌تر ابرداده‌ها عبارت‌هایی درباره ستون‌های متعدد و همبستگی آن‌ها هستند، مانند کلیدهای نامزد، وابستگی‌های عملکردی، و انواع دیگر وابستگی‌ها.

این کتاب طبقه‌بندی انواع مختلف ابرداده‌های سودآور را ارائه می‌کند، در مورد محبوب بحث می‌کند. وظایف پروفایل داده ها و بررسی الگوریتم های نمایه سازی پیشرفته. در حالی که بیشتر کتاب بر روی وظایف و الگوریتم‌های پروفایل داده‌های رابطه‌ای تمرکز دارد، ما همچنین به طور مختصر درباره سیستم‌ها و تکنیک‌های پروفایل داده‌های غیرمرتبط مانند نمودارها و متن بحث می‌کنیم. ما با بحث در مورد چالش‌های پروفایل داده‌ها و جهت‌گیری‌ها برای کار آینده در این زمینه به پایان می‌رسیم.

Data profiling refers to the activity of collecting data about data, i.e., metadata. Most IT professionals and researchers who work with data have engaged in data profiling, at least informally, to understand and explore an unfamiliar dataset or to determine whether a new dataset is appropriate for a particular task at hand. Data profiling results are also important in a variety of other situations, including query optimization, data integration, and data cleaning. Simple metadata are statistics, such as the number of rows and columns, schema and datatype information, the number of distinct values, statistical value distributions, and the number of null or empty values in each column. More complex types of metadata are statements about multiple columns and their correlation, such as candidate keys, functional dependencies, and other types of dependencies.

This book provides a classification of the various types of profilable metadata, discusses popular data profiling tasks, and surveys state-of-the-art profiling algorithms. While most of the book focuses on tasks and algorithms for relational data profiling, we also briefly discuss systems and techniques for profiling non-relational data such as graphs and text. We conclude with a discussion of data profiling challenges and directions for future work in this area.