Data Cleaning

کیفیت داده‌ها یکی از مهم‌ترین مشکلات در مدیریت داده است، زیرا داده‌های کثیف اغلب منجر به نتایج تجزیه و تحلیل داده‌های نادرست و تصمیم‌های نادرست تجاری می‌شوند.

داده‌های ضعیف در بین کسب‌وکارها و گزارش شده است که دولت ایالات متحده سالانه تریلیون ها دلار هزینه دارد. بررسی های متعدد نشان می دهد که داده های کثیف رایج ترین مانعی است که دانشمندان داده با آن مواجه هستند. جای تعجب نیست که توسعه راه حل های موثر و کارآمد برای پاکسازی داده ها چالش برانگیز است و مملو از مسائل نظری و مهندسی عمیق است.

این کتاب در مورد پاکسازی داده ها است که برای اشاره به انواع وظایف و فعالیت ها برای شناسایی استفاده می شود. و خطاهای موجود در داده ها را تعمیر کنید. به‌جای تمرکز بر یک کار خاص پاک‌سازی داده‌ها، ما یک نمای کلی از فرآیند پاک‌سازی داده‌ها ارائه می‌دهیم، روش‌های مختلف تشخیص و تعمیر خطا را توصیف می‌کنیم، و تلاش می‌کنیم این پیشنهادها را با طبقه‌بندی‌ها و نماهای متعدد لنگر بیاوریم. به طور خاص، ما چهار مورد از متداول‌ترین و مهم‌ترین وظایف پاکسازی داده‌ها را پوشش می‌دهیم که عبارتند از: تشخیص داده‌های پرت، تبدیل داده‌ها، تعمیر خطا (شامل برانگیختن مقادیر از دست رفته)، و حذف داده‌ها. علاوه بر این، با توجه به محبوبیت و کاربرد روزافزون تکنیک‌های یادگیری ماشین، ما فصلی را گنجانده‌ایم که به طور خاص نحوه استفاده از تکنیک‌های یادگیری ماشین برای تمیز کردن داده‌ها و نحوه استفاده از پاک‌سازی داده‌ها برای بهبود مدل‌های یادگیری ماشین را بررسی می‌کند.

این کتاب در نظر گرفته شده است تا به عنوان یک مرجع مفید برای محققان و دست اندرکارانی باشد که به حوزه کیفیت داده ها و پاکسازی داده ها علاقه مند هستند. همچنین می تواند به عنوان یک کتاب درسی برای دوره های تحصیلات تکمیلی استفاده شود. اگرچه هدف ما پوشش الگوریتم‌ها و تکنیک‌های پیشرفته است، اما می‌دانیم که پاکسازی داده‌ها هنوز یک زمینه تحقیقاتی فعال است و بنابراین هر زمان که مناسب باشد، جهت‌های تحقیقاتی آینده را ارائه می‌کنیم.

Data quality is one of the most important problems in data management, since dirty data often leads to inaccurate data analytics results and incorrect business decisions.

Poor data across businesses and the U.S. government are reported to cost trillions of dollars a year. Multiple surveys show that dirty data is the most common barrier faced by data scientists. Not surprisingly, developing effective and efficient data cleaning solutions is challenging and is rife with deep theoretical and engineering problems.

This book is about data cleaning, which is used to refer to all kinds of tasks and activities to detect and repair errors in the data. Rather than focus on a particular data cleaning task, we give an overview of the end-to-end data cleaning process, describing various error detection and repair methods, and attempt to anchor these proposals with multiple taxonomies and views. Specifically, we cover four of the most common and important data cleaning tasks, namely, outlier detection, data transformation, error repair (including imputing missing values), and data deduplication. Furthermore, due to the increasing popularity and applicability of machine learning techniques, we include a chapter that specifically explores how machine learning techniques are used for data cleaning, and how data cleaning is used to improve machine learning models.

This book is intended to serve as a useful reference for researchers and practitioners who are interested in the area of data quality and data cleaning. It can also be used as a textbook for a graduate course. Although we aim at covering state-of-the-art algorithms and techniques, we recognize that data cleaning is still an active field of research and therefore provide future directions of research whenever appropriate.