Clean Data - Data Science Strategies for Tackling Dirty Data

ویژگی های کلیدی

• تخصص علم داده خود را با پر کردن جعبه ابزار خود با استراتژی های اثبات شده برای طیف گسترده ای از چالش های پاکسازی افزایش دهید
• با فرآیندهای مهم پاکسازی داده ها آشنا شوید. و مجموعه داده های تمیز خود را با دیگران به اشتراک بگذارید
• تکمیل پروژه های دنیای واقعی با استفاده از داده های Twitter و Stack Overflow

توضیحات کتاب

خیلی زیاد است از زمانی که صرف انجام کارهای خسته کننده مانند تمیز کردن داده های کثیف، حسابداری داده های از دست رفته و آماده سازی داده ها برای استفاده توسط دیگران می کنید؟ اگر چنین است، پس داشتن ابزارهای مناسب تفاوتی اساسی ایجاد می‌کند، و سرمایه‌گذاری بزرگی خواهد بود که تخصص علم داده خود را افزایش دهید.

این کتاب با برجسته کردن اهمیت پاکسازی داده‌ها در علم داده شروع می‌شود و به شما نشان می دهد که چگونه از اصلاح فرآیند تمیز کردن خود پاداش بگیرید. در مرحله بعد، دانش خود را در مورد مفاهیم اساسی که بقیه کتاب بر آنها تکیه دارد، تقویت خواهید کرد: قالب‌های فایل، انواع داده‌ها و رمزگذاری کاراکترها. همچنین نحوه استخراج و پاکسازی داده‌های ذخیره شده در RDBMS، فایل‌های وب و اسناد PDF را از طریق مثال‌های عملی یاد خواهید گرفت.

در پایان کتاب، این فرصت به شما داده می‌شود که به چند مورد رسیدگی کنید. پروژه های دنیای واقعی.

آنچه یاد خواهید گرفت

• نقش پاکسازی داده ها را در فرآیند کلی علم داده درک کنید
• مبانی فایل را بیاموزید قالب‌ها، انواع داده‌ها و رمزگذاری کاراکترها برای تمیز کردن صحیح داده‌ها
• بر ویژگی‌های حیاتی صفحه‌گسترده و ویرایشگر متن برای سازمان‌دهی و دستکاری داده‌ها مسلط شوید
• تبدیل داده‌ها از یک قالب معمول به دیگری، از جمله JSON، CSV، و برخی از فرمت‌های با هدف خاص
• اجرای سه استراتژی مختلف برای تجزیه و تمیز کردن داده‌های موجود در فایل‌های HTML در وب
• اسرار اسناد PDF را آشکار کنید و یاد بگیرید چگونه فقط داده‌هایی را که می‌خواهید بیرون بکشید
• تعداد راه‌حل‌هایی برای شناسایی و پاک‌سازی داده‌های بد ذخیره‌شده در یک RDBMS ایجاد کنید
• مجموعه‌های داده تمیز خود را ایجاد کنید که می‌توانند بسته‌بندی، مجوز، و به اشتراک گذاشته شده با دیگران
• از ابزارهای این کتاب برای تکمیل دو پروژه واقعی با استفاده از داده های Twitter و Stack Overflow استفاده کنید

درباره نویسنده

مگان اسکوایر استاد علوم محاسباتی در دانشگاه الون است. او دو دهه است که داده های کثیف را جمع آوری و تمیز می کند. او همچنین رهبر FLOSSmole.org است، یک پروژه تحقیقاتی برای جمع آوری داده ها و تجزیه و تحلیل آن به منظور یادگیری نحوه ساخت نرم افزار رایگان، آزاد و متن باز.

فهرست محتوا

Key Features

• Grow your data science expertise by filling your toolbox with proven strategies for a wide variety of cleaning challenges
• Familiarize yourself with the crucial data cleaning processes, and share your own clean data sets with others
• Complete real-world projects using data from Twitter and Stack Overflow

Book Description

Is much of your time spent doing tedious tasks such as cleaning dirty data, accounting for lost data, and preparing data to be used by others? If so, then having the right tools makes a critical difference, and will be a great investment as you grow your data science expertise.

The book starts by highlighting the importance of data cleaning in data science, and will show you how to reap rewards from reforming your cleaning process. Next, you will cement your knowledge of the basic concepts that the rest of the book relies on: file formats, data types, and character encodings. You will also learn how to extract and clean data stored in RDBMS, web files, and PDF documents, through practical examples.

At the end of the book, you will be given a chance to tackle a couple of real-world projects.

What you will learn

• Understand the role of data cleaning in the overall data science process
• Learn the basics of file formats, data types, and character encodings to clean data properly
• Master critical features of the spreadsheet and text editor for organizing and manipulating data
• Convert data from one common format to another, including JSON, CSV, and some special-purpose formats
• Implement three different strategies for parsing and cleaning data found in HTML files on the Web
• Reveal the mysteries of PDF documents and learn how to pull out just the data you want
• Develop a range of solutions for detecting and cleaning bad data stored in an RDBMS
• Create your own clean data sets that can be packaged, licensed, and shared with others
• Use the tools from this book to complete two real-world projects using data from Twitter and Stack Overflow

About the Author

Megan Squire is a professor of computing sciences at Elon University. She has been collecting and cleaning dirty data for two decades. She is also the leader of FLOSSmole.org, a research project to collect data and analyze it in order to learn how free, libre, and open source software is made.

Table of Contents

1. Why Do You Need Clean Data?
2. Fundamentals Formats, Types, and Encodings
3. Workhorses of Clean Data Spreadsheets and Text Editors
4. Speaking the Lingua Franca Data Conversions
5. Collecting and Cleaning Data from the Web
6. Cleaning Data in Pdf Files
7. RDBMS Cleaning Techniques
8. Best Practices for Sharing Your Clean Data
9. Stack Overflow Project
10. Twitter Project