Mastering Spark for Data Science

تسلط بر تکنیک‌ها و تجزیه و تحلیل‌های پیچیده مورد استفاده برای ساخت راه‌حل‌های مبتنی بر Spark که برای ارائه محصولات علم داده در سطح تولیدی مقیاس می‌شوند

درباره این کتاب< /b>

• تکنیک‌های تحلیلی پیشرفته را با Spark توسعه دهید و به کار ببرید
• با استفاده از اکوسیستم اسپارک، چگونه یک داستان قانع‌کننده با علم داده تعریف کنید
• کاوش در داده‌ها در مقیاس و کار با روش های پیشرفته علم داده

این کتاب برای چه کسانی است

این کتاب برای کسانی است که سطح مبتدی دارند آشنایی با معماری اسپارک و کاربردهای علم داده، به ویژه کسانی که به دنبال چالش هستند و می خواهند تکنیک های پیشرفته را یاد بگیرند. این کتاب دانش کار در مورد علم داده، روش‌های رایج یادگیری ماشین و ابزارهای رایج علم داده را فرض می‌کند و فرض می‌کند که قبلاً اثبات مطالعات مفهومی را انجام داده‌اید و نمونه‌های اولیه ساخته‌اید.

چه خواهید آموخت

b>

• الگوهای طراحی را بیاموزید که Spark را در خطوط لوله علوم داده صنعتی ادغام می کند
• ببینید چگونه دانشمندان داده تجاری کد مقیاس پذیر و کد قابل استفاده مجدد را برای خدمات علم داده طراحی می کنند
• روش های پیشرفته علم داده را کاوش کنید تا بتوانید روندها و علیت را مطالعه کنید
• تکنیک های برنامه نویسی پیشرفته را با استفاده از RDD و DataFrame و API های Dataset کشف کنید
• دریابید که چگونه می توان از Spark استفاده کرد به عنوان یک ابزار موتور جذب جهانی و به عنوان یک اسکراپر وب
• اجرای موضوعات پیشرفته در پردازش گراف، مانند تشخیص جامعه و زنجیره تماس را تمرین کنید
• در هنگام اجرا با بهترین شیوه ها آشنا شوید. تجزیه و تحلیل داده های اکتشافی گسترده، که معمولا در تیم های علمی داده های تجاری استفاده می شود
• مفاهیم پیشرفته Spark، الگوهای طراحی راه حل، و معماری های یکپارچه را مطالعه کنید
• نمایش خطوط لوله قدرتمند علم داده

در جزئیات

علم داده به دنبال تغییر جهان با استفاده از داده است و این امر معمولاً از طریق ایجاد اختلال و تغییر در فرآیندهای واقعی در صنایع واقعی به دست می آید. برای اینکه در این سطح کار کنید، باید راه حل های علم داده در مورد مواد بسازید - راه حل هایی که مشکلات واقعی را حل می کنند. Spark به دلیل سرعت، مقیاس‌پذیری و APIهای آسان برای استفاده، به عنوان پلتفرم کلان داده انتخابی برای دانشمندان داده ظاهر شده است.

این کتاب عمیقاً به استفاده از Spark برای ارائه راه‌حل‌های علمی داده در سطح تولید می‌پردازد. . این فرآیند با کاوش در ساخت یک سرویس تحلیل اخبار جهانی پیچیده نشان داده می شود که از Spark برای ایجاد بینش های ژئوپلیتیکی و امور جاری استفاده می کند. شما همه چیز را در مورد API های اصلی Spark یاد خواهید گرفت و یک تور جامع از کتابخانه های پیشرفته از جمله Spark SQL، Spark را خواهید دید. پخش جریانی، MLlib، و موارد دیگر.

شما با تکنیک‌ها و روش‌های پیشرفته‌ای آشنا می‌شوید که به شما در ساخت محصولات داده با درجه تجاری کمک می‌کند. با تمرکز بر مجموعه‌ای از آموزش‌هایی که یک سرویس اطلاعاتی خبری کاربردی ارائه می‌دهند، با معماری‌های پیشرفته Spark، نحوه کار با داده‌های جغرافیایی در Spark و نحوه تنظیم الگوریتم‌های Spark به‌گونه‌ای که مقیاس خطی داشته باشند، آشنا خواهید شد.

< b>سبک و رویکرد

این یک راهنمای پیشرفته برای کسانی است که در سطح مبتدی با معماری Spark آشنا هستند و با برنامه‌های Data Science کار می‌کنند. Mastering Spark for Data Science یک آموزش عملی است که از API های اصلی Spark استفاده می کند و در کتابخانه های پیشرفته از جمله: Spark SQL، پخش تصویری و MLlib به عمق می پردازد. این کتاب عناوینی مانند: یادگیری ماشین با اسپارک و یادگیری اسپارک را گسترش می‌دهد. این منحنی یادگیری بعدی برای کسانی است که با Spark راحت هستند و به دنبال بهبود مهارت های خود هستند.

دانلود کد نمونه برای این کتاب. می‌توانید فایل‌های کد نمونه را برای همه کتاب‌های Packt که از حساب خود در http://www.PacktPub.com خریداری کرده‌اید دانلود کنید. اگر این کتاب را از جای دیگری خریداری کرده اید، می توانید از http://www.PacktPub.com/support دیدن کنید و برای داشتن فایل کد ثبت نام کنید.

Master the techniques and sophisticated analytics used to construct Spark-based solutions that scale to deliver production-grade data science products

About This Book

• Develop and apply advanced analytical techniques with Spark
• Learn how to tell a compelling story with data science using Spark’s ecosystem
• Explore data at scale and work with cutting edge data science methods

Who This Book Is For

This book is for those who have beginner-level familiarity with the Spark architecture and data science applications, especially those who are looking for a challenge and want to learn cutting edge techniques. This book assumes working knowledge of data science, common machine learning methods, and popular data science tools, and assumes you have previously run proof of concept studies and built prototypes.

What You Will Learn

• Learn the design patterns that integrate Spark into industrialized data science pipelines
• See how commercial data scientists design scalable code and reusable code for data science services
• Explore cutting edge data science methods so that you can study trends and causality
• Discover advanced programming techniques using RDD and the DataFrame and Dataset APIs
• Find out how Spark can be used as a universal ingestion engine tool and as a web scraper
• Practice the implementation of advanced topics in graph processing, such as community detection and contact chaining
• Get to know the best practices when performing Extended Exploratory Data Analysis, commonly used in commercial data science teams
• Study advanced Spark concepts, solution design patterns, and integration architectures
• Demonstrate powerful data science pipelines

In Detail

Data science seeks to transform the world using data, and this is typically achieved through disrupting and changing real processes in real industries. In order to operate at this level you need to build data science solutions of substance –solutions that solve real problems. Spark has emerged as the big data platform of choice for data scientists due to its speed, scalability, and easy-to-use APIs.

This book deep dives into using Spark to deliver production-grade data science solutions. This process is demonstrated by exploring the construction of a sophisticated global news analysis service that uses Spark to generate continuous geopolitical and current affairs insights.You will learn all about the core Spark APIs and take a comprehensive tour of advanced libraries, including Spark SQL, Spark Streaming, MLlib, and more.

You will be introduced to advanced techniques and methods that will help you to construct commercial-grade data products. Focusing on a sequence of tutorials that deliver a working news intelligence service, you will learn about advanced Spark architectures, how to work with geographic data in Spark, and how to tune Spark algorithms so they scale linearly.

Style and approach

This is an advanced guide for those with beginner-level familiarity with the Spark architecture and working with Data Science applications. Mastering Spark for Data Science is a practical tutorial that uses core Spark APIs and takes a deep dive into advanced libraries including: Spark SQL, visual streaming, and MLlib. This book expands on titles like: Machine Learning with Spark and Learning Spark. It is the next learning curve for those comfortable with Spark and looking to improve their skills.

Downloading the example code for this book. You can download the example code files for all Packt books you have purchased from your account at http://www.PacktPub.com. If you purchased this book elsewhere, you can visit http://www.PacktPub.com/support and register to have the code file.