High Performance Spark: Best Practices for Scaling and Optimizing Apache Spark

Apache Spark وقتی همه چیز کلیک می کند شگفت انگیز است. اما اگر بهبودهای عملکردی را که انتظار داشتید ندیده اید، یا هنوز به اندازه کافی برای استفاده از Spark در تولید احساس اعتماد ندارید، این کتاب کاربردی برای شما مناسب است. نویسندگان هولدن کارائو و ریچل وارن بهینه‌سازی‌های عملکردی را نشان می‌دهند تا به درخواست‌های Spark شما کمک کنند تا سریع‌تر اجرا شوند و حجم داده‌های بزرگ‌تر را مدیریت کنند، در حالی که از منابع کمتری استفاده می‌کنند.

ایده‌آل برای مهندسان نرم‌افزار، مهندسان داده، توسعه‌دهندگان و مدیران سیستم که با بزرگ‌تر کار می‌کنند. برنامه های کاربردی داده مقیاس، این کتاب تکنیک هایی را توصیف می کند که می تواند هزینه های زیرساخت داده و ساعات توسعه دهنده را کاهش دهد. نه تنها درک جامع تری از Spark به دست خواهید آورد، بلکه یاد خواهید گرفت که چگونه آن را بخواند.

با این کتاب، موارد زیر را بررسی خواهید کرد:

• چگونه رابط های جدید Spark SQL عملکرد را نسبت به ساختار داده RDD SQL بهبود می بخشد
• انتخاب بین اتصال داده ها در Core Spark و Spark SQL
• تکنیک هایی برای استفاده حداکثری از تبدیل های استاندارد RDD
• نحوه حل مشکلات عملکرد در پارادایم جفت کلید/مقدار Spark
• نوشتن کد Spark با کارایی بالا بدون Scala یا JVM
• نحوه تست عملکرد و عملکرد هنگام اعمال بهبودهای پیشنهادی
• استفاده از کتابخانه‌های یادگیری ماشینی Spark MLlib و Spark ML
• اجزای جریانی Spark و بسته‌های جامعه خارجی

Apache Spark is amazing when everything clicks. But if you haven’t seen the performance improvements you expected, or still don’t feel confident enough to use Spark in production, this practical book is for you. Authors Holden Karau and Rachel Warren demonstrate performance optimizations to help your Spark queries run faster and handle larger data sizes, while using fewer resources.

Ideal for software engineers, data engineers, developers, and system administrators working with large-scale data applications, this book describes techniques that can reduce data infrastructure costs and developer hours. Not only will you gain a more comprehensive understanding of Spark, you’ll also learn how to make it sing.

With this book, you’ll explore:

• How Spark SQL’s new interfaces improve performance over SQL’s RDD data structure
• The choice between data joins in Core Spark and Spark SQL
• Techniques for getting the most out of standard RDD transformations
• How to work around performance issues in Spark’s key/value pair paradigm
• Writing high-performance Spark code without Scala or the JVM
• How to test for functionality and performance when applying suggested improvements
• Using Spark MLlib and Spark ML machine learning libraries
• Spark’s Streaming components and external community packages