Big Data: Principles and best practices of scalable realtime data systems

خلاصه

داده های بزرگ به شما می آموزد که سیستم های کلان داده را با استفاده از معماری بسازید که از سخت افزار خوشه ای همراه با ابزارهای جدید بهره می برد. به طور خاص برای ضبط و تجزیه و تحلیل داده های مقیاس وب طراحی شده است. این یک رویکرد مقیاس پذیر و قابل درک برای سیستم های کلان داده را توصیف می کند که می تواند توسط یک تیم کوچک ساخته و اجرا شود. با پیروی از یک مثال واقع بینانه، این کتاب خوانندگان را از طریق تئوری سیستم های کلان داده، نحوه پیاده سازی آنها در عمل، و نحوه استقرار و بهره برداری از آنها پس از ساخته شدن راهنمایی می کند.

خرید کتاب چاپی شامل می شود. یک کتاب الکترونیکی رایگان در قالب‌های PDF، Kindle، و ePub از انتشارات منینگ.

درباره کتاب

برنامه‌های کاربردی در مقیاس وب مانند شبکه‌های اجتماعی، بلادرنگ سایت های تحلیلی یا تجارت الکترونیکی با داده های زیادی سروکار دارند که حجم و سرعت آنها از محدودیت های سیستم های پایگاه داده سنتی فراتر می رود. این برنامه‌ها به معماری‌هایی نیاز دارند که پیرامون مجموعه‌ای از ماشین‌ها ساخته شده‌اند تا داده‌ها را با هر اندازه یا سرعتی ذخیره و پردازش کنند. خوشبختانه، مقیاس و سادگی متقابل نیستند.

Big Data به شما می آموزد که سیستم های کلان داده را با استفاده از معماری طراحی شده به طور خاص برای ضبط و تجزیه و تحلیل داده های مقیاس وب بسازید. این کتاب معماری لامبدا را ارائه می‌کند، رویکردی مقیاس‌پذیر و قابل درک که می‌تواند توسط یک تیم کوچک ساخته و اجرا شود. شما تئوری سیستم های کلان داده و نحوه پیاده سازی آنها را در عمل بررسی خواهید کرد. علاوه بر کشف یک چارچوب کلی برای پردازش داده‌های بزرگ، فن‌آوری‌های خاصی مانند پایگاه‌های داده Hadoop، Storm و NoSQL را خواهید آموخت.

این کتاب نیازی به استفاده قبلی از تجزیه و تحلیل داده‌های مقیاس بزرگ یا ابزارهای NoSQL ندارد. آشنایی با پایگاه های داده سنتی مفید است.

چه چیزی در داخل است

• مقدمه ای بر سیستم های کلان داده
• پردازش بیدرنگ داده های مقیاس وب
• ابزارهایی مانند Hadoop، Cassandra و Storm
• افزونه های مهارت های پایگاه داده سنتی

درباره نویسندگان

b>

ناتان مارز خالق طوفان آپاچی و مبتکر معماری لامبدا برای سیستم‌های کلان داده است. جیمز وارن یک معمار تجزیه و تحلیل با سابقه در یادگیری ماشین و محاسبات علمی است.

فهرست محتوا

1. پارادایم جدید برای کلان داده

   بخش اول لایه دسته ای

2. مدل داده برای کلان داده
3. مدل داده برای کلان داده: تصویر
4. ذخیره سازی داده در لایه دسته ای
5. ذخیره سازی داده ها در لایه دسته ای: تصویر
6. لایه دسته ای
7. لایه دسته ای: تصویر
8. یک مثال لایه دسته ای: معماری و الگوریتم ها
9. نمونه ای از لایه دسته ای: پیاده سازی

   PART 2 SERVING LAYER

10. Serving layer
11. Serving layer: Illustration

    PART 3 SPEED LAYER

12. نماهای بیدرنگ
13. نماهای بیدرنگ: تصویر
14. صف و پردازش جریانی
15. صف و پردازش جریانی: تصویرسازی
16. پردازش جریانی میکرو دسته ای
17. پردازش جریانی میکرو دسته ای: تصویرسازی
18. معماری لامبدا در عمق

Summary

Big Data teaches you to build big data systems using an architecture that takes advantage of clustered hardware along with new tools designed specifically to capture and analyze web-scale data. It describes a scalable, easy-to-understand approach to big data systems that can be built and run by a small team. Following a realistic example, this book guides readers through the theory of big data systems, how to implement them in practice, and how to deploy and operate them once they're built.

Purchase of the print book includes a free eBook in PDF, Kindle, and ePub formats from Manning Publications.

About the Book

Web-scale applications like social networks, real-time analytics, or e-commerce sites deal with a lot of data, whose volume and velocity exceed the limits of traditional database systems. These applications require architectures built around clusters of machines to store and process data of any size, or speed. Fortunately, scale and simplicity are not mutually exclusive.

Big Data teaches you to build big data systems using an architecture designed specifically to capture and analyze web-scale data. This book presents the Lambda Architecture, a scalable, easy-to-understand approach that can be built and run by a small team. You'll explore the theory of big data systems and how to implement them in practice. In addition to discovering a general framework for processing big data, you'll learn specific technologies like Hadoop, Storm, and NoSQL databases.

This book requires no previous exposure to large-scale data analysis or NoSQL tools. Familiarity with traditional databases is helpful.

What's Inside

• Introduction to big data systems
• Real-time processing of web-scale data
• Tools like Hadoop, Cassandra, and Storm
• Extensions to traditional database skills

About the Authors

Nathan Marz is the creator of Apache Storm and the originator of the Lambda Architecture for big data systems. James Warren is an analytics architect with a background in machine learning and scientific computing.

Table of Contents

1. A new paradigm for Big Data

   PART 1 BATCH LAYER

2. Data model for Big Data
3. Data model for Big Data: Illustration
4. Data storage on the batch layer
5. Data storage on the batch layer: Illustration
6. Batch layer
7. Batch layer: Illustration
8. An example batch layer: Architecture and algorithms
9. An example batch layer: Implementation

   PART 2 SERVING LAYER

10. Serving layer
11. Serving layer: Illustration

    PART 3 SPEED LAYER

12. Realtime views
13. Realtime views: Illustration
14. Queuing and stream processing
15. Queuing and stream processing: Illustration
16. Micro-batch stream processing
17. Micro-batch stream processing: Illustration
18. Lambda Architecture in depth