Optimizing Hadoop for MapReduce

با نحوه پیکربندی کلاستر Hadoop خود برای اجرای کارهای MapReduce بهینه آشنا شوید

نمای کلی

• بهینه سازی عملکرد کار MapReduce خود
< li>نقاط ضعف خوشه Hadoop خود را شناسایی کنید
• پیکربندی MapReduce خود را تنظیم کنید

در جزئیات

MapReduce سیستم توزیع است که موتور Hadoop MapReduce برای توزیع کار در اطراف یک خوشه با کار موازی روی مجموعه داده های کوچکتر استفاده می کند. این در طیف وسیعی از برنامه‌ها، از جمله جستجوی مبتنی بر الگوی توزیع شده، مرتب‌سازی توزیع‌شده، معکوس‌سازی گراف پیوند وب، بردار واژه در هر میزبان، آمار ثبت دسترسی به وب، ساخت فهرست معکوس، خوشه‌بندی اسناد، یادگیری ماشین و ماشین آماری مفید است. ترجمه.

این کتاب شما را با مفاهیم پیشرفته MapReduce آشنا می‌کند و همه چیز را از شناسایی عوامل مؤثر بر عملکرد شغلی MapReduce تا تنظیم پیکربندی MapReduce به شما می‌آموزد. بر اساس تجربه دنیای واقعی، این کتاب به شما کمک می کند تا به طور کامل از منابع گره خوشه خود برای اجرای بهینه کارهای MapReduce استفاده کنید.

این کتاب به جزئیات فرآیند بهینه سازی عملکرد کار Hadoop MapReduce می پردازد. از طریق تعدادی گام واضح و عملی، به شما کمک می کند تا از منابع گره خوشه خود به طور کامل استفاده کنید.

با شروع با نحوه عملکرد MapReduce و عواملی که بر عملکرد MapReduce تأثیر می گذارند، یک نمای کلی از معیارهای Hadoop به شما داده خواهد شد. و چندین ابزار نظارت بر عملکرد. در ادامه، شمارشگرهای عملکردی را بررسی خواهید کرد که به شما در شناسایی تنگناهای منابع، بررسی سلامت خوشه و اندازه خوشه Hadoop کمک می کند. همچنین با بهینه سازی نقشه و کاهش وظایف با استفاده از Combiners و فشرده سازی آشنا خواهید شد.

این کتاب با بهترین شیوه ها و توصیه هایی در مورد نحوه استفاده بهینه از خوشه Hadoop به پایان می رسد.

آنچه از این کتاب خواهید آموخت

• درباره عوامل موثر بر عملکرد MapReduce بیاموزید
• از شمارشگرهای عملکرد Hadoop MapReduce برای شناسایی تنگناهای منابع استفاده کنید
• اندازه گره‌های خوشه Hadoop خود را
• تعداد نگاشت‌کننده‌ها و کاهش‌دهنده‌ها را به درستی تنظیم کنید
• با استفاده از فشرده‌سازی و ترکیب‌کننده‌ها، حجم کار و اندازه کد نگاشت‌کننده و کاهنده را بهینه کنید
• ویژگی‌های تنظیم مختلف و بهترین روش‌ها برای بهینه‌سازی خوشه‌ها را بدانید

رویکرد

این کتاب یک آموزش مبتنی بر مثال است که به بهینه‌سازی MapReduce می‌پردازد. عملکرد شغلی.

این کتاب برای چه کسی نوشته شده است

اگر مدیر Hadoop، توسعه‌دهنده، کاربر MapReduce یا مبتدی هستید، این کتاب بهترین است انتخاب در دسترس است اگر شما شما می خواهید خوشه ها و برنامه های خود را بهینه کنید. داشتن دانش قبلی در مورد ایجاد برنامه های کاربردی MapReduce ضروری نیست، اما به شما کمک می کند تا مفاهیم و قطعات کد الگوی کلاس MapReduce را بهتر درک کنید.

Learn how to configure your Hadoop cluster to run optimal MapReduce jobs

Overview

• Optimize your MapReduce job performance
• Identify your Hadoop cluster's weaknesses
• Tune your MapReduce configuration

In Detail

MapReduce is the distribution system that the Hadoop MapReduce engine uses to distribute work around a cluster by working parallel on smaller data sets. It is useful in a wide range of applications, including distributed pattern-based searching, distributed sorting, web link-graph reversal, term-vector per host, web access log stats, inverted index construction, document clustering, machine learning, and statistical machine translation.

This book introduces you to advanced MapReduce concepts and teaches you everything from identifying the factors that affect MapReduce job performance to tuning the MapReduce configuration. Based on real-world experience, this book will help you to fully utilize your cluster's node resources to run MapReduce jobs optimally.

This book details the Hadoop MapReduce job performance optimization process. Through a number of clear and practical steps, it will help you to fully utilize your cluster's node resources.

Starting with how MapReduce works and the factors that affect MapReduce performance, you will be given an overview of Hadoop metrics and several performance monitoring tools. Further on, you will explore performance counters that help you identify resource bottlenecks, check cluster health, and size your Hadoop cluster. You will also learn about optimizing map and reduce tasks by using Combiners and compression.

The book ends with best practices and recommendations on how to use your Hadoop cluster optimally.

What you will learn from this book

• Learn about the factors that affect MapReduce performance
• Utilize the Hadoop MapReduce performance counters to identify resource bottlenecks
• Size your Hadoop cluster's nodes
• Set the number of mappers and reducers correctly
• Optimize mapper and reducer task throughput and code size using compression and Combiners
• Understand the various tuning properties and best practices to optimize clusters

Approach

This book is an example-based tutorial that deals with optimizing MapReduce job performance.

Who this book is written for

If you are a Hadoop administrator, developer, MapReduce user, or beginner, this book is the best choice available if you wish to optimize your clusters and applications. Having prior knowledge of creating MapReduce applications is not necessary, but will help you better understand the concepts and snippets of MapReduce class template code.