Apache Flume: Distributed Log Collection for Hadoop

پخش جریانی داده ها به Hadoop با استفاده از Apache Flume

نمای کلی

• Flume را با منابع داده خود ادغام کنید
• تبدیل کد داده‌ها در مسیر در Flume
• داده‌های خود را با استفاده از تطبیق عبارت منظم مسیریابی و جدا کنید
• مسیرهای failover و بارگذاری تعادل را برای حذف نقاط منفرد شکست پیکربندی کنید
• استفاده کنید فشرده سازی Gzip برای فایل های نوشته شده در HDFS

در جزئیات

Apache Flume یک سرویس توزیع شده، قابل اعتماد و در دسترس برای جمع آوری، جمع آوری کارآمد است. ، و جابجایی مقادیر زیادی از داده های گزارش. هدف اصلی آن تحویل داده ها از برنامه ها به HDFS Apache Hadoop است. این دارای یک معماری ساده و انعطاف پذیر بر اساس جریان داده جریان است. با بسیاری از مکانیزم‌های شکست و بازیابی، مقاوم و مقاوم است.

Apache Flume: Distributed Log Collection for Hadoop مشکلات مربوط به HDFS و جریان/داده‌ها را پوشش می‌دهد و چگونه Flume می‌تواند این مشکلات را حل کند. این کتاب معماری تعمیم‌یافته Flume را توضیح می‌دهد که شامل انتقال داده‌ها به/از پایگاه‌های داده، ذخیره‌های داده NO-SQL و همچنین بهینه‌سازی عملکرد است. این کتاب شامل سناریوهای دنیای واقعی در پیاده سازی Flume است.

Apache Flume: Distributed Log Collection برای Hadoop با یک نمای کلی معماری از Flume شروع می شود و سپس هر جزء را به تفصیل مورد بحث قرار می دهد. این شما را از طریق فرآیند نصب کامل و کامپایل Flume راهنمایی می کند.

به شما اطلاعاتی در مورد نحوه استفاده از کانال ها و انتخابگرهای کانال می دهد. برای هر جزء معماری (منابع، کانال‌ها، سینک‌ها، پردازنده‌های کانال، گروه‌های سینک و غیره) پیاده‌سازی‌های مختلف به همراه گزینه‌های پیکربندی به تفصیل پوشش داده می‌شوند. می توانید از آن برای سفارشی کردن Flume بر اساس نیازهای خاص خود استفاده کنید. همچنین نکاتی در مورد نوشتن پیاده‌سازی‌های سفارشی ارائه شده است که به شما کمک می‌کند آنها را یاد بگیرید و پیاده‌سازی کنید.

آنچه از این کتاب خواهید آموخت

• درک معماری فلوم
• Flume منبع باز را از Apache بارگیری و نصب کنید
• کشف کنید که چه زمانی از یک کانال پشتیبان حافظه یا فایل پشتیبانی می شود
• درک و پیکربندی سینک سیستم فایل Hadoop (HDFS)
• نحوه استفاده از گروه‌های سینک برای ایجاد جریان‌های داده اضافی را بیاموزید
• پیکربندی و استفاده از منابع مختلف برای دریافت داده‌ها
• بازرسی سوابق داده‌ها و مسیریابی به مقصدهای مختلف یا چندگانه بر اساس محتوای محموله
li>
• تبدیل داده ها در مسیر به Hadoop
• بررسی جریان داده های خود

رویکرد

A راهنمای شروع که Apache Flume را با جزئیات پوشش می دهد.

این کتاب برای چه کسانی نوشته شده است

Apache Flume: Distributed Log Collection for Hadoop برای افرادی در نظر گرفته شده است که مسئول انتقال به موقع و مطمئن مجموعه داده ها به Hadoop مانند مهندسان نرم افزار، مدیران پایگاه داده و مدیران انبار داده است.

Stream data to Hadoop using Apache Flume

Overview

• Integrate Flume with your data sources
• Transcode your data en-route in Flume
• Route and separate your data using regular expression matching
• Configure failover paths and load-balancing to remove single points of failure
• Utilize Gzip Compression for files written to HDFS

In Detail

Apache Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. Its main goal is to deliver data from applications to Apache Hadoop's HDFS. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with many failover and recovery mechanisms.

Apache Flume: Distributed Log Collection for Hadoop covers problems with HDFS and streaming data/logs, and how Flume can resolve these problems. This book explains the generalized architecture of Flume, which includes moving data to/from databases, NO-SQL-ish data stores, as well as optimizing performance. This book includes real-world scenarios on Flume implementation.

Apache Flume: Distributed Log Collection for Hadoop starts with an architectural overview of Flume and then discusses each component in detail. It guides you through the complete installation process and compilation of Flume.

It will give you a heads-up on how to use channels and channel selectors. For each architectural component (Sources, Channels, Sinks, Channel Processors, Sink Groups, and so on) the various implementations will be covered in detail along with configuration options. You can use it to customize Flume to your specific needs. There are pointers given on writing custom implementations as well that would help you learn and implement them.

What you will learn from this book

• Understand the Flume architecture
• Download and install open source Flume from Apache
• Discover when to use a memory or file-backed channel
• Understand and configure the Hadoop File System (HDFS) sink
• Learn how to use sink groups to create redundant data flows
• Configure and use various sources for ingesting data
• Inspect data records and route to different or multiple destinations based on payload content
• Transform data en-route to Hadoop
• Monitor your data flows

Approach

A starter guide that covers Apache Flume in detail.

Who this book is written for

Apache Flume: Distributed Log Collection for Hadoop is intended for people who are responsible for moving datasets into Hadoop in a timely and reliable manner like software engineers, database administrators, and data warehouse administrators.