Using Flume: Flexible, Scalable, and Reliable Data Streaming

چگونه می توانید داده های خود را از سرورهای فرانت اند به Hadoop در زمان واقعی دریافت کنید؟ با این راهنمای مرجع کامل، مجموعه‌ای از ویژگی‌های غنی Flume را برای جمع‌آوری، جمع‌آوری و نوشتن حجم زیادی از داده‌های جریانی در سیستم فایل توزیع‌شده Hadoop (HDFS)، Apache HBase، SolrCloud، Elastic Search و سایر سیستم‌ها خواهید آموخت. /p>

استفاده از Flume به مهندسان عملیات نحوه پیکربندی، استقرار و نظارت بر یک خوشه Flume را نشان می‌دهد و به توسعه‌دهندگان می‌آموزد که چگونه پلاگین‌ها و اجزای سفارشی Flume را برای موارد خاص خود بنویسند. شما در مورد طراحی و پیاده سازی Flume و همچنین ویژگی های مختلفی که آن را بسیار مقیاس پذیر، انعطاف پذیر و قابل اعتماد می کند، آشنا خواهید شد. نمونه‌های کد و تمرین‌ها در GitHub در دسترس هستند.

• بیاموزید که چگونه Flume با عمل به عنوان یک بافر بین تولیدکنندگان داده و مصرف‌کنندگان، نرخ ثابتی از جریان را ارائه می‌کند
• به اجزای کلیدی Flume بروید. از جمله منابعی که داده‌ها را می‌پذیرند و سینک‌هایی که آن‌ها را می‌نویسند و تحویل می‌دهند
• افزونه‌های سفارشی بنویسید تا نحوه دریافت، اصلاح، قالب‌بندی و نوشتن داده‌ها را Flume سفارشی کنید
• کاوش API برای ارسال داده به عوامل Flume از برنامه های خود
• Flume را به روشی مقیاس پذیر و انعطاف پذیر برنامه ریزی و استقرار دهید—و پس از اجرای خوشه خود را زیر نظر بگیرید

How can you get your data from frontend servers to Hadoop in near real time? With this complete reference guide, you’ll learn Flume’s rich set of features for collecting, aggregating, and writing large amounts of streaming data to the Hadoop Distributed File System (HDFS), Apache HBase, SolrCloud, Elastic Search, and other systems.

Using Flume shows operations engineers how to configure, deploy, and monitor a Flume cluster, and teaches developers how to write Flume plugins and custom components for their specific use-cases. You’ll learn about Flume’s design and implementation, as well as various features that make it highly scalable, flexible, and reliable. Code examples and exercises are available on GitHub.

• Learn how Flume provides a steady rate of flow by acting as a buffer between data producers and consumers
• Dive into key Flume components, including sources that accept data and sinks that write and deliver it
• Write custom plugins to customize the way Flume receives, modifies, formats, and writes data
• Explore APIs for sending data to Flume agents from your own applications
• Plan and deploy Flume in a scalable and flexible way—and monitor your cluster once it’s running