Learning Hadoop 2

دسته بندی: سازمان و پردازش داده ها
ویرایش:  
نویسندگان: Garry Turkington. Gabriele Modena  
سری:  
ISBN (شابک) : 1783285516, 9781783285518 
ناشر: Packt Publishing - ebooks Account 
سال نشر: 2014 
تعداد صفحات: 382 
زبان: English 
فرمت فایل : PDF (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) 
حجم فایل: 3 مگابایت 

قیمت کتاب (تومان) : 38,000



طراحی و پیاده‌سازی پردازش داده، مدیریت چرخه حیات، و گردش‌های کاری تحلیلی با جعبه ابزار پیشرفته Hadoop 2

درباره این کتاب

• ساخت برنامه های کاربردی پیشرفته با استفاده از رابط ها و ابزارهای سطح بالاتر فراتر از رویکرد سنتی MapReduce
• از ویژگی های منحصر به فرد Hadoop 2 برای مدل سازی و تجزیه و تحلیل جریان جهانی داده های تولید شده توسط کاربر توییتر استفاده کنید
• یک نمونه اولیه در یک خوشه محلی ایجاد کنید و در فضای ابری (سرویس وب آمازون) مستقر کنید

این کتاب برای چه کسی است

اگر شما یک سیستم یا توسعه دهنده اپلیکیشن علاقه مند به یادگیری نحوه حل مسائل عملی با استفاده از چارچوب Hadoop، پس این کتاب برای شما ایده آل است. انتظار می رود که با رابط خط فرمان یونیکس/لینوکس آشنایی داشته باشید و با زبان برنامه نویسی جاوا تجربه داشته باشید. آشنایی با Hadoop یک مزیت خواهد بود.

آنچه یاد خواهید گرفت

• برنامه های توزیع شده را با استفاده از چارچوب MapReduce بنویسید
• از MapReduce فراتر رفته و داده ها را پردازش کنید زمان واقعی با Samza و به طور مکرر با Spark
• با رویکردهای داده کاوی که با مجموعه داده های بسیار بزرگ کار می کنند آشنا شوید
• برنامه های کاربردی را در یک ماشین مجازی نمونه سازی کنید و آنها را در یک خوشه محلی یا در یک ابر مستقر کنید. زیرساخت (سرویس های وب آمازون)
• تحلیل دسته ای و بلادرنگ داده ها را با استفاده از ابزارهای SQL انجام دهید
• جریان های پردازش داده را با استفاده از Apache Pig بسازید و ببینید که چگونه امکان ترکیب آسان عملکردهای سفارشی را فراهم می کند.
• تعریف و سازماندهی جریانهای کاری و خطوط لوله پیچیده با Apache Oozie
• مدیریت چرخه عمر داده ها و تغییرات در طول زمان

با جزئیات

< p>این کتاب شما را با دنیای ساخت برنامه‌های پردازش داده با ابزارهای متنوع پشتیبانی شده توسط Hadoop 2 آشنا می‌کند. از اجزای اصلی شروع کنید. از چارچوب —HDFS و YARN—این کتاب شما را از طریق نحوه ساخت برنامه های کاربردی با استفاده از روش های مختلف راهنمایی می کند.

می آموزید که چگونه YARN رابطه بین MapReduce و Hadoop را کاملاً تغییر می دهد و به دومی اجازه می دهد تا پشتیبانی کند. رویکردهای پردازشی متنوع تر و طیف وسیع تری از برنامه ها. اینها شامل پردازش بلادرنگ با Apache Samza و محاسبات تکراری با Apache Spark است. در مرحله بعد، Apache Pig و مدل داده جریان داده را که ارائه می دهد مورد بحث قرار می دهیم. خواهید فهمید که چگونه از Pig برای تجزیه و تحلیل مجموعه داده های توییتر استفاده کنید.

با این کتاب، می توانید با استفاده از ابزارهایی مانند Apache Hive، Apache Oozie، Hadoop Streaming، Apache Crunch، زندگی خود را آسان تر کنید. و Kite SDK. قسمت آخر این کتاب در مورد مسیر احتمالی آینده اجزای اصلی Hadoop و نحوه درگیر شدن با جامعه Hadoop بحث می کند.

Design and implement data processing, lifecycle management, and analytic workflows with the cutting-edge toolbox of Hadoop 2

About This Book

• Construct state-of-the-art applications using higher-level interfaces and tools beyond the traditional MapReduce approach
• Use the unique features of Hadoop 2 to model and analyze Twitter's global stream of user generated data
• Develop a prototype on a local cluster and deploy to the cloud (Amazon Web Services)

Who This Book Is For

If you are a system or application developer interested in learning how to solve practical problems using the Hadoop framework, then this book is ideal for you. You are expected to be familiar with the Unix/Linux command-line interface and have some experience with the Java programming language. Familiarity with Hadoop would be a plus.

What You Will Learn

• Write distributed applications using the MapReduce framework
• Go beyond MapReduce and process data in real time with Samza and iteratively with Spark
• Familiarize yourself with data mining approaches that work with very large datasets
• Prototype applications on a VM and deploy them to a local cluster or to a cloud infrastructure (Amazon Web Services)
• Conduct batch and real time data analysis using SQL-like tools
• Build data processing flows using Apache Pig and see how it enables the easy incorporation of custom functionality
• Define and orchestrate complex workflows and pipelines with Apache Oozie
• Manage your data lifecycle and changes over time

In Detail

This book introduces you to the world of building data-processing applications with the wide variety of tools supported by Hadoop 2. Starting with the core components of the framework―HDFS and YARN―this book will guide you through how to build applications using a variety of approaches.

You will learn how YARN completely changes the relationship between MapReduce and Hadoop and allows the latter to support more varied processing approaches and a broader array of applications. These include real-time processing with Apache Samza and iterative computation with Apache Spark. Next up, we discuss Apache Pig and the dataflow data model it provides. You will discover how to use Pig to analyze a Twitter dataset.

With this book, you will be able to make your life easier by using tools such as Apache Hive, Apache Oozie, Hadoop Streaming, Apache Crunch, and Kite SDK. The last part of this book discusses the likely future direction of major Hadoop components and how to get involved with the Hadoop community.