Large-Scale Graph Processing Using Apache Giraph

این کتاب خواننده خود را به سفری از طریق Apache Giraph می‌برد، یک پلتفرم پردازش گراف توزیع‌شده محبوب که برای آوردن قدرت پردازش داده‌های بزرگ به داده‌های نموداری طراحی شده است. . به عنوان یک راهنمای خودآموز گام به گام برای همه علاقمندان به پردازش گراف در مقیاس بزرگ طراحی شده است، انتزاعات اساسی سیستم، مدل های برنامه نویسی آن و تکنیک های مختلف برای استفاده از سیستم برای پردازش داده های نمودار در مقیاس، از جمله اجرای چندین الگوریتم محبوب و پیشرفته تجزیه و تحلیل گراف.

کتاب به شرح زیر سازماندهی شده است: فصل 1 با ارائه یک پیشینه کلی از پدیده کلان داده و معرفی کلی سیستم Apache Giraph، انتزاع آن، برنامه نویسی آغاز می شود. معماری مدل و طراحی بعد، فصل 2 بر Giraph به عنوان یک پلت فرم و نحوه استفاده از آن تمرکز می کند. بر اساس یک کار نمونه، حتی موضوعات پیشرفته تری مانند نظارت بر چرخه عمر برنامه Giraph و روش های مختلف نظارت بر مشاغل Giraph توضیح داده شده است. سپس فصل 3 مقدمه ای بر برنامه نویسی Giraph ارائه می دهد، مدل اصلی گراف Giraph را معرفی می کند و نحوه نوشتن برنامه های Giraph را توضیح می دهد. به نوبه خود، فصل 4 به طور مفصل پیاده سازی برخی از الگوریتم های گراف محبوب از جمله رتبه صفحه، اجزای متصل، کوتاه ترین مسیرها و بسته شدن مثلث را مورد بحث قرار می دهد. فصل 5 بر برنامه‌نویسی پیشرفته Giraph تمرکز دارد، بهینه‌سازی‌های الگوریتمی رایج Giraph، پیکربندی‌های Giraph قابل تنظیم که میزان استفاده سیستم از منابع زیربنایی را تعیین می‌کند، و نحوه نوشتن یک قالب ورودی و خروجی گراف سفارشی را مورد بحث قرار می‌دهد. در نهایت، فصل 6 دو سیستم را که برای مقابله با چالش پردازش گراف در مقیاس بزرگ معرفی شده‌اند، GraphX ​​و GraphLab برجسته می‌کند و اشتراکات و تفاوت‌های اصلی بین این سیستم‌ها و Apache Giraph را توضیح می‌دهد.

این کتاب به عنوان یک کتاب عمل می‌کند. راهنمای مرجع ضروری برای دانشجویان، محققان و متخصصان در حوزه پردازش گراف در مقیاس بزرگ. این راهنمای گام به گام با چندین نمونه کد و کد منبع کامل موجود در مخزن github مربوطه ارائه می دهد. دانش‌آموزان با استفاده از سیستم Apache Giraph، مقدمه‌ای جامع و تمرین عملی برای مقابله با مشکلات پردازش گراف در مقیاس بزرگ پیدا خواهند کرد، در حالی که محققان پوشش کاملی از پیشرفت‌های در حال ظهور و در حال انجام در سیستم‌های پردازش گراف بزرگ را کشف خواهند کرد.

This book takes its reader on a journey through Apache Giraph, a popular distributed graph processing platform designed to bring the power of big data processing to graph data. Designed as a step-by-step self-study guide for everyone interested in large-scale graph processing, it describes the fundamental abstractions of the system, its programming models and various techniques for using the system to process graph data at scale, including the implementation of several popular and advanced graph analytics algorithms.

The book is organized as follows: Chapter 1 starts by providing a general background of the big data phenomenon and a general introduction to the Apache Giraph system, its abstraction, programming model and design architecture. Next, chapter 2 focuses on Giraph as a platform and how to use it. Based on a sample job, even more advanced topics like monitoring the Giraph application lifecycle and different methods for monitoring Giraph jobs are explained. Chapter 3 then provides an introduction to Giraph programming, introduces the basic Giraph graph model and explains how to write Giraph programs. In turn, Chapter 4 discusses in detail the implementation of some popular graph algorithms including PageRank, connected components, shortest paths and triangle closing. Chapter 5 focuses on advanced Giraph programming, discussing common Giraph algorithmic optimizations, tunable Giraph configurations that determine the system’s utilization of the underlying resources, and how to write a custom graph input and output format. Lastly, chapter 6 highlights two systems that have been introduced to tackle the challenge of large scale graph processing, GraphX and GraphLab, and explains the main commonalities and differences between these systems and Apache Giraph.

This book serves as an essential reference guide for students, researchers and practitioners in the domain of large scale graph processing. It offers step-by-step guidance, with several code examples and the complete source code available in the related github repository. Students will find a comprehensive introduction to and hands-on practice with tackling large scale graph processing problems using the Apache Giraph system, while researchers will discover thorough coverage of the emerging and ongoing advancements in big graph processing systems.