Introduction to HPC with MPI for Data Science

این مقدمه ملایم بر محاسبات با کارایی بالا (HPC) برای علم داده با استفاده از استاندارد رابط عبور پیام (MPI) به عنوان اولین دوره برای دانشجویان کارشناسی برنامه نویسی موازی در مدل های حافظه توزیع شده طراحی شده است و فقط به برنامه نویسی اولیه نیاز دارد. مفاهیم.

تقسیم شده به دو بخش، بخش اول محاسبات با کارایی بالا با استفاده از C++ با استاندارد رابط عبور پیام (MPI) را پوشش می‌دهد و سپس بخش دوم تجزیه و تحلیل داده‌های با کارایی بالا را در خوشه‌های رایانه ارائه می‌کند.

در بخش اول، مفاهیم اساسی مسدود کردن در مقابل ارتباطات نقطه به نقطه غیرمسدود، ارتباطات جهانی (مانند پخش یا پراکندگی) و محاسبات مشترک (کاهش)، با قوانین افزایش سرعت Amdalh و Gustafson قبلا شرح داده شده است. پرداختن به مرتب سازی موازی و جبر خطی موازی در خوشه های کامپیوتری. سپس توپولوژی‌های رایج حلقه، چنبره و ابرمکعب خوشه‌ها توضیح داده می‌شوند و رویه‌های ارتباط جهانی روی این توپولوژی‌ها مورد مطالعه قرار می‌گیرند. این بخش اول با مدل محاسبات MapReduce (MR) بسته می‌شود که به خوبی برای پردازش داده‌های بزرگ با استفاده از چارچوب MPI ​​مناسب است.

در بخش دوم، کتاب بر تجزیه و تحلیل داده‌های با کارایی بالا تمرکز دارد. الگوریتم‌های خوشه‌بندی مسطح و سلسله مراتبی برای کاوش داده‌ها همراه با نحوه برنامه‌ریزی این الگوریتم‌ها بر روی خوشه‌های کامپیوتری، به دنبال طبقه‌بندی یادگیری ماشین و مقدمه‌ای بر تجزیه و تحلیل گراف، معرفی شده‌اند. این بخش با مقدمه‌ای مختصر بر مجموعه‌های هسته‌ای داده‌ها بسته می‌شود که به مشکلات داده‌های بزرگ اجازه می‌دهد تا مشکلات داده‌های کوچک را تحمل کنند.

تمرین‌هایی در پایان هر فصل گنجانده شده است تا دانش‌آموزان مفاهیم آموخته‌شده را تمرین کنند. و بخش پایانی شامل یک امتحان کلی است که به آنها امکان می‌دهد ارزیابی کنند که چگونه مطالب مورد بحث در کتاب را جذب کرده‌اند.

This gentle introduction to High Performance Computing (HPC) for Data Science using the Message Passing Interface (MPI) standard has been designed as a first course for undergraduates on parallel programming on distributed memory models, and requires only basic programming notions.

Divided into two parts the first part covers high performance computing using C++ with the Message Passing Interface (MPI) standard followed by a second part providing high-performance data analytics on computer clusters.

In the first part, the fundamental notions of blocking versus non-blocking point-to-point communications, global communications (like broadcast or scatter) and collaborative computations (reduce), with Amdalh and Gustafson speed-up laws are described before addressing parallel sorting and parallel linear algebra on computer clusters. The common ring, torus and hypercube topologies of clusters are then explained and global communication procedures on these topologies are studied. This first part closes with the MapReduce (MR) model of computation well-suited to processing big data using the MPI framework.

In the second part, the book focuses on high-performance data analytics. Flat and hierarchical clustering algorithms are introduced for data exploration along with how to program these algorithms on computer clusters, followed by machine learning classification, and an introduction to graph analytics. This part closes with a concise introduction to data core-sets that let big data problems be amenable to tiny data problems.

Exercises are included at the end of each chapter in order for students to practice the concepts learned, and a final section contains an overall exam which allows them to evaluate how well they have assimilated the material covered in the book.