Data-Intensive Workflow Management: For Clouds and Data-Intensive and Scalable Computing Environments (Synthesis Lectures on Data Management)

جریان‌های کاری ممکن است به عنوان انتزاعی‌هایی تعریف شوند که برای مدل‌سازی جریان منسجم فعالیت‌ها در زمینه یک آزمایش علمی در سیلیکو استفاده می‌شوند.

اینها عبارتند از در بسیاری از حوزه‌های علوم مانند بیوانفورماتیک، نجوم و مهندسی استفاده می‌شود. چنین گردش‌کاری‌ها معمولاً تعداد قابل توجهی از فعالیت‌ها و فعال‌سازی‌ها (یعنی وظایف مرتبط با فعالیت‌ها) را ارائه می‌کنند و ممکن است به زمان طولانی برای اجرا نیاز داشته باشند. با توجه به نیاز مستمر به ذخیره و پردازش کارآمد داده‌ها (که آنها را به جریان کاری فشرده داده تبدیل می‌کند)، از محیط‌های محاسباتی با کارایی بالا مرتبط با تکنیک‌های موازی‌سازی برای اجرای این گردش‌ها استفاده می‌شود. در آغاز دهه 2010، فناوری‌های ابری به عنوان محیطی امیدوارکننده برای اجرای جریان‌های کاری علمی ظاهر شدند. با استفاده از ابرها، دانشمندان فراتر از رایانه‌های موازی منفرد به صدها یا حتی هزاران ماشین مجازی گسترش یافته‌اند.

اخیراً، چارچوب‌های محاسبات مقیاس‌پذیر (DISC) فشرده داده (مانند Apache Spark و Hadoop) و محیط‌ها پدیدار شده‌اند. و برای اجرای گردش های کاری فشرده داده استفاده می شود. محیط‌های DISC از پردازنده‌ها و دیسک‌ها در خوشه‌های محاسباتی کالاهای بزرگ تشکیل شده‌اند که با استفاده از سوئیچ‌ها و شبکه‌های ارتباطی پرسرعت به هم متصل شده‌اند. مزیت اصلی چارچوب‌های DISC این است که از مدیریت داده‌های درون حافظه کارآمد برای برنامه‌های کاربردی در مقیاس بزرگ، مانند گردش‌های کاری فشرده داده، پشتیبانی و اعطا می‌کنند. با این حال، اجرای گردش‌های کاری در محیط‌های ابری و DISC چالش‌های زیادی مانند زمان‌بندی فعالیت‌ها و فعال‌سازی‌های گردش کار، مدیریت داده‌های تولید شده، جمع‌آوری داده‌های منشأ، و غیره را ایجاد می‌کند.

چند رویکرد موجود با چالش‌هایی که قبلاً ذکر شد، سروکار دارند. به این ترتیب، نیاز واقعی به درک نحوه مدیریت این گردش‌های کاری و پلتفرم‌های مختلف کلان داده که توسعه و معرفی شده‌اند، وجود دارد. به این ترتیب، این کتاب می تواند به محققان کمک کند تا بفهمند چگونه پیوند مدیریت گردش کار با محاسبات مقیاس پذیر فشرده داده می تواند به درک و تجزیه و تحلیل داده های بزرگ علمی کمک کند.

در این کتاب، هدف ما شناسایی و تقطیر بدنه کار است. مدیریت گردش کار در محیط های ابری و DISC ما با بحث در مورد اصول اولیه گردش کار علمی با داده فشرده شروع می کنیم. در مرحله بعد، دو گردش کار را ارائه می کنیم که در یک سایت واحد و ابرهای چند سایتی با استفاده از منشأ اجرا می شوند. پس از آن، به سمت مدیریت گردش کار در محیط‌های DISC می‌رویم و راه‌حل‌هایی را با جزئیات ارائه می‌کنیم که اجرای بهینه گردش کار را با استفاده از چارچوب‌هایی مانند Apache Spark و برنامه‌های افزودنی آن امکان‌پذیر می‌سازد.

Workflows may be defined as abstractions used to model the coherent flow of activities in the context of an in silico scientific experiment.

They are employed in many domains of science such as bioinformatics, astronomy, and engineering. Such workflows usually present a considerable number of activities and activations (i.e., tasks associated with activities) and may need a long time for execution. Due to the continuous need to store and process data efficiently (making them data-intensive workflows), high-performance computing environments allied to parallelization techniques are used to run these workflows. At the beginning of the 2010s, cloud technologies emerged as a promising environment to run scientific workflows. By using clouds, scientists have expanded beyond single parallel computers to hundreds or even thousands of virtual machines.

More recently, Data-Intensive Scalable Computing (DISC) frameworks (e.g., Apache Spark and Hadoop) and environments emerged and are being used to execute data-intensive workflows. DISC environments are composed of processors and disks in large-commodity computing clusters connected using high-speed communications switches and networks. The main advantage of DISC frameworks is that they support and grant efficient in-memory data management for large-scale applications, such as data-intensive workflows. However, the execution of workflows in cloud and DISC environments raise many challenges such as scheduling workflow activities and activations, managing produced data, collecting provenance data, etc.

Several existing approaches deal with the challenges mentioned earlier. This way, there is a real need for understanding how to manage these workflows and various big data platforms that have been developed and introduced. As such, this book can help researchers understand how linking workflow management with Data-Intensive Scalable Computing can help in understanding and analyzing scientific big data.

In this book, we aim to identify and distill the body of work on workflow management in clouds and DISC environments. We start by discussing the basic principles of data-intensive scientific workflows. Next, we present two workflows that are executed in a single site and multi-site clouds taking advantage of provenance. Afterward, we go towards workflow management in DISC environments, and we present, in detail, solutions that enable the optimized execution of the workflow using frameworks such as Apache Spark and its extensions.