Parallel Processing and Parallel Algorithms: Theory and Computation

انگیزه اکنون می توان سیستم های قدرتمند تک پردازنده ای و چند پردازنده ای ساخت و از آنها به طور موثر برای پردازش داده ها استفاده کرد، که شاهد گسترش انفجاری در بسیاری از زمینه های علوم و مهندسی کامپیوتر بوده است. یک رویکرد برای برآوردن الزامات عملکرد برنامه ها، استفاده از قدرتمندترین سیستم تک پردازنده ای است که در دسترس است. هنگامی که چنین سیستمی الزامات عملکرد را فراهم نمی کند، می توان از ساختارهای خط لوله و فرآیند موازی استفاده کرد. مفهوم پردازش موازی انحراف از پردازش متوالی است. در محاسبات متوالی یک پردازنده در ولتاژ است و یک عملیات را در یک زمان انجام می دهد. از سوی دیگر، در محاسبات موازی، چندین پردازنده برای حل یک مشکل همکاری می کنند، که زمان محاسبات را کاهش می دهد زیرا می توان چندین عملیات را به طور همزمان انجام داد. استفاده از چندین پردازنده که روی یک محاسبات معین با هم کار می کنند، الگوی جدیدی را در حل مسائل رایانه ای نشان می دهد که کاملاً با پردازش متوالی متفاوت است. از نقطه نظر عملی، این امر توجیه کافی برای بررسی مفهوم پردازش موازی و مسائل مربوط به آن مانند الگوریتم های موازی را فراهم می کند. پردازش موازی شامل استفاده از عوامل متعددی مانند معماری های موازی، الگوریتم های موازی، زبان های برنامه نویسی موازی و تجزیه و تحلیل عملکرد است که به شدت به هم مرتبط هستند. به طور کلی، چهار مرحله برای انجام یک مسئله محاسباتی به صورت موازی درگیر است. اولین گام، درک ماهیت محاسبات در حوزه برنامه خاص است.

Motivation It is now possible to build powerful single-processor and multiprocessor systems and use them efficiently for data processing, which has seen an explosive ex­ pansion in many areas of computer science and engineering. One approach to meeting the performance requirements of the applications has been to utilize the most powerful single-processor system that is available. When such a system does not provide the performance requirements, pipelined and parallel process­ ing structures can be employed. The concept of parallel processing is a depar­ ture from sequential processing. In sequential computation one processor is in­ volved and performs one operation at a time. On the other hand, in parallel computation several processors cooperate to solve a problem, which reduces computing time because several operations can be carried out simultaneously. Using several processors that work together on a given computation illustrates a new paradigm in computer problem solving which is completely different from sequential processing. From the practical point of view, this provides sufficient justification to investigate the concept of parallel processing and related issues, such as parallel algorithms. Parallel processing involves utilizing several factors, such as parallel architectures, parallel algorithms, parallel programming lan­ guages and performance analysis, which are strongly interrelated. In general, four steps are involved in performing a computational problem in parallel. The first step is to understand the nature of computations in the specific application domain.