A Parallel Algorithm Synthesis Procedure for High-Performance Computer Architectures

با وجود پنج دهه تحقیق، محاسبات موازی همچنان یک فناوری عجیب و غریب و مرزی در حاشیه محاسبات اصلی است. پیروزی بسیار اعلام شده آن بر محاسبات متوالی هنوز محقق نشده است. این در حالی است که نیازهای پردازشی بسیاری از برنامه های کاربردی پردازش سیگنال همچنان قابلیت های محاسبات متوالی را تحت الشعاع قرار می دهد. مقصر تا حد زیادی محیط توسعه نرم افزار است. کاستی های اساسی در محیط توسعه بسیاری از معماری های کامپیوتری موازی، پذیرش محاسبات موازی را خنثی می کند. مهمتر از همه، محاسبات موازی هیچ مدل متحد کننده ای برای پیش بینی دقیق زمان اجرای الگوریتم ها در معماری های موازی ندارد. هزینه و منابع برنامه نویسی کمیاب، استقرار چندین الگوریتم و استراتژی های پارتیشن بندی را در تلاش برای یافتن سریع ترین راه حل ممنوع می کند. در نتیجه، طراحی الگوریتم تا حد زیادی یک شکل هنری شهودی است که توسط پزشکانی که در یک معماری کامپیوتری خاص تخصص دارند، تحت سلطه است. این، همراه با این واقعیت که معماری‌های کامپیوتری موازی به ندرت بیش از دو سال دوام می‌آورند، یک محیط طراحی پیچیده و چالش برانگیز را ایجاد می‌کند.

برای پیمایش در این محیط، طراحان الگوریتم به یک نقشه راه، یک رویه دقیق نیاز دارند. آنها می توانند برای توسعه کارآمد الگوریتم های موازی قابل حمل با کارایی بالا استفاده کنند. تمرکز این کتاب ترسیم چنین نقشه راهی است. روش سنتز الگوریتم موازی می تواند برای طراحی بلوک های ساختمانی قابل استفاده مجدد از ماژول های نرم افزاری قابل انطباق و مقیاس پذیر استفاده شود که از آنها می توان برنامه های کاربردی پردازش سیگنال با کارایی بالا را ساخت. مشخصه این روش یک فرآیند نیمه سیستماتیک برای معرفی پارامترها برای کنترل پارتیشن بندی و زمان بندی محاسبات و ارتباطات است. این امر تنظیم ماژول‌های نرم‌افزار را برای بهره‌برداری از پیکربندی‌های مختلف چندین پردازنده، چندین واحد ممیز شناور و حافظه‌های سلسله مراتبی تسهیل می‌کند. برای نشان دادن اثربخشی این روش، این کتاب سه مطالعه موردی را ارائه می‌کند که به درجات مختلفی از بهینه‌سازی برای اجرای موازی نیاز دارند.

Despite five decades of research, parallel computing remains an exotic, frontier technology on the fringes of mainstream computing. Its much-heralded triumph over sequential computing has yet to materialize. This is in spite of the fact that the processing needs of many signal processing applications continue to eclipse the capabilities of sequential computing. The culprit is largely the software development environment. Fundamental shortcomings in the development environment of many parallel computer architectures thwart the adoption of parallel computing. Foremost, parallel computing has no unifying model to accurately predict the execution time of algorithms on parallel architectures. Cost and scarce programming resources prohibit deploying multiple algorithms and partitioning strategies in an attempt to find the fastest solution. As a consequence, algorithm design is largely an intuitive art form dominated by practitioners who specialize in a particular computer architecture. This, coupled with the fact that parallel computer architectures rarely last more than a couple of years, makes for a complex and challenging design environment.

To navigate this environment, algorithm designers need a road map, a detailed procedure they can use to efficiently develop high performance, portable parallel algorithms. The focus of this book is to draw such a road map. The Parallel Algorithm Synthesis Procedure can be used to design reusable building blocks of adaptable, scalable software modules from which high performance signal processing applications can be constructed. The hallmark of the procedure is a semi-systematic process for introducing parameters to control the partitioning and scheduling of computation and communication. This facilitates the tailoring of software modules to exploit different configurations of multiple processors, multiple floating-point units, and hierarchical memories. To showcase the efficacy of this procedure, the book presents three case studies requiring various degrees of optimization for parallel execution.