Conjugate Direction Methods in Optimization

اندکی پس از پایان جنگ جهانی دوم، ماشین‌های محاسباتی دیجیتال پرسرعت در حال توسعه بودند. واضح بود که جنبه‌های ریاضی محاسبات به منظور استفاده مؤثر از رایانه‌های دیجیتالی پرسرعت برای محاسبات ریاضی نیاز به بررسی مجدد دارند. بر این اساس، تحت رهبری مین آ ریس، جان کرتیس و دیگران، موسسه ای برای آنالیز عددی در دانشگاه کالیفرنیا در لس آنجلس تحت حمایت اداره ملی استانداردها راه اندازی شد. مؤسسه مشابهی در دفتر ملی استانداردها در واشنگتن دی سی تشکیل شد. در سال 1949، جی بارکلی راسر به مدت دو سال مدیر گروه در UCLA شد. در این دوره سمیناری در مورد مطالعه حل معادلات خطی همزمان و تعیین مقادیر ویژه برگزار کردیم. G. Forsythe، W. Karush، C. Lanczos، T. Motzkin، L. J. Paige و دیگران در این سمینار شرکت کردند. به عنوان مثال، ما کشف کردیم که حتی حذف سیان گاوس از نقطه نظر ماشین به خوبی درک نشده است و هیچ الگوریتم حذف ماشین گرا موثری ایجاد نشده است. در این دوره لانچوس رابطه سه دوره ای خود را توسعه داد و من این شانس را داشتم که روش گرادیان های مزدوج را پیشنهاد کنم. بعداً متوجه شدیم که ایده‌های اساسی زیربنای این دو روش اساساً یکسان هستند. مفهوم صیغه برای من تازگی نداشت. در مقاله مشترک با G. D.

Shortly after the end of World War II high-speed digital computing machines were being developed. It was clear that the mathematical aspects of com­ putation needed to be reexamined in order to make efficient use of high-speed digital computers for mathematical computations. Accordingly, under the leadership of Min a Rees, John Curtiss, and others, an Institute for Numerical Analysis was set up at the University of California at Los Angeles under the sponsorship of the National Bureau of Standards. A similar institute was formed at the National Bureau of Standards in Washington, D. C. In 1949 J. Barkeley Rosser became Director of the group at UCLA for a period of two years. During this period we organized a seminar on the study of solu­ tions of simultaneous linear equations and on the determination of eigen­ values. G. Forsythe, W. Karush, C. Lanczos, T. Motzkin, L. J. Paige, and others attended this seminar. We discovered, for example, that even Gaus­ sian elimination was not well understood from a machine point of view and that no effective machine oriented elimination algorithm had been developed. During this period Lanczos developed his three-term relationship and I had the good fortune of suggesting the method of conjugate gradients. We dis­ covered afterward that the basic ideas underlying the two procedures are essentially the same. The concept of conjugacy was not new to me. In a joint paper with G. D.