دسترسی نامحدود
برای کاربرانی که ثبت نام کرده اند
برای ارتباط با ما می توانید از طریق شماره موبایل زیر از طریق تماس و پیامک با ما در ارتباط باشید
در صورت عدم پاسخ گویی از طریق پیامک با پشتیبان در ارتباط باشید
برای کاربرانی که ثبت نام کرده اند
درصورت عدم همخوانی توضیحات با کتاب
از ساعت 7 صبح تا 10 شب
دسته بندی: بهینه سازی، تحقیق در عملیات. ویرایش: 2nd ed نویسندگان: Igor Griva, Stephen G. Nash, Ariela Sofer سری: ISBN (شابک) : 0898716616, 9780898716610 ناشر: Society for Industrial and Applied Mathematics سال نشر: 2009 تعداد صفحات: 764 زبان: English فرمت فایل : PDF (درصورت درخواست کاربر به PDF، EPUB یا AZW3 تبدیل می شود) حجم فایل: 3 مگابایت
در صورت تبدیل فایل کتاب Linear and nonlinear optimization به فرمت های PDF، EPUB، AZW3، MOBI و یا DJVU می توانید به پشتیبان اطلاع دهید تا فایل مورد نظر را تبدیل نمایند.
توجه داشته باشید کتاب بهینه سازی خطی و غیرخطی نسخه زبان اصلی می باشد و کتاب ترجمه شده به فارسی نمی باشد. وبسایت اینترنشنال لایبرری ارائه دهنده کتاب های زبان اصلی می باشد و هیچ گونه کتاب ترجمه شده یا نوشته شده به فارسی را ارائه نمی دهد.
بخش اول بهینهسازی خطی و غیرخطی، ویرایش دوم اصولی را ارائه میکند که میتوان به طور کامل یا جزئی در ابتدای دوره در هر یک از موضوعات تدریس کرد و سپس ارجاع داد. به صورت نیاز بخش دوم در مورد برنامه ریزی خطی و بخش سوم در مورد بهینه سازی بدون محدودیت را می توان با هم یا جداگانه استفاده کرد و بخش چهارم در مورد بهینه سازی غیرخطی را می توان بدون مطالعه مطالب در قسمت دوم آموزش داد. در مقدمه، نویسندگان طرحهای درسی را پیشنهاد میکنند که میتوان آنها را با الزامات یک دوره خاص در مورد بهینهسازی خطی و غیرخطی تنظیم کرد، یا دروس جداگانهای را در این موضوعات تنظیم کرد. سه ضمیمه اطلاعاتی در مورد جبر خطی، سایر مبانی و بسته های نرم افزاری برای مسائل بهینه سازی ارائه می دهند. یک وب سایت تکمیلی مجموعه داده های کمکی را ارائه می دهد که برای برخی از تمرین ها ضروری هستند.
مخاطبان: این کتاب عمدتاً برای استفاده در دوره های بهینه سازی خطی و غیرخطی برای دانشجویان پیشرفته در مقطع کارشناسی و کارشناسی ارشد در نظر گرفته شده است. همچنین به عنوان یک آموزش برای محققان و دست اندرکارانی که نیاز به درک الگوریتم های مدرن بهینه سازی خطی و غیرخطی دارند تا آنها را در مسائل علوم و مهندسی به کار ببرند، مناسب است.
محتوا: مقدمه; بخش اول: مبانی فصل 1: مدل های بهینه سازی. فصل 2: مبانی بهینه سازی; فصل 3: نمایش محدودیت های خطی. بخش دوم: برنامه ریزی خطی. فصل چهارم: هندسه برنامه ریزی خطی. فصل پنجم: روش سیمپلکس. فصل ششم: دوگانگی و حساسیت; فصل 7: پیشرفت های روش سیمپلکس. فصل هشتم: مشکلات شبکه; فصل نهم: پیچیدگی محاسباتی برنامه ریزی خطی. فصل 10: روش های داخلی نقطه ای برنامه ریزی خطی. بخش سوم: بهینه سازی بدون محدودیت. فصل 11: مبانی بهینه سازی بدون محدودیت. فصل 12: روش های بهینه سازی بدون محدودیت. فصل 13: روشهای ذخیرهسازی کم برای مشکلات بدون محدودیت. بخش چهارم: بهینه سازی غیرخطی. فصل 14: شرایط بهینه برای مسائل محدود. فصل 15: روش های امکان پذیر. فصل 16: روش های مجازات و مانع. قسمت پنجم: ضمائم; ضمیمه الف: موضوعاتی از جبر خطی. ضمیمه B: سایر مبانی; پیوست ج: نرم افزار; کتابشناسی - فهرست کتب؛ فهرست مطالب
Part I of Linear and Nonlinear Optimization, Second Edition provides fundamentals that can be taught in whole or in part at the beginning of a course on either topic and then referred to as needed. Part II on linear programming and Part III on unconstrained optimization can be used together or separately, and Part IV on nonlinear optimization can be taught without having studied the material in Part II. In the preface the authors suggest course outlines that can be adjusted to the requirements of a particular course on both linear and nonlinear optimization, or to separate courses on these topics. Three appendices provide information on linear algebra, other fundamentals, and software packages for optimization problems. A supplemental website offers auxiliary data sets that are necessary for some of the exercises.
Audience: This book is primarily intended for use in linear and nonlinear optimization courses for advanced undergraduate and graduate students. It is also appropriate as a tutorial for researchers and practitioners who need to understand the modern algorithms of linear and nonlinear optimization to apply them to problems in science and engineering.
Contents: Preface; Part I: Basics; Chapter 1: Optimization Models; Chapter 2: Fundamentals of Optimization; Chapter 3: Representation of Linear Constraints; Part II: Linear Programming; Chapter 4: Geometry of Linear Programming; Chapter 5: The Simplex Method; Chapter 6: Duality and Sensitivity; Chapter 7: Enhancements of the Simplex Method; Chapter 8: Network Problems; Chapter 9: Computational Complexity of Linear Programming; Chapter 10: Interior-Point Methods of Linear Programming; Part III: Unconstrained Optimization; Chapter 11: Basics of Unconstrained Optimization; Chapter 12: Methods for Unconstrained Optimization; Chapter 13: Low-Storage Methods for Unconstrained Problems; Part IV: Nonlinear Optimization; Chapter 14: Optimality Conditions for Constrained Problems; Chapter 15: Feasible-Point Methods; Chapter 16: Penalty and Barrier Methods; Part V: Appendices; Appendix A: Topics from Linear Algebra; Appendix B: Other Fundamentals; Appendix C: Software; Bibliography; Index
Cover......Page 1
Linear and Nonlinear Optimization (Second edition)......Page 4
Copyright......Page 5
Contents......Page 6
Preface......Page 14
I Basics\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 24
1.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 26
1.2 Optimization: An Informal Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 27
1.3 Linear Equations\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 30
1.4 Linear Optimization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 33
1.5 Least-Squares Data Fitting\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 35
1.6 Nonlinear Optimization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 37
1.7.1 Crew Scheduling and Fleet Scheduling\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 41
1.7.2 Support Vector Machines\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 45
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 47
1.7.3 Portfolio Optimization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 48
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 50
1.7.4 Intensity Modulated Radiation Treatment Planning\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 51
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 54
1.7.5 Positron Emission Tomography Image Reconstruction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 55
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 57
1.7.6 Shape Optimization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 58
1.8 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 63
2.2 Feasibility and Optimality\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 66
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 70
2.3 Convexity\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 71
2.3.1 Derivatives and Convexity\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 73
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 75
2.4 The General Optimization Algorithm\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 77
2.5 Rates of Convergence\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 81
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 84
2.6 Taylor Series\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 85
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 88
2.7 Newton’s Method for Nonlinear Equations\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 90
2.7.1 Systems of Nonlinear Equations\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 95
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 97
2.8 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 99
3.1 Basic Concepts\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 100
3.2 Null and Range Spaces\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 105
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 107
3.3.1 Variable Reduction Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 109
3.3.2 Orthogonal Projection Matrix\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 112
3.3.4 The QR Factorization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 113
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 114
3.4 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 116
II Linear Programming\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 118
4.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 120
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 121
4.2 Standard Form\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 123
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 128
4.3 Basic Solutions and Extreme Points\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 129
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 137
4.4 Representation of Solutions; Optimality\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 140
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 146
4.5 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 147
5.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 148
5.2 The Simplex Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 149
5.2.1 General Formulas\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 152
5.2.2 Unbounded Problems\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 157
5.2.3 Notation for the Simplex Method (Tableaus)\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 158
5.2.4 Deficiencies of the Tableau\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 162
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 164
5.3.1 Multiple Solutions\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 167
5.3.2 Feasible Directions and Edge Directions\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 168
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 171
5.4 Getting Started—Artificial Variables\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 172
5.4.1 The Two-Phase Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 173
5.4.2 The Big-M Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 179
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 182
5.5 Degeneracy and Termination\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 185
5.5.1 Resolving Degeneracy Using Perturbation\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 190
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 193
5.6 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 194
6.1 The Dual Problem\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 196
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 200
6.2 Duality Theory\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 202
6.2.1 Complementary Slackness\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 205
6.2.2 Interpretation of the Dual\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 207
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 208
6.3 The Dual Simplex Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 212
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 217
6.4 Sensitivity\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 218
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 224
6.5 Parametric Linear Programming\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 227
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 233
6.6 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 234
7.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 236
7.2 Problems with Upper Bounds\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 237
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 244
7.3 Column Generation\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 245
7.4 The Decomposition Principle\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 250
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 261
7.5.1 The Product Form of the Inverse\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 263
7.5.2 Representation of the Basis—The LU Factorization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 271
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 279
7.6 Numerical Stability and Computational Efficiency\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 282
7.6.1 Pricing\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 283
7.6.2 The Initial Basis\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 287
7.6.3 Tolerances; Degeneracy\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 288
7.6.4 Scaling\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 289
7.6.5 Preprocessing\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 290
7.6.6 Model Formats\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 291
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 292
7.7 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 293
8.2 Basic Concepts and Examples\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 294
8.3 Representation of the Basis\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 303
8.4 The Network Simplex Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 310
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 317
8.5 Resolving Degeneracy\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 318
8.6 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 322
9.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 324
9.2 Computational Complexity\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 325
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 327
9.3 Worst-Case Behavior of the Simplex Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 328
9.4 The Ellipsoid Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 331
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 336
9.5 The Average-Case Behavior of the Simplex Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 337
9.6 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 339
10.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 342
10.2 The Primal-Dual Interior-Point Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 344
10.2.1 Computational Aspects of Interior-Point Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 351
10.2.2 The Predictor-Corrector Algorithm\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 352
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 353
10.3 Feasibility and Self-Dual Formulations\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 354
10.4 Some Concepts from Nonlinear Optimization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 357
10.5 Affine-Scaling Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 359
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 366
10.6 Path-Following Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 367
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 375
10.7 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 376
III Unconstrained Optimization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 378
11.2 Optimality Conditions\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 380
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 384
11.3 Newton’s Method for Minimization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 387
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 392
11.4 Guaranteeing Descent\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 394
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 397
11.5 Guaranteeing Convergence: Line Search Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 398
11.5.1 Other Line Searches\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 404
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 408
11.6 Guaranteeing Convergence: Trust-Region Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 414
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 421
11.7 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 422
12.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 424
12.2 Steepest-Descent Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 425
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 431
12.3 Quasi-Newton Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 434
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 443
12.4.1 Finite-Difference Derivative Estimates\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 445
12.4.2 Automatic Differentiation\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 449
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 452
12.5 Methods That Do Not Require Derivatives\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 454
12.5.1 Simulation-Based Optimization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 455
12.5.2 Compass Search: A Derivative-Free Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 457
12.5.3 Convergence of Compass Search\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 460
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 463
12.6 Termination Rules\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 464
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 468
12.7 Historical Background\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 469
12.8 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 471
13.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 474
13.2 The Conjugate-Gradient Method for Solving Linear Equations\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 475
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 482
13.3 Truncated-Newton Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 483
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 488
13.4 Nonlinear Conjugate-Gradient Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 489
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 492
13.5 Limited-Memory Quasi-Newton Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 493
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 496
13.6 Preconditioning\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 497
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 500
13.7 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 501
IV Nonlinear Optimization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 504
14.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 506
14.2 Optimality Conditions for Linear Equality Constraints\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 507
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 512
14.3 The Lagrange Multipliers and the Lagrangian Function\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 514
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 516
14.4 Optimality Conditions for Linear Inequality Constraints\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 517
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 524
14.5 Optimality Conditions for Nonlinear Constraints\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 525
14.5.1 Statement of Optimality Conditions\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 526
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 531
14.6 Preview of Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 533
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 537
14.7 Derivation of Optimality Conditions for Nonlinear Constraints\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 538
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 543
14.8 Duality\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 545
14.8.1 Games and Min-Max Duality\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 546
14.8.2 Lagrangian Duality\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 549
14.8.3 Wolfe Duality\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 555
14.8.4 More on the Dual Function\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 557
14.8.5 Duality in Support Vector Machines\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 561
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 565
14.9 Historical Background\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 566
14.10 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 569
15.2 Linear Equality Constraints\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 572
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 578
15.3 Computing the Lagrange Multipliers\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 579
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 584
15.4 Linear Inequality Constraints\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 586
15.4.1 Linear Programming\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 593
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 595
15.5 Sequential Quadratic Programming\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 596
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 603
15.6 Reduced-Gradient Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 604
15.7 Filter Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 611
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 620
15.8 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 621
16.1 Introduction\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 624
16.2 Classical Penalty and Barrier Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 625
16.2.1 Barrier Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 626
16.2.2 Penalty Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 633
16.2.3 Convergence\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 636
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 640
16.3 Ill-Conditioning\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 641
16.4 Stabilized Penalty and Barrier Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 642
16.5 Exact Penalty Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 646
16.6 Multiplier-Based Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 649
16.6.1 Dual Interpretation\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 658
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 661
16.7 Nonlinear Primal-Dual Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 663
16.7.1 Primal-Dual Interior-Point Methods\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 664
16.7.2 Convergence of the Primal-Dual Interior-Point Method\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 668
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 670
16.8 Semidefinite Programming\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 672
Exercises\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 677
16.9 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 679
V Appendices\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 682
A.2 Eigenvalues\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 684
A.3 Vector and Matrix Norms\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 685
A.4 Systems of Linear Equations\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 687
A.5 Solving Systems of Linear Equations by Elimination\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 689
A.6 Gaussian Elimination as a Matrix Factorization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 692
A.6.1 Sparse Matrix Storage\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 698
A.7 Other Matrix Factorizations\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 699
A.7.1 Positive-Definite Matrices\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 700
A.7.2 The LDL^T and Cholesky Factorizations......Page 701
A.7.3 An Orthogonal Matrix Factorization\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 704
A.8 Sensitivity (Conditioning)\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 706
A.9 The Sherman–Morrison Formula\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 709
A.10 Notes\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 711
B.2 Computer Arithmetic\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 714
B.3 Big-O Notation, O(·)\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 716
B.4 The Gradient, Hessian, and Jacobian\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 717
B.5 Gradient and Hessian of a Quadratic Function\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 719
B.6 Derivatives of a Product\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 720
B.7 The Chain Rule\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 721
B.8 Continuous Functions; Closed and Bounded Sets\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 722
B.9 The Implicit Function Theorem\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 723
C.1 Software\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 726
Bibliography\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0......Page 730
Index\0\0\0\0\0\0\0\0\0\0\0\0......Page 750