Linear Algebra and Its Applications

Cover......Page 1
Title page......Page 4
Contents......Page 6
Preface......Page 12
Preface to the First Edition......Page 14
Linear Space, Isomorphism......Page 18
Linear Dependence......Page 21
Basis, Dimension......Page 22
Quotient Space......Page 25
Linear Functions......Page 30
Dual of a Linear Space......Page 31
Annihilator......Page 32
Codimension......Page 33
Quadrature Formula......Page 34
Domain and Target Space......Page 36
Fundamental Theorem......Page 37
Underdetermined Linear Systems......Page 38
Interpolation......Page 39
Difference Equations......Page 40
Algebra of Linear Mappings......Page 41
Dimension of Nullspace and Range......Page 44
Transposition......Page 43
Similarity......Page 46
Projections......Page 47
4. Matrices......Page 49
Rows and Columns......Page 50
Matrix Multiplication......Page 52
Transposition......Page 53
Rank......Page 54
Gaussian Elimination......Page 56
Ordered Simplices......Page 61
Signed Volume, Determinant......Page 62
Permutation Group......Page 63
Formula for Determinant......Page 65
Multiplicative Property......Page 66
Laplace Expansion......Page 69
Cramer's Rule......Page 71
Trace......Page 72
6. Spectral Theory......Page 75
Eigenvalues, Eigenvectors......Page 76
Fibonacci Sequence......Page 79
Characteristic Polynomial......Page 80
Trace and Determinant Revisited......Page 82
Spectral Mapping Theorem......Page 83
Cayley-Hamilton Theorem......Page 84
Generalized Eigenvectors......Page 86
Spectral Theorem......Page 87
Minimal Polynomial......Page 89
When Are Two Matrices Similar......Page 90
Commuting Maps......Page 91
7. Euclidean Structure......Page 94
Schwarg Inequality......Page 96
Orthonormal Basis......Page 97
Gram-Schmidt......Page 98
Orthogonal Complement......Page 99
Orthogonal Projection......Page 100
Adjoint......Page 101
Overdetermined Systems......Page 103
Isometry......Page 104
Norm of a Linear Map......Page 106
Completeness Local Compactness......Page 109
Complex Euclidean Structure......Page 112
Spectral Radius......Page 114
Hilbert-Schmidt Norm......Page 115
Cross Product......Page 116
8. Spectral Theory of Self-Adjoint Mappings......Page 118
Quadratic Forms......Page 119
Law of Inertia......Page 120
Spectral Resolution......Page 122
Commuting Maps......Page 128
Normal Maps......Page 129
Rayleigh Quotient......Page 131
Minmax Principle......Page 133
Norm and Eigenvalues......Page 136
Convergence in Norm......Page 138
Rules of Differentiation......Page 139
Derivative of det A(t)......Page 143
Matrix Exponential......Page 145
Simple Eigenvalues......Page 146
Multiple Eigenvalues......Page 152
Avoidance of Crossing......Page 157
Positive Self-Adjoint Matrices......Page 160
Monotone Matrix Functions......Page 168
Gram Matrices......Page 169
Schur's Theorem......Page 170
The Determinant of Positive Matrices......Page 171
Integral Formula for Determinants......Page 174
Eigenvalues......Page 177
Separation of Eigenvalues......Page 178
Wielandt-Hoffman Theorem......Page 181
Smallest and Largest Eigenvalue......Page 183
Matrices with Positive Self-Adjoint Part......Page 184
Polar Decomposition......Page 186
Singular Value Decomposition......Page 187
Axis and Angle of Rotation......Page 189
Rigid Motion......Page 190
Angular Velocity Vector......Page 193
Fluid Flow......Page 194
Curl and Divergence......Page 196
Small Vibrations......Page 197
Conservation of Energy......Page 199
Frequencies and Normal Modes......Page 201
Convex Sets......Page 204
Gauge Function......Page 205
Hahn-Banach Theorem......Page 208
Support Function......Page 210
Carath6odory's Theorem......Page 212
Knig-Birkhoff Theorem......Page 215
He!!y's Theorem......Page 216
13. The Duality Theorem......Page 219
Farkas-Minkowski Theorem......Page 220
Duality Theorem......Page 223
Economics Interpretation......Page 225
Minmax Theorem......Page 227
Norm......Page 231
l^p Norms......Page 232
Equivalence of Norms......Page 234
Theorem of F. Riesz......Page 236
Dual Norm......Page 239
Distance from Subspace......Page 240
Normed Quotient Space......Page 241
Complex Hahn-Banach Theorem......Page 243
Characterization of Euclidean Spaces......Page 244
15. Linear Mappings Between Normed Linear Spaces......Page 246
Norm of a Mapping......Page 247
Norm of Transpose......Page 248
Norreed Algebra of Maps......Page 249
Invertible Maps......Page 250
Spectral Radius......Page 253
Perron's Theorem......Page 254
Stochastic Matrices......Page 257
Frobenius' Theorem......Page 260
History......Page 263
Iterative Methods......Page 265
Steepest Descent......Page 266
Chebychev Iteration......Page 269
Three-term Chebychev Iteration......Page 272
Optimal Three-Term Recursion Relation......Page 273
Rate of Convergence......Page 278
QR Factorization......Page 279
The QR Algorithm for Finding Eigenvalues......Page 280
Householder Reflection for QR Factorization......Page 283
Tridiagonal Form......Page 284
Analogy of QR Algorithm and Toda Flow......Page 286
Moser's Theorem......Page 290
More General Flows......Page 293
19. Solutions......Page 295
Bibliography......Page 317
Appendix 1. Special Determinants......Page 319
Appendix 2. The Pfattian......Page 322
Appendix 3. Symplectic Matrices......Page 325
Appendix 4. Tensor Product......Page 330
Appendix 5. Lattices......Page 334
Appendix 6. Fast Matrix Multiplication......Page 337
Appendix 7. Gershgorin's Theorem......Page 340
Appendix 8. The Multiplicity of Eigenvalues......Page 342
Appendix 9. The Fast Fourier Transform......Page 345
Appendix 10. The Spectral Radius......Page 351
Appendix 11. The Lorentz Group......Page 359
Appendix 12. Compactness of the Unit Ball......Page 369
Appendix 13. A Characterization of Commutators......Page 372
Appendix 14. Liapunov's Theorem......Page 374
Appendix 15. The Jordan Canonical Form......Page 380
Appendix 16. Numerical Range......Page 384
Index......Page 390