Matrix Algebra

Cover......Page 1
Half-title......Page 3
Series-title......Page 4
Title......Page 5
Copyright......Page 6
Dedication......Page 7
Contents......Page 9
List of exercises......Page 13
Preface to the Series......Page 27
Preface......Page 31
1 Vectors......Page 33
1.1 Real vectors......Page 36
1.2 Complex vectors......Page 43
Notes......Page 45
2 Matrices......Page 47
2.1 Real matrices......Page 51
2.2 Complex matrices......Page 71
Notes......Page 74
3 Vector spaces......Page 75
3.1 Complex and real vector spaces......Page 79
3.2 Inner-product space......Page 93
Notes......Page 103
4 Rank, inverse, and determinant......Page 105
4.1 Rank......Page 107
4.2 Inverse......Page 115
4.3 Determinant......Page 119
Notes......Page 128
5 Partitioned matrices......Page 129
5.1 Basic results and multiplication relations......Page 130
5.2 Inverses......Page 135
5.3 Determinants......Page 141
5.4 Rank (in)equalities......Page 151
5.5 The sweep operator......Page 158
Notes......Page 161
6 Systems of equations......Page 163
6.1 Elementary matrices......Page 164
6.2 Echelon matrices......Page 169
6.3 Gaussian elimination......Page 175
6.4 Homogeneous equations......Page 180
6.5 Nonhomogeneous equations......Page 183
Notes......Page 186
7 Eigenvalues, eigenvectors, and factorizations......Page 187
7.1 Eigenvalues and eigenvectors......Page 190
7.2 Symmetric matrices......Page 207
7.3 Some results for triangular matrices......Page 214
7.4 Schur’s decomposition theorem and its consequences......Page 219
7.5 Jordan’s decomposition theorem......Page 224
7.6 Jordan chains and generalized eigenvectors......Page 233
Notes......Page 239
8 Positive (semi)definite and idempotent matrices......Page 241
8.1 Positive (semi)definite matrices......Page 243
8.2 Partitioning and positive (semi)definite matrices......Page 260
8.3 Idempotent matrices......Page 263
Notes......Page 274
9 Matrix functions......Page 275
9.1 Simple functions......Page 278
9.2 Jordan representation......Page 287
9.3 Matrix-polynomial representation......Page 297
Notes......Page 302
10 Kronecker product, vec-operator, and Moore-Penrose inverse......Page 305
10.1 The Kronecker product......Page 306
10.2 The vec-operator......Page 313
10.3 The Moore-Penrose inverse......Page 316
10.4 Linear vector and matrix equations......Page 324
10.5 The generalized inverse......Page 327
Notes......Page 329
11 Patterned matrices: commutation- and duplication matrix......Page 331
11.1 The commutation matrix......Page 332
11.2 The symmetrizer matrix......Page 339
11.3 The vech-operator and the duplication matrix......Page 343
11.4 Linear structures......Page 350
Notes......Page 352
12 Matrix inequalities......Page 353
12.1 Cauchy-Schwarz type inequalities......Page 354
12.2 Positive (semi)definite matrix inequalities......Page 357
12.3 Inequalities derived from the Schur complement......Page 373
12.4 Inequalities concerning eigenvalues......Page 375
Notes......Page 382
13 Matrix calculus......Page 383
13.1 Basic properties of differentials......Page 387
13.2 Scalar functions......Page 388
13.3 Vector functions......Page 392
13.4 Matrix functions......Page 393
13.5 The inverse......Page 396
13.6 Exponential and logarithm......Page 400
13.7 The determinant......Page 401
13.8 Jacobians......Page 405
13.9 Sensitivity analysis in regression models......Page 407
13.10 The Hessian matrix......Page 410
13.11 Least squares and best linear unbiased estimation......Page 414
13.12 Maximum likelihood estimation......Page 419
13.13 Inequalities and equalities......Page 423
Notes......Page 427
A.1 Some methods of indirect proof......Page 429
A.2 Primer on complex numbers and polynomials......Page 430
A.3 Series expansions......Page 433
A.3.1 Sequences and limits......Page 434
A.3.2 Convergence of series......Page 435
A.3.3 Special series......Page 436
A.3.4 Expansions of functions......Page 439
A.3.5 Multiple series, products, and their relation......Page 440
A.4.1 Linear difference equations......Page 441
A.4.3 Constrained optimization......Page 442
Notes......Page 446
B.1 Vectors and matrices......Page 447
B.2 Mathematical symbols, functions, and operators......Page 450
Bibliography......Page 455
Index......Page 458