Introduction to Multivariate Statistical Analysis in Chemometrics

Introduction to Multivariate Statistical Analysis in Chemometrics......Page 1
Contents......Page 3
Preface......Page 9
Acknowledgments......Page 11
Authors......Page 13
1.1 Chemoinformatics-Chemometrics-Statistics......Page 15
1.2 This Book......Page 17
1.3 Historical Remarks About Chemometrics......Page 18
1.4 Bibliography......Page 20
1.5.1 Univariate versus Bivariate Classification......Page 22
1.5.2 Nitrogen Content of Cereals Computed from NIR Data......Page 23
1.5.3 Elemental Composition of Archaeological Glasses......Page 24
1.6.1 Empirical Distributions......Page 26
1.6.2 Theoretical Distributions......Page 30
1.6.3 Central Value......Page 33
1.6.4 Spread......Page 34
1.6.5 Statistical Tests......Page 36
References......Page 39
2.1 Definitions......Page 45
2.2 Basic Preprocessing......Page 47
2.2.1 Data Transformation......Page 48
2.2.2 Centering and Scaling......Page 49
2.2.3 Normalization......Page 50
2.2.4 Transformations for Compositional Data......Page 51
2.3.1 Overview......Page 52
2.3.2 Estimating Covariance and Correlation......Page 54
2.4 Distances and Similarities......Page 58
2.5 Multivariate Outlier Identification......Page 61
2.6.1 Overview......Page 64
2.6.2 Projection and Mapping......Page 65
2.6.3 Example......Page 67
2.7 Summary......Page 70
References......Page 72
3.1 Concepts......Page 73
3.2 Number of PCA Components......Page 77
3.3 Centering and Scaling......Page 78
3.4 Outliers and Data Distribution......Page 80
3.5 Robust PCA......Page 81
3.6.1 Mathematics of PCA......Page 83
3.6.2 Jacobi Rotation......Page 85
3.6.3 Singular Value Decomposition......Page 86
3.6.4 NIPALS......Page 87
3.7.1 Cross Validation for Determination of the Number  of Principal Components......Page 89
3.7.2 Explained Variance for Each Variable......Page 91
3.7.3 Diagnostic Plots......Page 92
3.8 Complementary Methods for Exploratory  Data Analysis......Page 95
3.8.2 Cluster Analysis and Dendrogram......Page 96
3.8.3 Kohonen Mapping......Page 98
3.8.4 Sammon's Nonlinear Mapping......Page 101
3.8.5 Multiway PCA......Page 103
3.9.1 Tissue Samples from Human Mummies and Fatty Acid Concentrations......Page 105
3.9.2 Polycyclic Aromatic Hydrocarbons in Aerosol......Page 110
3.10 Summary......Page 113
References......Page 115
4.1 Concepts......Page 117
4.2.1 Overview......Page 122
4.2.2 Overfitting and Underfitting......Page 124
4.2.3 Performance Criteria......Page 126
4.2.4 Criteria for Models with Different Numbers of Variables......Page 128
4.2.5 Cross Validation......Page 129
4.2.6 Bootstrap......Page 132
4.3.1 Simple OLS......Page 133
4.3.2 Multiple OLS......Page 138
4.3.2.1 Confidence Intervals and Statistical Tests in OLS......Page 140
4.3.3 Multivariate OLS......Page 143
4.4.1 Overview......Page 145
4.4.2 Regression Diagnostics......Page 147
4.5.1 Overview......Page 151
4.5.2 Univariate and Bivariate Selection Methods......Page 153
4.5.3 Stepwise Selection Methods......Page 154
4.5.4 Best-Subset Regression......Page 155
4.5.6 Genetic Algorithms......Page 157
4.5.8 Example......Page 160
4.6.1 Overview......Page 162
4.7.1 Overview......Page 164
4.7.2 Mathematical Aspects......Page 168
4.7.3 Kernel Algorithm for PLS......Page 171
4.7.4 NIPALS Algorithm for PLS......Page 172
4.7.5 SIMPLS Algorithm for PLS......Page 174
4.7.6 Other Algorithms for PLS......Page 175
4.7.7 Robust PLS......Page 176
4.8.1 Canonical Correlation Analysis......Page 177
4.8.2 Ridge and Lasso Regression......Page 180
4.8.3.1 Basis Expansions......Page 182
4.8.3.2 Kernel Methods......Page 183
4.8.3.3 Regression Trees......Page 184
4.8.3.4 Artificial Neural Networks......Page 185
4.9.1 GC Retention Indices of Polycyclic Aromatic Compounds......Page 186
4.9.1.1 Principal Component Regression......Page 187
4.9.1.2 Partial Least-Squares Regression......Page 191
4.9.1.3 Robust PLS......Page 192
4.9.1.4 Ridge Regression......Page 193
4.9.1.5 Lasso Regression......Page 195
4.9.1.6 Stepwise Regression......Page 196
4.9.1.7 Summary......Page 198
4.9.2 Cereal Data......Page 199
4.10 Summary......Page 202
References......Page 204
5.1 Concepts......Page 209
5.2.1.1 Bayes Discriminant Analysis......Page 211
5.2.1.2 Fisher Discriminant Analysis......Page 214
5.2.1.2.1 Binary Classification......Page 215
5.2.1.2.2 Multicategory Classification......Page 216
5.2.1.3 Example......Page 218
5.2.2.1 Binary Classification......Page 219
5.2.2.2 Multicategory Classification with OLS......Page 220
5.2.3 Logistic Regression......Page 221
5.3.1 SIMCA......Page 223
5.3.2 Gaussian Mixture Models......Page 226
5.3.3 k-NN Classification......Page 228
5.4 Classification Trees......Page 231
5.5 Artificial Neural Networks......Page 235
5.6 Support Vector Machine......Page 237
5.7.1 Principles and Misclassification Error......Page 242
5.7.2 Predictive Ability......Page 243
5.7.3 Confidence in Classification Answers......Page 244
5.8.1.1 Linear Discriminant Analysis......Page 245
5.8.1.2 Logistic Regression......Page 247
5.8.1.3 Gaussian Mixture Models......Page 248
5.8.1.4 k-NN Methods......Page 249
5.8.1.5 Classification Trees......Page 250
5.8.1.6 Artificial Neural Networks......Page 251
5.8.1.8 Overall Comparison......Page 252
5.8.2 Recognition of Chemical Substructures from Mass Spectra......Page 254
5.9 Summary......Page 260
References......Page 261
6.1 Concepts......Page 265
6.2 Distance and Similarity Measures......Page 268
6.3 Partitioning Methods......Page 274
6.4 Hierarchical Clustering Methods......Page 277
6.5 Fuzzy Clustering......Page 280
6.6 Model-Based Clustering......Page 281
6.7 Cluster Validity and Clustering Tendency Measures......Page 284
6.8.1 Chemotaxonomy of Plants......Page 286
6.8.2 Glass Samples......Page 292
6.9 Summary......Page 293
References......Page 295
7.2 Smoothing and Differentiation......Page 297
7.3 Multiplicative Signal Correction......Page 298
7.4 Mass Spectral Features......Page 301
7.4.3 Intensities Normalized to Local Intensity Sum......Page 302
7.4.7 Example......Page 303
References......Page 305
Appendix 1: Symbols and Abbreviations......Page 307
A.2.1 Definitions......Page 311
A.2.3 Multiplication of  Vectors......Page 312
A.2.4 Multiplication of Matrices......Page 313
A.2.5 Matrix Inversion......Page 314
A.2.6 Eigenvectors......Page 315
A.2.7 Singular Value Decomposition......Page 316
References......Page 317
A.3.3 Starting R......Page 319
A.3.6 Important R Functions......Page 320
Mathematical and Logical Operators, Comparison......Page 321
Statistical Functions......Page 322
A.3.9 Data Structures......Page 323
Examples for Selecting Elements from a List......Page 324
Saving Graphic Output......Page 325
References......Page 326