Statistical Methods for Machine Learning

Copyright......Page 1
Contents......Page 3
Preface......Page 12
I Introduction......Page 14
II Statistics......Page 19
Statistics is Required Prerequisite......Page 20
Why Learn Statistics?......Page 21
What is Statistics?......Page 22
Further Reading......Page 23
Summary......Page 24
Machine Learning......Page 25
Statistical Learning......Page 26
Further Reading......Page 28
Summary......Page 29
Overview......Page 30
Data Cleaning......Page 31
Model Evaluation......Page 32
Model Presentation......Page 33
Summary......Page 34
III Foundation......Page 35
Tutorial Overview......Page 36
Gaussian Distribution......Page 37
Test Dataset......Page 39
Central Tendency......Page 42
Variance......Page 44
Further Reading......Page 47
Summary......Page 48
Tutorial Overview......Page 49
Introduction to Matplotlib......Page 50
Line Plot......Page 51
Bar Chart......Page 52
Histogram Plot......Page 53
Box and Whisker Plot......Page 55
Scatter Plot......Page 57
Further Reading......Page 59
Summary......Page 61
Tutorial Overview......Page 62
Pseudorandom Number Generators......Page 63
Random Numbers with Python......Page 64
Random Numbers with NumPy......Page 69
How to Control for Randomness......Page 72
Further Reading......Page 73
Summary......Page 74
Law of Large Numbers......Page 75
Worked Example......Page 77
Implications in Machine Learning......Page 79
Further Reading......Page 80
Summary......Page 81
Central Limit Theorem......Page 82
Worked Example with Dice......Page 84
Impact on Machine Learning......Page 85
Further Reading......Page 86
Summary......Page 87
IV Hypothesis Testing......Page 88
Tutorial Overview......Page 89
Statistical Test Interpretation......Page 90
Degrees of Freedom in Statistics......Page 93
Further Reading......Page 94
Summary......Page 95
Tutorial Overview......Page 96
Distributions......Page 97
Gaussian Distribution......Page 98
Student\'s t-Distribution......Page 100
Chi-Squared Distribution......Page 103
Further Reading......Page 106
Summary......Page 107
Why Do We Need Critical Values?......Page 108
What Is a Critical Value?......Page 109
How to Use Critical Values......Page 110
How to Calculate Critical Values......Page 111
Further Reading......Page 113
Summary......Page 114
What is Correlation?......Page 115
Test Dataset......Page 116
Covariance......Page 118
Pearson\'s Correlation......Page 119
Extensions......Page 120
Summary......Page 121
Tutorial Overview......Page 122
Test Data......Page 123
Student\'s t-Test......Page 124
Paired Student\'s t-Test......Page 125
Analysis of Variance Test......Page 126
Repeated Measures ANOVA Test......Page 127
Further Reading......Page 128
Summary......Page 129
The Need to Report Effect Size......Page 130
What Is Effect Size?......Page 131
How to Calculate Effect Size......Page 132
Extensions......Page 135
Further Reading......Page 136
Summary......Page 137
Tutorial Overview......Page 138
What Is Statistical Power?......Page 139
Power Analysis......Page 140
Student\'s t-Test Power Analysis......Page 141
Further Reading......Page 144
Summary......Page 146
V Resampling Methods......Page 147
Statistical Sampling......Page 148
Statistical Resampling......Page 151
Further Reading......Page 152
Summary......Page 153
Tutorial Overview......Page 154
Bootstrap Method......Page 155
Worked Example......Page 156
Bootstrap in Python......Page 157
Extensions......Page 158
Summary......Page 159
Tutorial Overview......Page 161
k-Fold Cross-Validation......Page 162
Worked Example......Page 163
Cross-Validation in Python......Page 164
Variations on Cross-Validation......Page 165
Further Reading......Page 166
Summary......Page 167
VI Estimation Statistics......Page 168
Tutorial Overview......Page 169
Estimation Statistics......Page 170
Effect Size......Page 171
Interval Estimation......Page 172
Further Reading......Page 173
Summary......Page 174
Tutorial Overview......Page 175
What Are Statistical Tolerance Intervals?......Page 176
Tolerance Interval for Gaussian Distribution......Page 177
Further Reading......Page 181
Summary......Page 182
What is a Confidence Interval?......Page 183
Interval for Classification Accuracy......Page 185
Nonparametric Confidence Interval......Page 188
Extensions......Page 190
Further Reading......Page 191
Summary......Page 192
Tutorial Overview......Page 193
What Is a Prediction Interval?......Page 194
How to Calculate a Prediction Interval......Page 195
Prediction Interval for Linear Regression......Page 196
Worked Example......Page 197
Extensions......Page 202
Further Reading......Page 203
Summary......Page 204
VII Nonparametric Methods......Page 205
Tutorial Overview......Page 206
Nonparametric Data......Page 207
Ranking Data......Page 208
Working with Ranked Data......Page 209
Further Reading......Page 210
Summary......Page 211
Tutorial Overview......Page 212
Test Dataset......Page 213
Visual Normality Checks......Page 214
Statistical Normality Tests......Page 217
What Test Should You Use?......Page 220
Further Reading......Page 221
Summary......Page 222
Tutorial Overview......Page 223
Sample Size......Page 224
Data Resolution......Page 226
Extreme Values......Page 227
Long Tails......Page 229
Power Transforms......Page 232
Extensions......Page 235
Summary......Page 236
Nonparametric Data Summarization......Page 238
Five-Number Summary......Page 239
How to Calculate the Five-Number Summary......Page 240
Further Reading......Page 241
Summary......Page 242
Rank Correlation......Page 243
Test Dataset......Page 245
Spearman\'s Rank Correlation......Page 246
Kendall\'s Rank Correlation......Page 247
Extensions......Page 248
Further Reading......Page 249
Summary......Page 250
Tutorial Overview......Page 251
Test Dataset......Page 252
Mann-Whitney U Test......Page 253
Wilcoxon Signed-Rank Test......Page 254
Kruskal-Wallis H Test......Page 255
Friedman Test......Page 257
Further Reading......Page 258
Contingency Table......Page 261
Pearson\'s Chi-Squared Test......Page 262
Example Chi-Squared Test......Page 263
Extensions......Page 265
Further Reading......Page 266
Summary......Page 267
VIII Appendix......Page 268
Statistics Textbooks......Page 269
Python API Resources......Page 270
Contact the Author......Page 271
Download Anaconda......Page 272
Install Anaconda......Page 274
Start and Update Anaconda......Page 276
Summary......Page 279
Tutorial Overview......Page 280
Arithmetic Notation......Page 281
Greek Alphabet......Page 283
Sequence Notation......Page 284
Set Notation......Page 285
Tips for Getting More Help......Page 286
Summary......Page 288
IX Conclusions......Page 289
How Far You Have Come......Page 290