Machine Learning Algorithms

Cover......Page 1
Copyright......Page 3
Credits......Page 5
About the Author......Page 6
About the Reviewers......Page 7
www.PacktPub.com......Page 9
Customer Feedback......Page 10
Table of Contents......Page 11
Preface......Page 17
 Introduction - classic and adaptive machines......Page 22
 Only learning matters......Page 25
  Supervised learning......Page 26
  Unsupervised learning......Page 28
  Reinforcement learning......Page 30
 Beyond machine learning - deep learning and bio-inspired adaptive systems......Page 31
 Machine learning and big data......Page 33
 Further reading......Page 34
 Summary......Page 35
 Data formats......Page 36
   One-vs-one......Page 39
 Learnability......Page 40
  Underfitting and overfitting......Page 43
  Error measures......Page 44
  PAC learning......Page 46
 Statistical learning approaches......Page 48
  Maximum-likelihood learning......Page 50
 Elements of information theory......Page 55
 Summary......Page 58
 scikit-learn toy datasets......Page 60
 Creating training and test sets......Page 61
 Managing categorical data......Page 63
 Managing missing features......Page 66
 Data scaling and normalization......Page 67
 Feature selection and filtering......Page 70
 Principal component analysis......Page 72
  Non-negative matrix factorization......Page 78
  Sparse PCA......Page 80
  Kernel PCA......Page 81
 Atom extraction and dictionary learning......Page 84
 Summary......Page 86
 Linear models......Page 88
 A bidimensional example......Page 89
 Linear regression with scikit-learn and higher dimensionality......Page 91
  Regressor analytic expression......Page 95
 Ridge, Lasso, and ElasticNet......Page 96
 Robust regression with random sample consensus......Page 102
 Polynomial regression......Page 103
 Isotonic regression......Page 107
 Summary......Page 109
Chapter 5: Logistic Regression......Page 110
 Linear classification......Page 111
 Logistic regression......Page 113
 Implementation and optimizations......Page 115
 Stochastic gradient descent algorithms......Page 119
 Finding the optimal hyperparameters through grid search......Page 123
 Classification metrics......Page 126
 ROC curve......Page 131
 Summary......Page 135
 Bayes' theorem......Page 136
 Naive Bayes classifiers......Page 138
  Bernoulli naive Bayes......Page 139
  Multinomial naive Bayes......Page 142
  Gaussian naive Bayes......Page 144
 References......Page 147
 Summary......Page 148
 Linear support vector machines......Page 149
  Linear classification......Page 154
  Kernel-based classification......Page 157
   Polynomial kernel......Page 158
  Non-linear examples......Page 159
 Controlled support vector machines......Page 165
 Support vector regression......Page 167
 Summary......Page 169
Chapter 8: Decision Trees and Ensemble Learning......Page 170
 Binary decision trees......Page 171
  Binary decisions......Page 172
  Impurity measures......Page 174
   Cross-entropy impurity index......Page 175
 Decision tree classification with scikit-learn......Page 176
  Random forests......Page 183
   Feature importance in random forests......Page 186
  AdaBoost......Page 187
  Gradient tree boosting......Page 190
  Voting classifier......Page 192
 Summary......Page 196
 Clustering basics......Page 197
  K-means......Page 199
    Optimizing the inertia......Page 204
    Silhouette score......Page 206
    Calinski-Harabasz index......Page 210
    Cluster instability......Page 212
  DBSCAN......Page 215
  Spectral clustering......Page 218
  Homogeneity......Page 220
  Adjusted rand index......Page 221
 References......Page 222
 Summary......Page 223
 Hierarchical strategies......Page 224
 Agglomerative clustering......Page 225
  Dendrograms......Page 228
  Agglomerative clustering in scikit-learn......Page 230
  Connectivity constraints......Page 234
 References......Page 236
 Summary......Page 237
 Naive user-based systems......Page 238
  User-based system implementation with scikit-learn......Page 239
 Content-based systems......Page 242
 Model-free (or memory-based) collaborative filtering......Page 245
 Model-based collaborative filtering......Page 248
  Singular Value Decomposition strategy......Page 249
  Alternating least squares strategy......Page 251
  Alternating least squares with Apache Spark MLlib......Page 252
 References......Page 256
 Summary......Page 257
 NLTK and built-in corpora......Page 258
  Corpora examples......Page 260
 The bag-of-words strategy......Page 261
   Sentence tokenizing......Page 263
   Word tokenizing......Page 264
  Stopword removal......Page 265
   Language detection......Page 266
  Stemming......Page 267
   Count vectorizing......Page 268
    N-grams......Page 270
   Tf-idf vectorizing......Page 271
 A sample text classifier based on the Reuters corpus......Page 273
 Summary......Page 275
 Topic modeling......Page 277
  Latent semantic analysis......Page 278
  Probabilistic latent semantic analysis......Page 285
  Latent Dirichlet Allocation......Page 291
 Sentiment analysis......Page 298
  VADER sentiment analysis with NLTK......Page 302
 Summary......Page 303
 Deep learning at a glance......Page 304
  Artificial neural networks......Page 305
   Fully connected layers......Page 309
   Convolutional layers......Page 310
   Recurrent neural networks......Page 312
 A brief introduction to TensorFlow......Page 313
  Computing gradients......Page 315
  Logistic regression......Page 318
  Classification with a multi-layer perceptron......Page 322
  Image convolution......Page 326
 A quick glimpse inside Keras......Page 329
 Summary......Page 335
 Machine learning architectures......Page 336
  Data collection......Page 338
  Dimensionality reduction......Page 339
  Data conversion......Page 340
 scikit-learn tools for machine learning architectures......Page 341
  Pipelines......Page 342
  Feature unions......Page 346
 Summary......Page 347
Index......Page 348
 Index......Page 0