Mastering Machine Learning with Python in six Steps

Contents at a Glance......Page 4
Contents......Page 5
About the Author......Page 13
About the Technical Reviewer......Page 14
Acknowledgments......Page 15
Introduction......Page 16
 The Best Things in Life Are Free......Page 19
 The Rising Star......Page 20
 Python 2.7.x or Python 3.4.x?......Page 21
  Python from Official Website......Page 22
  Python Identifiers......Page 23
  Code Blocks (Indentation & Suites)......Page 24
   Suites......Page 25
  Basic Object Types......Page 26
  Comments in Python......Page 28
   Multiple Statements on a Single Line......Page 29
   Arithmetic Operators......Page 30
   Comparison or Relational Operators......Page 31
   Assignment Operators......Page 33
   Bitwise Operators......Page 34
   Membership Operators......Page 36
   Identity Operators......Page 37
   Selection......Page 38
   Iteration......Page 39
  Lists......Page 40
  Tuple......Page 44
  Sets......Page 47
   Changing a Set in Python......Page 51
    Set Union......Page 52
    Set Symmetric Difference......Page 53
    Basic Operations......Page 54
  Dictionary......Page 55
   Defining a Function......Page 60
   Scope of Variables......Page 61
   Variable Length Arguments......Page 62
  Module......Page 63
   Opening a File......Page 65
  Exception Handling......Page 66
 Endnotes......Page 70
Chapter 2: Step 2 – Introduction to Machine Learning......Page 71
 History and Evolution......Page 72
 Artificial Intelligence Evolution......Page 75
  Statistics......Page 76
   Bayesian......Page 77
   Regression......Page 78
    Descriptive Analytics......Page 80
  Data Analytics......Page 79
   Predictive Analytics......Page 81
  Data Science......Page 82
  Statistics vs. Data Mining vs. Data Analytics vs. Data Science......Page 84
   2) Classification......Page 85
   Anomaly Detection......Page 86
  Knowledge Discovery Databases (KDD)......Page 87
   Preprocessing......Page 88
  Cross-Industry Standard Process for Data Mining......Page 89
   Phase 6: Deployment......Page 91
   Assess......Page 92
  KDD vs. CRISP-DM vs. SEMMA......Page 93
 Data Analysis Packages......Page 94
   Array......Page 95
   Creating NumPy Array......Page 96
   Field Access......Page 98
   Basic Slicing......Page 99
   Advanced Indexing......Page 101
   Array Math......Page 102
   Broadcasting......Page 105
   Data Structures......Page 107
   Reading and Writing Data......Page 108
   Basic Statistics Summary......Page 109
   Viewing Data......Page 110
   Basic Operations......Page 112
   Merge/Join......Page 113
   Join......Page 115
   Grouping......Page 116
   Using Global Functions......Page 118
    Customizing Labels......Page 120
    Line Plots – Using ax.plot()......Page 121
    Multiple Lines on Same Axis......Page 122
    Multiple Lines on Different Axis......Page 123
    Control the Line Style and Marker Style......Page 124
    Line Style Reference......Page 125
    Colomaps Reference......Page 126
    Bar Plots – using ax.bar() and ax.barh()......Page 127
    Horizontal Bar Charts......Page 128
    Stacked Bar Example Code......Page 129
    Pie Chart – Using ax.pie()......Page 130
    Example Code for Grid Creation......Page 131
 Machine Learning Core Libraries......Page 132
 Endnotes......Page 134
 Machine Learning Perspective of Data......Page 135
  Nominal Scale of Measurement......Page 136
  Ratio Scale of Measurement......Page 137
 Feature Engineering......Page 138
  Handling Categorical Data......Page 139
  Normalizing Data......Page 141
 Exploratory Data Analysis (EDA)......Page 143
  Univariate Analysis......Page 144
  Multivariate Analysis......Page 146
   Correlation Matrix......Page 147
   Pair Plot......Page 148
 Supervised Learning– Regression......Page 149
  Correlation and Causation......Page 151
  Fitting a Slope......Page 152
   R-Squared for Goodness of Fit......Page 154
   Mean Absolute Error......Page 156
  Polynomial Regression......Page 157
  Multivariate Regression......Page 161
  Multicollinearity and Variation Inflation Factor (VIF)......Page 163
  Interpreting the OLS Regression Results......Page 167
  Regression Diagnosis......Page 170
   Outliers......Page 171
   Homoscedasticity and Normality......Page 172
   Over-fitting and Under-fitting......Page 173
  Regularization......Page 174
  Nonlinear Regression......Page 177
 Supervised Learning – Classification......Page 178
  Logistic Regression......Page 179
  Evaluating a Classification Model Performance......Page 182
  ROC Curve......Page 184
  Fitting Line......Page 185
  Stochastic Gradient Descent......Page 186
  Regularization......Page 187
  Multiclass Logistic Regression......Page 189
   Training Logistic Regression Model and Evaluating......Page 190
  Generalized Linear Models......Page 191
  Supervised Learning – Process Flow......Page 193
  Decision Trees......Page 194
   How the Tree Splits and Grows?......Page 195
   Conditions for Stopping Partitioning......Page 196
  Support Vector Machine (SVM)......Page 198
   Key Parameters......Page 199
  k Nearest Neighbors (kNN)......Page 201
   Components of Time Series......Page 203
   Autoregressive Integrated Moving Average (ARIMA)......Page 204
    Running ARIMA Model......Page 205
    Checking for Stationary......Page 206
    Autocorrelation Test......Page 207
    Build Model and Evaluate......Page 208
    Predicting the Future Values......Page 211
 Unsupervised Learning Process Flow......Page 212
  K-means......Page 213
   Limitations of K-means......Page 214
   Elbow Method......Page 217
   Average Silhouette Method......Page 219
   Key Parameters......Page 221
  Principal Component Analysis (PCA)......Page 223
 Endnotes......Page 226
 Optimal Probability Cutoff Point......Page 227
 Rare Event or Imbalanced Dataset......Page 231
  Known Disadvantages......Page 234
  Which Resampling Technique Is the Best?......Page 235
  Variance......Page 236
 K-Fold Cross-Validation......Page 237
 Ensemble Methods......Page 239
 Bagging......Page 240
  Feature Importance......Page 242
  Extremely Randomized Trees (ExtraTree)......Page 243
  How Does the Decision Boundary Look?......Page 244
 Boosting......Page 246
  Example Illustration for AdaBoost......Page 247
   Boosting Iteration 3......Page 248
   Final Model......Page 249
  Gradient Boosting......Page 251
  Boosting – Essential Tuning Parameters......Page 253
  Xgboost (eXtreme Gradient Boosting)......Page 254
 Ensemble Voting – Machine Learning’s Biggest Heroes United......Page 258
  Hard Voting vs. Soft Voting......Page 260
 Stacking......Page 262
 Hyperparameter Tuning......Page 264
  GridSearch......Page 265
  RandomSearch......Page 266
 Endnotes......Page 268
Chapter 5: Step 5 – Text Mining and Recommender Systems......Page 269
 Text Mining Process Overview......Page 270
 Data Assemble (Text)......Page 271
  Step 2 – Fetching Tweets......Page 273
   Sentence Tokenizing......Page 277
  Removing Noise......Page 278
  Part of Speech (PoS) Tagging......Page 280
  Stemming......Page 281
  Lemmatization......Page 283
  N-grams......Page 285
  Bag of Words (BoW)......Page 286
  Term Frequency-Inverse Document Frequency (TF-IDF)......Page 288
  Frequency Chart......Page 290
  Word Cloud......Page 291
  Lexical Dispersion Plot......Page 292
  Co-occurrence Matrix......Page 293
 Outline Placeholder......Page 294
 Text Similarity......Page 295
 Text Clustering......Page 297
  Latent Semantic Analysis (LSA)......Page 298
  Latent Dirichlet Allocation (LDA)......Page 300
 Text Classification......Page 302
 Sentiment Analysis......Page 304
 Deep Natural Language Processing (DNLP)......Page 305
 Word2Vec......Page 307
 Recommender Systems......Page 309
  Collaborative Filtering (CF)......Page 310
 Endnotes......Page 313
Chapter 6: Step 6 – Deep and Reinforcement Learning......Page 314
 Artificial Neural Network (ANN)......Page 315
 What Goes Behind, When Computers Look at an Image?......Page 316
 Perceptron – Single Artificial Neuron......Page 317
 Multilayer Perceptrons (Feedforward Neural Network)......Page 320
  Load MNIST Data......Page 321
  Key Parameters for scikit-learn MLP......Page 322
 Restricted Boltzman Machines (RBM)......Page 324
 MLP Using Keras......Page 329
 Autoencoders......Page 332
  Dimension Reduction Using Autoencoder......Page 333
  De-noise Image Using Autoencoder......Page 336
 Convolution Neural Network (CNN)......Page 337
  CNN on CIFAR10 Dataset......Page 338
  CNN on MNIST Dataset......Page 344
   Visualization of Layers......Page 348
 Recurrent Neural Network (RNN)......Page 349
  Long Short-Term Memory (LSTM)......Page 350
 Transfer Learning......Page 353
 Reinforcement Learning......Page 357
 Endnotes......Page 361
 Summary......Page 362
 Tips......Page 363
  Don’t Reinvent the Wheels from Scratch......Page 364
  Start with Simple Models......Page 365
 Happy Machine Learning......Page 366
Index......Page 367