Machine Learning with PySpark with Natural Language Processing and Recommender Systems

Contents......Page 3
Data    Generation......Page 11
Spark......Page 13
Setting  Up Environment......Page 16
Conc  lusion......Page 20
Intro to Machine Learning......Page 21
Supervised Machine Learning......Page 23
Unsupervised Machine Learning......Page 25
Semi-supervised  Learning......Page 29
Reinforcement  Learning......Page 30
Conclusion......Page 31
Load and Read Data......Page 32
Adding a New Column......Page 36
Filtering  Data......Page 37
Grouping  Data......Page 40
Aggregations......Page 43
User-Defined Functions (UDFs)......Page 44
Drop Duplicate Values......Page 48
Delete  Column......Page 49
Writing  Data......Page 50
Conclusion......Page 51
V  ariables......Page 52
Theor  y......Page 54
Interpretation......Page 63
Ev  aluation......Page 64
Code......Page 67
Conclusion......Page 73
Probability......Page 74
Interpretation  (Coefficients)......Page 81
Dummy    Variables......Page 82
Model    Evaluation......Page 85
Logistic Regression Code......Page 89
Conclusion......Page 107
Decision    Tree......Page 108
Random    Forests......Page 116
Code......Page 119
Conclusion......Page 131
Recommender Systems......Page 132
Recommendations......Page 133
Code......Page 154
Conclusion......Page 166
Starting    with Clustering......Page 167
Applications......Page 170
Code......Page 190
Conclusion......Page 198
Introduction......Page 199
Tokenize......Page 200
Stopwords  Removal......Page 202
Bag  of Words......Page 203
Count  Vectorizer......Page 204
TF-IDF......Page 206
Text Classification using ML......Page 207
Sequence  Embeddings......Page 214
Embeddings......Page 215
Conclusion......Page 226
Index......Page 227