Scala and Spark for Big Data Analytics: Explore the concepts of functional programming, data streaming, and machine learning

Cover......Page 1
Copyright......Page 3
Credits......Page 4
About the Authors......Page 5
About the Reviewers......Page 7
www.PacktPub.com......Page 8
Customer Feedback......Page 9
Table of Contents......Page 10
Preface......Page 25
Chapter 1: Introduction to Scala......Page 34
History and purposes of Scala......Page 35
Platforms and editors......Page 36
Installing and setting up Scala......Page 37
Installing Java......Page 38
Windows......Page 39
Using Homebrew installer......Page 42
Installing manually......Page 43
Linux......Page 44
Scala is statically typed......Page 46
Scala can execute Java code......Page 47
Type inference......Page 48
Scala REPL......Page 49
Nested functions......Page 51
Import statements......Page 52
Operators as methods......Page 53
Methods inside methods......Page 54
Constructor in Scala......Page 55
Objects instead of static methods......Page 56
Traits......Page 57
Scala for the beginners......Page 59
Your first line of code......Page 60
Run Scala interactively!......Page 61
Execute it with Scala command......Page 62
Summary......Page 63
Chapter 2: Object-Oriented Scala......Page 64
Variables in Scala......Page 65
Reference versus value immutability......Page 67
Data types in Scala......Page 68
Type annotations......Page 69
Lazy val......Page 70
Methods in Scala......Page 71
The return in Scala......Page 72
Classes in Scala......Page 73
Singleton and companion objects......Page 74
Companion objects......Page 75
Comparing and contrasting: val and final......Page 77
Access and visibility......Page 79
Constructors......Page 81
Traits in Scala......Page 82
Extending traits......Page 83
Abstract classes......Page 84
Abstract classes and the override keyword......Page 85
Case classes in Scala......Page 86
Packages and package objects......Page 88
Java interoperability......Page 90
Pattern matching......Page 91
Implicit in Scala......Page 92
Generic in Scala......Page 94
Defining a generic class......Page 95
SBT and other build systems......Page 97
Build with SBT......Page 98
Maven with Eclipse......Page 99
Gradle with Eclipse......Page 101
Summary......Page 108
Chapter 3: Functional Programming Concepts......Page 109
Advantages of functional programming......Page 110
Why FP and Scala for learning Spark?......Page 113
Why Spark?......Page 114
Scala and the Spark programming model......Page 115
Scala and the Spark ecosystem......Page 116
Pure functions......Page 118
Anonymous functions......Page 121
Higher-order functions......Page 123
Function as a return value......Page 129
Using higher-order functions......Page 131
Failure and exceptions in Scala......Page 133
Catching exception using try and catch......Page 134
Finally......Page 135
Creating an Either......Page 136
Run one task, but block......Page 137
Functional programming and data mutability......Page 138
Summary......Page 139
Chapter 4: Collection APIs......Page 140
Types and hierarchies......Page 141
Traversable......Page 142
Seq, LinearSeq, and IndexedSeq......Page 143
Mutable and immutable......Page 144
Arrays......Page 146
Lists......Page 150
Sets......Page 152
Tuples......Page 153
Maps......Page 155
Option......Page 157
Exists......Page 161
Forall......Page 163
Map......Page 164
GroupBy......Page 165
TakeWhile......Page 166
FlatMap......Page 167
Performance characteristics of collection objects......Page 168
Memory usage by collection objects......Page 171
Java interoperability......Page 173
Using Scala implicits......Page 175
Implicit conversions in Scala......Page 177
Summary......Page 180
Chapter 5: Tackle Big Data ? Spark Comes to the Party......Page 181
Introduction to data analytics......Page 182
Inside the data analytics process......Page 185
Introduction to big data......Page 188
Veracity of Data......Page 189
Distributed computing using Apache Hadoop......Page 191
Hadoop Distributed File System (HDFS)......Page 193
HDFS High Availability......Page 195
HDFS Federation......Page 196
HDFS Read......Page 197
HDFS Write......Page 198
MapReduce framework......Page 199
Here comes Apache Spark......Page 203
Spark core......Page 206
Spark SQL......Page 207
Spark GraphX......Page 208
PySpark......Page 209
SparkR......Page 210
Summary......Page 211
Chapter 6: Start Working with Spark ? REPL and RDDs......Page 213
Dig deeper into Apache Spark......Page 214
Apache Spark installation......Page 218
Spark standalone......Page 219
YARN client mode......Page 225
YARN cluster mode......Page 226
Spark on Mesos......Page 227
Introduction to RDDs......Page 229
Reading data from an external source......Page 233
Transformation of an existing RDD......Page 234
Using the Spark shell......Page 235
Actions and Transformations......Page 239
Math/Statistical transformations......Page 241
Data structure-based transformations......Page 242
map function......Page 247
flatMap function......Page 248
filter function......Page 250
coalesce......Page 251
repartition......Page 252
Actions......Page 253
reduce......Page 255
count......Page 256
collect......Page 257
Caching......Page 258
wholeTextFiles......Page 262
Saving RDD......Page 263
Summary......Page 264
Types of RDDs......Page 265
Pair RDD......Page 269
DoubleRDD......Page 270
SequenceFileRDD......Page 271
CoGroupedRDD......Page 273
ShuffledRDD......Page 274
UnionRDD......Page 275
HadoopRDD......Page 277
NewHadoopRDD......Page 278
Aggregations......Page 279
groupByKey......Page 281
reduceByKey......Page 282
aggregateByKey......Page 284
combineByKey......Page 285
Comparison of groupByKey, reduceByKey, combineByKey, and aggregateByKey......Page 287
Partitioning and shuffling......Page 290
HashPartitioner......Page 292
RangePartitioner......Page 293
Shuffling......Page 295
Narrow Dependencies......Page 296
Wide Dependencies......Page 297
Broadcast variables......Page 299
Creating broadcast variables......Page 300
Cleaning broadcast variables......Page 301
Destroying broadcast variables......Page 302
Accumulators......Page 303
Summary......Page 307
Chapter 8: Introduce a Little Structure - Spark SQL......Page 308
Spark SQL and DataFrames......Page 309
DataFrame API and SQL API......Page 313
Pivots......Page 318
Filters......Page 319
User-Defined Functions (UDFs)......Page 320
Implicit schema......Page 321
Explicit schema......Page 322
Encoders......Page 323
Loading datasets......Page 325
Saving datasets......Page 326
Aggregate functions......Page 327
Count......Page 328
Last......Page 329
approx_count_distinct......Page 330
Min......Page 331
Average......Page 332
Sum......Page 333
Skewness......Page 334
Variance......Page 335
Standard deviation......Page 336
groupBy......Page 337
Rollup......Page 338
Window functions......Page 339
ntiles......Page 341
Joins......Page 343
Shuffle join......Page 345
Broadcast join......Page 346
Join types......Page 347
Inner join......Page 348
Left outer join......Page 349
Right outer join......Page 350
Left anti join......Page 351
Left semi join......Page 352
Cross join......Page 353
Performance implications of join......Page 354
Summary......Page 356
Chapter 9: Stream Me Up, Scotty - Spark Streaming......Page 357
A Brief introduction to streaming......Page 358
At least once processing......Page 360
At most once processing......Page 361
Exactly once processing......Page 363
Spark Streaming......Page 364
Creating StreamingContext......Page 366
Stopping StreamingContext......Page 367
receiverStream......Page 368
textFileStream......Page 369
twitterStream example......Page 370
Discretized streams......Page 372
Transformations......Page 375
Window operations......Page 378
Stateless transformations......Page 383
Checkpointing......Page 384
Metadata checkpointing......Page 386
Data checkpointing......Page 387
Driver failure recovery......Page 388
Receiver-based approach......Page 390
Direct stream......Page 392
Structured streaming......Page 395
Handling Event-time and late data......Page 399
Fault tolerance semantics......Page 401
Summary......Page 402
A brief introduction to graph theory......Page 403
GraphX......Page 410
VertexRDD and EdgeRDD......Page 412
VertexRDD......Page 413
EdgeRDD......Page 414
Graph operators......Page 416
Filter......Page 417
MapValues......Page 418
TriangleCounting......Page 419
Pregel API......Page 421
ConnectedComponents......Page 422
Traveling salesman problem......Page 423
ShortestPaths......Page 424
PageRank......Page 429
Summary......Page 432
Chapter 11: Learning Machine Learning - Spark MLlib and Spark ML......Page 433
Typical machine learning workflow......Page 434
Supervised learning......Page 436
Unsupervised learning......Page 437
Reinforcement learning......Page 439
Recommender system......Page 440
Semisupervised learning......Page 442
Spark MLlib......Page 443
Spark MLlib or Spark ML?......Page 444
Feature extraction and transformation......Page 445
CountVectorizer......Page 447
Tokenizer......Page 448
StopWordsRemover......Page 451
StringIndexer......Page 452
OneHotEncoder......Page 453
Dataset abstraction......Page 455
Creating a simple pipeline......Page 457
PCA......Page 458
Dataset collection and exploration......Page 460
What is regression analysis?......Page 462
Performance metrics......Page 466
Breast cancer prediction using logistic regression of Spark ML......Page 471
Developing the pipeline using Spark ML......Page 472
Multiclass classification using logistic regression......Page 479
Improving classification accuracy using random forests......Page 483
Classifying MNIST dataset using random forest......Page 485
Summary......Page 488
Chapter 12: Advanced Machine Learning Best Practices......Page 490
Machine learning best practices......Page 491
Beware of overfitting and underfitting......Page 492
Stay tuned with Spark MLlib and Spark ML......Page 494
Choosing the right algorithm for your application......Page 495
Considerations when choosing an algorithm......Page 496
Accuracy......Page 497
Number of parameters......Page 498
How large is your training set?......Page 499
Number of features......Page 500
Hyperparameter tuning......Page 501
Grid search parameter tuning......Page 503
Cross-validation......Page 504
What is credit risk analysis? Why is it important?......Page 507
The dataset exploration......Page 508
Step-by-step example with Spark ML......Page 509
A recommendation system with Spark......Page 518
Model-based recommendation with Spark......Page 519
Data exploration......Page 520
Movie recommendation using ALS......Page 521
How does LDA work?......Page 528
Topic modeling with Spark MLlib......Page 531
Scalability of LDA......Page 543
Summary......Page 544
Chapter 13: My Name is Bayes, Naive Bayes......Page 545
Transformation to binary......Page 546
Classification using One-Vs-The-Rest approach......Page 547
Exploration and preparation of the OCR dataset......Page 549
Bayesian inference......Page 554
What is inference?......Page 555
Naive Bayes......Page 556
An overview of Bayes' theorem......Page 557
My name is Bayes, Naive Bayes......Page 558
Building a scalable classifier with NB......Page 559
Tune me up!......Page 565
The decision trees......Page 570
Advantages and disadvantages of using DTs......Page 572
Decision tree versus Naive Bayes......Page 573
Building a scalable classifier with DT algorithm......Page 574
Summary......Page 579
Chapter 14: Time to Put Some Order - Cluster Your Data with Spark MLlib......Page 580
Unsupervised learning......Page 581
Clustering techniques......Page 582
Hierarchical clustering......Page 583
Challenges in CC algorithm......Page 584
How does K-means algorithm work?......Page 585
An example of clustering using K-means of Spark MLlib......Page 587
An overview of HC algorithm and challenges......Page 596
Bisecting K-means with Spark MLlib......Page 597
Bisecting K-means clustering of the neighborhood using Spark MLlib......Page 598
Challenges in DC algorithm......Page 599
How does a Gaussian mixture model work?......Page 600
An example of clustering using GMM with Spark MLlib......Page 601
Determining number of clusters......Page 607
A comparative analysis between clustering algorithms......Page 609
Submitting Spark job for cluster analysis......Page 610
Summary......Page 611
Chapter 15: Text Analytics Using Spark ML......Page 612
Understanding text analytics......Page 613
Sentiment analysis......Page 614
Event extraction......Page 615
Standard Transformer......Page 616
Estimator Transformer......Page 617
Tokenization......Page 619
StopWordsRemover......Page 621
NGrams......Page 624
TF-IDF......Page 626
HashingTF......Page 627
Inverse Document Frequency (IDF)......Page 629
Word2Vec......Page 631
CountVectorizer......Page 633
Topic modeling using LDA......Page 635
Implementing text classification......Page 638
Summary......Page 645
Monitoring Spark jobs......Page 646
Spark web interface......Page 647
Jobs......Page 649
Stages......Page 655
Storage......Page 657
Environment......Page 658
Executors......Page 659
Visualizing Spark application using web UI......Page 661
Observing the running and completed Spark jobs......Page 662
Debugging Spark applications using logs......Page 663
Logging with log4j with Spark......Page 664
Spark configuration......Page 668
Spark properties......Page 669
Environmental variables......Page 671
Logging......Page 672
Application failure......Page 673
Slow jobs or unresponsiveness......Page 677
Data serialization......Page 680
Memory usage and management......Page 683
Serialized RDD storage......Page 686
Garbage collection tuning......Page 687
Broadcasting......Page 689
Data locality......Page 691
Summary......Page 692
Chapter 17: Time to Go to ClusterLand - Deploying Spark on a Cluster......Page 693
Spark ecosystem in brief......Page 694
Cluster design......Page 696
Cluster management......Page 700
Pseudocluster mode (aka Spark local)......Page 702
Apache Mesos......Page 703
Cloud-based deployments......Page 705
Deploying the Spark application on a cluster......Page 706
Submitting Spark jobs......Page 707
Running Spark jobs locally and in standalone......Page 709
Hadoop YARN......Page 714
Step 4: Creating data and log directories......Page 716
Step 6: Configuring hdfs-site.xml......Page 717
Step 8: Configuring yarn-site.xml......Page 718
Step 11: Starting the HDFS......Page 719
Step 12: Starting YARN......Page 720
Submitting Spark jobs on YARN cluster......Page 721
Advance job submissions in a YARN cluster......Page 722
Apache Mesos......Page 724
Cluster mode......Page 725
Deploying on AWS......Page 727
Step 1: Key pair and access key configuration......Page 728
Step 2: Configuring Spark cluster on EC2......Page 729
Step 3: Running Spark jobs on the AWS cluster......Page 731
Step 4: Pausing, restarting, and terminating the Spark cluster......Page 733
Summary......Page 734
Testing in a distributed environment......Page 735
Issues in a distributed system......Page 736
Challenges of software testing in a distributed environment......Page 738
Testing Scala methods......Page 740
Testing Spark applications......Page 746
Method 1: Using Scala JUnit test......Page 747
Method 2: Testing Scala code using FunSuite......Page 752
Method 3: Making life easier with Spark testing base......Page 756
Configuring Hadoop runtime on Windows......Page 758
Logging with log4j with Spark recap......Page 761
Debugging the Spark application......Page 767
Debugging Spark application on Eclipse as Scala debug......Page 768
Debugging Spark jobs running as local and standalone mode......Page 771
Debugging Spark applications on YARN or Mesos cluster......Page 772
Debugging Spark application using SBT......Page 777
Summary......Page 778
Introduction to PySpark......Page 779
By setting SPARK_HOME......Page 780
Using Python shell......Page 781
By setting PySpark on Python IDEs......Page 782
Getting started with PySpark......Page 786
Reading a dataset in Libsvm format......Page 788
Reading a CSV file......Page 790
Reading and manipulating raw text files......Page 791
Writing UDF on PySpark......Page 793
Let's do some analytics with k-means clustering......Page 798
Introduction to SparkR......Page 807
Installing and getting started......Page 808
Getting started......Page 810
Using external data source APIs......Page 813
Data manipulation......Page 814
Querying SparkR DataFrame......Page 816
Visualizing your data on RStudio......Page 818
Summary......Page 822
The need for Alluxio......Page 823
Getting started with Alluxio......Page 825
Downloading Alluxio......Page 826
Installing and running Alluxio locally......Page 827
Overview......Page 830
Browse......Page 831
Configuration......Page 832
Workers......Page 833
In-Memory Data......Page 834
Logs......Page 835
Metrics......Page 836
Integration with YARN......Page 837
Alluxio master memory......Page 838
Using Alluxio with Spark......Page 839
Summary......Page 842
The need for Alluxio......Page 843
Getting started with Alluxio......Page 845
Downloading Alluxio......Page 846
Installing and running Alluxio locally......Page 847
Overview......Page 850
Browse......Page 851
Configuration......Page 852
Workers......Page 853
In-Memory Data......Page 854
Logs......Page 855
Metrics......Page 856
Integration with YARN......Page 857
Alluxio master memory......Page 858
Using Alluxio with Spark......Page 859
Summary......Page 862
Index......Page 863