Python High Performance - Second Edition

Cover......Page 1
Copyright......Page 2
Credits......Page 4
About the Author......Page 5
About the Reviewer......Page 6
www.PacktPub.com......Page 7
Customer Feedback......Page 8
Table of Contents......Page 9
Preface......Page 13
Chapter 1: Benchmarking and Profiling......Page 19
 Designing your application......Page 20
 Writing tests and benchmarks......Page 26
  Timing your benchmark......Page 28
 Better tests and benchmarks with pytest-benchmark......Page 31
 Finding bottlenecks with cProfile......Page 34
 Profile line by line with line_profiler......Page 39
 Optimizing our code......Page 41
 The dis module......Page 43
 Profiling memory usage with memory_profiler......Page 44
 Summary......Page 47
Chapter 2: Pure Python Optimizations......Page 48
 Useful algorithms and data structures......Page 49
  Lists and deques......Page 50
  Dictionaries......Page 52
   Building an in-memory search index using a hash map......Page 54
  Sets......Page 56
  Heaps......Page 57
  Tries......Page 59
 Caching and memoization......Page 61
  Joblib......Page 64
 Comprehensions and generators......Page 65
 Summary......Page 67
Chapter 3: Fast Array Operations with NumPy and Pandas......Page 68
  Creating arrays......Page 69
  Accessing arrays......Page 71
  Broadcasting......Page 76
  Mathematical operations......Page 79
 Rewriting the particle simulator in NumPy......Page 80
 Reaching optimal performance with numexpr......Page 84
  Pandas fundamentals......Page 86
   Indexing Series and DataFrame objects......Page 88
  Database-style operations with Pandas......Page 90
   Mapping......Page 91
   Grouping, aggregations, and transforms......Page 93
   Joining......Page 95
 Summary......Page 96
 Compiling Cython extensions......Page 98
  Variables......Page 101
  Functions......Page 103
  Classes......Page 104
 Sharing declarations......Page 106
  C arrays and pointers......Page 107
  NumPy arrays......Page 110
  Typed memoryviews......Page 111
 Particle simulator in Cython......Page 113
 Profiling Cython......Page 117
 Using Cython with Jupyter......Page 121
 Summary......Page 124
Chapter 5: Exploring Compilers......Page 126
  First steps with Numba......Page 127
  Type specializations......Page 129
  Object mode versus native mode......Page 130
   Universal functions with Numba......Page 133
   Generalized universal functions......Page 135
  JIT classes......Page 138
  Limitations in Numba......Page 141
 The PyPy project......Page 142
  Setting up PyPy......Page 143
  Running a particle simulator in PyPy......Page 144
 Other interesting projects......Page 145
 Summary......Page 146
Chapter 6: Implementing Concurrency......Page 147
  Waiting for I/O......Page 148
  Concurrency......Page 149
  Callbacks......Page 151
  Futures......Page 154
  Event loops......Page 156
 The asyncio framework......Page 159
  Coroutines......Page 160
  Converting blocking code into non-blocking code......Page 164
  Observables......Page 166
  Useful operators......Page 169
  Hot and cold observables......Page 173
  Building a CPU monitor......Page 176
 Summary......Page 179
Chapter 7: Parallel Processing......Page 180
 Introduction to parallel programming......Page 181
  Graphic processing units......Page 183
 Using multiple processes......Page 184
  The Process and Pool classes......Page 185
  The Executor interface......Page 187
  Monte Carlo approximation of pi......Page 188
  Synchronization and locks......Page 191
 Parallel Cython with OpenMP......Page 194
 Automatic parallelism......Page 196
  Getting started with Theano......Page 197
   Profiling Theano......Page 202
  Tensorflow......Page 204
  Running code on a GPU......Page 206
 Summary......Page 210
 Introduction to distributed computing......Page 211
  An introduction to MapReduce......Page 212
 Dask......Page 215
  Directed Acyclic Graphs......Page 216
  Dask arrays......Page 217
  Dask Bag and DataFrame......Page 220
  Dask distributed......Page 224
   Manual cluster setup......Page 226
 Using PySpark......Page 228
  Setting up Spark and PySpark......Page 229
  Spark architecture......Page 230
  Resilient Distributed Datasets......Page 232
  Spark DataFrame......Page 237
 Scientific computing with mpi4py......Page 239
 Summary......Page 242
 Choosing a suitable strategy......Page 243
  Generic applications......Page 244
  Numerical code......Page 245
  Big data......Page 247
 Organizing your source code......Page 248
  Using conda environments......Page 250
  Virtualization and Containers......Page 252
   Creating docker images......Page 255
 Continuous integration......Page 257
 Summary......Page 258
Index......Page 260