Beginning Python visualization: crafting visual transformation scripts

1430218436......Page 1
Contents......Page 6
About the Author......Page 14
About the Technical Reviewer......Page 15
Acknowledgments......Page 16
Introduction\n......Page 17
CHAPTER 1:  Navigating the World of Data Visualization......Page 20
Case Study: GPS Data......Page 21
Scanning Serial Ports......Page 22
Recording GPS Data......Page 24
File Format......Page 25
Data Location......Page 26
Reading CSV Files......Page 28
Walking Directories......Page 27
Analyzing GPS Data......Page 31
Extracting GPS Data......Page 33
Data Visualization......Page 36
GPS Location Plot......Page 37
Annotating the Graph......Page 39
Velocity Plot......Page 41
Text......Page 42
Tying It All Together......Page 44
Final Notes and References......Page 48
CHAPTER 2: The Environment......Page 50
GNU/Linux......Page 51
Windows......Page 52
Choosing an Operating System......Page 54
Then Again, Why Choose? Using Several Operating Systems......Page 55
Versions......Page 56
Python......Page 57
Python Integrated Development Environments......Page 58
Scientific Computing......Page 60
Plotting......Page 61
Additional Python Packages......Page 62
Installation Summary......Page 63
Editors......Page 64
A Short List of Text Editors......Page 66
Word Processors......Page 67
Version Control Systems......Page 68
Licensing......Page 70
Final Notes and References......Page 71
What Is Python?......Page 72
Invoking Python......Page 73
Entering Commands......Page 74
The Interactive Help System......Page 75
Moving Around......Page 76
Running Scripts......Page 77
Numbers......Page 79
Strings......Page 84
Booleans......Page 86
Data Structures......Page 87
Lists......Page 88
Tuples......Page 91
Dictionaries......Page 93
Sets......Page 97
Variables......Page 99
Printing......Page 100
User Input......Page 103
Flow Control......Page 104
Some Built-in Functions......Page 111
Defining Functions......Page 112
Generators......Page 113
Generator Expressions......Page 114
Object-Oriented Programming......Page 115
Modules and Packages......Page 116
The import Statement......Page 117
Final Notes and References......Page 118
CHAPTER 4: Data Organization\n......Page 119
Date and Time in a File Name......Page 120
File Name Extensions......Page 122
In Conclusion......Page 123
Other Schemes......Page 125
File Formats......Page 126
CSV File Format......Page 127
Binary Files......Page 135
INI Files......Page 141
XML......Page 143
Organization into Directories......Page 144
Searching for Files......Page 145
Indexing......Page 146
Catalogs......Page 149
Files vs. a Database......Page 151
Final Notes and References......Page 152
CHAPTER 5: Processing Text Files......Page 153
Splitting Text......Page 154
Converting Strings to Numbers......Page 155
Find and Replace......Page 161
Stripping Strings......Page 162
String Formatting......Page 163
String Conditionals......Page 164
Opening a File......Page 165
Writing Text......Page 166
Reading Text......Page 167
Working with Text Files......Page 168
Example: Character, Word, and Line Count......Page 169
Example: head and tail......Page 170
Example: Splitting and Combining Files......Page 171
Example: Searching Inside a Text File......Page 173
Example: Working with Comments......Page 174
Example: Extracting Numbers from a Text File......Page 175
The csv Module......Page 177
The csv.writer Object......Page 178
More csv Functionality......Page 179
DictReader and DictWriter Objects......Page 180
Date and Time......Page 181
Time Module......Page 182
Parsing and Formatting Date and Time......Page 183
The Epoch: \"Linearizing\" the Time Base......Page 186
Regular Expression Patterns......Page 191
When to Use Regular Expressions......Page 193
Internationalization and Localization......Page 194
Locale......Page 195
Unicode Strings......Page 196
Final Notes and References......Page 199
Interactive Graphs vs. Image Files......Page 200
Interactive Graphs......Page 202
Saving Graphs to Files......Page 204
Lines and Markers......Page 206
Plotting Several Graphs on One Figure......Page 208
Line Widths and Marker Sizes......Page 209
Colors......Page 210
Axis......Page 211
Grid and Ticks......Page 212
Subplots......Page 213
Adding Text......Page 214
Axis Labels and Legend......Page 215
Text Rendering......Page 216
Mathematical Symbols and Expressions......Page 217
Bar Charts\n......Page 218
Histograms......Page 221
Pie Charts......Page 223
Logarithmic Plots......Page 224
Polar Plots......Page 225
Stem Plots......Page 226
Additional Graphs......Page 227
Getting and Setting Values......Page 230
Setting Figure and Axis Parameters......Page 232
Patches......Page 234
Example: Adding Arrows to a Graph......Page 235
Example: Some Other Patches......Page 236
Final Notes and References......Page 237
Modules math and cmath......Page 238
Example: A Newton Fractal......Page 241
Module random......Page 245
Using random to Solve Probability Questions......Page 246
Random Sequences......Page 249
Module NumPy......Page 250
Array Creation......Page 251
Slicing, Indexing, and Reshaping......Page 252
N-Dimensional Arrays......Page 253
Math Functions......Page 256
Array Methods and Properties......Page 258
Final Notes and References......Page 264
CHAPTER 8: Science and Visualization\n......Page 266
SciPy......Page 267
Solving a System of Linear Equations......Page 268
Vector and Matrix Operations......Page 269
Matrix Decomposition......Page 270
Numerical Integration......Page 271
More Integration Methods\n......Page 274
Piecewise Linear Interpolation......Page 275
Polynomials......Page 277
Uses of Polynomials......Page 278
Spline Interpolation......Page 283
Solving Nonlinear Equations......Page 284
Signal Processing......Page 285
Functions where, select, and find......Page 286
Functions diff and split......Page 290
Waveforms......Page 291
Fourier Transform......Page 292
Example: FFT of a Sampled Cosine Wave......Page 293
Window Functions......Page 294
Filter Design......Page 296
Example: Heart-Rate Monitor......Page 298
Example: Moving Average......Page 300
Final Notes and References......Page 301
CHAPTER 9: Image Processing......Page 302
Reading Images from File......Page 303
Image Attributes......Page 304
Displaying Images......Page 305
Converting File Formats\n......Page 306
Creating New Images......Page 308
Crop and Resize......Page 309
Rotate......Page 310
Annotating with Geometrical Shapes......Page 311
Text Annotations......Page 312
Matrix Representation and Colors......Page 317
Example: Counting Objects (Five Parts)......Page 320
Image Arithmetic......Page 329
Image Filtering......Page 332
Final Notes and References......Page 334
Binary Files and Random Access......Page 335
Example: Reading the Nth Field......Page 337
Example: Efficient Tail Implementation......Page 338
Example: Recording Time-Based Binary Data......Page 339
The Pickle Module......Page 341
argv......Page 343
Example: Creating a Fixed-Size File (Stand-Alone Script)......Page 344
OptParse Module......Page 345
The FileInput Module......Page 348
File and Directory Manipulation......Page 349
Additional os Module Functionality......Page 350
Additional os.path Module Functionality......Page 351
Module shutil......Page 352
File Compression......Page 353
Example: A Compressed tar File......Page 354
Module filecmp......Page 355
Module difflib......Page 357
Final Notes and References......Page 358
Nudge Subplots......Page 359
Magic Square Arrows......Page 361
Fractal Function Source Code......Page 363
A......Page 365
C......Page 366
D......Page 367
F......Page 368
H......Page 370
I......Page 371
M......Page 372
O......Page 373
P......Page 374
R......Page 375
S......Page 376
T......Page 378
Z......Page 379