An Introduction to Pattern Recognition

Footnotes......Page 0
An Introduction to Pattern Recognition: Statistical, Neural Net and Syntactic methods of getting robots to see and hear.......Page 4
Contents......Page 15
Basic Concepts......Page 22
Measurement and Representation......Page 24
From objects to points in space......Page 25
Telling the guys from the gals......Page 29
Paradigms......Page 31
Decisions, decisions........Page 34
Metric Methods......Page 35
Neural Net Methods (Old Style)......Page 38
Statistical Methods......Page 44
Parametric......Page 45
Non-parametric......Page 51
CART et al......Page 52
Clustering: supervised v unsupervised learning......Page 53
Dynamic Patterns......Page 55
Structured Patterns......Page 57
Alternative Representations......Page 59
Strings, propositions, predicates and logic......Page 60
Fuzzy Thinking......Page 63
Robots......Page 67
Summary of this chapter......Page 68
Exercises......Page 69
Bibliography......Page 72
Image Measurements......Page 74
Preliminaries......Page 78
Image File Formats......Page 79
Generalities......Page 81
Image segmentation: finding the objects......Page 84
Mathematical Morphology......Page 86
Little Boxes......Page 89
Border Tracing......Page 90
Conclusions on Segmentation......Page 93
Measurement Principles......Page 94
Issues and methods......Page 95
Invariance in practice......Page 96
Measurement practice......Page 97
Quick and Dumb......Page 98
Scanline intersections and weights......Page 99
Moments......Page 101
Zernike moments and the FFT......Page 104
Historical Note......Page 108
Masks and templates......Page 109
Invariants......Page 110
Chaincoding......Page 111
Syntactic Methods......Page 113
Summary of OCR Measurement Methods......Page 116
Other Kinds of Binary Image......Page 117
Greyscale images of characters......Page 120
Segmentation: Edge Detection......Page 122
Greyscale Images in general......Page 125
Segmentation......Page 126
Measuring Greyscale Images......Page 128
Quantisation......Page 130
Textures......Page 131
Colour Images......Page 132
Generalities......Page 133
Quantisation......Page 134
Edge detection......Page 135
Markov Random Fields......Page 136
Measurements......Page 137
Spot counting......Page 138
IR and acoustic Images......Page 139
Quasi-Images......Page 140
Dynamic Images......Page 142
Summary of Chapter Two......Page 143
Exercises......Page 144
Bibliography......Page 148
Statistical Ideas......Page 151
History, and Deep Philosophical Stuff......Page 153
The Origins of Probability: random variables......Page 154
Histograms and Probability Density Functions......Page 158
Models and Probabilistic Models......Page 160
Probabilistic Models as Data Compression Schemes......Page 166
Models and Data: Some models are better than others......Page 168
Maximum Likelihood Models......Page 169
Where do Models come from?......Page 171
Bayesian Methods......Page 172
Bayes' Theorem......Page 173
Bayesian Statistics......Page 177
Subjective Bayesians......Page 179
Minimum Description Length Models......Page 181
Codes: Information theoretic preliminaries......Page 183
Compression for coin models......Page 191
Compression for pdfs......Page 193
Summary of Rissanen Complexity......Page 201
Summary of the chapter......Page 204
Exercises......Page 207
Bibliography......Page 210
Decisions: Statistical methods......Page 212
The view into......Page 214
Computing PDFs: Gaussians......Page 217
One Gaussian per cluster......Page 218
Dimension 2......Page 222
Lots of Gaussians: The EM algorithm......Page 225
The EM algorithm for Gaussian Mixture Modelling......Page 227
Other Possibilities......Page 230
Bayesian Decision......Page 231
Cost Functions......Page 233
Non-parametric Bayes Decisions......Page 235
Other Metrics......Page 236
How many things in the mix?......Page 238
Overhead......Page 239
Example......Page 241
The Akaike Information Criterion......Page 243
Problems with EM......Page 244
Summary of Chapter......Page 245
Exercises......Page 246
Bibliography......Page 248
Decisions: Neural Nets(Old Style)......Page 250
History: the good old days......Page 254
The Dawn of Neural Nets......Page 255
The death of Neural Nets......Page 258
The Rebirth of Neural Nets......Page 260
The End of History......Page 262
Training the Perceptron......Page 263
The Perceptron Training Rule......Page 269
Committees......Page 272
Committees and XOR......Page 273
Training Committees......Page 276
Capacities of Committees: generalised XOR......Page 279
Four Layer Nets......Page 283
Building up functions......Page 286
Smooth thresholding functions......Page 288
Back-Propagation......Page 289
Mysteries of Functional Analysis......Page 292
Committees vs Back-Propagation......Page 297
Compression: is the model worth the computation?......Page 298
Other types of (Classical) net......Page 302
General Issues......Page 304
The Kohonen Net......Page 306
Probabilistic Neural Nets......Page 312
Hopfield Networks......Page 315
Introduction......Page 316
Network Characteristics......Page 317
Network Operation......Page 319
The Network Equations......Page 320
Theory of the Network......Page 322
Applications......Page 324
The Boltzmann Machine......Page 325
Introduction......Page 326
Simulated Annealing......Page 327
Network Characteristics......Page 328
Network Operation......Page 330
Theory of the Network......Page 332
Applications......Page 333
Bidirectional Associative Memory......Page 334
Introduction......Page 335
Network Characteristics......Page 336
Network Operation......Page 338
The Network Equations......Page 339
Theory of the Network......Page 340
Applications......Page 341
ART......Page 342
Introduction......Page 343
Network Characteristics......Page 344
Network Operation......Page 346
Theory of the Network......Page 347
Applications......Page 348
Neocognitron......Page 349
Introduction......Page 350
Network Structure......Page 351
The Network Equations......Page 353
Training the Network......Page 354
Applications......Page 355
References......Page 356
Quadratic Neural Nets: issues......Page 358
Summary of Chapter Five......Page 361
Exercises......Page 363
Bibliography......Page 364
Continuous Dynamic Patterns......Page 366
Automatic Speech Recognition......Page 368
Talking into a microphone......Page 369
Traditional methods: VQ and HMM......Page 373
The Baum-Welch and Viterbi Algorithms for Hidden Markov Models......Page 377
Network Topology and Initialisation......Page 379
Invariance......Page 380
Other HMM applications......Page 383
Connected and Continuous Speech......Page 384
Filters......Page 386
Linear Systems......Page 388
Moving Average Filters......Page 390
Autoregressive Time Series......Page 392
Linear Predictive Coding or ARMA modelling......Page 394
Into R^n......Page 396
States......Page 398
Wiener Filters......Page 399
Adaptive Filters, Kalman Filters......Page 403
Fundamentals of dynamic patterns......Page 405
Exercises......Page 409
Bibliography......Page 413
Discrete Dynamic Patterns......Page 416
Alphabets, Languages and Grammars......Page 419
Definitions and Examples......Page 420
ReWrite Grammars......Page 424
Grammatical Inference......Page 429
Inference of ReWrite grammars......Page 432
Streams, predictors and smoothers......Page 440
Chunking by Entropy......Page 443
Stochastic Equivalence......Page 446
Quasi-Linguistic Streams......Page 449
Graphs and Diagram Grammars......Page 451
Exercises......Page 452
Bibliography......Page 454
Syntactic Pattern Recognition......Page 455
Precursors......Page 459
Linear Images......Page 462
Curved Elements......Page 469
Parameter Regimes......Page 470
Invariance: Classifying Transformations......Page 474
Intrinsic and Extrisic Chunking (Binding)......Page 476
Backtrack......Page 479
Occlusion and other metric matters......Page 481
Neural Modelling......Page 484
Self-Tuning Neurons......Page 485
Geometry and Dynamics......Page 487
Extensions to Higher Order Statistics......Page 490
Layering......Page 491
Summary of Chapter......Page 492
Exercises......Page 493
Bibliography......Page 494
About this document .........Page 561