Signal Analysis: Time, Frequency, Scale, and Structure

SIGNAL ANALYSIS......Page 1
Contents......Page 10
Preface......Page 20
Acknowledgments......Page 24
1 Signals: Analog, Discrete, and Digital......Page 26
1.1.1 Basic Concepts......Page 29
1.1.2 Time-Domain Description of Signals......Page 36
1.1.3 Analysis in the Time-Frequency Plane......Page 43
1.1.4 Other Domains: Frequency and Scale......Page 45
1.2 Analog Signals......Page 46
1.2.1 Definitions and Notation......Page 47
1.2.2 Examples......Page 48
1.2.3 Special Analog Signals......Page 57
1.3.1 Definitions and Notation......Page 60
1.3.2 Examples......Page 62
1.3.3 Special Discrete Signals......Page 64
1.4.1 Introduction......Page 65
1.4.3 Interpolation......Page 67
1.4.4 Cubic Splines......Page 71
1.5.1 Fundamental Period and Frequency......Page 76
1.5.2 Discrete Signal Frequency......Page 80
1.5.3 Frequency Domain......Page 81
1.5.4 Time and Frequency Combined......Page 87
1.6.1 Basic Classes......Page 88
1.6.2 Summable and Integrable Signals......Page 90
1.6.3 Finite Energy Signals......Page 91
1.6.5 Scale and Structure......Page 92
1.7.1 Introduction......Page 95
1.7.2 Analytic Functions......Page 96
1.7.3 Complex Integration......Page 100
1.8 Random Signals and Noise......Page 103
1.8.1 Probability Theory......Page 104
1.8.2 Random Variables......Page 109
1.8.3 Random Signals......Page 116
1.9 Summary......Page 117
1.9.1 Historical Notes......Page 118
1.9.2 Resources......Page 120
1.9.4 Guide to Problems......Page 121
References......Page 122
Problems......Page 125
2 Discrete Systems and Signal Spaces......Page 134
2.1 Operations on Signals......Page 135
2.1.1 Operations on Signals and Discrete Systems......Page 136
2.1.3 Types of Systems......Page 146
2.2 Linear Systems......Page 147
2.2.1 Properties......Page 149
2.2.2 Decomposition......Page 150
2.3 Translation Invariant Systems......Page 152
2.4.1 Linear, Translation-Invariant Systems......Page 153
2.4.2 Systems Defined by Difference Equations......Page 155
2.4.3 Convolution Properties......Page 156
2.4.4 Application: Echo Cancellation in Digital Telephony......Page 158
2.5 The l p Signal Spaces......Page 161
2.5.1 lp Signals......Page 162
2.5.2 Stable Systems......Page 163
2.5.3 Toward Abstract Signal Spaces......Page 164
2.5.4 Normed Spaces......Page 167
2.5.5 Banach Spaces......Page 172
2.6.1 Definitions and Examples......Page 174
2.6.2 Norm and Metric......Page 176
2.6.3 Orthogonality......Page 178
2.7.1 Definitions and Examples......Page 183
2.7.2 Decomposition and Direct Sums......Page 184
2.7.3 Orthonormal Bases......Page 188
2.8 Summary......Page 193
References......Page 194
Problems......Page 195
3 Analog Systems and Signal Spaces......Page 198
3.1.2 Extensions to the Analog World......Page 199
3.1.3 Cross-Correlation, Autocorrelation, and Convolution......Page 200
3.1.4 Miscellaneous Operations......Page 201
3.2.1 Linearity and Translation-Invariance......Page 202
3.2.2 LTI Systems, Impulse Response, and Convolution......Page 204
3.2.3 Convolution Properties......Page 209
3.2.4 Dirac Delta Properties......Page 211
3.2.5 Splines......Page 213
3.3.1 Lp Spaces......Page 216
3.3.2 Inner Product and Hilbert Spaces......Page 230
3.3.3 Orthonormal Bases......Page 236
3.3.4 Frames......Page 241
3.4 Modern Integration Theory......Page 250
3.4.1 Measure Theory......Page 251
3.4.2 Lebesgue Integration......Page 257
3.5.1 From Function to Functional......Page 266
3.5.2 From Functional to Distribution......Page 267
3.5.3 The Dirac Delta......Page 272
3.5.4 Distributions and Convolution......Page 275
3.5.5 Distributions as a Limit of a Sequence......Page 277
3.6 Summary......Page 284
3.6.3 Guide to Problems......Page 285
References......Page 286
Problems......Page 288
4 Time-Domain Signal Analysis......Page 298
4.1 Segmentation......Page 302
4.1.1 Basic Concepts......Page 303
4.1.2 Examples......Page 305
4.1.3 Classification......Page 308
4.1.4 Region Merging and Splitting......Page 311
4.2 Thresholding......Page 313
4.2.2 Histograms......Page 314
4.2.3 Optimal Thresholding......Page 317
4.2.4 Local Thresholding......Page 324
4.3 Texture......Page 325
4.3.1 Statistical Measures......Page 326
4.3.2 Spectral Methods......Page 333
4.4.1 Convolutional Smoothing......Page 339
4.4.2 Optimal Filtering......Page 341
4.4.3 Nonlinear Filters......Page 346
4.5 Edge Detection......Page 351
4.5.1 Edge Detection on a Simple Step Edge......Page 353
4.5.2 Signal Derivatives and Edges......Page 357
4.5.3 Conditions for Optimality......Page 359
4.5.4 Retrospective......Page 362
4.6.1 Signal Correlation......Page 363
4.6.2 Structural Pattern Recognition......Page 367
4.6.3 Statistical Pattern Recognition......Page 371
4.7 Scale Space......Page 376
4.7.1 Signal Shape, Concavity, and Scale......Page 379
4.7.2 Gaussian Smoothing......Page 382
References......Page 394
Problems......Page 400
5 Fourier Transforms of Analog Signals......Page 408
5.1 Fourier Series......Page 410
5.1.1 Exponential Fourier Series......Page 412
5.1.2 Fourier Series Convergence......Page 416
5.1.3 Trigonometric Fourier Series......Page 422
5.2.1 Motivation and Definition......Page 428
5.2.2 Inverse Fourier Transform......Page 433
5.2.3 Properties......Page 436
5.2.4 Symmetry Properties......Page 445
5.3 Extension to L2(R)......Page 449
5.3.1 Fourier Transforms in L1(R) ∩ L2(R)......Page 450
5.3.2 Definition......Page 452
5.3.3 Isometry......Page 454
5.4.1 Historical Notes......Page 457
References......Page 458
Problems......Page 459
6.1 Distribution Theory and Fourier Transforms......Page 465
6.1.1 Examples......Page 467
6.1.2 The Generalized Inverse Fourier Transform......Page 468
6.1.3 Generalized Transform Properties......Page 469
6.2 Generalized Functions and Fourier Series Coefficients......Page 476
6.2.1 Dirac Comb: A Fourier Series Expansion......Page 477
6.2.2 Evaluating the Fourier Coefficients: Examples......Page 479
6.3 Linear Systems in the Frequency Domain......Page 484
6.3.1 Convolution Theorem......Page 485
6.3.2 Modulation Theorem......Page 486
6.4 Introduction to Filters......Page 487
6.4.3 Ideal Bandpass Filter......Page 490
6.5 Modulation......Page 493
6.5.1 Frequency Translation and Amplitude Modulation......Page 494
6.5.2 Baseband Signal Recovery......Page 495
6.5.3 Angle Modulation......Page 496
6.6 Summary......Page 500
References......Page 501
Problems......Page 502
7 Discrete Fourier Transforms......Page 507
7.1 Discrete Fourier Transform......Page 508
7.1.1 Introduction......Page 509
7.1.2 The DFT\'s Analog Frequency-Domain Roots......Page 520
7.1.3 Properties......Page 522
7.1.4 Fast Fourier Transform......Page 526
7.2.1 Introduction......Page 535
7.2.2 Properties......Page 554
7.2.3 LTI Systems and the DTFT......Page 559
7.3.1 Band-Limited Signals......Page 563
7.3.2 Recovering Analog Signals from Their Samples......Page 565
7.3.3 Reconstruction......Page 568
7.3.4 Uncertainty Principle......Page 570
7.4 Summary......Page 572
References......Page 573
Problems......Page 574
8 The z-Transform......Page 579
8.1.1 Definition and Basic Examples......Page 580
8.1.2 Existence......Page 582
8.1.3 Properties......Page 586
8.2.1 Contour Integration......Page 591
8.2.2 Direct Laurent Series Computation......Page 592
8.2.3 Properties and z-Transform Table Lookup......Page 594
8.2.4 Application: Systems Governed by Difference Equations......Page 596
8.3.1 Chirp z-Transform......Page 598
8.3.2 Zak Transform......Page 600
8.4 Summary......Page 602
References......Page 603
Problems......Page 605
9 Frequency-Domain Signal Analysis......Page 610
9.1 Narrowband Signal Analysis......Page 611
9.1.1 Single Oscillatory Component: Sinusoidal Signals......Page 612
9.1.2 Application: Digital Telephony DTMF......Page 613
9.1.3 Filter Frequency Response......Page 629
9.1.4 Delay......Page 630
9.2 Frequency and Phase Estimation......Page 633
9.2.1 Windowing......Page 634
9.2.2 Windowing Methods......Page 636
9.2.3 Power Spectrum Estimation......Page 638
9.2.4 Application: Interferometry......Page 643
9.3 Discrete filter design and implementation......Page 645
9.3.1 Ideal Filters......Page 646
9.3.2 Design Using Window Functions......Page 648
9.3.3 Approximation......Page 649
9.3.4 Z-Transform Design Techniques......Page 651
9.3.5 Low-Pass Filter Design......Page 657
9.3.6 Frequency Transformations......Page 664
9.3.7 Linear Phase......Page 665
9.4.1 Chirp Detection......Page 668
9.4.2 Speech Analysis......Page 671
9.5 Analog Filters......Page 675
9.5.1 Introduction......Page 676
9.5.2 Basic Low-Pass Filters......Page 677
9.5.3 Butterworth......Page 679
9.5.4 Chebyshev......Page 689
9.5.5 Inverse Chebyshev......Page 695
9.5.6 Elliptic Filters......Page 701
9.5.7 Application: Optimal Filters......Page 710
9.6 Specialized Frequency-Domain Techniques......Page 711
9.6.1 Chirp-z Transform Application......Page 712
9.6.2 Hilbert Transform......Page 713
9.6.3 Perfect Reconstruction Filter Banks......Page 719
9.7 Summary......Page 725
References......Page 726
Problems......Page 729
10 Time-Frequency Signal Transforms......Page 737
10.1 Gabor Transforms......Page 738
10.1.1 Introduction......Page 740
10.1.2 Interpretations......Page 742
10.1.3 Gabor Elementary Functions......Page 743
10.1.4 Inversion......Page 748
10.1.5 Applications......Page 755
10.1.6 Properties......Page 760
10.2.1 Window Functions......Page 761
10.2.2 Transforming with a General Window......Page 763
10.2.3 Properties......Page 765
10.2.4 Time-Frequency Localization......Page 766
10.3.1 Transforming Discrete Signals......Page 772
10.3.2 Sampling the Short-Time Fourier Transform......Page 774
10.3.3 Extracting Signal Structure......Page 776
10.3.4 A Fundamental Limitation......Page 779
10.3.5 Frames of Windowed Fourier Atoms......Page 782
10.3.6 Status of Gabor\'s Problem......Page 784
10.4 Quadratic Time-Frequency Transforms......Page 785
10.4.2 Wigner–Ville Distribution......Page 786
10.4.4 Cross-Term Problems......Page 794
10.4.5 Kernel Construction Method......Page 795
10.5 The Balian–Low Theorem......Page 796
10.5.1 Orthonormal Basis Decomposition......Page 797
10.5.2 Frame Decomposition......Page 802
10.6 Summary......Page 812
10.6.1 Historical Notes......Page 814
10.6.2 Resources......Page 815
References......Page 816
Problems......Page 819
11 Time-Scale Signal Transforms......Page 827
11.2 Continuous Wavelet Transforms......Page 828
11.2.2 Basic Theory......Page 829
11.2.3 Examples......Page 840
11.3 Frames......Page 846
11.3.1 Discretization......Page 847
11.3.2 Conditions on Wavelet Frames......Page 849
11.3.3 Constructing Wavelet Frames......Page 850
11.3.4 Better Localization......Page 854
11.4 Multiresolution Analysis and Orthogonal Wavelets......Page 857
11.4.1 Multiresolution Analysis......Page 860
11.4.2 Scaling Function......Page 872
11.4.3 Discrete Low-Pass Filter......Page 877
11.4.4 Orthonormal Wavelet......Page 882
11.5 Summary......Page 888
References......Page 890
Problems......Page 892
12.1 Wavelet Methods for Signal Structure......Page 898
12.1.1 Discrete Wavelet Transform......Page 899
12.1.2 Wavelet Pyramid Decomposition......Page 900
12.1.3 Application: Multiresolution Shape Recognition......Page 908
12.2 Mixed-Domain Signal Processing......Page 918
12.2.1 Filtering Methods......Page 920
12.2.2 Enhancement Techniques......Page 922
12.3.2 Psychophysics......Page 925
12.4 Discovering Signal Structure......Page 929
12.4.1 Edge Detection......Page 930
12.4.2 Local Frequency Detection......Page 933
12.4.3 Texture Analysis......Page 937
12.5.1 Coarse-to-Fine Methods......Page 938
12.5.2 Pattern Recognition Networks......Page 940
12.5.4 Application: Process Control......Page 941
12.6.1 Hidden Markov Models......Page 942
12.7 Afterword......Page 943
References......Page 944
Problems......Page 950
Index......Page 954