Multidimensional Signal, Image, and Video Processing and Coding, Second Edition

Multidimensional Signal, Image, and Video Processing and Coding\r......Page 2
Copyright\r......Page 3
Preface......Page 4
Acknowledgments......Page 6
Two-Dimensional Signals......Page 8
Separable Signals......Page 11
Periodic Signals......Page 13
General Periodicity......Page 14
2-D Discrete-Space Systems......Page 16
2-D Convolution......Page 17
Properties of 2-D Convolution or Convolution Algebra......Page 18
Stability in 2-D Systems......Page 19
2-D Discrete-Space Fourier Transform......Page 20
Inverse 2-D Fourier Transform......Page 23
Fourier Transform of 2-D or Spatial Convolution......Page 26
Some Important Properties of the FT Operator......Page 27
Some Useful Fourier Transform Pairs......Page 28
Symmetry Properties of the Fourier Transform......Page 32
Symmetry Properties of Real-valued Signals......Page 33
2-D Fourier Continuous Transform......Page 34
Projection-Slice Theorem......Page 36
Problems......Page 37
References......Page 41
Sampling Theorem—Rectangular Case......Page 43
Reconstruction Formula......Page 47
Ideal Rectangular Sampling......Page 50
Sampling Theorem—General Regular Case......Page 56
Hexagonal Reconstruction Formula......Page 60
Downsampling by Integers M1 x M2......Page 64
Ideal Decimation......Page 67
Upsampling by Integers L1 x L2......Page 70
Ideal Interpolation......Page 71
Sample-Rate Change—General Case......Page 72
General Downsampling......Page 73
Problems......Page 75
References......Page 80
Linear Spatial or 2-D Systems......Page 81
Z-Transforms......Page 85
Regions of Convergence......Page 87
More General Case......Page 90
Some Z-Transform Properties......Page 91
Linear Mapping of Variables......Page 93
Inverse Z-Transform......Page 94
2-D Filter Stability......Page 98
Second Quadrant Support......Page 100
Root Maps......Page 104
Stability Criteria for NSHP Support Filters......Page 106
Conclusions......Page 108
Problems......Page 109
References......Page 112
Discrete Fourier Series......Page 114
Properties of the DFS Transform......Page 116
Periodic Convolution......Page 118
Shifting or Delay Property......Page 119
Discrete Fourier Transform......Page 120
DFT Properties......Page 123
Proof of DFT Circular Shift Property 5......Page 125
Relation of DFT to Fourier Transform......Page 127
Effect of Sampling in Frequency......Page 128
Interpolating the DFT......Page 129
2-D Discrete Cosine Transform......Page 130
Review of 1-D DCT......Page 131
Some 1-D DCT Properties......Page 134
Symmetric Extension in 2-D DCT......Page 136
Comments......Page 137
Ideal Filter Case......Page 138
1-D SWT with Finite Order Filters......Page 142
2-D SWT with Finite Impulse Response (FIR) Filters......Page 145
Relation of SWT to Wavelets......Page 146
Fast DFT Algorithm......Page 148
Fast DCT Methods......Page 149
Sectioned Convolution Methods......Page 150
Problems......Page 151
References......Page 155
FIR Window Function Design......Page 157
Common 1-D Continuous Time Windows......Page 158
Design by Transformation of 1-D Filter......Page 164
Projection Onto Convex Sets......Page 170
Basic POCS Algorithm......Page 171
2-D Recursive Filter Design......Page 172
Typical Design Criteria......Page 173
Padé Approximation......Page 174
Prony\'s Method (Shank\'s)......Page 176
Fully Recursive Filter Design......Page 178
Observations......Page 179
Subband/Wavelet Filter Design......Page 181
Wavelet (Biorthogonal) Filter Design Method......Page 184
Conclusions......Page 188
Problems......Page 189
References......Page 194
Light and Luminance......Page 196
Still Image Visual Properties......Page 198
Weber\'s Law......Page 199
Contrast Sensitivity Function......Page 200
Local Contrast Adaptation......Page 202
Time-Variant Human Visual System Properties......Page 203
Color......Page 206
Chromaticity Values......Page 208
Color Processing......Page 210
Color Spaces......Page 212
International Telecommunication Union (ITU) Recomendation 709......Page 213
sRGB......Page 214
Electronic Sensors......Page 215
Sensor Fill Factor......Page 217
Film......Page 218
Image and Video Display......Page 219
Gamma......Page 220
High Dynamic Range and Tone Mapping......Page 221
Problems......Page 222
References......Page 223
Box Filter......Page 225
Gaussian Filter......Page 226
Prewitt Operator......Page 227
Sobel Operator......Page 228
Laplacian Filter......Page 229
Linear Filtering......Page 230
Filtering in Intensity Domain......Page 232
Median Filtering......Page 233
Edge Detection......Page 237
Edge Linking......Page 240
Segmentation......Page 241
Simple Thresholding......Page 242
Optimal Values for the rk......Page 244
Region Growing......Page 247
Object Segmentation......Page 250
Template Matching......Page 252
Problems......Page 255
References......Page 257
Two-Dimensional Random Fields\r......Page 259
Filtering a 2-D Random Field......Page 262
Autoregressive Random Signal Models......Page 265
Estimation for Random Fields......Page 267
Infinite Observation Domain......Page 268
Wiener Filter—Alternative Derivation......Page 269
NSHP Causal Wiener Filter......Page 271
1-D Kalman Filter......Page 272
1-D Kalman Filter Equations......Page 274
Scalar Kalman Filtering Equations......Page 275
2-D Kalman Filtering......Page 276
Approximate RUKF......Page 278
LSI Estimation and Restoration Examples with RUKF......Page 279
Inhomogeneous Gaussian Estimation......Page 284
Inhomogeneous Estimation with RUKF......Page 286
Estimation in the Subband/Wavelet Domain......Page 287
Gauss-Markov Image Model......Page 291
Compound Gauss-Markov Image Model......Page 294
Simulated Annealing......Page 295
Extensions of Simulated Annealing......Page 299
Expectation-Maximization Algorithm Approach......Page 300
EM Algorithm......Page 302
Gaussian Scale Mixtures......Page 304
Nonlocal Means......Page 308
Least Squares and Total Variation......Page 310
Constrained Least Squares......Page 311
Total Variation Method......Page 312
Image Superresolution......Page 313
Color Image Processing......Page 316
Conclusions......Page 317
Problems......Page 318
Probability Review......Page 321
Random Sequences......Page 323
Stationary Random Sequences......Page 324
Random Processes......Page 326
References......Page 327
Introduction......Page 330
DCT......Page 332
SWT......Page 334
DPCM......Page 335
Quantization......Page 336
Uniform Quantization......Page 338
Optimal MSE Quantization......Page 339
An SQ Design Algorithm......Page 341
Vector Quantization......Page 342
LBG Algorithm [2]......Page 344
Huffman Coding......Page 347
Arithmetic Coding......Page 348
ECSQ and ECVQ......Page 350
DCT Coder......Page 351
SWT Coder......Page 355
Multiresolution SWT Coding......Page 360
Fully Embedded SWT Coders......Page 363
Embedded Zerotree Wavelet (EZW) Coder......Page 364
EZW Algorithm......Page 365
Set Partitioning in Hierarchical Trees Coder......Page 366
SPIHT Coding Algorithm......Page 367
EZBC Coding Algorithm......Page 368
Context-Based AC in EZBC......Page 369
JPEG 2000......Page 370
Color Image Coding......Page 371
Directional Transforms......Page 373
Robustness Considerations......Page 376
Problems......Page 377
Information Measure......Page 380
Data Compression......Page 385
Asymptotic Equipartition Principle......Page 387
Continuous Sources......Page 388
Rate-Distortion Theory......Page 389
References......Page 392
3-D Signals and Systems......Page 394
Properties of 3-D Fourier Transform......Page 396
3-D Sampling and Reconstruction......Page 397
General 3-D Sampling......Page 399
Spatiotemporal Signal Processing......Page 400
Spatiotemporal Sampling......Page 401
Spatiotemporal Filters......Page 402
Intraframe Filtering......Page 403
Intraframe Wiener Filter......Page 404
Interframe Filtering......Page 405
Interframe Wiener Filter......Page 406
Spatiotemporal Markov Models......Page 407
Causal and Semicausal 3-D Field Sequences......Page 409
Reduced Update Spatiotemporal Kalman Filter......Page 410
Local State and Update Region......Page 411
Problems......Page 413
References......Page 414
Interframe Processing......Page 415
Motion Estimation and Motion Compensation......Page 421
Block-Matching Method......Page 423
Hierarchical Block Matching......Page 426
Overlapped Block Motion Compensation......Page 427
Optical Flow Methods......Page 429
Mesh-Based Methods......Page 430
Motion-Compensated Filtering......Page 434
MC-Wiener Filter......Page 435
MC-Kalman Filter......Page 436
Multimodel MC-RUKF......Page 437
Deinterlacing......Page 440
Bayesian Method for Estimating Motion......Page 447
Joint Motion Estimation and Segmentation......Page 450
Restoration of Degraded Video and Film......Page 453
A Bayesian Approach......Page 454
Super-Resolution of Video......Page 455
Demosaicing......Page 456
Problems......Page 459
Appendix: Digital Video Formats......Page 461
ITU 601 Digital SDTV (a.k.a. SMPTE D1 and D5)......Page 462
DCI Formats......Page 463
References......Page 464
Digital Video Compression......Page 467
Intraframe Coding......Page 468
M-JPEG Pseudo Algorithm......Page 469
DV Codec......Page 472
Intraframe SWT Coding......Page 474
M-JPEG 2000......Page 476
Generalizing 1-D DPCM to Interframe Coding......Page 477
MC Spatiotemporal Prediction......Page 478
MPEG 1......Page 480
MPEG 2—A \"Generic Standard\"......Page 482
The Missing MPEG 3—High-Definition Television......Page 484
Video Processing of MPEG-coded Bitstreams......Page 485
Interframe SWT Coders......Page 486
Motion-Compensated SWT Hybrid Coding......Page 487
3-D or Spatiotemporal Transform Coding......Page 489
Scalable Video Coders......Page 493
More on MCTF......Page 496
Covered Pixel Detection Algorithm......Page 497
Bidirectional MCTF......Page 498
Enhanced MC-EZBC......Page 502
Current Interframe Coding Standards......Page 503
H.264/AVC......Page 504
Video Coder Mode Control......Page 507
H.264/SVC......Page 508
SVC for Video Conferencing......Page 512
H.264/MVC......Page 515
Intra-Macroblock Displacement Compensation......Page 517
Template Matching for Intra Prediction......Page 518
Object-Based Coding......Page 519
Comments on the Sensitivity of Compressed Video......Page 522
Problems......Page 523
References......Page 525
Video on IP Networks......Page 529
Best-Efforts Network......Page 530
Layers and Protocol Stack......Page 531
TCP Friendly......Page 532
Reversible Variable Length Coding......Page 533
Multiple Description Coding......Page 534
Forward Error Control Coding......Page 535
Wireless Networks......Page 536
Joint Source-Channel Coding......Page 537
Error Concealment......Page 539
DP of Images......Page 540
DP of Video......Page 544
Multiple Description FEC......Page 545
Robust 3D-SPIHT......Page 548
A Robust MC-EZBC......Page 549
Error-Resilience Features of H.264/AVC......Page 550
Slice Interleaving and Flexible Macroblock Ordering......Page 551
Switching Frames......Page 552
Reference Frame Selection......Page 553
Error Concealment in H.264/AVC......Page 554
Digital Item Adaptation in MPEG 21......Page 555
Fine Grain Adaptive FEC......Page 556
Network Coding of Video......Page 562
Practical Network Coding......Page 564
PNC Together with MDC......Page 566
Problems......Page 568
References......Page 570
Index......Page 574
B......Page 575
C......Page 576
D......Page 577
E......Page 579
H......Page 580
I......Page 581
L......Page 583
M......Page 584
N......Page 585
P......Page 586
R......Page 587
S......Page 589
T......Page 592
W......Page 593
Z......Page 594