Digital video and HD: Algorithms and interfaces

Front Cover ......Page 1
Digital Video and HD......Page 2
Copyright......Page 5
Dedication......Page 6
Contents......Page 8
Figures......Page 22
Tables......Page 32
Preface......Page 36
Acknowledgments......Page 40
Part 1: Introduction......Page 42
1. Raster images......Page 44
Aspect ratio......Page 45
Geometry......Page 47
Digitization......Page 48
Perceptual uniformity......Page 49
Colour......Page 51
Digital image representation......Page 52
SD and HD......Page 54
Comparison of aspect ratios......Page 55
Aspect ratio......Page 56
Frame rates......Page 59
2. Image acquisition and presentation ......Page 60
Image state......Page 61
Entertainment programming......Page 63
Consumer electronics (CE) display......Page 65
3. Linear-light and perceptual uniformity......Page 68
Contrast......Page 69
Contrast ratio......Page 70
Perceptual uniformity......Page 71
The code 100Ž problem and nonlinear image coding......Page 72
Linear and nonlinear......Page 77
Linearity......Page 78
Decibels......Page 79
Quantization error......Page 81
Full-swing......Page 82
Studio-swing (footroom and headroom)......Page 83
Interface offset......Page 85
Processing coding......Page 86
Twos complement wrap-around......Page 87
Perceptual attributes......Page 88
History of display signal processing......Page 89
Relationship between signal and lightness......Page 92
Algorithm......Page 93
Effect of contrast and brightness on contrast and brightness......Page 97
An alternate interpretation......Page 100
Brightness and contrast controls in desktop graphics......Page 103
6. Raster images in computing......Page 106
Symbolic image description......Page 107
Raster images......Page 108
Image files......Page 113
ResolutionŽ in computer graphics......Page 114
7. Image structure......Page 116
Image reconstruction......Page 117
Sampling aperture......Page 119
Box distribution......Page 121
Gaussian distribution......Page 122
Flicker, refresh rate, and frame rate......Page 124
Introduction to scanning......Page 126
Scanning parameters......Page 127
Interlaced format......Page 129
Twitter......Page 130
Interlace and progressive......Page 131
Scanning notation......Page 133
Motion portrayal......Page 134
Video system taxonomy......Page 135
Conversion among systems......Page 136
Magnitude frequency response and bandwidth......Page 138
Visual acuity......Page 140
Viewing distance and angle......Page 141
Kell effect......Page 143
Resolution......Page 144
Viewing distance......Page 145
Interlace revisited......Page 146
10. Constant luminance......Page 148
The principle of constant luminance......Page 149
Compensating for the CRT......Page 150
Departure from constant luminance......Page 151
Luma......Page 152
LeakageŽ of luminance into chroma......Page 153
11. Picture rendering......Page 156
Surround effect......Page 157
Incorporation of rendering......Page 158
Rendering in desktop computing......Page 160
Luma......Page 162
Sloppy use of the term luminance......Page 163
Colour difference coding (chroma)......Page 164
Chroma subsampling......Page 165
Chroma subsampling notation......Page 166
Chroma subsampling filters......Page 168
Chroma in composite NTSC and PAL......Page 169
Scanning standards......Page 170
Square and nonsquare sampling......Page 174
Resampling......Page 175
14. Introduction to composite NTSC and PAL......Page 176
NTSC and PAL encoding......Page 177
Frequency interleaving......Page 178
Composite analog SD......Page 180
HD scanning......Page 182
Colour coding for BT.709 HD......Page 185
Data compression......Page 188
Lossy compression......Page 189
JPEG......Page 190
JPEG 2000......Page 191
Mezzanine compression......Page 192
MPEG......Page 193
Picture coding types (I, P, B)......Page 194
Reordering......Page 197
MPEG-2......Page 198
MPEG IMX......Page 199
MPEG-4......Page 200
WM9, WM10, VC-1 codecs......Page 201
HDV......Page 202
Dirac (basic)......Page 203
17. Streams and files......Page 204
Historical overview......Page 205
Stream interfaces......Page 207
IEEE 1394 (FireWire, i.LINK)......Page 208
HTTP live streaming (HLS)......Page 209
18.Metadata......Page 212
Metadata Example 1: CD-DA......Page 213
Metadata Example 2: .yuv files......Page 214
Metadata Example 3: RFF......Page 215
Metadata Example 4: JPEG/JFIF......Page 216
Metadata Example 5: Sequence display extension......Page 217
Conclusions......Page 220
S3D display......Page 222
Anaglyph......Page 223
Polarization......Page 224
Wavelength multiplexing (Infitec/Dolby)......Page 225
Lenticular display......Page 226
Consumer interface and display......Page 227
Ghosting......Page 228
Vergence and accommodation......Page 229
Part 2: Theory......Page 230
20. Filtering and sampling......Page 232
Sampling theorem......Page 233
Sampling at exactly 0.5fS......Page 234
Magnitude frequency response......Page 237
Magnitude frequency response of a boxcar......Page 238
The sinc weighting function......Page 239
Frequency response of point sampling......Page 240
Fourier transform pairs......Page 241
Digital filters......Page 243
Finite impulse response (FIR) filters......Page 248
Physical realizability of a filter......Page 249
Phase response (group delay)......Page 250
Infinite impulse response (IIR) filters......Page 251
Lowpass filter......Page 252
Digital filter design......Page 255
Reconstruction......Page 257
Reconstruction close to 0.5fS......Page 258
(sin x)/xŽ correction......Page 259
Further reading......Page 261
21.Resampling, interpolation,and decimation......Page 262
Oversampling......Page 265
Interpolation......Page 267
Lagrange interpolation......Page 268
Lagrange interpolation as filtering......Page 270
Polyphase interpolators......Page 272
Polyphase taps and phases......Page 273
Implementing polyphase interpolators......Page 274
Lowpass filtering in decimation......Page 275
22.Image digitization and reconstruction......Page 278
Spatial frequency domain......Page 279
Comb filtering......Page 282
Image presampling filters......Page 283
Image reconstruction filters......Page 284
Spatial (2-D) oversampling......Page 285
Adaptation......Page 288
Contrast sensitivity......Page 290
Contrast sensitivity function (CSF)......Page 292
Radiance, intensity......Page 296
Luminance......Page 297
Luminance from red, green, and blue......Page 299
Lightness (CIE L*)......Page 300
25. The CIE system of colorimetry......Page 306
Definitions......Page 307
Spectral power distribution (SPD) and tristimulus......Page 308
Spectral constraints......Page 309
CIE XYZ tristimulus......Page 313
CIE [x, y] chromaticity......Page 316
Blackbody radiation......Page 317
Colour temperature......Page 318
White......Page 319
Perceptually uniform colour spaces......Page 321
CIE L*a*b* (CIELAB)......Page 324
CIE L*u*v* and CIE L*a*b* summary......Page 325
Further reading......Page 326
26. Colour science for video......Page 328
Additive reproduction (RGB)......Page 329
BT.709 primaries......Page 331
Leggacy SD primaries......Page 334
AMPAS ACES primaries......Page 335
SMPTE/DCI P3 primaries......Page 336
CMFs and SPDs......Page 337
Normalization and scaling......Page 340
Luminance coefficients......Page 347
Transformations between RGB and CIE XYZ......Page 348
Noise due to matrixing......Page 349
Transforms among RGB systems......Page 350
Display white reference......Page 351
Gamut......Page 352
Free Scale Gamut, Free Scale Log (FS-Gamut, FS-Log)......Page 353
Further reading......Page 354
27. Gamma......Page 356
Gamma in CRT physics......Page 357
Gamma in video......Page 359
BT.709 OECF......Page 361
SMPTE 240M OECF......Page 363
sRGB transfer function......Page 364
Transfer functions in SD......Page 365
Bit depth requirements......Page 366
Estimating gamma......Page 367
Gamma in video, CGI, and Macintosh......Page 369
Gamma in pseudocolour......Page 373
Linear and nonlinear coding in CGI......Page 374
Colour acuity......Page 376
RGB and RGB colour cubes......Page 378
Conventional luma/colour difference coding......Page 382
Luminance and luma notation......Page 383
Nonlinear red, green, blue (RGB)......Page 386
BT.709 luma......Page 387
Luma/colour difference summary......Page 388
SD and HD luma chaos......Page 391
Luma/colour difference component sets......Page 393
Part 3: Practical matters......Page 396
29. Component video colour coding for SD......Page 398
PBPR components for SD......Page 400
CBCR components for SD......Page 402
YCBCR from studio RGB......Page 405
Full-swingŽ YCBCR......Page 406
YUV, YIQ confusion......Page 408
B-Y, R-Y components for BT.709 HD......Page 410
PBPR components for BT.709 HD......Page 411
CBCR components for BT.709 HD......Page 412
CBCR components for xvYCC......Page 414
YCBCR from computer RGB......Page 415
Conversions between HD and SD......Page 416
Colour coding standards......Page 417
Edge treatment......Page 418
Transition samples......Page 419
Picture lines......Page 420
Choice of SAL and SPW parameters......Page 421
Setup (pedestal)......Page 422
Enhancement......Page 424
Coring......Page 426
Mixing and keying......Page 428
Field rate......Page 430
Line rate......Page 431
NTSC colour subcarrier......Page 432
4fSC sampling......Page 434
Common sampling rate......Page 435
Numerology of HD scanning......Page 436
Audio rates......Page 439
Introduction......Page 440
Dropframe timecode......Page 441
Editing......Page 442
Timecode structure......Page 443
Further reading......Page 445
34.2-3 pulldown......Page 446
2-3-3-2 pulldown......Page 448
Conversion of film to different frame rates......Page 449
Native 24 Hz coding......Page 452
Conversion to other rates......Page 453
Spatial domain......Page 454
Vertical-temporal domain......Page 456
Motion adaptivity......Page 457
Further reading......Page 459
SD colourbars......Page 460
Pluge element......Page 462
Composite decoder adjustment using colourbars......Page 463
HD colourbars......Page 464
Part 4 :Studio standards......Page 466
37. Reference display and viewing conditions......Page 468
References......Page 469
38.SDI and HD-SDI interfaces......Page 470
Component digital SD interface (BT.601)......Page 471
Component digital HD-SDI......Page 473
SDI and HD-SDI sync, TRS, and ancillary data......Page 474
TRS in 4:2:2 SD-SDI......Page 475
TRS in HD-SDI......Page 477
Ancillary data......Page 478
SDI coding......Page 480
HD-SDI coding......Page 481
SDTI......Page 482
Timing in digital facilities......Page 483
Summary of digital interfaces......Page 484
Interlace......Page 486
Field/frame sync......Page 488
RGB EOCF and primaries......Page 489
Picture center, aspect ratio, and blanking......Page 491
Halfline blanking......Page 492
Component analog RGB interface......Page 493
Component analog YPBPR interface, EBU N10......Page 494
Component analog YPBPR interface, industry standard......Page 496
Interlace......Page 498
Analog field/frame sync......Page 500
RGB EOCF and primaries......Page 501
Picture center, aspect ratio, and blanking......Page 503
Component digital 4:2:2 interface......Page 504
Component analog 576i interface......Page 505
Scanning......Page 508
Analog sync......Page 509
RGB EOCF and primaries......Page 510
Component digital 4:2:2 interface......Page 512
Scanning......Page 514
Analog sync......Page 516
RGB EOCF and primaries......Page 519
Component digital 4:2:2 interface......Page 521
43.HD videotape......Page 522
DVCPRO HD (D-12)......Page 523
HDCAM SR (D-16)......Page 524
44. Component analog HD interface......Page 526
Pre- and postfiltering characteristics......Page 528
Part 5 : Video compression......Page 530
45. JPEG and motion-JPEG (M-JPEG) compression......Page 532
JPEG blocks and MCUs......Page 533
JPEG block diagram......Page 535
Discrete cosine transform (DCT)......Page 536
JPEG encoding example......Page 537
JPEG decoding......Page 541
Compression ratio control......Page 542
JPEG/JFIF......Page 543
Motion-JPEG (M-JPEG)......Page 544
Further reading......Page 545
46.DV compression......Page 546
DV chroma subsampling......Page 547
DV frame/field modes......Page 548
DV overflow scheme......Page 549
DV quantization......Page 551
DV digital interface (DIF)......Page 552
Professional DV variants......Page 553
47.MPEG-2 video compression......Page 554
MPEG-2 profiles and levels......Page 555
Picture structure......Page 558
Frame rate and 2-3 pulldown in MPEG......Page 559
Luma and chroma sampling structures......Page 560
Picture coding types … I, P, B......Page 561
Prediction......Page 562
Motion vectors (MVs)......Page 565
Frame and field DCT types......Page 566
Zigzag and VLE......Page 568
Motion estimation......Page 569
Rate control and buffer management......Page 572
Bitstream syntax......Page 574
Further reading......Page 576
48.H.264 video compression......Page 578
Algorithmic features, profiles, and levels......Page 579
Baseline and extended profiles......Page 581
Multiple reference pictures......Page 582
Flexible motion compensation......Page 583
16-bit integer transform......Page 584
Variable-length coding......Page 585
Deblocking filter......Page 587
Scalable video coding (SVC)......Page 588
Further reading......Page 589
49.VP8 compression......Page 590
Algorithmic features......Page 591
Further reading......Page 593
Part 6 : Distribution standards......Page 594
50.MPEG-2 storage and transport......Page 596
MPEG-2 transport stream......Page 597
System clock......Page 598
Further reading......Page 599
51. Digital television broadcasting......Page 600
United States......Page 601
ATSC modulation......Page 602
Further reading......Page 604
Appendices......Page 606
Cement vs. concrete......Page 608
The misinterpretation of luminance......Page 609
The enshrining of luma......Page 611
Colour difference scale factors......Page 612
Conclusion: A plea......Page 613
B. Introduction to radiometry and photometry......Page 614
Radiometry......Page 615
Photometry......Page 616
Image science......Page 619
Units......Page 620
Further reading......Page 621
Glossary......Page 622
Index......Page 710
About the author......Page 750