Compression for Great Video and Audio: Master Tips and Common Sense

Compression for Great Video and Audio: Master Tips and Common Sense, 2nd Edition......Page 1
Copyright Page......Page 2
Introduction......Page 3
How This Book is Organized......Page 6
Acknowledgments from the First Edition......Page 7
Acknowledgments from the Second Edition......Page 8
My DVD is All Flashing and Stroby Whenever There’s Motion......Page 9
My Audio Sounds Terrible......Page 10
Users Don’t Have the Right Player to See My Content......Page 11
My Users Keep Getting “Buffering” Errors or Pauses in Playback......Page 12
What Light Is......Page 13
What the Eye Does......Page 14
How the Brain Sees......Page 17
How We Perceive Color......Page 18
How We Perceive White......Page 19
How We Perceive Space......Page 20
How We Perceive Motion......Page 21
What Sound Is......Page 22
How the Ear Works......Page 24
What We Hear......Page 25
Summary......Page 26
Sampling Space......Page 27
Nyquist Frequency......Page 28
Quantizing video......Page 31
Gradients and Beyond 8-bit......Page 33
RGB......Page 34
Y\' CbCr......Page 35
4:1:1 Sampling......Page 37
CMYK Color Space......Page 38
Indexed Color......Page 39
16-bit Color (High Color/Thousands of Colors/555/565)......Page 40
12-bit 4:4:4......Page 42
32-bit Floating-point......Page 43
20-bit Audio......Page 44
Quantization Errors......Page 45
Any Number Can Be Turned Into Bits......Page 47
The More Efficient the Coding, the More Random the Output......Page 48
General-Purpose Compression Isn’t Ideal......Page 49
Spatial Compression Basics......Page 50
Advanced Lossless Compression with LZ77 and LZW......Page 51
Arithmetic Coding......Page 52
The DCT......Page 53
DCT quantization......Page 56
Scale factor and the quantization parameter......Page 59
Chroma Coding and Macroblocks......Page 61
Finishing the Frame......Page 62
Prediction......Page 63
Motion Estimation......Page 64
Bidirectional Prediction......Page 65
Perceptual Optimizations......Page 67
Wavelet Compression......Page 68
Fractal Compression......Page 69
Sub-Band Compression......Page 70
Audio Rate Control......Page 72
Content......Page 73
Audience......Page 74
Balanced Mediocrity......Page 75
Postproduction......Page 76
Preprocessing......Page 77
Delivery......Page 78
Introduction......Page 79
NTSC......Page 80
PAL......Page 81
Preproduction......Page 82
Interlaced is dead. Shoot progressive......Page 83
Produce in the right aspect ratio......Page 84
Record DV audio in 48 kHz 16-bit......Page 85
Use a slow shutter speed......Page 86
Limit camera motion......Page 87
Subsampled vs. full raster......Page 88
Tape vs. solid state vs. cable......Page 89
Production codecs......Page 90
Post-only formats......Page 93
Coaxial......Page 96
Component Y\' CbCr......Page 97
DVI......Page 98
FireWire......Page 99
Audio Connections......Page 100
Balanced......Page 101
Optical......Page 102
Capturing Component Analog......Page 103
Capturing via VGA......Page 104
Capturing via screen scraping......Page 105
Motion JPEG......Page 107
MPEG-2......Page 108
Drive Speed......Page 109
Use motion blur......Page 110
Render in the highest-quality mode......Page 111
Use simple backgrounds......Page 112
Watch that frame rate......Page 113
Know and stick to your color space......Page 114
Preprocessing......Page 115
Make It Look Good Before It Hits the Codec......Page 116
Decoding......Page 117
MPEG-2......Page 118
VC-1......Page 119
H.264......Page 120
Dithering......Page 121
Deinterlacing and Inverse Telecine......Page 122
Motion search adaptive......Page 123
Blend (a.k.a. “I hate my video, and want to punish it”)......Page 124
Telecined Video—Inverse Telecine......Page 125
Mixed Sources......Page 126
Edge Blanking......Page 127
Letterboxing......Page 129
When you have to add letterboxing......Page 130
Safe Areas......Page 131
Aspect Ratios......Page 133
Scaling Algorithms......Page 134
Bilinear......Page 135
Bicubic......Page 136
Super sampling......Page 137
Noise Reduction......Page 138
Low-Pass Filtering......Page 139
AVISynth......Page 140
Luma Adjustment......Page 141
Contrast......Page 142
Gamma Adjustment......Page 143
Saturation......Page 144
Frame Rate......Page 145
Normalization......Page 146
Audio Noise Reduction......Page 147
Profile......Page 149
Data Rates......Page 150
Compression Efficiency......Page 151
VBV: The fundamental constraint......Page 153
VBR for download......Page 154
Quality-limited VBR......Page 155
1-Pass......Page 156
1-Pass with lookahead......Page 158
2-Pass......Page 159
Frame Size......Page 160
Frame Rate......Page 161
Keyframe Rate/GOP Length......Page 163
Open/Closed GOP......Page 164
Encoder Complexity......Page 165
Choosing a Codec......Page 166
Availability......Page 167
General-Purpose Codecs vs. Speech Codecs......Page 169
Channels......Page 170
Fixed quality......Page 171
Additive VBR......Page 172
Sample Rate......Page 173
CBR vs. VBR......Page 174
MPEG-2......Page 175
Transport Stream......Page 176
MPEG-1 Video......Page 177
Interlaced Video......Page 178
“24p” in an interlaced stream......Page 179
What Happened to MPEG-3?......Page 180
Layer II......Page 181
MPEG-2 extensions to MPEG-1 Layer II......Page 182
Dolby Digital (AC-3)......Page 183
DTS (Digital Theater Systems)......Page 184
MPEG-1 for Universal Playback......Page 185
MPEG-2 for Broadcast......Page 186
ATSC......Page 187
352 from 704 from 720......Page 188
Get Field Order Straight......Page 189
Minimum Bitrate......Page 190
Canopus ProCoder......Page 191
Main Concept......Page 192
Scenario......Page 193
Tech Specs......Page 194
Encoding in Canopus Procoder/Rhozet Carbon Coder......Page 196
MP3 Rate Control Modes......Page 197
Mono......Page 198
LAME......Page 199
--preset......Page 200
MP3 Encoding Examples......Page 201
mp3Pro......Page 202
MPEG-4......Page 205
Boxes......Page 206
Fast-Start......Page 207
The tragedy of BIFS......Page 209
MPEG-4 Players......Page 210
VC-1......Page 211
Adaptive Multi-Rate (AMR)......Page 212
The DivX/Xvid Saga......Page 213
Why MPEG-4 Part 2?......Page 214
Lower Efficiency......Page 215
Global Motion Compensation......Page 216
Advanced Simple Profile......Page 217
MPEG-4 Part 2 Levels......Page 218
DivX......Page 219
Sorenson Media......Page 220
QuickTime......Page 221
Who Is My Audience?......Page 223
Encoding in MeGUI......Page 224
AAC Low Complexity\r......Page 227
Apple (QuickTime and iTunes)......Page 228
MPEG-4 Export vs. QuickTime Export......Page 229
Encoding strategies......Page 230
Coding Technologies (Dolby)......Page 232
Microsoft......Page 233
H.264......Page 235
Ubiquity......Page 236
Branded encoders and decoders (Built-in decoders are covered by Apple and Microsoft)......Page 237
What’s Unique About H.264?......Page 238
Strong In-Loop Deblocking......Page 239
Multiple Reference Frames......Page 241
Pyramid B-Frames......Page 242
Picture adaptive field-frame......Page 243
Quantization Weighting Matricies......Page 244
Constrained baseline......Page 245
High 10......Page 246
Scalable Video Coding profiles......Page 247
Spatial scalability......Page 248
Why not SVC?......Page 249
Flash......Page 250
Windows 7......Page 252
Bitrate......Page 253
Pyramid B-frames......Page 254
Main Concept......Page 255
Great performance......Page 257
Telestream......Page 258
QuickTime......Page 259
Scenario......Page 262
Tech Specs......Page 263
Encoding Settings......Page 264
H.265 and Next – Generation Video Codec......Page 266
Compatibility with Older Versions of Flash......Page 269
Lower Compression Efficiency......Page 270
Drop frames......Page 271
Image Smoothing......Page 272
Alpha Channel......Page 274
VP6 Options......Page 276
Compress alpha data......Page 277
Auto key frames enabled/key frame settings......Page 278
Minimum quality/override quantizers: maximum......Page 279
CBR settings......Page 280
MP3......Page 281
Adobe Media Encoder CS4......Page 282
Sorenson Squeeze......Page 283
What Is My Content?......Page 284
Settings......Page 285
Windows Media......Page 289
Not Supported on Target Platform......Page 290
Windows Media Player......Page 291
Profiles......Page 292
VC-1 and Windows Media Video 9......Page 294
Windows Media Video 8 (“WMV2”)......Page 295
Windows Media Audio Codecs......Page 296
Variable Bitrate (VBR)......Page 297
Windows Media for Progressive Download......Page 298
Live streaming......Page 299
Embedding Windows Media in a Web Page......Page 300
Windows Media Encoding Tools......Page 301
Windows Media Format SDK......Page 302
Windows 7......Page 303
Multithreaded Multiple Bitrate Encoding Hotfix (945170)......Page 304
Encoder Latency......Page 305
Encoders for Windows Media......Page 306
Expression Encoder......Page 307
Expression encoder notes......Page 308
Windows Media Encoder......Page 309
Flip4Mac......Page 310
Windows Media in Flip4Mac notes......Page 311
Episode......Page 312
WMSnoop......Page 313
What Is My Content?......Page 314
Settings......Page 315
Smooth Streaming......Page 317
Adaptive block size......Page 318
Overlap transform......Page 319
Intensity compensation......Page 320
Will Users Have to Install An Update If I Encode with VC-1?......Page 321
What was Complex Profile?......Page 322
Main Profile......Page 323
Transport independence......Page 324
Interlaced coding......Page 325
Levels in VC-1......Page 326
Smooth Streaming......Page 327
Blu-Ray......Page 329
Complexity......Page 330
Keyframe Rate......Page 331
Number of B-frames......Page 332
Lookahead rate control......Page 333
Overlap filter......Page 334
DQuant......Page 335
Motion search level......Page 336
Motion Search Range......Page 337
Number of Threads......Page 338
“Always-On” choices......Page 340
High-quality live settings......Page 341
Tools for VC-1......Page 342
Inlet Fathom......Page 343
Scenario......Page 345
Tech Specs......Page 347
Settings......Page 348
480p:......Page 349
Windows Media Audio 9.2 “Standard”......Page 353
Windows Media Audio 10 Pro (LBR)......Page 354
VoxWare MetaSound and MetaVoice......Page 359
Lower Compression Efficiency......Page 361
Ogg Vorbis......Page 362
Ogg FLAC......Page 363
Ogg Dirac......Page 364
Encoding OGV......Page 365
Tech Specs......Page 366
Settings......Page 367
Why RealMedia?......Page 369
RealPlayer......Page 370
SureStream......Page 371
RealVideo NGV......Page 372
Stereo Music: RealAudio 8......Page 373
RealProducer Basic......Page 374
Easy RealMedia Producer......Page 375
You Need High-Compression Efficiency......Page 379
Encoder......Page 380
Who Is My Audience?......Page 381
Settings......Page 382
Connection Speeds on the Web......Page 385
Kinds of Web Video......Page 386
Progressive Download......Page 387
Real-Time Streaming......Page 389
Adaptive Streaming......Page 393
Is Flash Dynamic Streaming Adaptive Streaming?......Page 396
Hosting Services......Page 397
Characteristics of Disc Playback......Page 407
DVD......Page 408
MPEG-2 for DVD......Page 409
Aspect Ratio......Page 410
Multi-Angle DVD......Page 411
PCM (mandatory)......Page 412
MPEG-2 Layer II (mythical)......Page 413
Replication......Page 414
Duplication......Page 415
Blu-Ray Tech Specs......Page 417
Blu-Ray Video Codecs......Page 418
PCM (mandatory)......Page 420
DTS Master Audio (optional)......Page 421
Duplication......Page 422
What Is My Content?......Page 424
Tech Specs......Page 425
Encoding in Compressor......Page 427
Encoding in Adobe Media Encoder......Page 430
Phones and Portable Media Players......Page 435
Consumer Electronics......Page 436
Why Portable Devices?......Page 437
Why CE Devices?......Page 438
Attached Storage via USB......Page 439
Adaptive Streaming to Devices......Page 440
Windows Media Player/Center and Zune......Page 441
iPod Classic/Nano/Touch and iPhone......Page 442
Zune......Page 444
Zune HD......Page 445
Xbox 360......Page 446
PlayStation Portable......Page 447
PlayStation 3......Page 448
MPEG-4 part 2......Page 449
AVI/DivX/Xvid......Page 450
Encoding for Devices......Page 451
Who Is My Audience?......Page 452
Tech Specs......Page 453
Expression Encoder......Page 454
Carbon......Page 455
VC-1......Page 461
Early Years: Flash 1–5......Page 469
The H.264 Era: Flash 9–10......Page 470
Excellent Codec Support......Page 471
Flash for Real-Time Streaming......Page 472
Dynamic Streaming......Page 473
Flash for Phones......Page 474
Formats and Codecs for Flash......Page 475
F4V......Page 476
H.264 in Flash......Page 477
Adobe Media Encoder......Page 478
Adobe Flash Media Live Encoder......Page 479
Tech Specs......Page 480
Carbon/AFMES Settings......Page 481
Adobe Media Encoder Settings......Page 484
NET......Page 485
Silverlight 2......Page 486
Uniform Cross-Platform/Browser Experience......Page 487
Silverlight Enhanced Movies......Page 488
Silverlight for Real-Time Streaming......Page 489
The Smooth Streaming File Format......Page 490
CBR Smooth Streaming: v1......Page 494
VBR Smooth Streaming: v2......Page 495
Authoring Smooth Streaming......Page 496
Frame size......Page 498
Silverlight for Interactive Media......Page 499
Windows Media......Page 500
VC-1 and WMA......Page 501
Raw AV......Page 502
Digital Rapids......Page 503
Tech Specs......Page 504
Expression Encoder 3 Settings......Page 505
Windows 1–2......Page 509
Windows 95/98/Me......Page 510
Windows NT......Page 511
Windows XP......Page 512
Ben Waggoner Joins Microsoft......Page 513
Windows 7......Page 514
Video for Windows......Page 515
DirectShow......Page 516
ffdshow......Page 517
Haali Media Splitter......Page 518
Protected Media Path......Page 519
Windows Media Player......Page 520
Silverlight (Is Not a Media Player)......Page 521
AVI......Page 522
RGB......Page 523
DV25......Page 524
IMA/Microsoft ADPCM......Page 525
DivX/Xvid......Page 526
DVR-MS......Page 527
MPEG-4......Page 528
VirtualDub......Page 529
Macintosh II......Page 535
Formation of Avid, Digidesign, and Radius......Page 536
PowerPC Switch......Page 537
QuickTime v3......Page 538
The G3 Era and the PC Convergence......Page 539
QuickTime 5......Page 540
Mac OS X, Finally for Real......Page 541
QuickTime 7 and H.264......Page 542
Reduced Focus on the Mac and Professional Content Creation......Page 543
The Future: Snow Leopard and QuickTime X......Page 544
Introduction to QuickTime......Page 547
Audio......Page 548
MPEG-1......Page 549
Text......Page 550
QuickTime VR......Page 551
Delivering Files in QuickTime......Page 552
QuickTime for Progressive Download......Page 553
QuickTime for RTSP......Page 554
HTTP Live Streaming......Page 555
The Standard QuickTime Compression Dialog......Page 557
QuickTime Alternate Movies......Page 559
Alternates Parameters......Page 560
Priority......Page 561
Authoring Alternates......Page 562
MPEG-4......Page 563
Sorenson Video 3......Page 564
ProRes......Page 565
MPEG IMX (Final Cut)......Page 566
PNG......Page 567
iLBC......Page 568
IMA......Page 569
Flip4Mac......Page 570
Flash Encoding......Page 571
Sorenson Squeeze......Page 572
ProCoder/Carbon......Page 573
Settings in QuickTime Player Pro......Page 574
A......Page 579
C\r......Page 580
D\r......Page 581
F\r......Page 582
H\r......Page 583
M......Page 584
P......Page 586
Q......Page 587
S......Page 588
U......Page 589
W......Page 590
Z......Page 591
Workstation......Page 592
Platforms......Page 593
Compression Systems......Page 594
32-bit vs. 64-bit......Page 595
The post-CPU future?......Page 596
Input Format Support......Page 598
Output Format Support......Page 599
Metadata......Page 600
Felicities......Page 601
QuickTime Player Pro (Mac and Windows)......Page 602
Input format support......Page 603
Output format support......Page 604
Disclosure......Page 605
TMPGEnc Xpress (Windows)......Page 606
Metadata......Page 608
Output format support......Page 609
Live capture support......Page 610
Input format support......Page 612
Preprocessing......Page 613
Output format support......Page 614
Speed......Page 615
Live capture support......Page 616
Preprocessing......Page 617
Output format support......Page 618
Metadata......Page 619
Disclosure......Page 620
Input format support......Page 621
Output format support......Page 622
Disclosure......Page 623
Sorenson Squeeze (Mac and Windows)......Page 624
Preprocessing......Page 625
Automation......Page 627
Preprocessing......Page 628
Live capture support......Page 629
Preprocessing......Page 630
Output format support......Page 632
MeGUI......Page 633
Automation......Page 634
Disclosure......Page 635
Color Plates......Page 638