The H 264 Advanced Video Compression Standard

THE H.264 ADVANCED\nVIDEO COMPRESSION\nSTANDARD......Page 5
Contents......Page 9
About the Author......Page 15
Preface......Page 17
Glossary......Page 19
List of Figures......Page 23
List of Tables......Page 31
1.1 A change of scene......Page 33
1.4 Why H.264 Advanced Video Coding is important......Page 36
1.5 About this book......Page 37
1.6 Reference......Page 38
2.2 Natural video scenes......Page 39
2.3 Capture......Page 40
2.3.2 Temporal sampling......Page 41
2.3.3 Frames and fields......Page 43
2.4.1 RGB......Page 44
2.4.2 YCrCb......Page 45
2.4.3 YCrCb sampling formats......Page 46
2.5.1 Intermediate formats......Page 48
2.5.2 Standard Definition......Page 49
2.5.3 High Definition......Page 50
2.6 Quality......Page 51
2.6.1 Subjective quality measurement......Page 52
2.6.2 Objective quality measurement......Page 53
2.8 References......Page 56
3.1 Introduction......Page 57
3.2 Video CODEC......Page 58
3.3.1 Temporal prediction......Page 60
3.3.2 Spatial model: intra prediction......Page 70
3.4 Image model......Page 72
3.4.1 Predictive image coding......Page 73
3.4.2 Transform coding......Page 74
3.4.3 Quantization......Page 82
3.4.4 Reordering and zero encoding......Page 84
3.5.1 Predictive coding......Page 89
3.5.2 Variable-length coding......Page 90
3.5.3 Arithmetic coding......Page 97
3.6 The hybrid DPCM/DCT video CODEC model......Page 100
3.8 References......Page 111
4.2.1 A video compression format......Page 113
4.2.2 An industry standard......Page 114
4.3 How does an H.264 codec work?......Page 115
4.3.1 Encoder processes......Page 117
4.3.2 Decoder processes......Page 121
4.4 The H.264/AVC Standard......Page 123
4.5 H.264 Profiles and Levels......Page 124
4.6 The H.264 Syntax......Page 126
4.7.1 Performance......Page 129
4.9 References......Page 130
5.1.1 A note about syntax examples......Page 131
5.2 H.264 syntax......Page 132
5.3 Frames, fields and pictures......Page 133
5.3.2 Display order......Page 136
5.3.3 Reference picture lists......Page 138
5.3.4 Frame and field coding......Page 143
5.4 NAL unit......Page 146
5.5 Parameter Sets......Page 147
5.6.2 Slice header......Page 149
5.6.3 Slice data......Page 150
5.7.1 Overview......Page 151
5.7.2 The Intra PCM mode......Page 153
5.7.3 Macroblock prediction......Page 154
5.7.4 Residual data......Page 156
5.7.5 Macroblock syntax examples......Page 159
5.8 Summary......Page 166
5.9 References......Page 167
6.2 Macroblock prediction......Page 169
6.3 Intra prediction......Page 170
6.3.1 4 × 4 luma prediction modes......Page 175
6.3.2 16 × 16 luma prediction modes......Page 178
6.3.3 Chroma prediction modes......Page 179
6.3.5 Signalling intra prediction modes......Page 180
6.4 Inter prediction......Page 181
6.4.1 Reference pictures......Page 183
6.4.2 Interpolating reference pictures......Page 184
6.4.3 Macroblock partitions......Page 189
6.4.4 Motion vector prediction......Page 190
6.4.5 Motion compensated prediction......Page 194
6.4.6 Inter prediction examples......Page 196
6.4.7 Prediction structures......Page 201
6.5 Loop filter......Page 203
6.5.1 Boundary strength......Page 204
6.5.2 Filter decision......Page 205
6.5.4 Loop filter example......Page 206
6.7 References......Page 209
7.2.1 The H.264 transforms......Page 211
7.2.2 Transform processes......Page 212
7.2.3 Integer transform and quantization: 4 × 4 blocks......Page 217
7.2.4 Integer transform and quantization: 8 × 8 blocks......Page 230
7.2.5 DC transforms......Page 235
7.2.6 Transform and quantization extensions in the High profiles......Page 236
7.3 Block scan orders......Page 238
7.4 Coding......Page 239
7.4.1 Exp-Golomb Coding......Page 240
7.4.2 Context Adaptive Variable Length Coding, CAVLC......Page 242
7.4.3 Context Adaptive Binary Arithmetic Coding, CABAC......Page 249
7.5 Summary......Page 252
7.6 References......Page 253
8.2 Conforming to the Standard......Page 255
8.2.1 Profiles......Page 256
8.2.2 Levels......Page 258
8.2.3 Hypothetical Reference Decoder......Page 262
8.2.4 Conformance testing......Page 268
8.3.1 Redundant slices......Page 269
8.3.3 Slice Groups/Flexible Macroblock Order (FMO)......Page 270
8.3.4 SP and SI slices......Page 272
8.3.5 Data partitioned slices......Page 275
8.4.1 Encapsulation in RBSPs, NALUs and packets......Page 276
8.4.2 Transport protocols......Page 277
8.4.4 Coding and transport issues......Page 279
8.6 Licensing H.264/AVC......Page 280
8.6.1 Video coding patents......Page 282
8.6.3 Licensing H.264/AVC patents......Page 284
8.8 References......Page 285
9.1 Introduction......Page 287
9.2.1 The JM Reference Software......Page 288
9.2.2 Other software encoders/decoders......Page 293
9.2.3 H.264 stream analysis......Page 295
9.3.2 Performance examples: Foreman sequence, QCIF resolution......Page 297
9.3.3 Performance examples: Foreman and Container sequences......Page 301
9.3.4 Performance examples: Inter prediction structures......Page 303
9.3.5 Performance example: H.264 vs. MPEG-4 Visual......Page 305
9.4 Rate control......Page 306
9.4.1 Rate control in the JM reference encoder......Page 308
9.5 Mode selection......Page 311
9.5.1 Rate Distortion Optimized mode selection......Page 313
9.6.1 Approximating the cost function......Page 315
9.6.2 Reducing the set of tested modes......Page 316
9.8 References......Page 317
10.1 Introduction......Page 319
10.2.1 Simulcast transmission......Page 320
10.2.2 Scalable transmission......Page 321
10.2.4 Scalable Video Coding in H.264......Page 322
10.2.5 Temporal scalability......Page 324
10.2.8 Spatial scalability in detail......Page 326
10.2.9 Quality scalability in detail......Page 330
10.2.11 SVC performance......Page 331
10.3 Multiview Video Coding......Page 334
10.3.1 H.264 Multiview Video Coding......Page 336
10.4 Configurable Video Coding......Page 338
10.4.1 MPEG Reconfigurable Video Coding......Page 339
10.4.2 Fully Configurable Video Coding......Page 340
10.6 Summary......Page 342
10.7 References......Page 343
Index......Page 345