Intelligent Video Surveillance Systems

Title Page\r......Page 2
Contents\r......Page 4
Introduction\r......Page 12
1.1. Half a century ago......Page 18
1.2. The use of images......Page 20
1.3. Strengths and weaknesses of image processing......Page 21
1.3.2. What are the problems that image processing has overcome?......Page 22
1.4. What is left for the future?......Page 23
1.5. Bibliography......Page 26
2.1. Introduction......Page 29
2.2.1. Needs analysis......Page 31
2.2.2. Which architectures?......Page 32
2.2.3. Detection and analysis of complex events......Page 33
2.2.4. Surveillance of outside infrastructures......Page 36
2.3. Onboard surveillance......Page 37
2.3.1. Surveillance of buses......Page 38
2.3.2. Applications to railway transport......Page 39
2.4. Conclusion......Page 44
2.5. Bibliography......Page 46
3.1. Introduction......Page 48
3.2.1. Prevention and security......Page 49
3.2.2. Information gathering......Page 50
3.3. Collection and storage of data......Page 51
3.3.2. Attempts at standardization AFNOR and ISO......Page 52
3.4.1. Content-based indexing......Page 54
3.4.2. Assisted investigation tools......Page 58
3.5. Conclusion......Page 59
3.6. Bibliography......Page 60
4.1. Introduction......Page 61
4.2.1. Financial constraints......Page 62
4.3. Nature of the information captured......Page 63
4.3.1. Spectral bands......Page 64
4.3.2. 3D or “2D + Z? imaging......Page 65
4.4. Video formats......Page 67
4.5. Technologies......Page 69
4.6.1. From analog to digital......Page 71
4.6.2. The advent of IP......Page 73
4.6.3. Standards......Page 74
4.7. Smart cameras......Page 75
4.8. Conclusion......Page 76
4.9. Bibliography......Page 77
5.1. Introduction......Page 79
5.2.1. Analog video signals......Page 80
5.2.2. Digital video: standard definition......Page 81
5.2.3. High definition......Page 82
5.2.4. The CIF group of formats......Page 83
5.3.1. Spatial redundancy......Page 84
5.3.2. Temporal redundancy......Page 87
5.4.1. MPEG-2......Page 88
5.4.2. MPEG-4 Part 2......Page 89
5.4.3. MPEG-4 Part 10/H.264 AVC......Page 91
5.4.4. MPEG-4 Part 10/H.264 SVC......Page 93
5.4.5. Motion JPEG 2000......Page 94
5.4.6. Summary of the formats used in video surveillance......Page 96
5.5. Conclusion......Page 97
5.6. Bibliography......Page 98
6.1. Introduction......Page 101
6.2.1. Use of transformed coefficients in the frequency domain......Page 102
6.2.2. Use of motion estimation......Page 104
6.2.3. Hybrid approaches......Page 105
6.3. Uses of analysis of the compressed domain......Page 107
6.3.1. General architecture......Page 108
6.3.2. Functions for which compressed domain analysis is reliable......Page 110
6.3.3. Limitations......Page 111
6.4. Conclusion......Page 114
6.6. Bibliography......Page 115
7.1. Introduction......Page 117
7.2.1. Object detection using background modeling......Page 118
7.2.2. Motion-based detection of objects of interest......Page 121
7.3.1. Detection by geometric modeling......Page 123
7.3.2. Detection by visual modeling......Page 125
7.4. Conclusion......Page 131
7.5. Bibliography......Page 132
8.1. Introduction......Page 136
8.2.1. Geometry......Page 137
8.2.2. Characteristics of appearance......Page 138
8.4.1. Deterministic approaches......Page 140
8.4.2. Probabilistic approaches......Page 141
8.5. Updating of the appearance models......Page 145
8.6.1. MHT and JPDAF......Page 148
8.6.2. MCMC and RJMCMC sampling techniques......Page 149
8.7. Object tracking using a PTZ camera......Page 151
8.7.2. Object tracking using a PTZ camera coupled with a static camera......Page 152
8.8. Conclusion......Page 154
8.9. Bibliography......Page 155
9.1. Introduction......Page 160
9.2.1. Introduction and applications......Page 161
9.2.2. Calibration and synchronization of a camera network......Page 163
9.2.3. Description of the scene by multi-camera aggregation......Page 166
9.3.1. Issues and applications......Page 168
9.3.2. Geometric and/or photometric calibration of a camera network......Page 169
9.3.3. Reidentification of objects of interest in a camera network......Page 170
9.3.4. Activity recognition/event detection in a camera network......Page 173
9.5. Bibliography......Page 174
10.1. Introduction......Page 178
10.2. The databases used for evaluation......Page 179
10.2.2. Databases of faces......Page 180
10.3.1. Face detection......Page 181
10.3.2. Face recognition in biometrics......Page 182
10.3.3. Application to video surveillance......Page 183
10.4.1. Methods developed for biometrics......Page 186
10.4.2. Application to video surveillance......Page 187
10.4.3. Systems for iris capture in videos......Page 189
10.5. Research projects......Page 190
10.6. Conclusion......Page 191
10.7. Bibliography......Page 192
11.1. Introduction......Page 196
11.2.1. Particular objects......Page 197
11.3. Vehicle modeling......Page 198
11.3.1. Wire models......Page 199
11.3.2. Global textured models......Page 200
11.3.3. Structured models......Page 201
11.4.1. A conventional sequential chain with limited performance......Page 202
11.4.2. Improving shape extraction......Page 203
11.4.3. Inferring 3D information......Page 204
11.4.4. Recognition without form extraction......Page 205
11.4.5. Toward a finer description of vehicles......Page 206
11.5.1. Moving observer......Page 207
11.5.2. Multiple observers......Page 208
11.7. Conclusion......Page 209
11.8. Bibliography......Page 210
12.1. Introduction......Page 214
12.2.1. Levels of abstraction......Page 215
12.2.2. Modeling and recognition of activities......Page 216
12.3. Ontology......Page 219
12.3.1. Objects of interest......Page 220
12.3.2. Scenario models......Page 221
12.3.3. Operators......Page 222
12.4. Suggested approach: the ScReK system......Page 223
12.5. Illustrations......Page 225
12.5.2. Modeling the behavior of elderly people......Page 226
12.7. Bibliography......Page 228
13.1. Introduction......Page 231
13.2.2. The PLSA model......Page 233
13.2.3. PLSA applied to videos......Page 235
13.3.1. PLSM model......Page 238
13.3.2. Motifs extracted by PLSM......Page 240
13.4.2. Anomaly detection......Page 242
13.4.3. Sensor selection......Page 243
13.6. Bibliography......Page 245
14.1. Introduction......Page 247
14.2. State of the art......Page 248
14.3. Pre-processing of the data......Page 249
14.4. Activity analysis and automatic classification......Page 250
14.4.1. Unsupervised learning of zones of activity......Page 251
14.4.2. Definition of behaviors......Page 254
14.4.3. Relational analysis......Page 255
14.5. Results and evaluations......Page 257
14.6. Conclusion......Page 260
14.7. Bibliography......Page 261
15.1. Introduction......Page 263
15.2.1. Crowd motion modeling and segmentation......Page 265
15.2.2. Estimating density of people in a crowded scene......Page 266
15.2.3. Crowd event modeling and recognition......Page 267
15.2.4. Detecting and tracking in a crowded scene......Page 268
15.3. Data-driven crowd analysis in videos......Page 269
15.3.2. Matching......Page 270
15.3.4. Experiments and results......Page 272
15.4. Density-aware person detection and tracking in crowds......Page 274
15.4.1. Crowd model......Page 275
15.4.2. Tracking detections......Page 276
15.4.3. Evaluation......Page 277
15.6. Acknowledgments......Page 280
15.7. Bibliography......Page 281
16.1. Introduction......Page 285
16.2.1. Overview......Page 287
16.2.2. Visual description......Page 288
16.2.3. Multiclass learning......Page 290
16.3. Fast shared boosting......Page 291
16.4.1. Detection of boats in the Panama Canal......Page 293
16.4.2. Detection of the visual context in video surveillance......Page 295
16.5. Conclusion......Page 297
16.6. Bibliography......Page 298
17.1. Introduction......Page 300
17.2. Use of video surveillance: approach and findings......Page 301
17.3. Current use contexts and new operational concepts......Page 303
17.4. Requirements in smart video processing......Page 304
17.5. Conclusion......Page 305
18.1. Introduction......Page 307
18.2.1. Applications......Page 308
18.2.2. Process......Page 309
18.3.1. Methodology......Page 313
18.3.2. Metrics......Page 315
18.3.3. Summary......Page 317
18.4. Toward a more generic evaluation......Page 319
18.4.1. Contrast......Page 320
18.5. The Quasper project......Page 322
18.6. Conclusion......Page 323
18.7. Bibliography......Page 324
List of Authors......Page 325
Index......Page 331