Smoothing of Multivariate Data: Density Estimation and Visualization (Wiley Series in Probability and Statistics)

Smoothing of Multivariate Data: Density Estimation and Visualization......Page 6
CONTENTS......Page 8
Preface......Page 20
1.1 Smoothing......Page 22
1.2 Visualization......Page 23
1.3 Density Estimation......Page 27
1.6 Bibliographic Notes......Page 28
PART I VISUALIZATION......Page 30
1 Visualization of Data......Page 32
1.1.2 Projections......Page 34
1.1.4 Slices......Page 35
1.1.5 Prosections......Page 36
1.1.6 Subsetting......Page 37
1.2.1 Line Plot, ID Scatter Plot, Index Plot, Time Series Plot......Page 38
1.2.2 Empirical Distribution Function and Tail Plot......Page 41
1.2.3 PP-Plot and QQ-Plot......Page 43
1.2.4 Box Plot......Page 45
1.3 Parallel Level Plots......Page 46
1.3.2 One-dimensional Curves......Page 48
1.3.3 Point Clouds......Page 50
1.4.1 Bar Matrix......Page 52
1.4.2 Index Plot Matrix......Page 55
1.5.1 Parallel Coordinate Plots......Page 57
1.5.2 Multivariate Time Series......Page 59
1.5.4 Faces......Page 61
1.6 Linking Across Dimensions......Page 62
1.7.1 Location......Page 64
1.7.2 Dispersion......Page 69
1.8.1 Principal Components......Page 70
1.8.2 Projection Pursuit......Page 72
1.8.3 Self-organizing Maps......Page 73
1.8.4 Multidimensional Scaling......Page 74
2 Visualization of Functions......Page 76
2.1.1 One-dimensional Functions......Page 77
2.1.2 Two-and Three-dimensional Functions......Page 81
2.1.3 Dimension Reduction of Functions......Page 84
2.2 Visualization of the Spread......Page 96
2.2.1 Density Type Visualizations......Page 97
2.2.2 Distribution Function Type Visualizations......Page 102
2.3.1 Visualization of High-dimensional Functions......Page 108
2.3.2 Visualization of the Spread of Multivariate Densities......Page 110
3 Visualization of Trees......Page 112
3.1.1 Spatial Tree......Page 113
3.1.2 Spatial Tree Plot......Page 114
3.1.3 Colors and Labels......Page 115
3.2.1 Function Tree......Page 116
3.2.2 Function Tree Plot......Page 117
3.3 Bibliographic Notes......Page 119
4 Level Set Trees......Page 122
4.1 Definition of a Level Set Tree......Page 123
4.2.1 Volume Transform and Volume Function......Page 130
4.2.2 A Limit Volume Function......Page 133
4.3 Barycenter Plot......Page 135
4.4.1 Mode Isomorphism......Page 138
4.4.2 Skewness and Kurtosis......Page 144
4.5.2 Four-dimensional Example......Page 145
4.6.1 Morse Theory......Page 147
4.6.2 Reeb Graphs......Page 151
Exercises......Page 152
5 Shape Trees......Page 156
5.1 Functions and Sets......Page 157
5.2 Definition of a Shape Tree......Page 158
5.3 Shape Transforms......Page 162
5.3.1 Radius Transform......Page 163
5.3.3 Probability Content Transform......Page 165
5.4 Location Plot......Page 169
5.5.2 Radius Function versus Probability Content Function......Page 172
5.5.3 Choice of the Metric......Page 174
5.6.2 Multimodality of Level Sets......Page 175
5.7 Shapes of Densities......Page 177
5.8.1 A 2D Volume Function......Page 178
5.8.2 A 2D Probability Content Function......Page 180
6 Tail Trees......Page 184
6.1.1 Connected Sets and Single Linkage Clustering......Page 187
6.1.2 Definition of a Tail Tree......Page 188
6.2.1 Definition of a Tail Tree Plot......Page 192
6.2.2 Examples of Tail Tree Plots......Page 196
6.3 Tail Frequency Plot......Page 202
6.4 Segmentation of Data......Page 207
6.5.1 Other Tree Structures......Page 209
6.5.2 Database Exploration......Page 210
7 Scales of Density Estimates......Page 212
7.1 Multiframe Mode Graph......Page 213
7.2 Branching Map......Page 215
7.2.4 Branching Profile......Page 217
7.2.5 Branching Map......Page 219
7.3.2 Mode Testing......Page 221
8 Cluster Analysis......Page 224
8.1.1 Algorithms......Page 226
8.1.2 Visualization......Page 228
8.1.3 Population Interpretation......Page 234
8.2.1 Algorithms......Page 235
8.2.3 Population Interpretation......Page 237
8.2.4 Bibliographic Notes......Page 240
8.3.1 Population Interpretation......Page 242
8.3.3 Visualization......Page 244
8.4.2 Algorithms......Page 246
8.4.3 Visualization......Page 247
PART II ANALYTICAL AND ALGORITHMIC TOOLS......Page 250
9 Density Estimation......Page 252
9.1.2 Density Estimator......Page 253
9.2.1 Data Sphering......Page 254
9.2.3 Illustrations......Page 255
9.3 Settings of Density Estimation......Page 256
9.3.1 Locally Identically Distributed Observations......Page 259
9.3.2 Quantifying Dependence......Page 262
9.3.3 Serial Dependency......Page 269
9.3.4 Inverse Problems......Page 270
9.4 Related Topics......Page 277
9.4.1 Regression Function Estimation......Page 278
9.4.3 The Gaussian White Noise Model......Page 281
Exercises......Page 284
10 Density Classes......Page 286
10.1.1 ID Parametric Families......Page 287
10.1.2 Structural Restrictions......Page 289
10.1.3 Elliptical Densities......Page 291
10.1.4 Copulas......Page 293
10.1.5 Skewed Densities......Page 314
10.2.1 Sobolev Classes......Page 315
10.2.3 Besov Classes......Page 318
10.2.4 Spaces of Dominating Mixed Derivatives......Page 322
10.2.5 Convex Hulls and Infinite Mixtures......Page 323
10.3 Covering and Packing Numbers......Page 324
10.3.1 Definitions......Page 325
10.3.2 Finite Dimensional Sets......Page 326
10.3.3 Ellipsoids......Page 327
10.3.4 Global and Local δ-Nets......Page 331
10.3.5 Varshamov-Gilbert Bound......Page 334
10.3.6 δ-Packing Sets: Sobolev and Besov......Page 336
10.3.7 δ-Packing Set: Dominating Mixed Derivatives......Page 339
Exercises......Page 342
11 Lower Bounds......Page 344
11.1.1 Minimax Risk......Page 345
11.1.2 Loss Functions......Page 347
11.1.3 Historical Notes......Page 349
11.2.1 The Main Idea......Page 350
11.2.2 Lower Bounds for the Classification Error......Page 351
11.2.3 Lower Bounds for the Rate of Convergence......Page 356
11.3.1 Sobolev Spaces and Anisotropic Besov Spaces......Page 359
11.3.3 Inverse Problems......Page 361
11.4 Bibliographic Notes......Page 364
Exercises......Page 365
12 Empirical Processes......Page 366
12.1.1 Bernstein\'s Inequality......Page 367
12.1.3 Chaining......Page 368
12.2.2 L2-ball......Page 372
12.2.3 Chaining......Page 373
12.2.4 Application of Exponential Inequalities......Page 374
Exercises......Page 375
13.1.1 Evaluation Trees......Page 376
13.2 Constructing Visualization Trees......Page 380
13.2.1 Leafs First......Page 381
13.2.2 Roots First......Page 384
Exercises......Page 388
PART III TOOLBOX OF DENSITY ESTIMATORS......Page 390
14 Local Averaging......Page 392
14.1 Curse of Dimensionality......Page 393
14.2.2 Average Shifted Histogram......Page 394
14.3.1 Definitions of Kernel Estimators......Page 395
14.3.2 Rates of Convergence......Page 397
14.3.3 Inverse Problems......Page 408
14.3.4 Algorithms for Computing Kernel Estimates......Page 413
14.4.1 Definition of Nearest Neighbor Estimator......Page 415
14.5.1 Definition of Series Estimator......Page 416
14.5.2 Singular Value Decomposition......Page 418
Exercises......Page 419
15 Minimization Estimators......Page 420
15.1.1 Empirical Risk Functionals......Page 421
15.1.2 Minimization Estimators......Page 423
15.1.3 Bounds for the L2 Error......Page 425
15.1.4 Historical and Bibliographic Notes......Page 426
15.2.1 Definition of δ-Net Estimator......Page 428
15.2.2 An Upper Bound to MISE......Page 429
15.2.3 Rates of Convergence of δ-Net Estimator......Page 432
15.3.2 Gaussian White Noise......Page 436
15.3.3 Density Estimation......Page 439
15.3.4 Rates of Convergence of Dense Minimizer......Page 440
15.4 Series Estimators......Page 441
15.4.1 An Orthogonal Series Estimator......Page 442
15.4.2 A General Series Estimator......Page 444
15.4.3 Best Basis Estimator......Page 450
15.5.1 Definition of the Estimator......Page 453
15.5.3 MISE Bounds......Page 454
Exercises......Page 456
16 Wavelet Estimators......Page 458
16.2 Univariate Wavelet Bases......Page 459
16.2.1 Multiresolution Analysis......Page 460
16.2.2 The Haar Basis......Page 461
16.3 Multivariate Wavelet Bases......Page 462
16.3.1 Multiresolution Basis......Page 463
16.3.2 Anisotropie Basis......Page 465
16.4 Wavelet Estimators......Page 466
16.4.1 Linear Estimator......Page 467
16.4.2 Nonlinear Estimator......Page 469
16.4.3 Dominating Mixed Derivatives......Page 472
Exercises......Page 474
17 Multivariate Adaptive Histograms......Page 476
17.1.1 Definition......Page 478
17.1.2 Contrast Functions......Page 480
17.2.1 Definition......Page 484
17.2.2 Pruning Algorithms......Page 486
17.3 Bootstrap Aggregation......Page 489
17.4 Bibliographic Notes......Page 491
Exercises......Page 492
18 Best Basis Selection......Page 494
18.1.1 Dyadic Histogram......Page 495
18.1.2 Series Estimator......Page 498
18.1.3 Equivalence Between the Estimators......Page 500
18.2.1 Growing the Tree......Page 501
18.3.1 Statement of Theorem 18.2......Page 502
18.3.2 Proof of Theorem 18.2......Page 503
18.4 Bibliographic Notes......Page 510
Exercises......Page 511
19 Stagewise Minimization......Page 512
19.1 Stagewise Minimization Estimator......Page 513
19.2.1 Definition of the Estimator......Page 514
19.2.2 A Bound for the Empirical Risk......Page 516
19.2.3 A MISE Bound......Page 520
19.2.4 Rates of Convergence......Page 522
19.3.1 Boosting......Page 524
19.3.2 Stagewise Minimization with Adaptive Histograms......Page 527
19.4 Bibliographic Notes......Page 528
Exercises......Page 529
Appendix A: Notations......Page 530
B. 1.2 Multivariate Taylor Expansion......Page 532
B.2.3 Examples......Page 533
B.4 Differential Topology......Page 534
B.6 Volumes......Page 535
B.7.2 Rotation......Page 536
B.9 Convergence of Convolutions......Page 537
B.10.1 Singular Value Decomposition......Page 538
B.11 Projection Theorem......Page 539
B.12 Miscellaneous......Page 540
Appendix C: The Parent–Child Relations in a Mode Graph......Page 542
D.1 Graphs and Trees......Page 546
D.2.1 Pointer to the Parent......Page 547
D.2.2 Pointer to a Child and to a Sibling......Page 548
D.3.1 Segmentation......Page 549
D.3.2 Ordered Trees......Page 550
D.4.1 Dynamic Programming......Page 551
D.4.2 Minimization over Subtrees......Page 552
D.5 Pruning Algorithm......Page 553
E.1.1 Proofs of (10.43) and (10.44)......Page 556
E.2.1 Proof of Theorem 12.1......Page 558
E.2.2 Proof of Theorem 12.4......Page 559
E.2.3 Proof of Theorem 12.5......Page 561
E.2.5 Proof of Lemma 12.7......Page 567
E.2.7 Proof of Lemma 12.11......Page 568
E.2.9 Proof of Lemma 12.13......Page 570
E.3 Proofs for Chapter 16......Page 571
E.4.1 Proof of (18.26)......Page 572
E.4.2 Proof of Lemma 18.3......Page 577
Problem Solutions......Page 580
References......Page 604
Author Index......Page 620
Topic Index......Page 624