Deep learning architectures. A mathematical approach

Foreword......Page 6
 Part I......Page 8
 Part II......Page 9
 Part III......Page 10
 Part V......Page 11
 Bibliographical Remarks......Page 12
Chapters Diagram......Page 15
 Linear Algebra......Page 16
 Information Theory......Page 17
 Neural Networks......Page 18
Contents......Page 19
Part I Introduction to Neural Networks......Page 29
 1.1 Water in a Sink......Page 30
 1.2 An Electronic Circuit......Page 32
 1.3 The Eight Rooks Problem......Page 34
 1.4 Biological Neuron......Page 36
 1.5 Linear Regression......Page 38
 1.6 The Cocktail Factory Network......Page 41
 1.7 An Electronic Network......Page 42
 1.8 Summary......Page 44
 1.9 Exercises......Page 45
 2.1 Examples of Activation Functions......Page 47
 2.2 Sigmoidal Functions......Page 58
 2.3 Squashing Functions......Page 62
 2.4 Summary......Page 63
 2.5 Exercises......Page 64
 3.1 Input, Output, and Target......Page 66
 3.3 The $L2$-Error Function......Page 67
 3.4 Mean Square Error Function......Page 68
 3.5 Cross-entropy......Page 71
 3.6 Kullback-Leibler Divergence......Page 73
 3.8 Maximum Mean Discrepancy......Page 76
 3.9 Other Cost Functions......Page 79
 3.10 Sample Estimation of Cost Functions......Page 80
 3.11 Cost Functions and Regularization......Page 83
 3.12 Training and Test Errors......Page 84
 3.13 Geometric Significance......Page 88
 3.14 Summary......Page 90
 3.15 Exercises......Page 91
  4.1.1 Functions of a real variable......Page 94
  4.1.2 Functions of several real variables......Page 95
  4.2.1 Level sets......Page 98
  4.2.2 Directional derivative......Page 106
  4.2.3 Method of Steepest Descent......Page 107
  4.2.4 Line Search Method......Page 111
 4.3 Kinematic Interpretation......Page 115
 4.4 Momentum Method......Page 118
  4.4.1 Kinematic Interpretation......Page 119
  4.4.2 Convergence conditions......Page 123
 4.5 AdaGrad......Page 125
 4.6 RMSProp......Page 126
 4.7 Adam......Page 128
 4.9 Simulated Annealing Method......Page 129
  4.9.1 Kinematic Approach for SA......Page 130
  4.9.2 Thermodynamic Interpretation for SA......Page 132
 4.10 Increasing Resolution Method......Page 134
 4.11 Hessian Method......Page 138
 4.12 Newton's Method......Page 140
  4.13.1 Deterministic variant......Page 141
  4.13.2 Stochastic variant......Page 142
  4.14.1 Left and Right Search......Page 146
  4.14.2 Circular Search......Page 147
  4.14.3 Stochastic Spherical Search......Page 149
  4.14.4 From Local to Global......Page 151
 4.15 Continuous Learning......Page 152
 4.16 Summary......Page 154
 4.17 Exercises......Page 155
 5.1 Definition and Properties......Page 157
 5.2 Perceptron Model......Page 159
 5.3 The Sigmoid Neuron......Page 166
  5.4.1 Default probability of a company......Page 169
  5.4.2 Binary Classifier......Page 172
  5.4.3 Learning with the square difference cost function......Page 175
 5.5 Linear Neuron......Page 176
 5.6 Adaline......Page 181
 5.7 Madaline......Page 182
 5.8 Continuum Input Neuron......Page 183
 5.9 Summary......Page 186
 5.10 Exercises......Page 187
 6.1 An Example of Neural Network......Page 190
  6.1.1 Total variation and regularization......Page 195
  6.1.2 Backpropagation......Page 196
 6.2 General Neural Networks......Page 201
  6.2.2 Going backwards through the network......Page 202
  6.2.3 Backpropagation of deltas......Page 204
  6.2.5 Matrix form......Page 206
  6.2.7 Vanishing gradient problem......Page 209
  6.2.8 Batch training......Page 211
  6.2.9 Definition of FNN......Page 212
 6.3 Weights Initialization......Page 214
 6.4 Strong and Weak Priors......Page 218
 6.5 Summary......Page 219
 6.6 Exercises......Page 220
Part II Analytic Theory......Page 222
 7.1 Dini's Theorem......Page 223
 7.2 Arzela-Ascoli's Theorem......Page 225
 7.3 Application to Neural Networks......Page 229
 7.4 Stone-Weierstrass' Theorem......Page 230
 7.5 Application to Neural Networks......Page 233
  7.6.1 Learning signals in $L1(mathbbR)$......Page 235
  7.6.2 Learning signals in $L2(mathbbR)$......Page 236
 7.7 Contraction Principle......Page 237
 7.8 Application to Recurrent Neural Nets......Page 239
 7.9 Resonance Networks......Page 244
 7.11 Exercises......Page 245
 8.1 Preliminary Results......Page 248
 8.2 One-Hidden Layer Perceptron Network......Page 251
 8.3 One-Hidden Layer Sigmoid Network......Page 253
 8.4 Learning with ReLU Functions......Page 258
 8.5 Learning with Softplus......Page 263
 8.6 Discrete Data......Page 268
 8.7 Summary......Page 269
 8.8 Exercises......Page 270
 9.1 Introductory Examples......Page 272
 9.2 General Setup......Page 273
  9.3.1 Learning continuous functions $finC(In)$......Page 276
  9.3.2 Learning square integrable functions $finL2(In)$......Page 282
  9.3.3 Learning integrable functions $finL1(In)$......Page 287
  9.3.4 Learning measurable functions $fincalM(mathbbRn)$......Page 289
 9.4 Error Bounds Estimation......Page 298
 9.5 Learning $q$-integrable functions, $finLq(mathbbRn)$......Page 299
 9.6 Learning Solutions of ODEs......Page 301
 9.8 Exercises......Page 303
 10.1 Learning Finite Support Functions......Page 306
 10.2 Learning with ReLU......Page 308
  10.2.1 Representation of maxima......Page 309
  10.2.2 Width versus Depth......Page 313
 10.3 Kolmogorov-Arnold-Sprecher Theorem......Page 317
 10.4 Irie and Miyake's Integral Formula......Page 318
 10.6 Continuum Number of Neurons......Page 321
 10.7 Approximation by Degenerate Kernels......Page 327
 10.8 Examples of Degenerate Kernels......Page 329
 10.9 Deep Networks......Page 331
 10.10 Summary......Page 332
 10.11 Exercises......Page 333
Part III Information Processing......Page 335
11 Information Representation......Page 336
 11.1 Information Content......Page 337
 11.2 Learnable Targets......Page 340
 11.3 Lost Information......Page 344
 11.4 Recoverable Information......Page 346
  11.5.1 Information for indicator functions......Page 349
  11.5.2 Classical perceptron......Page 351
  11.5.4 Sigmoid neuron......Page 352
  11.5.6 Neural network of classical perceptrons......Page 353
  11.5.8 Network of sigmoid neurons......Page 355
  11.5.9 More remarks......Page 357
 11.6 Compressible Layers......Page 358
 11.7 Layers Compressibility......Page 361
 11.8 Functional Independence......Page 362
 11.10 Exercises......Page 365
 12.1 Entropy and Properties......Page 369
  12.1.1 Entropy of a random variable......Page 370
  12.1.2 Entropy under a change of coordinates......Page 371
 12.2 Entropy Flow......Page 374
 12.3 The Input Layer Entropy......Page 376
 12.4 The Linear Neuron......Page 378
 12.5 The Autoencoder......Page 379
 12.6 Conditional Entropy......Page 381
 12.7 The Mutual Information......Page 382
  12.8.1 Entropy Flow......Page 390
  12.8.2 Noisy layers......Page 392
  12.8.3 Independent layers......Page 393
  12.8.4 Compressionless layers......Page 394
  12.8.5 The number of features......Page 395
  12.8.6 Total Compression......Page 398
 12.9 Network Capacity......Page 399
  12.9.1 Types of capacity......Page 400
  12.9.3 The output distribution......Page 401
  12.9.5 The input-output matrix......Page 402
  12.9.6 The existence of network capacity......Page 403
  12.9.7 The Lagrange multiplier method......Page 405
  12.9.9 Perceptron Capacity......Page 408
 12.10 The Information Bottleneck......Page 411
  12.10.1 An exact formal solution......Page 413
  12.10.2 The information plane......Page 416
 12.11 Information Processing with MNIST......Page 418
  12.11.1 A two-layer FNN......Page 420
  12.11.2 A three-layer FNN......Page 423
  12.11.3 The role of convolutional nets......Page 424
 12.13 Exercises......Page 427
Part IV Geometric Theory......Page 432
 13.1 Introduction to Manifolds......Page 433
  13.1.2 Tangent space......Page 438
  13.1.3 Riemannian metric......Page 439
  13.1.4 Geodesics......Page 440
  13.1.5 Levi-Civita Connection......Page 441
  13.1.6 Submanifolds......Page 442
  13.1.7 Second Fundamental Form......Page 443
  13.1.8 Mean Curvature Vector Field......Page 445
 13.2 Relation to Neural Networks......Page 446
 13.3 The Parameters Space......Page 447
 13.4 Optimal Parameter Values......Page 452
 13.5 The Metric Structure......Page 455
 13.6 Regularization......Page 459
  13.6.2 Norm regularization......Page 460
  13.6.3 Choosing the flattest manifold......Page 461
  13.6.4 Model averaging......Page 469
  13.6.5 Dropout......Page 470
 13.8 Exercises......Page 478
14 Neuromanifolds......Page 481
 14.1 Statistical Manifolds......Page 482
 14.2 Fisher Information......Page 485
 14.3 Neuromanifold of a Neural Net......Page 489
 14.4 Fisher Metric for One Neuron......Page 491
 14.5 The Fisher Matrix and Its Inverse......Page 494
 14.6 The Fisher Metric Structure of a Neural Net......Page 499
 14.7 The Natural Gradient......Page 503
 14.8 The Natural Gradient Learning Algorithm......Page 505
 14.9 Log-likelihood and the Metric......Page 509
 14.10 Relation to the Kullback-Leibler Divergence......Page 511
 14.11 Simulated Annealing Method......Page 515
 14.12 Summary......Page 516
 14.13 Exercises......Page 517
Part V Other Architectures......Page 521
 15.1 Approximation of Continuous Functions......Page 522
 15.2 Translation Invariance......Page 525
 15.3 Information Approach......Page 527
 15.4 Pooling and Classification......Page 529
 15.6 Exercises......Page 530
 16.1 Discrete One-dimensional Signals......Page 532
 16.2 Continuous One-dimensional Signals......Page 534
 16.3 Discrete Two-dimensional Signals......Page 535
 16.4 Convolutional Layers with 1-D Input......Page 537
 16.5 Convolutional Layers with 2-D Input......Page 540
 16.6 Geometry of CNNs......Page 543
  16.7.1 Groups......Page 544
  16.7.2 Actions of groups on sets......Page 545
  16.7.3 Extension of actions to functions......Page 547
  16.7.4 Definition of equivariance......Page 548
  16.7.5 Convolution and equivariance......Page 549
  16.7.6 Definition of invariance......Page 552
 16.8 Summary......Page 554
 16.9 Exercises......Page 555
 17.1 States Systems......Page 558
 17.2 RNNs......Page 561
 17.3 Information in RNNs......Page 562
 17.4 Loss Functions......Page 564
 17.5 Backpropagation Through Time......Page 565
 17.6 The Gradient Problems......Page 568
 17.7 LSTM Cells......Page 569
 17.8 Deep RNNs......Page 571
 17.10 Exercises......Page 572
 18.1 Equivalence Relations......Page 575
 18.2 Entropy of a Partition......Page 577
 18.3 Decision Functions......Page 579
 18.4 One-hot-vector Decision Maps......Page 581
 18.5 Linear Separability......Page 584
 18.6 Convex Separability......Page 589
 18.7 Contraction Toward a Center......Page 591
  18.8.1 Linear Decision Maps......Page 592
  18.8.2 Nonlinear Decision Maps......Page 599
 18.9 Decision Boundaries......Page 601
 18.11 Exercises......Page 603
 19.1 The Need of Generative Models......Page 605
 19.2 Density Estimation......Page 606
 19.3 Adversarial Games......Page 609
 19.4 Generative Adversarial Networks......Page 612
 19.5 Generative Moment Matching Networks......Page 620
 19.7 Exercises......Page 621
 20.1 Stochastic Neurons......Page 624
 20.2 Boltzmann Distribution......Page 627
 20.3 Boltzmann Machines......Page 630
 20.4 Boltzmann Learning......Page 634
 20.5 Computing the Boltzmann Distribution......Page 636
 20.7 Fisher Information......Page 639
 20.8 Applications of Boltzmann Machines......Page 641
 20.10 Exercises......Page 646
 Hints and Solutions......Page 649
 Appendix......Page 700
Appendix A Set Theory......Page 701
Appendix B Tensors......Page 703
 Appendix C.1  Information and mathfrakS-algebras......Page 705
 Appendix C.2  Measurable Functions......Page 707
 Appendix C.3  Measures......Page 709
 Appendix C.4  Integration in Measure......Page 711
 Appendix C.7  Radon-Nikodym Theorem......Page 713
 Appendix C.8  Egorov and Luzin's Theorems......Page 714
 Appendix C.9  Signed Measures......Page 715
 Appendix D.1  General definitions......Page 718
 Appendix D.3  Expectation......Page 719
 Appendix D.4  Variance......Page 720
 Appendix D.5  Information generated by random variables......Page 721
  Appendix D.5.1  Filtrations......Page 722
  Appendix D.5.2  Conditional expectations......Page 723
  Appendix D.6.3  Lp-convergence......Page 724
  Appendix D.6.4  Weak convergence......Page 725
 Appendix D.7  Log-Likelihood Function......Page 726
 Appendix D.8  Brownian Motion......Page 728
 Appendix E.1  Banach spaces......Page 730
 Appendix E.2  Linear Operators......Page 731
 Appendix E.4  Hilbert Spaces......Page 732
 Appendix E.5  Representation Theorems......Page 733
 Appendix E.6  Fixed Point Theorem......Page 736
 Appendix F.1  Inverse Function Theorem......Page 738
 Appendix F.2  Differentiation in generalized sense......Page 739
 Appendix F.3  Convergence of sequences of functions......Page 740
 Appendix G.1  Eigenvalues, Norm, and Inverse Matrix......Page 741
 Appendix G.2  Moore-Penrose Pseudoinverse......Page 744
Bibliography......Page 749
Index......Page 759