Probability: Theory and Examples

Contents......Page 7
Preface......Page 11
1.1 Probability Spaces......Page 13
Measures on Rd......Page 18
1.2 Distributions......Page 21
Exercises......Page 25
1.3 Random Variables......Page 26
Exercises......Page 28
1.4 Integration......Page 29
1.5 Properties of the Integral......Page 35
Exercises......Page 38
1.6.1 Inequalities......Page 39
1.6.2 Integration to the Limit......Page 41
1.6.3 Computing Expected Values......Page 42
Exercises......Page 46
1.7 Product Measures, Fubini\'s Theorem......Page 48
Exercises......Page 51
2.1 Independence......Page 53
2.1.1 Sufficient Conditions for Independence......Page 55
2.1.2 Independence, Distribution, and Expectation......Page 57
2.1.3 Sums of Independent Random Variables......Page 59
2.1.4 Constructing Independent Random Variables......Page 62
Exercises......Page 64
2.2.1 L2 Weak Laws......Page 65
2.2.2 Triangular Arrays......Page 68
2.2.3 Truncation......Page 71
Exercises......Page 75
2.3 Borel-Cantelli Lemmas......Page 76
Exercises......Page 83
2.4 Strong Law of Large Numbers......Page 85
Exercises......Page 89
2.5 Convergence of Random Series......Page 90
2.5.1 Rates of Convergence......Page 94
2.5.2 Infinite Mean......Page 96
Exercises......Page 97
2.6 Large Deviations......Page 98
3.1 The De Moivre-Laplace Theorem......Page 106
Exercises......Page 108
3.2.1 Examples......Page 109
3.2.2 Theory......Page 112
Exercises......Page 117
3.3.1 Definition, Inversion Formula......Page 118
3.3.2 Weak Convergence......Page 124
3.3.3 Moments and Derivatives......Page 126
3.3.4 Polya\'s Criterion......Page 130
3.3.5 The Moment Problem......Page 132
3.4.1 i.i.d. Sequences......Page 136
Exercises......Page 139
3.4.2 Triangular Arrays......Page 141
Exercises......Page 144
3.4.3 Prime Divisors (Erdos-Kac)......Page 145
3.4.4 Rates of Convergence (Berry-Esseen)......Page 149
3.5 Local Limit Theorems......Page 153
3.6.1 The Basic Limit Theorem......Page 158
3.6.2 Two Examples with Dependence......Page 163
3.6.3 Poisson Processes......Page 166
3.7 Stable Laws......Page 170
Exercises......Page 180
3.8 Infinitely Divisible Distributions......Page 181
3.9 Limit Theorems in Rd......Page 184
4.1 Stopping Times......Page 191
4.2 Recurrence......Page 201
4.3 Visits to 0, Arcsine Laws......Page 213
4.4 Renewal Theory......Page 220
5.1 Conditional Expectation......Page 233
5.1.1 Examples......Page 235
5.1.2 Properties......Page 238
5.1.3 Regular Conditional Probabilities......Page 242
5.2 Martingales, Almost Sure Convergence......Page 244
Exercises......Page 250
5.3.1 Bounded Increments......Page 251
5.3.2 Polya\'s Urn Scheme......Page 253
5.3.3 Radon-Nikodym Derivatives......Page 254
5.3.4 Branching Processes......Page 257
5.4 Doob\'s Inequality, Convergence in Lp......Page 261
5.4.1 Square Integrable Martingales......Page 266
5.5 Uniform Integrability, Convergence in L1......Page 270
5.6 Backwards Martingales......Page 276
5.7 Optional Stopping Theorems......Page 281
Exercises......Page 284
6.1 Definitions......Page 286
6.2 Examples......Page 289
Exercises......Page 293
6.3 Extensions of the Markov Property......Page 294
Exercises......Page 299
6.4 Recurrence and Transience......Page 300
6.5 Stationary Measures......Page 308
6.6 Asymptotic Behavior......Page 319
Exercises......Page 324
6.7 Periodicity, Tail sigma -field......Page 326
6.8 General State Space......Page 330
6.8.1 Recurrence and Transience......Page 334
6.8.2 Stationary Measures......Page 335
6.8.3 Convergence Theorem......Page 336
6.8.4 GI/G/1 Queue......Page 337
7.1 Definitions and Examples......Page 340
Exercises......Page 344
7.2 Birkhoff\'s Ergodic Theorem......Page 345
7.3 Recurrence......Page 350
7.4 A Subadditive Ergodic Theorem......Page 354
7.5 Applications......Page 359
8.1 Definition and Construction......Page 365
8.2 Markov Property, Blumenthal\'s 0-1 Law......Page 371
8.3 Stopping Times, Strong Markov Property......Page 377
8.4.1 Zeros of Brownian Motion......Page 382
8.4.2 Hitting Times......Page 383
8.4.3 Levy\'s Modulus of Continuity......Page 387
8.5 Martingales......Page 388
8.5.1 Multidimensional Brownian Motion......Page 392
8.6 Donsker\'s Theorem......Page 394
8.7 Empirical Distributions, Brownian Bridge......Page 403
8.8 Laws of the Iterated Logarithm......Page 408
A.1 Caratheodory\'s Extension Theorem......Page 413
A.2 Which Sets Are Measurable?......Page 419
A nonmeasurable subset of [0,1)......Page 420
Banach-Tarski theorem......Page 421
A.3 Kolmogorov\'s Extension Theorem......Page 422
A.4 Radon-Nikodym Theorem......Page 424
A.5 Differentiating under the Integral......Page 428
References......Page 431
Index......Page 437