Probability and Measure

Title ......Page 1
Date-line ......Page 2
Preface ......Page 3
Contents ......Page 5
The Unit Interval ......Page 13
The Weak Law of Large Numbers ......Page 17
The Strong Law of Large Numbers ......Page 20
Strong Law Versus Weak ......Page 23
Extending the Probabilities ......Page 24
Problems ......Page 25
Classes of Sets ......Page 28
Probability Measures ......Page 32
Lebesgue Measure on the Unit Interval ......Page 36
Constructing $\\sigma$-Fields* ......Page 38
Problems ......Page 40
3. Existence and Extension ......Page 44
Construction of the Extension ......Page 45
Uniqueness and the $\\pi-\\lambda$ Theorem ......Page 48
Completeness ......Page 51
Lebesgue Measure on the Unit Interval ......Page 52
Nonmeasurable Sets ......Page 53
Problems ......Page 54
General Formulas ......Page 57
Limit Sets ......Page 58
Independent Events ......Page 60
Subfields ......Page 64
The Borel-Cantelli Lemmas ......Page 65
The Zero-One Law ......Page 69
Strong Laws Versus Weak ......Page 70
Problems ......Page 71
Definition ......Page 75
Independence ......Page 78
Existence of Independent Sequences ......Page 80
Expected Value ......Page 82
Inequalities ......Page 86
Problems ......Page 88
The Strong Law ......Page 92
The Weak Law ......Page 93
Bernstein\'s Theorem ......Page 94
A Refinement of the Second Borel-Cantelli Lemma ......Page 95
Problems ......Page 97
Gambler\'s Ruin ......Page 100
Selection Systems ......Page 103
Gambling Policies ......Page 106
Bold Play* ......Page 110
Problems ......Page 117
Definitions ......Page 119
Higher-Order Transitions ......Page 123
An Existence Theorem ......Page 124
Transience and Persistence ......Page 125
Another Criterion for Persistence ......Page 130
Stationary Distributions ......Page 133
Exponential Convergence* ......Page 140
Optimal Stopping* ......Page 142
Problems ......Page 149
Moment Generating Functions ......Page 154
Large Deviations ......Page 157
Chernoff\'s Theorem ......Page 159
The Law of the Iterated Logarithm ......Page 161
Problems ......Page 166
Classes of Sets ......Page 167
Measures ......Page 169
Uniqueness ......Page 172
Problems ......Page 173
Outer Measure ......Page 174
Extension ......Page 176
An Approximation Theorem ......Page 178
Caratheodory\'s Condition* ......Page 180
Problems ......Page 181
Lebesgue Measure ......Page 183
Regularity ......Page 186
Specifying Measures on the Line ......Page 187
Specifying Measures in $R^k$ ......Page 188
Problems ......Page 192
Measurable Mappings ......Page 194
Mappings into $R^k$ ......Page 195
Limits and Measurability ......Page 197
Transformations of Measures ......Page 198
Problems ......Page 199
Distribution Functions ......Page 201
Exponential Distributions ......Page 203
Weak Convergence ......Page 204
Convergence of Types* ......Page 207
Extremal Distributions* ......Page 209
Problems ......Page 211
Definition ......Page 214
Nonnegative Functions ......Page 216
Problems ......Page 219
Equalities and Inequalities ......Page 221
Integration to the Limit ......Page 223
Integration over Sets ......Page 227
Densities ......Page 228
Change of Variable ......Page 230
Uniform Integrability ......Page 231
Problems ......Page 233
The Riemann Integral ......Page 236
The Fundamental Theorem of Calculus ......Page 239
Change of Variable ......Page 240
The Lebesgue Integral in $R^k$ ......Page 241
Problems ......Page 242
Product Spaces ......Page 246
Product Measure ......Page 247
Fubini\'s Theorem ......Page 248
Integration by Parts ......Page 251
Products of Higher Order ......Page 253
Problems ......Page 254
The Definition ......Page 259
The Normalizing Constant ......Page 261
Change of Variable ......Page 264
Calculations ......Page 268
Problems ......Page 269
Random Variables and Vectors ......Page 271
Subfields ......Page 272
Distributions ......Page 273
Multidimensional Distributions ......Page 277
Independence ......Page 279
Sequences of Random Variables ......Page 283
Convolution ......Page 284
Convergence in Probability ......Page 286
The Glivenko-Cantelli Theorem* ......Page 287
Problems ......Page 288
Expected Values and Distributions ......Page 292
Moments ......Page 293
Inequalities ......Page 294
Independence and Expected Value ......Page 296
Moment Generating Functions ......Page 297
Problems ......Page 299
The Strong Law of Large Numbers ......Page 302
The Weak Law and Moment Generating Functions ......Page 304
Kolmogorov\'s Zero-One Law ......Page 306
Maximal Inequalities ......Page 308
Convergence of Random Series ......Page 310
Random Taylor Series* ......Page 313
The Hewitt-Savage Zero-One Law* ......Page 316
Problems ......Page 317
The Poisson Process ......Page 319
The Poisson Approximation ......Page 324
Other Characterizations of the Poisson Process ......Page 326
Stochastic Processes ......Page 331
Problems ......Page 332
The Single-Server Queue ......Page 334
Random Walk and Ladder Indices ......Page 337
Exponential Right Tail ......Page 339
Exponential Left Tail ......Page 343
Queue Size ......Page 345
Definitions ......Page 347
Uniform Distribution Modulo 1* ......Page 349
Convergence in Distribution ......Page 350
Convergence in Probability ......Page 352
Fundamental Theorems ......Page 354
Helly\'s Theorem ......Page 357
Integration to the Limit ......Page 359
Problems ......Page 360
Definition ......Page 363
Moments and Derivatives ......Page 364
Inversion and the Uniqueness Theorem ......Page 367
The Continuity Theorem ......Page 371
Fourier Series* ......Page 373
Problems ......Page 374
Identically Distributed Summands ......Page 378
The Lindeberg and Lyapounov Theorems ......Page 380
Feller\'s Theorem* ......Page 385
Dependent Variables* ......Page 387
Problems ......Page 391
Vague Convergence ......Page 394
The Possible Limits ......Page 395
Characterizing the Limit ......Page 399
Problems ......Page 400
The Basic Theorems ......Page 402
Characteristic Functions ......Page 407
Normal Distributions in $R^k$ ......Page 409
The Central Limit Theorem ......Page 410
Skorohod\'s Theorem in $R^k$* ......Page 411
Problems ......Page 415
The Moment Problem ......Page 417
Central Limit Theorem by Moments ......Page 420
Application to Sampling Theory ......Page 422
Application to Number Theory ......Page 424
Problems ......Page 428
The Fundamental Theorem of Calculus ......Page 431
Derivatives of Integrals ......Page 433
Singular Functions ......Page 439
Integrals of Derivatives ......Page 445
Functions of Bounded Variation ......Page 447
Problems ......Page 448
Additive Set Functions ......Page 452
The Hahn Decomposition ......Page 453
Absolute Continuity and Singularity ......Page 454
The Main Theorem ......Page 455
Problems ......Page 458
The Discrete Case ......Page 460
The General Case ......Page 462
Properties of Conditional Probability ......Page 469
Difficulties and Curiosities ......Page 470
Conditional Probability Distributions ......Page 472
Problems ......Page 474
Definition ......Page 478
Properties of Conditional Expectation ......Page 479
Sufficient Subfields* ......Page 483
Minimum-Variance Estimation* ......Page 487
Problems ......Page 488
Definition ......Page 492
Submartingales ......Page 496
Gambling ......Page 497
Inequalities ......Page 499
Convergence Theorems ......Page 502
Reversed Martingales ......Page 504
Applications: Derivatives ......Page 506
Likelihood Ratios ......Page 507
Bayes Estimation ......Page 508
A Central Limit Theorem* ......Page 509
Problems ......Page 513
Finite-Dimensional Distributions ......Page 518
Product Spaces ......Page 520
Kolmogorov\'s Existence Theorem ......Page 522
The Inadequacy of $\\curly R^T$ ......Page 529
Problems ......Page 531
Definition ......Page 534
Continuity of Paths ......Page 536
Measurable Processes ......Page 541
Irregularity of Brownian Motion Paths ......Page 542
The Strong Markov Property ......Page 547
Skorohod Embedding* ......Page 551
Invariance* ......Page 558
Problems ......Page 561
Introduction ......Page 563
Definitions ......Page 564
Existence Theorems ......Page 567
Consequences of Separability ......Page 571
Separability in Product Space ......Page 574
Set Theory ......Page 576
The Real Line ......Page 577
Euclidean $k$-space ......Page 579
Analysis ......Page 580
Infinite Series ......Page 582
Convex Functions ......Page 584
NOTES ON THE PROBLEMS ......Page 587
BIBLIOGRAPHY ......Page 622
LIST OF SYMBOLS ......Page 625
INDEX ......Page 627