Introduction to Probability Models

Title page......Page 4
Copyright page......Page 5
Contents......Page 6
Preface......Page 14
1.2. Sample Space and Events......Page 20
1.3. Probabilities Defined on Events......Page 23
1.4. Conditional Probabilities......Page 26
1.5. Independent Events......Page 29
1.6. Bayes\' Formula......Page 31
Exercises......Page 34
References......Page 40
2.1. Random Variables......Page 42
2.2. Discrete Random Variables......Page 46
2.3. Continuous Random Variables......Page 53
2.4. Expectation of a Random Variable......Page 57
2.5. Jointly Distributed Random Variables......Page 66
2.6. Moment Generating Functions......Page 83
2.7. Limit Theorems......Page 96
2.8. Stochastic Processes......Page 102
Exercises......Page 104
References......Page 115
3.2. The Discrete Case......Page 116
3.3. The Continuous Case......Page 121
3.4. Computing Expectations by Conditioning......Page 124
3.5. Computing Probabilities by Conditioning......Page 139
3.6. Some Applications......Page 156
3.7. An Identity for Compound Random Variables......Page 177
Exercises......Page 184
4.1. Introduction......Page 204
4.2. Chapman-Kolmogorov Equations......Page 208
4.3. Classification of States......Page 212
4.4. Limiting Probabilities......Page 223
4.5. Some Applications......Page 236
4.6. Mean Time Spent in Transient States......Page 249
4.7. Branching Processes......Page 252
4.8. Time Reversible Markov Chains......Page 255
4.9. Markov Chain Monte Carlo Methods......Page 266
4.10. Markov Decision Processes......Page 271
4.11. Hidden Markov Chains......Page 275
Exercises......Page 282
References......Page 299
5.1. Introduction......Page 300
5.2. The Exponential Distribution......Page 301
5.3. The Poisson Process......Page 321
5.4. Generalizations of the Poisson Process......Page 349
Exercises......Page 365
References......Page 383
6.1. Introduction......Page 384
6.2. Continuous-Time Markov Chains......Page 385
6.3. Birth and Death Processes......Page 387
6.4. The Transition Probability Function Pij(t)......Page 394
6.5. Limiting Probabilities......Page 403
6.6. Time Reversibility......Page 411
6.7. Uniformization......Page 420
6.8. Computing the Transition Probabilities......Page 423
Exercises......Page 426
References......Page 434
7.1. Introduction......Page 436
7.2. Distribution of N(t)......Page 438
7.3. Limit Theorems and Their Applications......Page 442
7.4. Renewal Reward Processes......Page 452
7.5. Regenerative Processes......Page 461
7.6. Semi-Markov Processes......Page 471
7.7. The Inspection Paradox......Page 474
7.8. Computing the Renewal Function......Page 477
7.9. Applications to Patterns......Page 480
7.10. The Insurance Ruin Problem......Page 492
Exercises......Page 498
References......Page 511
8.1. Introduction......Page 512
8.2. Preliminaries......Page 513
8.3. Exponential Models......Page 518
8.4. Network of Queues......Page 536
8.5. The System M/G/1......Page 547
8.6. Variations on the M/G/1......Page 550
8.7. The Model G/M/1......Page 562
8.8. A Finite Source Model......Page 568
8.9. Multiserver Queues......Page 571
Exercises......Page 577
References......Page 589
9.2. Structure Functions......Page 590
9.3. Reliability of Systems of Independent Components......Page 597
9.4. Bounds on the Reliability Function......Page 602
9.5. System Life as a Function of Component Lives......Page 614
9.6. Expected System Lifetime......Page 623
9.7. Systems with Repair......Page 629
Exercises......Page 636
References......Page 643
10.1. Brownian Motion......Page 644
10.2. Hitting Times, Maximum Variable, and the Gambler\'s Ruin Problem......Page 648
10.3. Variations on Brownian Motion......Page 650
10.4. Pricing Stock Options......Page 651
10.5. White Noise......Page 663
10.6. Gaussian Processes......Page 665
10.7. Stationary and Weakly Stationary Processes......Page 668
10.8 Harmonic Analysis of Weakly Stationary Processes......Page 673
Exercises......Page 676
References......Page 681
11.1. Introduction......Page 682
11.2. General Techniques for Simulating Continuous Random Variables......Page 687
11.3. Special Techniques for Simulating Continuous Random Variables......Page 696
11.4. Simulating from Discrete Distributions......Page 704
11.5. Stochastic Processes......Page 711
11.6. Variance Reduction Techniques......Page 722
11.8. Coupling from the Past......Page 739
Exercises......Page 742
References......Page 750
Appendix: Solutions to Starred Exercises......Page 752
Index......Page 794