Computational Intelligence An Introduction, Second Edition

Computational Intelligence......Page 4
Contents......Page 10
Figures......Page 22
Tables......Page 26
Algorithms......Page 28
Preface......Page 32
Part I INTRODUCTION......Page 34
1 Introduction to Computational Intelligence......Page 36
1.1 Computational Intelligence Paradigms......Page 37
1.1.1 Artificial Neural Networks......Page 38
1.1.2 Evolutionary Computation......Page 41
1.1.4 Artificial Immune Systems......Page 42
1.1.5 Fuzzy Systems......Page 43
1.2 Short History......Page 44
1.3 Assignments......Page 46
Part II ARTIFICIAL NEURAL NETWORKS......Page 48
2.1 Calculating the Net Input Signal......Page 50
2.2 Activation Functions......Page 51
2.3 Artificial Neuron Geometry......Page 53
2.4 Artificial Neuron Learning......Page 54
2.4.1 Augmented Vectors......Page 56
2.4.2 Gradient Descent Learning Rule......Page 57
2.5 Assignments......Page 58
3.1 Neural Network Types......Page 60
3.1.1 Feedforward Neural Networks......Page 61
3.1.2 Functional Link Neural Networks......Page 62
3.1.3 Product Unit Neural Networks......Page 63
3.1.4 Simple Recurrent Neural Networks......Page 65
3.1.5 Time-Delay Neural Networks......Page 67
3.1.6 Cascade Networks......Page 68
3.2.1 The Supervised Learning Problem......Page 69
3.2.2 Gradient Descent Optimization......Page 71
3.2.3 Scaled Conjugate Gradient......Page 78
3.3 Functioning of Hidden Units......Page 82
3.4 Ensemble Neural Networks......Page 84
3.5 Assignments......Page 87
4.1 Background......Page 88
4.2 Hebbian Learning Rule......Page 89
4.3 Principal Component Learning Rule......Page 91
4.4 Learning Vector Quantizer-I......Page 92
4.5.1 Stochastic Training Rule......Page 95
4.5.3 Growing SOM......Page 98
4.5.4 Improving Convergence Speed......Page 100
4.5.5 Clustering and Visualization......Page 102
4.6 Assignments......Page 104
5.2 Radial Basis Function Neural Networks......Page 106
5.2.1 Radial Basis Function Network Architecture......Page 107
5.2.2 Radial Basis Functions......Page 108
5.2.3 Training Algorithms......Page 109
5.2.4 Radial Basis Function Network Variations......Page 113
5.3 Assignments......Page 114
6.1 Learning through Awards......Page 116
6.2.2 Q-Learning......Page 119
6.3.1 RPROP......Page 120
6.3.2 Gradient Descent Reinforcement Learning......Page 121
6.3.3 Connectionist Q-Learning......Page 122
6.4 Assignments......Page 124
7.1.1 Accuracy......Page 126
7.2 Analysis of Performance......Page 131
7.3.1 Data Preparation......Page 132
7.3.2 Weight Initialization......Page 139
7.3.3 Learning Rate and Momentum......Page 140
7.3.5 Architecture Selection......Page 142
7.3.6 Adaptive Activation Functions......Page 148
7.3.7 Active Learning......Page 149
7.4 Assignments......Page 157
Part III EVOLUTIONARY COMPUTATION......Page 158
8 Introduction to Evolutionary Computation......Page 160
8.1 Generic Evolutionary Algorithm......Page 161
8.2 Representation – The Chromosome......Page 162
8.3 Initial Population......Page 165
8.4 Fitness Function......Page 166
8.5 Selection......Page 167
8.5.3 Proportional Selection......Page 168
8.5.5 Rank-Based Selection......Page 170
8.5.6 Boltzmann Selection......Page 171
8.6 Reproduction Operators......Page 172
8.7 Stopping Conditions......Page 173
8.9 Assignments......Page 174
9.1 Canonical Genetic Algorithm......Page 176
9.2 Crossover......Page 177
9.2.1 Binary Representations......Page 178
9.2.2 Floating-Point Representation......Page 179
9.3 Mutation......Page 186
9.3.1 Binary Representations......Page 187
9.3.2 Floating-Point Representations......Page 188
9.4 Control Parameters......Page 189
9.5 Genetic Algorithm Variants......Page 190
9.5.1 Generation Gap Methods......Page 191
9.5.2 Messy Genetic Algorithms......Page 192
9.5.3 Interactive Evolution......Page 194
9.5.4 Island Genetic Algorithms......Page 195
9.6 Advanced Topics......Page 197
9.6.1 Niching Genetic Algorithms......Page 198
9.6.2 Constraint Handling......Page 202
9.6.3 Multi-Objective Optimization......Page 203
9.6.4 Dynamic Environments......Page 206
9.7 Applications......Page 207
9.8 Assignments......Page 208
10.1 Tree-Based Representation......Page 210
10.2 Initial Population......Page 212
10.4 Crossover Operators......Page 213
10.5 Mutation Operators......Page 215
10.7 Applications......Page 217
10.8 Assignments......Page 218
11.1 Basic Evolutionary Programming......Page 220
11.2.1 Mutation Operators......Page 222
11.2.2 Selection Operators......Page 226
11.3.2 Dynamic Strategies......Page 228
11.3.3 Self-Adaptation......Page 231
11.4.1 Classical Evolutionary Programming......Page 233
11.4.4 Accelerated Evolutionary Programming......Page 234
11.4.5 Momentum Evolutionary Programming......Page 235
11.4.7 Evolutionary Programming with Extinction......Page 236
11.4.8 Hybrid with Particle Swarm Optimization......Page 237
11.5.3 Dynamic Environments......Page 239
11.6.1 Finite-State Machines......Page 240
11.6.2 Function Optimization......Page 241
11.6.3 Training Neural Networks......Page 242
11.7 Assignments......Page 243
12.1 (1 + 1)-ES......Page 246
12.2 Generic Evolution Strategy Algorithm......Page 248
12.3.1 Strategy Parameter Types......Page 249
12.3.2 Strategy Parameter Variants......Page 251
12.3.3 Self-Adaptation Strategies......Page 252
12.4.1 Selection Operators......Page 254
12.4.2 Crossover Operators......Page 255
12.4.3 Mutation Operators......Page 257
12.5.1 Polar Evolution Strategies......Page 259
12.5.2 Evolution Strategies with Directed Variation......Page 260
12.5.3 Incremental Evolution Strategies......Page 261
12.6.1 Constraint Handling Approaches......Page 262
12.6.2 Multi-Objective Optimization......Page 263
12.6.4 Niching......Page 266
12.8 Assignments......Page 268
13.1 Basic Differential Evolution......Page 270
13.1.1 Difference Vectors......Page 271
13.1.3 Crossover......Page 272
13.1.4 Selection......Page 273
13.1.6 Control Parameters......Page 274
13.2 DE/x/y/z......Page 275
13.3.1 Hybrid Differential Evolution Strategies......Page 278
13.3.3 Self-Adaptive Differential Evolution......Page 283
13.4 Differential Evolution for Discrete-Valued Problems......Page 285
13.4.1 Angle Modulated Differential Evolution......Page 286
13.4.2 Binary Differential Evolution......Page 287
13.5 Advanced Topics......Page 288
13.5.2 Multi-Objective Optimization......Page 289
13.5.3 Dynamic Environments......Page 290
13.7 Assignments......Page 292
14.1 Culture and Artificial Culture......Page 294
14.2 Basic Cultural Algorithm......Page 295
14.3 Belief Space......Page 296
14.3.1 Knowledge Components......Page 297
14.3.2 Acceptance Functions......Page 298
14.3.3 Adjusting the Belief Space......Page 299
14.3.4 Influence Functions......Page 300
14.4 Fuzzy Cultural Algorithm......Page 301
14.4.2 Fuzzified Belief Space......Page 302
14.4.3 Fuzzy Influence Function......Page 303
14.5.1 Constraint Handling......Page 304
14.5.2 Multi-Objective Optimization......Page 305
14.5.3 Dynamic Environments......Page 306
14.7 Assignments......Page 307
15 Coevolution......Page 308
15.2 Competitive Coevolution......Page 309
15.2.1 Competitive Fitness......Page 310
15.2.2 Generic Competitive Coevolutionary Algorithm......Page 312
15.2.3 Applications of Competitive Coevolution......Page 313
15.3 Cooperative Coevolution......Page 314
15.4 Assignments......Page 316
Part IV COMPUTATIONAL SWARM INTELLIGENCE......Page 318
16.1 Basic Particle Swarm Optimization......Page 322
16.1.1 Global Best PSO......Page 323
16.1.2 Local Best PSO......Page 324
16.1.3 gbest versus lbest PSO......Page 325
16.1.4 Velocity Components......Page 326
16.1.5 Geometric Illustration......Page 327
16.1.6 Algorithm Aspects......Page 329
16.2 Social Network Structures......Page 333
16.3.1 Velocity Clamping......Page 336
16.3.2 Inertia Weight......Page 339
16.3.3 Constriction Coeffcient......Page 342
16.3.5 Velocity Models......Page 343
16.4 Basic PSO Parameters......Page 345
16.5 Single-Solution Particle Swarm Optimization......Page 347
16.5.1 Guaranteed Convergence PSO......Page 349
16.5.2 Social-Based Particle Swarm Optimization......Page 350
16.5.3 Hybrid Algorithms......Page 354
16.5.4 Sub-Swarm Based PSO......Page 359
16.5.5 Multi-Start PSO Algorithms......Page 366
16.5.6 Repelling Methods......Page 370
16.5.7 Binary PSO......Page 373
16.6.1 Constraint Handling Approaches......Page 375
16.6.2 Multi-Objective Optimization......Page 376
16.6.3 Dynamic Environments......Page 379
16.6.4 Niching PSO......Page 383
16.7.1 Neural Networks......Page 387
16.7.3 Game Learning......Page 389
16.8 Assignments......Page 390
17 Ant Algorithms......Page 392
17.1.1 Foraging Behavior of Ants......Page 393
17.1.2 Stigmergy and Artificial Pheromone......Page 396
17.1.3 Simple Ant Colony Optimization......Page 397
17.1.4 Ant System......Page 401
17.1.5 Ant Colony System......Page 405
17.1.6 Max-Min Ant System......Page 408
17.1.7 Ant-Q......Page 411
17.1.8 Fast Ant System......Page 412
17.1.10 AS-rank......Page 413
17.1.11 ANTS......Page 414
17.1.12 Parameter Settings......Page 416
17.2 Cemetery Organization and Brood Care......Page 417
17.2.1 Basic Ant Colony Clustering Model......Page 418
17.2.2 Generalized Ant Colony Clustering Model......Page 419
17.3 Division of Labor......Page 424
17.3.1 Division of Labor in Insect Colonies......Page 425
17.3.2 Task Allocation Based on Response Thresholds......Page 426
17.3.3 Adaptive Task Allocation and Specialization......Page 428
17.4.1 Continuous Ant Colony Optimization......Page 429
17.4.2 Multi-Objective Optimization......Page 431
17.4.3 Dynamic Environments......Page 435
17.5 Applications......Page 438
17.5.1 Traveling Salesman Problem......Page 439
17.5.2 Quadratic Assignment Problem......Page 440
17.6 Assignments......Page 444
Part V ARTIFICIAL IMMUNE SYSTEMS......Page 446
18.1 Classical View......Page 448
18.3 The White Cells......Page 449
18.3.1 The Lymphocytes......Page 450
18.5 Learning the Antigen Structure......Page 454
18.7 The Danger Theory......Page 455
18.8 Assignments......Page 457
19 Artificial Immune Models......Page 458
19.1 Artificial Immune System Algorithm......Page 459
19.2.1 Negative Selection......Page 461
19.2.2 Evolutionary Approaches......Page 462
19.3.1 CLONALG......Page 464
19.3.3 Multi-Layered AIS......Page 466
19.4.1 Artificial Immune Network......Page 469
19.4.2 Self Stabilizing AIS......Page 471
19.4.3 Enhanced Artificial Immune Network......Page 473
19.4.4 Dynamic Weighted B-Cell AIS......Page 474
19.4.6 aiNet......Page 475
19.5.1 Mobile Ad-Hoc Networks......Page 478
19.5.2 An Adaptive Mailbox......Page 479
19.7 Assignments......Page 481
Part VI FUZZY SYSTEMS......Page 484
20 Fuzzy Sets......Page 486
20.2 Membership Functions......Page 487
20.3 Fuzzy Operators......Page 490
20.4 Fuzzy Set Characteristics......Page 492
20.5 Fuzziness and Probability......Page 495
20.6 Assignments......Page 496
21.1 Fuzzy Logic......Page 498
21.1.1 Linguistics Variables and Hedges......Page 499
21.1.2 Fuzzy Rules......Page 500
21.2 Fuzzy Inferencing......Page 501
21.2.1 Fuzzification......Page 502
21.2.2 Inferencing......Page 503
21.2.3 Defuzzification......Page 504
21.3 Assignments......Page 505
22.1 Components of Fuzzy Controllers......Page 508
22.2.2 Mamdani Fuzzy Controller......Page 510
22.3 Assignments......Page 511
23 Rough Sets......Page 514
23.1 Concept of Discernibility......Page 515
23.2 Vagueness in Rough Sets......Page 516
23.3 Uncertainty in Rough Sets......Page 517
23.4 Assignments......Page 518
References......Page 520
A.1 Basic Ingredients of Optimization Problems......Page 584
A.2 Optimization Problem Classifications......Page 585
A.3 Optima Types......Page 586
A.4 Optimization Method Classes......Page 587
A.5.2 Optimization Algorithms......Page 588
A.5.3 Example Benchmark Problems......Page 592
A.6.1 Problem Definition......Page 593
A.6.2 Constraint Handling Methods......Page 594
A.6.3 Example Benchmark Problems......Page 599
A.7.1 Problem Definition......Page 600
A.7.2 Niching Algorithm Categories......Page 601
A.8 Multi-Objective Optimization......Page 602
A.8.1 Multi-objective Problem......Page 603
A.8.2 Weighted Aggregation Methods......Page 604
A.8.3 Pareto-Optimality......Page 605
A.9.1 Definition......Page 608
A.9.2 Dynamic Environment Types......Page 609
A.9.3 Example Benchmark Problems......Page 611
Index......Page 614