Computational Intelligence and Feature Selection: Rough and Fuzzy Approaches

COMPUTATIONAL INTELLIGENCE AND FEATURE SELECTION......Page 3
CONTENTS......Page 7
PREFACE......Page 15
Acknowledgments......Page 16
1.1. Knowledge Discovery......Page 19
1.2.1. The Task......Page 21
1.3. Rough Sets......Page 22
1.4. Applications......Page 23
1.5. Structure......Page 25
2.1.1. Definition......Page 31
2.1.3. Operators......Page 32
2.2. Fuzzy Set Theory......Page 33
2.2.1. Definition......Page 34
2.2.2. Operators......Page 35
2.2.3. Simple Example......Page 37
2.2.4. Fuzzy Relations and Composition......Page 38
2.2.5. Approximate Reasoning......Page 40
2.2.6. Linguistic Hedges......Page 42
2.3. Rough Set Theory......Page 43
2.3.1. Information and Decision Systems......Page 44
2.3.2. Indiscernibility......Page 45
2.3.4. Positive, Negative, and Boundary Regions......Page 46
2.3.5. Feature Dependency and Significance......Page 47
2.3.6. Reducts......Page 48
2.3.7. Discernibility Matrix......Page 49
2.4. Fuzzy-Rough Set Theory......Page 50
2.4.1. Fuzzy Equivalence Classes......Page 51
2.4.2. Fuzzy-Rough Sets......Page 52
2.4.4. Fuzzy-Rough Hybrids......Page 53
2.5. Summary......Page 55
3 CLASSIFICATION METHODS......Page 57
3.1.1. Rule Inducers......Page 58
3.1.3. Clustering......Page 60
3.1.4. Naive Bayes......Page 62
3.2. Fuzzy Approaches......Page 63
3.2.1. Lozowski’s Method......Page 64
3.2.2. Subsethood-Based Methods......Page 66
3.2.3. Fuzzy Decision Trees......Page 71
3.2.4. Evolutionary Approaches......Page 72
3.3.1. Fuzzy Interpolation......Page 75
3.3.2. Fuzzy Rule Optimization......Page 76
3.4. Summary......Page 78
4 DIMENSIONALITY REDUCTION......Page 79
4.1.1. Linear Methods......Page 81
4.1.2. Nonlinear Methods......Page 83
4.2. Selection-Based Reduction......Page 84
4.2.1. Filter Methods......Page 87
4.2.2. Wrapper Methods......Page 96
4.2.3. Genetic Approaches......Page 98
4.2.4. Simulated Annealing Based Feature Selection......Page 99
4.3. Summary......Page 101
5 ROUGH SET BASED APPROACHES TO FEATURE SELECTION......Page 103
5.1. Rough Set Attribute Reduction......Page 104
5.1.1. Additional Search Strategies......Page 107
5.1.2. Proof of QUICKREDUCT Monotonicity......Page 108
5.2.2. Implementational Optimizations......Page 109
5.3.1. Johnson Reducer......Page 113
5.3.2. Compressibility Algorithm......Page 114
5.4. Reduction with Variable Precision Rough Sets......Page 116
5.5. Dynamic Reducts......Page 118
5.6. Relative Dependency Method......Page 120
5.7.1. Similarity Measures......Page 121
5.7.2. Approximations and Dependency......Page 122
5.8. Combined Heuristic Method......Page 123
5.10. Comparison of Crisp Approaches......Page 124
5.10.1. Dependency Degree Based Approaches......Page 125
5.10.2. Discernibility Matrix Based Approaches......Page 126
5.11. Summary......Page 129
6.1. Medical Image Classification......Page 131
6.1.1. Problem Case......Page 132
6.1.2. Neural Network Modeling......Page 133
6.1.3. Results......Page 134
6.2.1. Problem Case......Page 135
6.2.3. Datasets Used......Page 136
6.2.4. Dimensionality Reduction......Page 137
6.2.5. Information Content of Rough Set Reducts......Page 138
6.2.6. Comparative Study of TC Methodologies......Page 139
6.2.7. Efficiency Considerations of RSAR......Page 142
6.2.8. Generalization......Page 143
6.3.1. Problem Case......Page 144
6.3.2. Results......Page 145
6.4.1. Prediction of Business Failure......Page 146
6.4.3. Bioinformatics and Medicine......Page 147
6.4.4. Fault Diagnosis......Page 148
6.4.6. Music and Acoustics......Page 149
6.5. Summary......Page 150
7.1. Introduction......Page 151
7.2. Theoretical Hybridization......Page 152
7.3. Supervised Learning and Information Retrieval......Page 154
7.4. Feature Selection......Page 155
7.5. Unsupervised Learning and Clustering......Page 156
7.6. Neurocomputing......Page 157
7.7. Evolutionary and Genetic Algorithms......Page 158
7.8. Summary......Page 159
8 FUZZY-ROUGH FEATURE SELECTION......Page 161
8.2. Fuzzy-Rough Reduction Process......Page 162
8.3. Fuzzy-Rough QuickReduct......Page 164
8.5. Worked Examples......Page 165
8.5.1. Crisp Decisions......Page 166
8.5.2. Fuzzy Decisions......Page 170
8.6. Optimizations......Page 171
8.7. Evaluating the Fuzzy-Rough Metric......Page 172
8.7.1. Compared Metrics......Page 173
8.7.2. Metric Comparison......Page 175
8.7.3. Application to Financial Data......Page 177
8.8. Summary......Page 179
9.1. Introduction......Page 181
9.2.1. Fuzzy Lower Approximation Based FS......Page 182
9.2.2. Fuzzy Boundary Region Based FS......Page 186
9.2.3. Fuzzy-Rough Reduction with Fuzzy Entropy......Page 189
9.2.4. Fuzzy-Rough Reduction with Fuzzy Gain Ratio......Page 191
9.2.5. Fuzzy Discernibility Matrix Based FS......Page 192
9.2.6. Vaguely Quantified Rough Sets (VQRS)......Page 196
9.3.2. Experimental Results......Page 198
9.3.3. Fuzzy Entropy Experimentation......Page 200
9.4. Proofs......Page 202
9.5. Summary......Page 208
10.1. Feature Grouping......Page 209
10.1.2. Scaled Dependency......Page 210
10.1.3. The Feature Grouping Algorithm......Page 211
10.1.4. Selection Strategies......Page 212
10.2. Ant Colony Optimization-Based Selection......Page 213
10.2.1. Ant Colony Optimization......Page 214
10.2.3. Ant-Based Feature Selection......Page 215
10.3. Summary......Page 218
11.1. Text Categorization......Page 221
11.1.2. Vector-Based Classification......Page 222
11.1.4. Probabilistic......Page 223
11.1.5. Term Reduction......Page 224
11.2. System Overview......Page 225
11.3. Bookmark Classification......Page 226
11.3.1. Existing Systems......Page 227
11.3.2. Overview......Page 228
11.3.3. Results......Page 230
11.4.1. Existing Systems......Page 232
11.4.3. Results......Page 233
11.5. Summary......Page 236
12 APPLICATIONS III: COMPLEX SYSTEMS MONITORING......Page 237
12.1.2. Monitoring System......Page 239
12.2.1. Comparison with Unreduced Features......Page 241
12.2.2. Comparison with Entropy-Based Feature Selection......Page 244
12.2.3. Comparison with PCA and Random Reduction......Page 245
12.2.4. Alternative Fuzzy Rule Inducer......Page 248
12.2.5. Results with Feature Grouping......Page 249
12.2.6. Results with Ant-Based FRFS......Page 251
12.3. Summary......Page 254
13 APPLICATIONS IV: ALGAE POPULATION ESTIMATION......Page 255
13.1.1. Domain Description......Page 256
13.1.2. Predictors......Page 258
13.2.1. Impact of Feature Selection......Page 259
13.2.2. Comparison with Relief......Page 262
13.3. Summary......Page 266
14.1. Background......Page 277
14.2. Estimation of Likelihood Ratio......Page 279
14.2.1. Exponential Model......Page 280
14.2.2. Biweight Kernel Estimation......Page 281
14.2.3. Likelihood Ratio with Biweight and Boundary Kernels......Page 282
14.2.4. Adaptive Kernel......Page 284
14.3.1. Fragment Elemental Analysis......Page 286
14.4. Experimentation......Page 288
14.4.2. Likelihood Ratio Estimation......Page 290
14.5. Glass Classification......Page 292
14.6. Summary......Page 294
15.1. RSAR-SAT......Page 297
15.1.1. Finding Rough Set Reducts......Page 298
15.1.2. Preprocessing Clauses......Page 299
15.1.3. Evaluation......Page 300
15.2.1. Explanation......Page 301
15.2.2. Experimentation......Page 302
15.3. Fuzzy-Rough Rule Induction......Page 304
15.4. Hybrid Rule Induction......Page 305
15.4.1. Hybrid Approach......Page 306
15.4.2. Rule Search......Page 307
15.4.3. Walkthrough......Page 309
15.4.4. Experimentation......Page 311
15.5. Fuzzy Universal Reducts......Page 315
15.6.1. Fuzzy-Rough c-Means......Page 316
15.7. Fuzzification Optimization......Page 317
15.8. Summary......Page 318
APPENDIX A METRIC COMPARISON RESULTS: CLASSIFICATION DATASETS......Page 319
APPENDIX B METRIC COMPARISON RESULTS: REGRESSION DATASETS......Page 327
REFERENCES......Page 331
INDEX......Page 355