Data lakes

Cover......Page 1
Half-Title Page......Page 3
Dedication......Page 4
Title Page......Page 5
Copyright Page......Page 6
Contents......Page 7
Preface......Page 13
 1.1. Introduction to data lakes......Page 15
 1.2. Literature review and discussion......Page 17
 1.3. The data lake challenges......Page 21
 1.4. Data lakes versus decision-making systems......Page 24
 1.5. Urbanization for data lakes......Page 27
 1.6. Data lake functionalities......Page 31
 1.7. Summary and concluding remarks......Page 34
 2.1. Introduction......Page 35
  2.2.2. Architecture......Page 39
  2.2.3. Metadata......Page 40
  2.2.5. Schema-on-read......Page 41
 2.3. System architecture......Page 42
  2.3.1. Ingestion layer......Page 43
  2.3.2. Storage layer......Page 45
  2.3.3. Transformation layer......Page 46
  2.4.1. System overview......Page 47
  2.4.3. Maintenance layer......Page 49
  2.4.4. Query layer......Page 51
  2.4.6. Extensibility and flexibility......Page 52
 2.5. Concluding remarks......Page 53
 3.1. Our expectations......Page 55
 3.2. Modeling data lake functionalities......Page 57
 3.3. Building the knowledge base of industrial data lakes......Page 60
 3.4. Our formalization approach......Page 63
 3.5. Applying our approach......Page 65
 3.6. Analysis of our first results......Page 67
 3.7. Concluding remarks......Page 69
 4.1. Definitions and concepts......Page 71
 4.2. Classification of metadata by NISO......Page 72
  4.2.1. Metadata schema......Page 73
  4.2.2. Knowledge base and catalog......Page 74
  4.3.1. Business metadata......Page 75
  4.3.3. Operational metadata......Page 77
 4.4. Sources of metadata......Page 78
 4.5. Metadata classification......Page 79
  4.6.3. Interoperability and integration......Page 84
  4.6.5. Data archiving and preservation......Page 85
 4.7. Business value of metadata......Page 86
  4.8.1. Architecture scenario 1: point-to-point metadata architecture......Page 89
  4.8.2. Architecture scenario 2: hub and spoke metadata architecture......Page 90
  4.8.3. Architecture scenario 3: tool of record metadata architecture......Page 92
  4.8.4. Architecture scenario 4: hybrid metadata architecture......Page 93
  4.8.5. Architecture scenario 5: federated metadata architecture......Page 94
 4.9. Metadata management......Page 96
  4.10.1. Application and workload layer......Page 100
  4.10.2. Data layer......Page 102
  4.10.4. Metadata types......Page 104
 4.11. Metadata management in data lakes......Page 106
  4.11.2. Metadata storage......Page 107
  4.11.4. Metadata lineage......Page 108
  4.11.6. Data source selection......Page 109
 4.13. Conclusion......Page 110
 5.1. Context......Page 111
  5.1.1. Data lake definition......Page 112
  5.1.2. Data lake functional architecture......Page 114
 5.2. Related work......Page 117
  5.2.1. Metadata classification......Page 118
  5.2.2. Metadata management......Page 119
  5.3.1. Metadata classification......Page 120
  5.3.2. Schema of metadata conceptual model......Page 124
 5.4. Metadata implementation......Page 125
  5.4.1. Relational database......Page 126
  5.4.2. Graph database......Page 129
  5.4.3. Comparison of the solutions......Page 133
 5.5. Concluding remarks......Page 135
6. Master Data and Reference Data in Data Lake Ecosystems......Page 137
  6.1.2. Basic definitions......Page 139
  6.2.1. Behavior......Page 140
  6.2.3. Cardinality......Page 141
  6.2.6. Value......Page 142
  6.2.8. Reuse......Page 143
 6.3. Why should I manage master data?......Page 144
 6.4. What is master data management?......Page 145
  6.4.1. How do I create a master list?......Page 150
  6.4.2. How do I maintain a master list?......Page 152
  6.4.3. Versioning and auditing......Page 153
  6.4.4. Hierarchy management......Page 154
 6.5. Master data and the data lake......Page 155
 6.6. Conclusion......Page 157
 7.1. Basic principles......Page 159
 7.2. Using Linked Data in data lakes......Page 162
  7.2.1. Distributed data storage and querying with linked data graphs......Page 165
  7.2.2. Describing and profiling data sources......Page 167
  7.2.3. Integrating internal and external data......Page 170
 7.3. Limitations and issues......Page 173
 7.4. The smart cities use case......Page 176
  7.4.1. The MK Data Hub......Page 177
  7.4.2. Linked data in the MK Data Hub......Page 179
 7.5. Take-home message......Page 183
 8.2. A little bit of context......Page 185
 8.3. Every machine talks......Page 186
 8.4. The volume paradox......Page 187
 8.5. The fog, a shift in paradigm......Page 188
 8.6. Constraint environment challenges......Page 190
 8.7. Calculations and local drift......Page 191
  8.7.1. A short memo about computer arithmetic......Page 192
  8.7.2. Instability from within......Page 193
  8.7.3. Non-determinism from outside......Page 194
 8.8. Quality is everything......Page 195
 8.9. Fog computing versus cloud computing and edge computing......Page 198
 8.10. Concluding remarks: fog computing and data lake......Page 199
  9.1.1. Universal gravitation......Page 201
  9.1.2. Gravitation in information systems......Page 203
 9.2. Impact of gravitation on the architecture of data lakes......Page 207
  9.2.1. The case where data are not moved......Page 209
  9.2.2. The case where processes are not moved......Page 211
  9.2.3. The case where the environment blocks the move......Page 212
Glossary......Page 215
References......Page 221
List of Authors......Page 231
Index......Page 233
Other titles from iSTE in Computer Engineering......Page 237
EULA......Page 247