大数据之路: 阿里巴巴大数据实践

目录
第1章 总述
	图1.1 阿里巴巴大数据系统体系架构图
	1 .数据采集层
	2. 数据计算层
	3. 数据服务层
	4. 数据应用层
第1篇 数据技术篇
	第2章 日志采集
		2.1 浏览器的页画日志采集
			2.1.1 页面浏览日志采集流程
			2.1.2 页面交互日志采集
			2.1.3 页面日志的服务器端清洗和预处理
		2.2 无线客户端的日志采集
			2.2.1 页面事件
			2.2.2 控件点击及其他事件
			2.2.3 特殊场景
			2.2.4 H5 & Native 日志统一
			2.2.5 设备标识
			2.2.6 日志传输
		2.3 日志采集的挑战
			2.3.1 典型场景
				2. 采集与计算一体化设计
			2.3.2 大促保障
	第3章 数据同步
		3.2 阿里数据仓库的同步方式
			3.2.1 批量数据同步
			3.2.2 实时数据同步
		3.3 数据同步遇到的问题与解决万案
			3.3.1 分库分表的处理
			3.3.2 高效同步和批量同步
			3.3.3 增量与全量同步的合并
			3.3.4 同步性能的处理
			3.3.5 数据漂移的处理
	第4章 离线数据开发
		4.1 数据开发平台
			4.1.1 统一计算平台
			4.1.2 统一开发平台
				1. 在云端 (D2)
				2. SQLSCAN
				3. DQC
				4. 在彼岸
		4.2 任务调度系统
	第5章 实时技术
		5.1 简介
		5.2 流式技术架构
			5.2.1 数据采集
			5.2.2 数据处理
			5.2.3 数据存储
			5.2.4 数据服务
		5.3 流式数据模型
			5.3.1 数据分层
			5.3.2 多流关联
			5.3.3 维表使用
		5.4 大促挑战＆保障
	第6章 数据服务
		6.1 服务架构演进
			6.1.1 DWSOA
			6.1.2 OpenAPI
			6.1.3 SmartDQ
			6.1.4 统一的数据服务层(OneService)
		6.2 技术架构
			6.2.1 SmartDQ
			6.2.2 iPush
			6.2.3 Lego
			6.2.4 uTiming
		6.3 最佳实践
			6.3.1 性能
				1. 资源分配
				2. 缓存优化
				3. 查询能力
					(1) 合并查询
					(2) 推送服务
			6.3.2 稳定性
				1. 发布系统
				2. 隔离
				4. 监控
	第7章 数据挖掘
		7.1 数据挖掘概述
		7.2 数据挖掘算法平台
		7.3 数据挖掘中台体系
			7.3.1 挖掘数据中台
				图7.2 阿里巴巴数据挖掘中台
			7.3.2 挖掘算法中台
				图7 .3 常见的数据挖掘应用
		7 .4 数据挖掘案例
			7.4.1 用户画像
			7.4.2 互联网反作弊
第2篇 数据模型篇
	第8章 大数据领域建模综述
		8.1 为什么需要数据建模
		8.2 关系数据库系统和数据仓库
		8.3 从OLTP 和OLAP 系统的区别看模型万法论的选择
		8.4 典型的数据仓库建模万法论
			8.4.1 ER 模型
			8.4.2 维度模型
			8.4.3 Data Vault 模型
			8.4.4 Anchor 模型
		8.5 阿里巴巴数据模型实践综述
	第9章 阿里巴巴数据整合及管理体系 OneData
		9.1 概述
			9.1.1 定位及价值
			9.1.2 体系架构
				图9.1 体系架构图
				图9.2 规范定义实例
		9.2 规范定义
			9.2.1 名词术语
			9.2.2 指标体系
				1 . 基本原则
					常用的时间周期修饰词
				2 . 操作细则
					(1) 派生指标的种类
					(2) 复合型指标的规则
		9.3 模型设计
			9.3.2 模型层次
				操作数据层（ ODS ）
				公共维度模型层（ CDM ）
				应用数据层（ ADS ）
				图9.10 模型架构图
			9.3.3 基本原则
		9.4 模型实施
			9.4.1 业界常用的模型实施过程
			9.4.2 OneData 实施过程
				1 指导方针
				2. 实施工作流
					图9. 11 实施工作流
					(1) 数据调研
					(2) 架构设计
						表9.4 功能模块／业务线的业务动作
						表9.5 数据域
	第10章 维度设计
		10.1 维度设计基础
			10.1.2 维度的基本设计方法
			10.1.3 维度的层次结构
			10.1.4 规范化和反规范化
				图10.2 反规范化处理沟宝商品维度所求观的形式
			10.1.5 一致性维度和交叉探查
		10.2 维度设计高级主题
			10.2.1 维度整合
			10.2.2 水平拆分
			10.2.3 垂直拆分
			10.2.4 历史归档
		10.3 维度变化
			10.3.1 缓慢变化维
			10.3.2 快照维表
			10.3.3 极限存储
		10.4 特殊维度
			10.4.1 递归层次
				图10. 4 类目维度
			10.4.2 行为维度
			10.4.3 多值维度
			10.4.4 多值属性
	第11章 事实表设计
		11.1 事实表基础
			11.1.2 事实表设计原则
			11.1.3 事实表设计方法
				图11.1 沟宝交易订单的流转过程
		11.2 事务事实表
			图11.5 冗余维度的沟宝交易事务事实求
			11.2.2 单事务事实表
				图11.6 1688 交易订单下单事务事实
				图11.7 1688 交易订单支付事务事实农
			11.2.3 多事务事实表
				1. 淘军交易事务事实表
					图11.11 淘宝交易多事务事实农
				2. 淘宝收藏商品事务事实表
					图11.15 收藏商品事务事实农数据实例
			11.2.4 两种事实表对比
		11.3 周期快照事实表
			11.3.1 特性
				1. 用快照采样状态
				图11.16 淘宝交易卖家快照事实表
			11.3.2 实例
				1. 单维度的每天快照事实表
					图11.17 淘宝卖家历史至今快照事实表
					图11.18 淘宝商品历史至今快照事实表
				2. 混合维度的每天快照事实表
					图11.22 淘宝卖家信用分和DSR 快照事实表
				3. 全量快照事实表
					图11.23 淘宝好中差许快照事实农
			11.3.3 注意事项
		11.4 累积快照事实表
			图11.25 淘宝交易累积快照事实表（确定事实后）
			11.4.2 特点
			11.4.3 特殊处理
			11.4.4 物理实现
		11.5 三种事实表的比较
			表11.7 三种事实表的比较
		11.6 无事实的事实表
		11.7 聚集型事实表
			11.7.3 阿里公共汇总层
				图11.28 按卖家聚集的主形模型
第3篇 数据管理篇
	第12章 元数据
		12.1 元数据概述
			12.1.1 元数据定义
			12.1.3 统一元数据体系建设 OneMeta
		12.2 元数据应用
			12.2.1 Data Profile
			12.2.2 元数据门户
			12.2.3 应用链路分析
			12.2.4 数据建模
			12.2.5 驱动ETL 开发
	第13章 计算管理
	第14章 存储和成本管理
		14.4 生命周期管理
	第15章 数据质量
		15.1 数据质量保障原则
		15.2 数据质量方法概述
			15.2.1 消费场景知晓
			15.2.3 风险点监控
第4篇 数据应用篇
	第16章 数据应用
		16.1 生意参谋
			16.1.1 背景概述
			16.1.2 功能架构与技术能力
				1. 看我情
				2. 看行情
				3. 看敌情
			16.1.3 商家应用实践
		16.2 对内数据产品平台
			16.2.1 定位
			16.2.2 产品建设历程
				4 . V4.0 数据产品平台
			16.2.3 整体架构介绍
附录A 本书插图索引