数据中台建设:从方法论到落地实战

作者
彭勇
丛书名
出版社
电子工业出版社
ISBN
9787121417245
简要
简介
内容简介书籍经济管理学书籍 数字化发展在各个行业落地生根。本书首先介绍了工业、智慧农业、智慧服务业、智慧城市的数字化建设现状和发展趋势,让读者初步了解数字化发展。数据中台是企业数字化建设的基础。本书重点介绍了数据中台的定义、整体框架和建设的方法论。该方法论主要涉及企业数字化发展战略、组织架构变革、数据的存储和建模、数据平台的建设、数据服务框架、数据产品化和数据智能化建设等多个方面的内容。本书通过企业中两个热门场景的应用详细介绍了数据中台的落地实战。个是营销场景。企业通过营销中台的建设,构建了智能化营销体系,有效地提升了数据驱动营销的效能。第二个是风险管理场景。企业通过风险管理中台的建设,支持事前—事中—事后的智能风险管理,大幅提升了企业风险管理的效率和能力。
目录
第1章 数字化转型是大势所趋 / 1

1.1 科技加速理论 / 2

1.2 各个行业积极拥抱数字化变革 / 4

1.2.1 工业4.0的数字化发展趋势 / 4

1.2.2 智慧农业的数字化发展趋势 / 6

1.2.3 智慧服务业的数字化发展趋势 / 7

1.2.4 智慧城市的数字化发展趋势 / 11

1.2.5 小结 / 12

1.3 DT时代已来 / 13

1.3.1 DT时代和IT时代的差异 / 13

1.3.2 DT时代面临诸多挑战 / 16

1.4 数据中台呼之欲出 / 17

第2章 认知数据中台 / 18

2.1 什么是数据中台 / 19

2.1.1 行业对数据中台的不同理解 / 19

2.1.2 数据中台的定义 / 20

2.1.3 对数据中台的诠释 / 20

2.2 建设数据中台的价值 / 23

2.3 数据中台的建设目标 / 25

2.3.1 总体目标 / 25

2.3.2 数据中台的标准化 / 27

2.3.3 数据中台业务化 / 28

2.3.4 数据中台平台化 / 29

2.3.5 数据中台服务化 / 30

2.4 数据中台与上下游平台的关系 / 31

2.4.1 “前台-中台-后台”关系 / 31

2.4.2 数据中台和业务中台的关系 / 32

2.5 数据中台建设的9大误区 / 34

2.5.1 数据中台等同于数据工具的集合 / 34

2.5.2 数据中台等同于数据平台 / 35

2.5.3 企业小,不需要数据中台 / 35

2.5.4 建设数据中台是互联网企业的事,传统行业用不着 / 35

2.5.5 建设数据中台是数据部门的工作,与其他部门

关系不大 / 36

2.5.6 数据中台直连前台更敏捷,没必要建设业务中台 / 36

2.5.7 在数据中台成型后,不需要烟囱式的临时技术

团队 / 38

2.5.8 不着急建设数据中台,等业务成熟之后再说 / 38

2.5.9 建设数据中台可以一蹴而就 / 39

2.6 行业对数据中台的4个认知阶段 / 40

2.6.1 数据模型实现数据资产化 / 40

2.6.2 数据平台实现数据高可用性 / 41

2.6.3 实现数据业务化和服务化 / 41

2.6.4 实现数据和业务智能化 / 42

2.7 数据中台服务化发展阶段 / 42

2.7.1 实现服务手工可配置 / 43

2.7.2 实现服务智能组合和自适应 / 43

2.7.3 实现服务的智慧生态 / 44

第3章 数据中台建设方法论 / 45

3.1 数字化战略 / 46

3.1.1 数字化战略的价值 / 46

3.1.2 战略和执行双轮驱动 / 47

3.1.3 数据中台战略制定 / 51

3.2 数据中台的整体框架 / 54

3.2.1 统一数据基础设施平台 / 56

3.2.2 数据接入和汇聚平台 / 57

3.2.3 统一数据模型平台 / 58

3.2.4 统一ID和标签平台 / 58

3.2.5 数据开发和运维平台 / 59

3.2.6 数据智能平台 / 59

3.2.7 数据管理平台 / 60

3.2.8 数据服务平台 / 62

3.3 数据中台的8大设计准则 / 63

3.3.1 有数能用 / 64

3.3.2 让数据可用 / 64

3.3.3 让数据好用 / 65

3.3.4 让数据易用 / 66

3.3.5 让数据放心用 / 66

3.3.6 让数据更智能 / 67

3.3.7 让数据服务化 / 67

3.3.8 让数据可控 / 68

3.4 数据中台行动攻略 / 68

3.4.1 “九看”方法论 / 68

3.4.2 数据中台MVP建设路径 / 73

3.5 数据中台技术选型 / 77

3.5.1 4种选型方案 / 77

3.5.2 开源解决方案 / 78

3.6 总结 / 88

第4章 统一数据模型:让数据资产化 / 89

4.1 数据标准化体系的价值 / 90

4.1.1 数据标准化体系是数字化战略的基础 / 90

4.1.2 数据管理是事前远见,数据治理是事后亡羊补牢 / 94

4.2 数据资产管理体系介绍 / 95

4.2.1 6个常用的数据资产管理体系 / 95

4.2.2 制定数据管理战略 / 97

4.3 高效数据建模,让数据好用起来 / 98

4.3.1 统一数据模型的意义 / 98

4.3.2 统一数据模型具体做什么 / 100

4.3.3 如何建设统一数据模型 / 101

4.4 对维度建模进一步探索 / 113

4.4.1 维度建模设计过程 / 114

4.4.2 维度建模示例 / 116

4.5 统一建模的注意事项 / 118

4.5.1 数据标准化只停留在数据部门 / 118

4.5.2 缺少元数据管理支持 / 119

4.5.3 监控体系缺失 / 120

4.5.4 事实表的设计注意事项 / 120

4.5.5 维度爆炸 / 121

4.5.6 对维度过度退化 / 121

4.5.7 缓慢变化维 / 122

4.5.8 大表的抽取 / 123

4.6 总结 / 124

第5章 数据计算平台:让数据“飞”起来 / 125

5.1 计算平台的应用场景 / 126

5.2 应用场景一:批处理 / 128

5.2.1 批处理计算引擎介绍 / 128

5.2.2 批处理计算引擎应用举例 / 131

5.2.3 批处理计算总结 / 132

5.3 应用场景二:实时计算 / 133

5.3.1 实时计算流程介绍 / 133

5.3.2 实时计算和离线计算如何高效共存 / 134

5.3.3 实时数据仓库 / 136

5.3.4 流式计算实时统计GMV示例 / 138

5.4 应用场景三:实时查询 / 140

5.5 应用场景四:海量日志和信息检索 / 140

5.5.1 检索方案介绍 / 140

5.5.2 日志检索方案示例 / 142

5.6 应用场景五:多维分析 / 145

5.6.1 多维分析方案介绍 / 145

5.6.2 基于ClickHouse实现多维分析示例 / 146

5.7 应用场景六:图计算 / 148

5.7.1 图计算框架介绍 / 148

5.7.2 图计算应用案例——团体反欺诈 / 149

5.8 应用场景七:人工智能计算框架 / 151

5.8.1 主流的人工智能计算框架介绍 / 151

5.8.2 量子计算 / 152

5.8.3 人工智能平台应用案例——智能客服 / 153

第6章 算法即服务:化实现数据价值 / 155

6.1 算法的价值 / 156

6.2 建模标准化流程 / 158

6.2.1 业务理解贯穿始终 / 159

6.2.2 数据准备 / 160

6.2.3 数据预处理 / 165

6.2.4 特征工程 / 168

6.2.5 模型构建 / 173

6.2.6 模型评估 / 186

6.2.7 模型部署,让模型服务化 / 192

6.2.8 模型监控和迭代 / 196

6.3 算法即服务应用实践 / 196

6.3.1 保险关系网络分析 / 197

6.3.2 交叉销售 / 201

6.3.3 反欺诈示例 / 206

6.4 算法即服务须遵循的原则 / 212

6.4.1 算法即服务需要业务知识的输入,业务理解贯穿

建模始终 / 213

6.4.2 算法不是的,有适用的场景 / 213

6.4.3 要合理地平衡算法的计算性能和效果 / 213

6.4.4 要优先选择混合模型 / 214

6.4.5 要尽量实现建模全流程自动化 / 214

第7章 数据产品:让数据应用更便捷 / 215

7.1 自助取数和自助分析 / 216

7.1.1 自助取数工具 / 217

7.1.2 自助分析工具 / 219

7.2 数据爬虫 / 221

7.3 客户画像 / 221

7.4 标签圈选 / 222

7.5 客户分群 / 224

7.6 数据可视化工具 / 226

7.6.1 Matplotlib / 227

7.6.2 Pandas+Seaborn举例 / 231

7.7 规则引擎 / 232

第8章 营销中台:让营销更精准、更及时 / 235

8.1 数字化营销是大势所趋 / 236

8.2 营销体系升级 / 239

8.2.1 营销理论的多次升级 / 239

8.2.2 营销的几个重要的方法论 / 243

8.2.3 营销体系的三个发展阶段 / 246

8.3 营销中台建设 / 254

8.3.1 营销中台框架图 / 254

8.3.2 营销中台功能介绍 / 255

8.4 营销中台应用案例 / 263

8.4.1 电话营销续保精准营销 / 263

8.4.2 广告精准投放获客+线索转化 / 266

8.4.3 保险智能销售助手 / 268

第9章 风险管理中台:360°的风险管家 / 271

9.1 风险管理中台 / 272

9.1.1 汽车保险的主要风险管理节点示例 / 272

9.1.2 风险管理中台框架图 / 273

9.1.3 风险管理中台功能介绍 / 273

9.1.4 风险管理的标准化流程 / 289

9.2 风险管理中台的应用案例 / 292

9.2.1 反“薅羊毛” / 292

9.2.2 语音质检风险筛查 / 292

9.2.3 车险理赔反欺诈 / 293

9.2.4 团体保险风险管理体系 / 295

9.2.5 人身险风险管理建设 / 296

推荐

车牌查询
桂ICP备20004708号-3