| 作者 |
| 华为公司数据管理部 董西成 |
| 丛书名 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782011171558 |
| 简要 |
| 简介 |
| 内容简介书籍经济管理学书籍 ---------------------------华为数据之道--------------------------- 内容简介 这是一部从技术、流程、管理等多个维度系统讲解华为数据治理和数字化转型的著作。华为是一家超大型企业，华为的数据底座和数据治理方法支撑着华为在全球170多个国家/地区开展多业态、差异化的运营。书中凝聚了大量数据治理和数字化转型方面的有价值的经验、方法论、规范、模型、解决方案和案例，不仅能让读者即学即用，还能让读者了解华为数字化建设的历程。 全书共10章，内容从逻辑上分为四个部分。 第一部分（第1~3章） 第1章以非数字原生企业在数字化转型方面面临的挑战开篇，介绍了华为在数据治理和数字化转型方面的目标、愿景、蓝图和框架；第2章从企业政策和架构协同的角度，介绍了企业级的数据综合治理体系，理顺了数据与变革、运营、IT之间的协同关系，明确了数据管理的责任主体在业务；第3章详细阐述了不同类型的数据的管理方式和要点。 第二部分（第4~6章） 详细讲解了数据治理工作中的三项重点任务：信息架构、数据底座、数据服务。第4章介绍了信息架构的四个组件，给出了建设原则和核心要素，并引出了业务对象、过程、规则三项数字化的建设方向；第5章提出了数据底座建设的整体框架，介绍了数据湖和数据主题连接两个层次的建设实践；第6章以自助、高效、复用为数据服务的目的，提出了对数据进行搜索、加工和分析的消费过程管理方案。 第三部分（第7~9章） 系统总结了数据治理的三项关键能力：数据的全量感知、综合质量提升、可控共享。第7章以数字孪生的全量、无接触感知为目标，介绍了数据的硬感知和软感知两类能力；第8章基于PDCA框架，介绍了对企业业务数据异常的全面监控；第9章介绍了如何构建以元数据为基础的数据安全隐私保护框架，如何建立动静结合的数据保护与授权管理方案。 第四部分（第10章） 基于对“机器认知世界”的理解，我们提出了对数据治理未来的思考，畅想了AI治理、数据主权和数据生态建设。未来已来，让我们共同努力，把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。 ---------------------------大数据技术体系详解：原理、架构与实践--------------------------- . 本书站在大数据落地应用的角度，系统阐述大数据从数据收集，到数据存储、分布式协调及资源管理、计算引擎、分析工具，再到数据可视化这一完整流程，本书既包含主要技术的实现原理及其框架，也包含了具体落地指导，是帮助企业和个人整体了解大数据框架不可多得的参考书。本章主要包括6个部分共16章的内容，其中：第壹部分介绍了大数据体系架构，以及Google和Hadoop技术栈；第二部分介绍大数据分析相关技术，主要涉及关系型数据收集工具Sqoop与Canel、非关系型数据收集系统Flume以及分布式消息队列Kafka；第三部分介绍大数据存储相关技术，涉及数据存储格式、分布式文件系统以及分布式数据库；第四部分介绍资源管理和服务协调相关技术，涉及资源管理和调度系统YARN以及资源协调系统ZooKeeper；第五部分介绍计算引擎相关技术，涉及批处理、交互式处理以及流式实时处理三类引擎；第六部分数据分析相关技术，涉及基于数据分析语言HQL与SQL、大数据统一编程模型及机器学习库等。 |
| 目录 |
---------------------------华为数据之道--------------------------- 序一 序二 序三 前言 第1章 数据驱动的企业数字化转型 1.1 非数字原生企业的数字化转型挑战2 1.1.1 业态特征：产业链条长、多业态并存3 1.1.2 运营环境：数据交互和共享风险高4 1.1.3 IT建设过程：数据复杂、历史包袱重4 1.1.4 数据质量：数据可信和一致化的要求程度高5 1.2 华为数字化转型与数据治理6 1.2.1 华为数字化转型整体目标6 1.2.2 华为数字化转型蓝图及对数据治理的要求7 1.3 华为数据治理实践9 1.3.1 华为数据治理历程10 1.3.2 华为数据工作的愿景与目标12 1.3.3 华为数据工作建设的整体思路和框架12 1.4 本章小结15 第2章 建立企业级数据综合治理体系 2.1 建立公司级的数据治理政策18 2.1.1 华为数据管理总纲18 2.1.2 信息架构管理政策20 2.1.3 数据源管理政策21 2.1.4 数据质量管理政策22 2.2 融入变革、运营与IT的数据治理24 2.2.1 建立管理数据流程24 2.2.2 管理数据流程与管理变革项目、管理质量与运营之间的关系26 2.2.3 通过变革体系和运营体系进行决策26 2.2.4 数据治理融入IT实施27 2.2.5 通过内控体系赋能数据治理27 2.3 建立业务负责制的数据管理责任体系28 2.3.1 任命数据Owner和数据管家28 2.3.2 建立公司层面的数据管理组织29 2.4 本章小结33 第3章 差异化的企业数据分类管理框架 3.1 基于数据特性的分类管理框架35 3.2 以统一语言为核心的结构化数据管理36 3.2.1 基础数据治理39 3.2.2 主数据治理40 3.2.3 事务数据治理46 3.2.4 报告数据治理46 3.2.5 观测数据治理48 3.2.6 规则数据治理50 3.3 以特征提取为核心的非结构化数据管理52 3.4 以确保合规遵从为核心的外部数据管理54 3.5 作用于数据价值流的元数据管理56 3.5.1 元数据治理面临的挑战56 3.5.2 元数据管理架构及策略59 3.5.3 元数据管理60 3.6 本章小结71 第4章 面向“业务交易”的信息架构建设 4.1 信息架构的四个组件74 4.1.1 数据资产75 4.1.2 数据标准77 4.1.3 数据模型80 4.1.4 数据分布80 4.2 信息架构原则：建立企业层面的共同行为准则81 4.3 信息架构建设核心要素：基于业务对象进行设计和落地84 4.3.1 按业务对象进行架构设计84 4.3.2 按业务对象进行架构落地87 4.4 传统信息架构向业务数字化扩展：对象、过程、规则90 4.5 本章小结95 第5章 面向“联接共享”的数据底座建设 5.1 支撑非数字原生企业数字化转型的数据底座建设框架98 5.1.1 数据底座的总体架构98 5.1.2 数据底座的建设策略100 5.2 数据湖：实现企业数据的“逻辑汇聚”101 5.2.1 华为数据湖的3个特点101 5.2.2 数据入湖的6个标准103 5.2.3 数据入湖方式106 5.2.4 结构化数据入湖109 5.2.5 非结构化数据入湖113 5.3 数据主题联接：将数据转换为“信息”117 5.3.1 5类数据主题联接的应用场景117 5.3.2 多维模型设计120 5.3.3 图模型设计125 5.3.4 标签设计130 5.3.5 指标设计132 5.3.6 算法模型设计135 5.4 本章小结139 第6章 面向“自助消费”的数据服务建设 6.1 数据服务：实现数据自助、高效、复用142 6.1.1 什么是数据服务144 6.1.2 数据服务生命周期管理149 6.1.3 数据服务分类与建设规范156 6.1.4 打造数据供应的“三个1”162 6.2 构建以用户体验为核心的数据地图167 6.2.1 数据地图的核心价值167 6.2.2 数据地图的关键能力171 6.3 人人都是分析师175 6.3.1 从“保姆”模式到“服务+自助”模式175 6.3.2 打造业务自助分析的关键能力179 6.4 从结果管理到过程管理，从能“看”到能“管”187 6.4.1 数据赋能业务运营187 6.4.2 数据消费典型场景实践190 6.4.3 华为数据驱动数字化运营的历程和经验195 6.5 本章小结199 第7章 打造“数字孪生”的数据全量感知能力 7.1 “全量、无接触”的数据感知能力框架202 7.1.1 数据感知能力的需求起源：数字孪生202 7.1.2 数据感知能力架构205 7.2 基于物理世界的“硬感知”能力207 7.2.1 “硬感知”能力的分类207 7.2.2 “硬感知”能力在华为的实践213 7.3 基于数字世界的“软感知”能力215 7.3.1 “软感知”能力的分类215 7.3.2 “软感知”能力在华为的实践218 7.4 通过感知能力推进企业业务数字化220 7.4.1 感知数据在华为信息架构中的位置220 7.4.2 非数字原生企业数据感知能力的建设224 7.5 本章小结226 第8章 打造“清洁数据”的质量综合管理能力 8.1 基于PDCA的数据质量管理框架228 8.1.1 什么是数据质量228 8.1.2 数据质量管理范围229 8.1.3 数据质量的总体框架229 8.2 全面监控企业业务异常数据231 8.2.1 数据质量规则231 8.2.2 异常数据监控237 8.3 通过数据质量综合水平牵引质量提升243 8.3.1 数据质量度量运作机制243 8.3.2 设计质量度量245 8.3.3 执行质量度量248 8.3.4 质量改进253 8.4 本章小结256 第9章 打造“安全合规”的数据可控共享能力 9.1 内外部安全形势，驱动数据安全治理发展258 9.1.1 数据安全成为国家竞争的新战场258 9.1.2 数字时代数据安全的新变化258 9.2 数字化转型下的数据安全共享260 9.3 构建以元数据为基础的安全隐私保护框架261 9.3.1 以元数据为基础的安全隐私治理261 9.3.2 数据安全隐私分层分级管控策略263 9.3.3 数据底座安全隐私分级管控方案266 9.3.4 分级标识数据安全隐私271 9.4 “静”“动”结合的数据保护与授权管理272 9.4.1 静态控制：数据保护能力架构272 9.4.2 动态控制：数据授权与权限管理274 9.5 本章小结279 第10章 未来已来：数据成为企业核心竞争力 10.1 数据：新的生产要素282 10.1.1 数据被列为生产要素：制度层面的肯定282 10.1.2 数据将进入企业的资产负债表283 10.1.3 数据资产的价值由市场决定284 10.2 大规模数据交互的企业数据生态285 10.2.1 数据生态离不开底层技术的支撑286 10.2.2 数据主权是数据安全交换的核心287 10.2.3 国际数据空间的目标与原则289 10.2.4 多方安全计算强化数据主权291 10.3 摆脱传统手段的数据管理方式292 10.3.1 智能数据管理是数据工作的未来292 10.3.2 内容级分析能力提供资产全景图293 10.3.3 属性特征启发主外键智能联接293 10.3.4 质量缺陷预发现294 10.3.5 算法助力数据管理294 10.3.6 数字道德抵御算法歧视295 10.4 第四个世界：机器认知世界295 10.4.1 真实唯一的“物理世界”和五彩缤纷的“人类认知世界”295 10.4.2 映射“物理世界”的数字孪生—“数字世界”297 10.4.3 “数字世界”中的智能认知—“机器认知世界”298 10.5 本章小结299 ---------------------------大数据技术体系详解：原理、架构与实践--------------------------- 前 言 第一部分 概述篇 第1章 企业级大数据技术体系概述 2 1.1 大数据系统产生背景及应用场景 2 1.1.1 产生背景 2 1.1.2 常见大数据应用场景 3 1.2 企业级大数据技术框架 5 1.2.1 数据收集层 6 1.2.2 数据存储层 7 1.2.3 资源管理与服务协调层 7 1.2.4 计算引擎层 8 1.2.5 数据分析层 9 1.2.6 数据可视化层 9 1.3 企业级大数据技术实现方案 9 1.3.1 Google大数据技术栈 10 1.3.2 Hadoop与Spark开源大数据技术栈 12 1.4 大数据架构：Lambda Architecture 15 1.5 Hadoop与Spark版本选择及安装部署 16 1.5.1 Hadoop与Spark版本选择 16 1.5.2 Hadoop与Spark安装部署 17 1.6 小结 18 1.7 本章问题 18 第二部分 数据收集篇 第2章 关系型数据的收集 20 2.1 Sqoop概述 20 2.1.1 设计动机 20 2.1.2 Sqoop基本思想及特点 21 2.2 Sqoop基本架构 21 2.2.1 Sqoop1基本架构 22 2.2.2 Sqoop2基本架构 23 2.2.3 Sqoop1与Sqoop2对比 24 2.3 Sqoop使用方式 25 2.3.1 Sqoop1使用方式 25 2.3.2 Sqoop2使用方式 28 2.4 数据增量收集CDC 31 2.4.1 CDC动机与应用场景 31 2.4.2 CDC开源实现Canal 32 2.4.3 多机房数据同步系统Otter 33 2.5 小结 35 2.6 本章问题 35 第3章 非关系型数据的收集 36 3.1 概述 36 3.1.1 Flume设计动机 36 3.1.2 Flume基本思想及特点 37 3.2 Flume NG基本架构 38 3.2.1 Flume NG基本架构 38 3.2.2 Flume NG高级组件 41 3.3 Flume NG数据流拓扑构建方法 42 3.3.1 如何构建数据流拓扑 42 3.3.2 数据流拓扑实例剖析 46 3.4 小结 50 3.5 本章问题 50 第4章 分布式消息队列Kafka 51 4.1 概述 51 4.1.1 Kafka设计动机 51 4.1.2 Kafka特点 53 4.2 Kafka设计架构 53 4.2.1 Kafka基本架构 54 4.2.2 Kafka各组件详解 54 4.2.3 Kafka关键技术点 58 4.3 Kafka程序设计 60 4.3.1 Producer程序设计 61 4.3.2 Consumer程序设计 63 4.3.3 开源Producer与Consumer实现 65 4.4 Kafka典型应用场景 65 4.5 小结 67 4.6 本章问题 67 第三部分 数据存储篇 第5章 数据序列化与文件存储格式 70 5.1 数据序列化的意义 70 5.2 数据序列化方案 72 5.2.1 序列化框架Thrift 72 5.2.2 序列化框架Protobuf 74 5.2.3 序列化框架Avro 76 5.2.4 序列化框架对比 78 5.3 文件存储格式剖析 79 5.3.1 行存储与列存储 79 5.3.2 行式存储格式 80 5.3.3 列式存储格式ORC、Parquet与CarbonData 82 5.4 小结 88 5.5 本章问题 89 第6章 分布式文件系统 90 6.1 背景 90 6.2 文件级别和块级别的分布式文件系统 91 6.2.1 文件级别的分布式系统 91 6.2.2 块级别的分布式系统 92 6.3 HDFS基本架构 93 6.4 HDFS关键技术 94 6.4.1 容错性设计 95 6.4.2 副本放置策略 95 6.4.3 异构存储介质 96 6.4.4 集中式缓存管理 97 6.5 HDFS访问方式 98 6.5.1 HDFS shell 98 6.5.2 HDFS API 100 6.5.3 数据收集组件 101 6.5.4 计算引擎 102 6.6 小结 102 6.7 本章问题 103 第7章 分布式结构化存储系统 104 7.1 背景 104 7.2 HBase数据模型 105 7.2.1 逻辑数据模型 105 7.2.2 物理数据存储 107 7.3 HBase基本架构 108 7.3.1 HBase基本架构 108 7.3.2 HBase内部原理 110 7.4 HBase访问方式 114 7.4.1 HBase shell 114 7.4.2 HBase API 116 7.4.3 数据收集组件 118 7.4.4 计算引擎 119 7.4.5 Apache Phoenix 119 7.5 HBase应用案例 120 7.5.1 社交关系数据存储 120 7.5.2 时间序列数据库OpenTSDB 122 7.6 分布式列式存储系统Kudu 125 7.6.1 Kudu基本特点 125 7.6.2 Kudu数据模型与架构 126 7.6.3 HBase与Kudu对比 126 7.7 小结 127 7.8 本章问题 127 第四部分 分布式协调与资源管理篇 第8章 分布式协调服务ZooKeeper 130 8.1 分布式协调服务的存在意义 130 8.1.1 leader选举 130 8.1.2 负载均衡 131 8.2 ZooKeeper数据模型 132 8.3 ZooKeeper基本架构 133 8.4 ZooKeeper程序设计 134 8.4.1 ZooKeeper API 135 8.4.2 Apache Curator 139 8.5 ZooKeeper应用案例 142 8.5.1 leader选举 142 8.5.2 分布式队列 143 8.5.3 负载均衡 143 8.6 小结 144 8.7 本章问题 145 第9章 资源管理与调度系统YARN 146 9.1 YARN产生背景 146 9.1.1 MRv1局限性 146 9.1.2 YARN设计动机 147 9.2 YARN设计思想 148 9.3 YARN的基本架构与原理 149 9.3.1 YARN基本架构 149 9.3.2 YARN高可用 152 9.3.3 YARN工作流程 153 9.4 YARN资源调度器 155 9.4.1 层级队列管理机制 155 9.4.2 多租户资源调度器产生背景 156 9.4.3 Capacity/Fair Scheduler 157 9.4.4 基于节点标签的调度 160 9.4.5 资源抢占模型 163 9.5 YARN资源隔离 164 9.6 以YARN为核心的生态系统 165 9.7 资源管理系统Mesos 167 9.7.1 Mesos基本架构 167 9.7.2 Mesos资源分配策略 169 9.7.3 Mesos与YARN对比 170 9.8 资源管理系统架构演化 170 9.8.1 集中式架构 171 9.8.2 双层调度架构 171 9.8.3 共享状态架构 172 9.9 小结 173 9.10 本章问题 173 第五部分 大数据计算引擎篇 第10章 批处理引擎MapReduce 176 10.1 概述 176 10.1.1 MapReduce产生背景 176 10.1.2 MapReduce设计目标 177 10.2 MapReduce编程模型 178 10.2.1 编程思想 178 10.2.2 MapReduce编程组件 179 10.3 MapReduce程序设计 187 10.3.1 MapReduce程序设计基础 187 10.3.2 MapReduce程序设计进阶 194 10.3.3 Hadoop Streaming 198 10.4 MapReduce内部原理 204 10.4.1 MapReduce作业生命周期 204 10.4.2 MapTask与ReduceTask 206 10.4.3 MapReduce关键技术 209 10.5 MapReduce应用实例 211 10.6 小结 213 10.7 本章问题 213 第11章 DAG计算引擎Spark 215 11.1 概述 215 11.1.1 Spark产生背景 215 11.1.2 Spark主要特点 217 11.2 Spark编程模型 218 11.2.1 Spark核心概念 218 11.2.2 Spark程序基本框架 220 11.2.3 Spark编程接口 221 11.3 Spark运行模式 227 11.3.1 Standalone模式 229 11.3.2 YARN模式 230 11.3.3 Spark Shell 232 11.4 Spark程序设计实例 232 11.4.1 构建倒排索引 232 11.4.2 SQL GroupBy实现 234 11.4.3 应用程序提交 235 11.5 Spark内部原理 236 11.5.1 Spark作业生命周期 237 11.5.2 Spark Shuffle 241 11.6 DataFrame、Dataset与SQL 247 11.6.1 DataFrame/Dataset与SQL的关系 248 11.6.2 DataFrame/Dataset程序设计 249 11.6.3 DataFrame/Dataset程序实例 254 11.7 Spark生态系统 257 11.8 小结 257 11.9 本章问题 258 第12章 交互式计算引擎 261 12.1 概述 261 12.1.1 产生背景 261 12.1.2 交互式查询引擎分类 262 12.1.3 常见的开源实现 263 12.2 ROLAP 263 12.2.1 Impala 263 12.2.2 Presto 267 12.2.3 Impala与Presto对比 271 12.3 MOLAP 271 12.3.1 Druid简介 271 12.3.2 Kylin简介 272 12.3.3 Druid与Kylin对比 274 12.4 小结 274 12.5 本章问题 274 第13章 流式实时计算引擎 276 13.1 概述 276 13.1.1 产生背景 276 13.1.2 常见的开源实现 278 13.2 Storm基础与实战 278 13.2.1 Storm概念与架构 279 13.2.2 Storm程序设计实例 282 13.2.3 Storm内部原理 285 13.3 Spark Streaming基础与实战 290 13.3.1 概念与架构 290 13.3.2 程序设计基础 291 13.3.3 编程实例详解 298 13.3.4 容错性讨论 300 13.4 流式计算引擎对比 303 13.5 小结 304 13.6 本章问题 304 第六部分 数据分析篇 第14章 数据分析语言HQL与SQL 308 14.1 概述 308 14.1.1 背景 308 14.1.2 SQL On Hadoop 309 14.2 Hive架构 309 14.2.1 Hive基本架构 310 14.2.2 Hive查询引擎 311 14.3 Spark SQL架构 312 14.3.1 Spark SQL基本架构 312 14.3.2 Spark SQL与Hive对比 313 14.4 HQL 314 14.4.1 HQL基本语法 314 14.4.2 HQL应用实例 320 14.5 小结 322 14.6 本章问题 322 第15章 大数据统一编程模型 325 15.1 产生背景 325 15.2 Apache Beam基本构成 327 15.2.1 Beam SDK 327 15.2.2 Beam Runner 328 15.3 Apache Beam编程模型 329 15.3.1 构建Pipeline 330 15.3.2 创建PCollection 331 15.3.3 使用Transform 334 15.3.4 side input与side output 340 15.4 Apache Beam流式计算模型 341 15.4.1 window简述 342 15.4.2 watermark、trigger与accumulation 344 15.5 Apache Beam编程实例 346 15.5.1 WordCount 346 15.5.2 移动游戏用户行为分析 348 15.6 小结 350 15.7 本章问题 350 第16章 大数据机器学习库 351 16.1 机器学习库简介 351 16.2 MLLib 机器学习库 354 16.2.1 Pipeline 355 16.2.2 特征工程 357 16.2.3 机器学习算法 360 16.3 小结 361 16.4 本章问题 361 |