| 作者 |
| 华为公司数据管理部 鲍里斯·肖勒 特伦特·斯旺森 彼得·加索维奇 |
| 丛书名 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782011171634 |
| 简要 |
| 简介 |
| 内容简介书籍经济管理学书籍 ---------------------------华为数据之道--------------------------- 内容简介 这是一部从技术、流程、管理等多个维度系统讲解华为数据治理和数字化转型的著作。华为是一家超大型企业，华为的数据底座和数据治理方法支撑着华为在全球170多个国家/地区开展多业态、差异化的运营。书中凝聚了大量数据治理和数字化转型方面的有价值的经验、方法论、规范、模型、解决方案和案例，不仅能让读者即学即用，还能让读者了解华为数字化建设的历程。 全书共10章，内容从逻辑上分为四个部分。 第一部分（第1~3章） 第1章以非数字原生企业在数字化转型方面面临的挑战开篇，介绍了华为在数据治理和数字化转型方面的目标、愿景、蓝图和框架；第2章从企业政策和架构协同的角度，介绍了企业级的数据综合治理体系，理顺了数据与变革、运营、IT之间的协同关系，明确了数据管理的责任主体在业务；第3章详细阐述了不同类型的数据的管理方式和要点。 第二部分（第4~6章） 详细讲解了数据治理工作中的三项重点任务：信息架构、数据底座、数据服务。第4章介绍了信息架构的四个组件，给出了建设原则和核心要素，并引出了业务对象、过程、规则三项数字化的建设方向；第5章提出了数据底座建设的整体框架，介绍了数据湖和数据主题连接两个层次的建设实践；第6章以自助、高效、复用为数据服务的目的，提出了对数据进行搜索、加工和分析的消费过程管理方案。 第三部分（第7~9章） 系统总结了数据治理的三项关键能力：数据的全量感知、综合质量提升、可控共享。第7章以数字孪生的全量、无接触感知为目标，介绍了数据的硬感知和软感知两类能力；第8章基于PDCA框架，介绍了对企业业务数据异常的全面监控；第9章介绍了如何构建以元数据为基础的数据安全隐私保护框架，如何建立动静结合的数据保护与授权管理方案。 第四部分（第10章） 基于对“机器认知世界”的理解，我们提出了对数据治理未来的思考，畅想了AI治理、数据主权和数据生态建设。未来已来，让我们共同努力，把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。 ---------------------------云原生：运用容器、函数计算和数据构建下一代应用--------------------------- . 本书旨在能够提供一些基础知识，来帮助开发者和架构师更从容地开启云原生应用之旅。本书首先介绍一些分布式系统的基本原理及其与云原生应用的关系，然后再进一步介绍容器和函数等相关技术，接着，本书会介绍服务间的通信模式、服务的弹性和数据模式，并讨论在什么情况下应该使用这些技术，最后会总结一些经验性的东西，例如如何结合DevOps方法，怎么兼顾可移植性，以及一些最佳实践。这些最佳实践对于打造一个成功的云原生应用是非常有帮助的。这本书不会手把手教你如何实现一个满足特定业务需求的云原生应用。但是在读完这本书之后，你一定会知道如何去设计、构建和运维一个成功的云原生应用。 |
| 目录 |
---------------------------华为数据之道--------------------------- 序一 序二 序三 前言 第1章 数据驱动的企业数字化转型 1.1 非数字原生企业的数字化转型挑战2 1.1.1 业态特征：产业链条长、多业态并存3 1.1.2 运营环境：数据交互和共享风险高4 1.1.3 IT建设过程：数据复杂、历史包袱重4 1.1.4 数据质量：数据可信和一致化的要求程度高5 1.2 华为数字化转型与数据治理6 1.2.1 华为数字化转型整体目标6 1.2.2 华为数字化转型蓝图及对数据治理的要求7 1.3 华为数据治理实践9 1.3.1 华为数据治理历程10 1.3.2 华为数据工作的愿景与目标12 1.3.3 华为数据工作建设的整体思路和框架12 1.4 本章小结15 第2章 建立企业级数据综合治理体系 2.1 建立公司级的数据治理政策18 2.1.1 华为数据管理总纲18 2.1.2 信息架构管理政策20 2.1.3 数据源管理政策21 2.1.4 数据质量管理政策22 2.2 融入变革、运营与IT的数据治理24 2.2.1 建立管理数据流程24 2.2.2 管理数据流程与管理变革项目、管理质量与运营之间的关系26 2.2.3 通过变革体系和运营体系进行决策26 2.2.4 数据治理融入IT实施27 2.2.5 通过内控体系赋能数据治理27 2.3 建立业务负责制的数据管理责任体系28 2.3.1 任命数据Owner和数据管家28 2.3.2 建立公司层面的数据管理组织29 2.4 本章小结33 第3章 差异化的企业数据分类管理框架 3.1 基于数据特性的分类管理框架35 3.2 以统一语言为核心的结构化数据管理36 3.2.1 基础数据治理39 3.2.2 主数据治理40 3.2.3 事务数据治理46 3.2.4 报告数据治理46 3.2.5 观测数据治理48 3.2.6 规则数据治理50 3.3 以特征提取为核心的非结构化数据管理52 3.4 以确保合规遵从为核心的外部数据管理54 3.5 作用于数据价值流的元数据管理56 3.5.1 元数据治理面临的挑战56 3.5.2 元数据管理架构及策略59 3.5.3 元数据管理60 3.6 本章小结71 第4章 面向“业务交易”的信息架构建设 4.1 信息架构的四个组件74 4.1.1 数据资产75 4.1.2 数据标准77 4.1.3 数据模型80 4.1.4 数据分布80 4.2 信息架构原则：建立企业层面的共同行为准则81 4.3 信息架构建设核心要素：基于业务对象进行设计和落地84 4.3.1 按业务对象进行架构设计84 4.3.2 按业务对象进行架构落地87 4.4 传统信息架构向业务数字化扩展：对象、过程、规则90 4.5 本章小结95 第5章 面向“联接共享”的数据底座建设 5.1 支撑非数字原生企业数字化转型的数据底座建设框架98 5.1.1 数据底座的总体架构98 5.1.2 数据底座的建设策略100 5.2 数据湖：实现企业数据的“逻辑汇聚”101 5.2.1 华为数据湖的3个特点101 5.2.2 数据入湖的6个标准103 5.2.3 数据入湖方式106 5.2.4 结构化数据入湖109 5.2.5 非结构化数据入湖113 5.3 数据主题联接：将数据转换为“信息”117 5.3.1 5类数据主题联接的应用场景117 5.3.2 多维模型设计120 5.3.3 图模型设计125 5.3.4 标签设计130 5.3.5 指标设计132 5.3.6 算法模型设计135 5.4 本章小结139 第6章 面向“自助消费”的数据服务建设 6.1 数据服务：实现数据自助、高效、复用142 6.1.1 什么是数据服务144 6.1.2 数据服务生命周期管理149 6.1.3 数据服务分类与建设规范156 6.1.4 打造数据供应的“三个1”162 6.2 构建以用户体验为核心的数据地图167 6.2.1 数据地图的核心价值167 6.2.2 数据地图的关键能力171 6.3 人人都是分析师175 6.3.1 从“保姆”模式到“服务+自助”模式175 6.3.2 打造业务自助分析的关键能力179 6.4 从结果管理到过程管理，从能“看”到能“管”187 6.4.1 数据赋能业务运营187 6.4.2 数据消费典型场景实践190 6.4.3 华为数据驱动数字化运营的历程和经验195 6.5 本章小结199 第7章 打造“数字孪生”的数据全量感知能力 7.1 “全量、无接触”的数据感知能力框架202 7.1.1 数据感知能力的需求起源：数字孪生202 7.1.2 数据感知能力架构205 7.2 基于物理世界的“硬感知”能力207 7.2.1 “硬感知”能力的分类207 7.2.2 “硬感知”能力在华为的实践213 7.3 基于数字世界的“软感知”能力215 7.3.1 “软感知”能力的分类215 7.3.2 “软感知”能力在华为的实践218 7.4 通过感知能力推进企业业务数字化220 7.4.1 感知数据在华为信息架构中的位置220 7.4.2 非数字原生企业数据感知能力的建设224 7.5 本章小结226 第8章 打造“清洁数据”的质量综合管理能力 8.1 基于PDCA的数据质量管理框架228 8.1.1 什么是数据质量228 8.1.2 数据质量管理范围229 8.1.3 数据质量的总体框架229 8.2 全面监控企业业务异常数据231 8.2.1 数据质量规则231 8.2.2 异常数据监控237 8.3 通过数据质量综合水平牵引质量提升243 8.3.1 数据质量度量运作机制243 8.3.2 设计质量度量245 8.3.3 执行质量度量248 8.3.4 质量改进253 8.4 本章小结256 第9章 打造“安全合规”的数据可控共享能力 9.1 内外部安全形势，驱动数据安全治理发展258 9.1.1 数据安全成为国家竞争的新战场258 9.1.2 数字时代数据安全的新变化258 9.2 数字化转型下的数据安全共享260 9.3 构建以元数据为基础的安全隐私保护框架261 9.3.1 以元数据为基础的安全隐私治理261 9.3.2 数据安全隐私分层分级管控策略263 9.3.3 数据底座安全隐私分级管控方案266 9.3.4 分级标识数据安全隐私271 9.4 “静”“动”结合的数据保护与授权管理272 9.4.1 静态控制：数据保护能力架构272 9.4.2 动态控制：数据授权与权限管理274 9.5 本章小结279 第10章 未来已来：数据成为企业核心竞争力 10.1 数据：新的生产要素282 10.1.1 数据被列为生产要素：制度层面的肯定282 10.1.2 数据将进入企业的资产负债表283 10.1.3 数据资产的价值由市场决定284 10.2 大规模数据交互的企业数据生态285 10.2.1 数据生态离不开底层技术的支撑286 10.2.2 数据主权是数据安全交换的核心287 10.2.3 国际数据空间的目标与原则289 10.2.4 多方安全计算强化数据主权291 10.3 摆脱传统手段的数据管理方式292 10.3.1 智能数据管理是数据工作的未来292 10.3.2 内容级分析能力提供资产全景图293 10.3.3 属性特征启发主外键智能联接293 10.3.4 质量缺陷预发现294 10.3.5 算法助力数据管理294 10.3.6 数字道德抵御算法歧视295 10.4 第四个世界：机器认知世界295 10.4.1 真实唯一的“物理世界”和五彩缤纷的“人类认知世界”295 10.4.2 映射“物理世界”的数字孪生—“数字世界”297 10.4.3 “数字世界”中的智能认知—“机器认知世界”298 10.5 本章小结299 ---------------------------云原生：运用容器、函数计算和数据构建下一代应用--------------------------- 前言 1 第1章 云原生简介 5 1.1 分布式系统 5 1.1.1 分布式系统的误区 5 1.1.2 CAP定理 8 1.2 十二要素应用 8 1.3 可用性和服务等级协议 11 1.4 本章小结 12 第2章 云原生基础 13 2.1 容器 13 2.1.1 容器隔离等级 15 2.1.2 容器编排 16 2.1.3 Kubernetes概述 17 2.1.4 Kubernetes和容器 20 2.2 无服务器架构 21 2.3 函数计算 22 2.4 从虚拟机到云原生 23 2.4.1 提升和转变 23 2.4.2 应用的现代化改造 24 2.4.3 应用的优化 26 2.5 微服务 26 2.5.1 微服务架构的优势 27 2.5.2 微服务架构带来的挑战 29 2.6 本章小结 31 第3章 云原生应用的设计 33 3.1 云原生应用的基础 33 3.1.1 精益运营 33 3.1.2 安全性 35 3.1.3 可靠性与可用性 36 3.1.4 可扩展性与成本 37 3.2 云原生与传统架构的对比 37 3.3 函数计算与服务 41 3.3.1 函数计算的使用场景 42 3.3.2 使用函数计算的考虑因素 42 3.3.3 函数与服务的组合运用 43 3.4 API设计与版本控制 45 3.4.1 API的前后兼容 46 3.4.2 语义版本号 47 3.5 服务间的通信 48 3.5.1 通信协议 48 3.5.2 消息协议 50 3.5.3 序列化的考虑因素 50 3.5.4 幂等性 51 3.5.5 请求与响应 52 3.5.6 发布者与订阅者 53 3.5.7 发布者/订阅者模式与请求/响应模式间的选择 55 3.5.8 同步与异步 56 3.6 网关 56 3.6.1 路由 57 3.6.2 聚合 58 3.6.3 卸载 59 3.6.4 网关的实现 60 3.7 出口网关 60 3.8 服务网格 60 3.9 架构示例 69 3.10 本章小结 73 第4章 数据处理 75 4.1 数据存储系统 76 4.1.1 对象、文件和磁盘 77 4.1.2 数据库 78 4.1.3 流和队列 80 4.1.4 区块链 81 4.1.5 数据存储的选择 81 4.2 多数据存储下的数据 84 4.2.1 捕获数据更改 85 4.2.2 将更改作为事件写入更改日志 87 4.2.3 事务监管 88 4.2.4 事务回滚 90 4.2.5 提取、转换和加载 90 4.2.6 微服务和数据湖 91 4.3 客户端访问数据 94 4.3.1 受限的客户令牌（代客密钥） 94 4.3.2 细粒度访问控制的数据库服务 95 4.3.3 GraphQL数据服务 96 4.4 可快速伸缩的数据 97 4.4.1 数据分片 98 4.4.2 数据缓存 98 4.4.3 内容分发网络 99 4.5 数据分析 101 4.5.1 数据流 101 4.5.2 批处理 101 4.5.3 对象存储上的数据湖 102 4.5.4 数据湖和数据仓库 102 4.5.5 分布式查询引擎 103 4.6 Kubernetes中的数据库 104 4.6.1 存储卷 104 4.6.2 StatefulSet 106 4.6.3 DaemonSet 107 4.7 本章小结 107 第5章 DevOps 109 5.1 什么是DevOps 109 5.1.1 协作 109 5.1.2 自动化 110 5.1.3 精益原则和流程 110 5.1.4 度量 111 5.1.5 分享 111 5.2 测试 112 5.2.1 测试替身 113 5.2.2 自动化测试金字塔 113 5.2.3 不同测试类型的适用时机 118 5.2.4 测试节奏 119 5.2.5 在生产环境中测试 120 5.3 开发环境和工具 122 5.3.1 开发工具 123 5.3.2 开发环境 126 5.3.3 本地开发环境 126 5.3.4 本地开发环境结合远端集群 127 5.3.5 Skaffold开发工作流 127 5.3.6 将远端集群路由到本地开发环境 129 5.3.7 云端开发环境 129 5.4 持续集成/持续交付 130 5.4.1 源代码管理 131 5.4.2 构建阶段 132 5.4.3 测试阶段 132 5.4.4 部署阶段 134 5.4.5 发布阶段 136 5.4.6 发布后阶段 137 5.5 监控 137 5.5.1 收集指标 139 5.5.2 服务的可观测性 145 5.6 配置管理 149 5.6.1 单一环境变量 151 5.6.2 多环境变量 151 5.6.3 将配置数据放入存储卷中 152 5.6.4 密钥保存 152 5.6.5 部署配置 154 5.7 持续集成/持续交付流程示例 156 5.8 本章小结 159 第6章 最佳实践 161 6.1 迈向云原生 161 6.1.1 找个合理的理由打破巨石应用 161 6.1.2 先解耦简单的服务 162 6.1.3 学会小规模的运维 162 6.1.4 使用防损层模式 162 6.1.5 使用刀砍模式 162 6.1.6 准备一个数据迁移策略 164 6.1.7 重写所有模板代码 164 6.1.8 重新考虑框架、语言、数据结构和数据存储 164 6.1.9 淘汰老代码 164 6.2 确保弹性 164 6.2.1 用重试来解决瞬时故障 165 6.2.2 使用有限次的重试 165 6.2.3 用断路器来处理非瞬时故障 166 6.2.4 优雅地降级 166 6.2.5 使用隔离模式 166 6.2.6 实现健康及就绪检查 166 6.2.7 为容器设定CPU和内存限制 166 6.2.8 实现限速和限流 167 6.3 确保安全性 167 6.3.1 安全性需求同其他需求一样重要 167 6.3.2 在设计时就考虑安全性 167 6.3.3 授予最小访问权限 167 6.3.4 使用独立的账号、订阅和租客 167 6.3.5 安全地存储所有密钥 168 6.3.6 模糊化数据 168 6.3.7 传输数据加密 168 6.3.8 使用联合身份管理 168 6.3.9 使用基于角色的访问控制 168 6.3.10 Kubernetes pod的隔离 169 6.4 处理数据 169 6.4.1 使用托管数据库和数据分析服务 169 6.4.2 使用最符合数据需求的存储 169 6.4.3 将数据保存在多个地域或可用区中 170 6.4.4 使用数据分区和复制以提高扩展性 170 6.4.5 避免过度获取及频繁的I/O操作 170 6.4.6 不要把业务逻辑放在数据库中执行 170 6.4.7 使用类生产环境数据来测试 170 6.4.8 处理瞬时故障 171 6.5 性能和伸缩性 171 6.5.1 设计可扩展的无状态服务 171 6.5.2 使用平台的自动伸缩功能 171 6.5.3 使用缓存 172 6.5.4 用分区来实现超出服务限制的扩容 172 6.6 函数计算 172 6.6.1 编写单一用途的函数 172 6.6.2 避免串联函数 172 6.6.3 函数应保持轻量和简单 173 6.6.4 实现无状态函数 173 6.6.5 分离函数入口和函数的业务逻辑 173 6.6.6 避免长时间运行的函数 173 6.6.7 用队列解决跨函数通信问题 173 6.7 运维 173 6.7.1 部署和发布是两项独立的活动 174 6.7.2 部署的内容要尽量小 174 6.7.3 组件层级的CI/CD定义 174 6.7.4 应用部署的一致性 174 6.7.5 采用零宕机发布 174 6.7.6 不要变更部署后的架构 174 6.7.7 使用容器化构建 175 6.7.8 用代码来描述基础设施 175 6.7.9 使用命名空间来组织Kubernetes中的服务 175 6.7.10 环境间的隔离 175 6.7.11 分隔函数源代码 175 6.7.12 关联代码提交和部署 175 6.8 日志、监控及告警 175 6.8.1 使用统一的日志系统 176 6.8.2 使用关联ID 176 6.8.3 在日志记录中包含上下文 176 6.8.4 统一的结构化日志格式 176 6.8.5 适当地标记指标 176 6.8.6 避免告警疲劳 177 6.8.7 定义基于重点性能指标的告警 177 6.8.8 在生产环境中持续测试 177 6.8.9 从基础的指标开始 178 6.9 服务通信 178 6.9.1 设计时考虑前后兼容性 178 6.9.2 封装好服务避免泄露内部细节 179 6.9.3 优先考虑异步通信 179 6.9.4 使用高效的序列化技术 179 6.9.5 使用队列和流来应对高负载和流量高峰 180 6.9.6 用批处理来提高请求处理的效率 180 6.9.7 拆分大的消息 180 6.10 容器 180 6.10.1 将镜像存储在可信的注册服务器中 180 6.10.2 充分利用Docker的构建缓存 181 6.10.3 不要使用特权模式运行容器 181 6.10.4 使用显式的容器镜像标签 181 6.10.5 保持小的容器镜像 181 6.10.6 单个容器只运行一个应用 182 6.10.7 使用可信镜像仓库中经过验证的镜像 182 6.10.8 对镜像进行漏洞扫描 182 6.10.9 不要将数据保存在容器中 183 6.10.10 永远不要在容器中存放密钥和配置 183 6.11 本章小结 183 第7章 可移植性 185 7.1 为什么要使应用可移植 185 7.2 可移植性的代价 186 7.3 何时及如何实现可移植性 187 7.3.1 标准化的接口 188 7.3.2 共用的服务和功能 189 7.3.3 抽象和分层 189 7.3.4 第三方服务商的托管服务 191 7.3.5 可移植性工具 192 7.3.6 把Kubernetes作为可移植性层 194 7.4 本章小结 196 |