大数据平台运维（初级）
| 作者 |
| 新华三技术有限公司 |
| 丛书名 |
| 出版社 |
| 电子工业出版社 |
| ISBN |
| 9787121397455 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 本书为“1+X”职业技能等级证书配套教材，按国家“1+X”大数据平台运维职业技能等级标准编写。本书属于大数据平台运维初级教材，从大数据平台运维工程师角度由浅入深、全方位地介绍大数据平台运维的相关基础知识和基本实操。本书共分6个部分18章，第一部分为大数据平台安装，涉及平台操作系统的使用、Hadoop平台安装、平台基础环境配置；第二部分为大数据平台配置，涉及Hadoop文件参数配置、Hadoop集群运行；第三部分为大数据平台组件的安装与配置，涉及Hive、HBase、ZooKeeper、Sqoop和Flume组件的安装与配置；第四部分为大数据平台实施，涉及大数据平台实施方案、培训方案；第五部分为大数据平台监控，涉及基于大数据平台的监控命令、监控界面和报表、日志和告警信息监控；第六部分为大数据运维综合实战案例，以实际项目为例介绍从平台部署、数据业务采集、数据分析到数据可视化的整体基础实施过程，并介绍了大数据平台运维的常见故障及处理流程。本书可作为中高职院校大数据及计算机类相关专业的教材，也可作为大数据平台运维人员的参考用书。 |
| 目录 |
第一部分 大数据平台安装 第1章 平台操作系统的使用\t3 1．1 Linux操作系统概述\t3 1．1．1 Linux操作系统的起源\t3 1．1．2 Linux操作系统的特点\t4 1．1．3 Linux操作系统的应用场景\t5 1．1．4 Linux版本\t6 1．2 Linux常用命令\t7 1．2．1 文件与操作\t7 1．2．2 用户操作\t9 1．2．3 文本操作\t10 1．2．4 系统操作\t11 1．3 Linux操作系统用户信息\t14 1．3．1 用户和组\t14 1．3．2 文件类型和权限\t15 1．4 本章小结\t17 第2章 Hadoop平台安装\t18 2．1 Hadoop概述\t18 2．1．1 Hadoop的起源\t18 2．1．2 Hadoop的生态圈\t19 2．1．3 Hadoop的版本\t21 2．1．4 Hadoop的优点\t22 2．1．5 Hadoop的应用场景\t22 2．1．6 Hadoop的运行模式\t23 2．2 Hadoop的核心组件\t23 2．2．1 HDFS\t23 2．2．2 MapReduce\t26 2．2．3 YARN\t28 2．3 平台操作系统环境设置\t29 2．3．1 配置Linux操作系统基础 环境\t30 2．3．2 安装Java环境\t32 2．4 安装Hadoop软件\t35 2．4．1 获取Hadoop安装包\t35 2．4．2 安装Hadoop软件\t35 2．4．3 修改所有者和所有者组\t36 2．5 安装单机版Hadoop系统\t36 2．5．1 配置Hadoop配置文件\t37 2．5．2 测试Hadoop本地模式的 运行\t37 2．6 本章小结\t38 第3章 平台基础环境配置\t39 3．1 集群网络连接\t39 3．1．1 实验环境下的大数据Hadoop 平台集群网络\t39 3．1．2 生产环境下的大数据Hadoop 平台集群网络\t40 3．2 SSH无密码登录\t41 3．2．1 SSH简介\t41 3．2．2 SSH特点介绍\t41 3．2．3 非对称加密机制\t42 3．2．4 SSH安全机制\t42 3．2．5 SSH基于口令的安全验证\t43 3．2．6 基于密钥的安全验证\t43 3．3 集群网络配置\t44 3．3．1 实验环境下的集群网络配置\t44 3．3．2 生产环境下的集群网络配置\t44 3．4 SSH无密码验证配置\t47 3．4．1 生成SSH密钥\t47 3．4．2 交换SSH密钥\t49 3．4．3 验证SSH无密码登录\t50 3．5 本章小结\t51 第二部分 大数据平台配置 第4章 Hadoop文件参数配置\t55 4．1 Hadoop配置文件说明\t55 4．1．1 Hadoop环境配置\t55 4．1．2 Hadoop守护进程环境配置\t56 4．1．3 Hadoop配置参数格式\t57 4．1．4 获得Hadoop集群全部配置 信息\t57 4．2 在master节点上安装Hadoop\t58 4．3 配置hdfs-site．xml文件参数\t58 4．4 配置core-site．xml文件参数\t59 4．5 配置mapred-site．xml\t60 4．6 配置yarn-site．xml\t61 4．7 Hadoop其他相关配置\t62 4．8 本章小结\t63 第5章 Hadoop集群运行\t64 5．1 Hadoop运行状态\t64 5．2 配置Hadoop格式化\t68 5．3 查看Java进程\t69 5．4 查看HDFS的报告\t70 5．5 使用浏览器查看节点状态\t71 5．6 停止Hadoop\t74 5．7 本章小结\t74 第三部分 大数据平台组件的安装与配置 第6章 Hive组件的安装与配置\t77 6．1 Hive相关知识\t77 6．2 Hive组件架构\t78 6．3 下载和解压安装文件\t79 6．3．1 基础环境和安装准备\t79 6．3．2 解压安装文件\t79 6．4 设置Hive环境\t80 6．4．1 卸载MariaDB数据库\t80 6．4．2 安装MySQL数据库\t80 6．4．3 配置Hive组件\t85 6．5 初始化Hive元数据\t87 6．6 启动Hive\t89 6．7 本章小结\t89 第7章 HBase组件的安装与配置\t90 7．1 HBase相关知识\t90 7．2 HBase功能应用\t91 7．3 HBase组件设置\t92 7．4 HBase安装与配置\t94 7．5 HBase常用Shell命令\t98 7．6 本章小结\t101 第8章 ZooKeeper组件的安装与配置\t102 8．1 ZooKeeper相关知识\t102 8．1．1 ZooKeeper的重要概念\t103 8．1．2 ZooKeeper的特点\t104 8．2 ZooKeeper选项设置\t104 8．3 ZooKeeper角色选举\t105 8．4 下载和安装ZooKeeper\t105 8．5 ZooKeeper的配置选项\t106 8．5．1 master节点配置\t106 8．5．2 slave节点配置\t106 8．5．3 系统环境变量配置\t106 8．6 启动ZooKeeper\t107 8．7 本章小结\t107 第9章 Sqoop组件的安装与配置\t108 9．1 Sqoop相关知识\t108 9．2 Sqoop的功能应用\t109 9．2．1 Sqoop架构\t109 9．2．2 Sqoop导入原理\t109 9．2．3 Sqoop导出原理\t110 9．3 下载和解压Sqoop\t112 9．4 配置Sqoop环境\t112 9．5 启动Sqoop\t113 9．6 Sqoop模板命令\t114 9．7 Sqoop组件应用\t116 9．8 本章小结\t117 第10章 Flume组件的安装与配置\t118 10．1 Flume相关知识\t118 10．2 Flume功能应用\t119 10．2．1 Flume功能\t119 10．2．2 Flume结构\t119 10．3 Flume组件设置\t119 10．4 下载和解压Flume\t120 10．5 Flume组件部署\t121 10．6 使用Flume发送和接收 信息\t121 10．7 本章小结\t122 第四部分 大数据平台实施 第11章 大数据平台实施方案的理解\t125 11．1 系统实施方案概述\t125 11．1．1 方案概述\t125 11．1．2 项目实施思路\t126 11．1．3 项目实施流程\t126 11．2 确认客户需求\t127 11．2．1 确认需求分析准备\t127 11．2．2 进行确认需求调研\t127 11．2．3 系统详细需求分析\t129 11．3 编写大数据平台实施方案\t129 11．3．1 大数据平台规划\t129 11．3．2 大数据平台部署\t131 11．3．3 项目实施计划\t131 11．3．4 项目实施人员\t132 11．4 执行实施方案过程\t133 11．4．1 实施内容\t133 11．4．2 实施流程\t133 11．5 系统测试\t133 11．6 项目验收\t135 11．7 本章小结\t135 第12章 客户培训方案的制定\t136 12．1 培训方案概述\t136 12．2 客户培训方案要点\t137 12．2．1 培训目标\t137 12．2．2 培训对象\t138 12．2．3 培训形式\t139 12．2．4 培训内容\t139 12．2．5 培训计划\t140 12．3 文档制作工具\t140 12．3．1 制作甘特图\t140 12．3．2 制作WBS图\t143 12．4 大数据平台操作演示\t145 12．4．1 演示内容选取\t145 12．4．2 演示的步骤\t146 12．4．3 演示的技巧\t147 12．4．4 演示注意事项\t148 12．5 本章小结\t148 第五部分 大数据平台监控 第13章 大数据平台监控命令\t151 13．1 大数据平台运行状态\t151 13．1．1 大数据平台主机系统状态\t152 13．1．2 大数据平台Hadoop状态\t153 13．2 大数据平台资源状态\t153 13．2．1 YARN资源状态\t154 13．2．2 HDFS资源状态\t154 13．2．3 HBase状态\t155 13．2．4 Hive状态\t155 13．3 大数据平台服务状态\t156 13．3．1 ZooKeeper服务状态\t156 13．3．2 Sqoop服务状态\t157 13．3．3 Flume服务状态\t157 13．4 通过命令监控大数据平台的 运行状态\t157 13．4．1 通过命令查看大数据平台 状态\t157 13．4．2 通过命令查看Hadoop 状态\t165 13．5 通过命令监控大数据平台的 资源状态\t166 13．5．1 通过命令查看YARN状态\t166 13．5．2 通过命令查看HDFS状态\t167 13．5．3 通过命令查看HBase状态\t168 13．5．4 通过命令查看Hive状态\t171 13．6 通过命令监控大数据平台的 服务状态\t174 13．6．1 通过命令查看ZooKeeper 状态\t174 13．6．2 通过命令查看Sqoop状态\t178 13．6．3 通过命令查看Flume状态\t180 13．7 本章小结\t181 第14章 大数据平台监控界面和报表\t182 14．1 大数据平台常用组件\t182 14．2 通过界面监控大数据平台的 运行状态\t183 14．2．1 通过界面查看大数据平台 状态\t183 14．2．2 通过界面查看Hadoop 状态\t183 14．3 通过界面监控大数据平台的 资源状态\t185 14．3．1 通过界面监控YARN的 状态\t185 14．3．2 通过界面监控HDFS状态\t186 14．3．3 通过界面监控HBase的 状态\t188 14．3．4 通过界面监控Hive的状态\t189 14．4 本章小结\t193 第15章 日志和告警信息监控\t194 15．1 大数据平台日志信息\t194 15．1．1 Hadoop日志简介\t194 15．1．2 大数据平台主机日志信息\t195 15．2 大数据平台告警信息\t196 15．3 查看大数据平台日志信息\t196 15．3．1 查看大数据平台主机日志\t196 15．3．2 在Hadoop MapReduce Jobs 中查看日志信息\t203 15．3．3 通过用户界面查看Hadoop 日志\t205 15．3．4 通过命令查看Hadoop 日志\t207 15．3．5 查看HBase日志\t209 15．3．6 查看Hive日志\t210 15．4 查看大数据平台告警信息\t211 15．4．1 查看大数据平台主机告警 信息\t211 15．4．2 查看Hadoop告警信息\t213 15．4．3 查看HBase告警信息\t215 15．4．4 查看Hive告警信息\t218 15．5 本章小结\t220 第六部分 大数据运维综合实战案例 第16章 大数据平台及组件的安装与 部署\t223 16．1 项目背景\t223 16．2 项目实施目标\t223 16．3 Hadoop全分布部署\t224 16．3．1 Hadoop全分布部署流程\t224 16．3．2 Hadoop全分布部署要求\t224 16．3．3 Hadoop部署操作步骤\t225 16．3．4 Hadoop集群验证\t226 16．4 Sqoop组件部署\t228 16．4．1 Sqoop组件部署流程\t228 16．4．2 Sqoop组件部署要求\t228 16．4．3 Sqoop部署操作步骤\t229 16．4．4 Sqoop数据传输验证\t229 16．5 Hive组件部署\t231 16．5．1 Hive组件部署流程\t231 16．5．2 Hive组件部署要求\t231 16．5．3 Hive部署操作步骤\t232 16．5．4 Hive组件验证\t232 16．6 本章小结\t233 第17章 大数据平台的运行与应用\t234 17．1 项目背景\t234 17．2 项目实施目标\t234 17．3 大数据平台业务处理流程\t235 17．4 大数据平台业务处理系统 应用\t236 17．4．1 生产环境数据导入大数据 平台\t236 17．4．2 业务处理层数据清洗分析\t237 17．4．3 运行业务处理相关清洗 任务\t245 17．4．4 数据进入数据仓库\t252 17．4．5 业务应用层大数据分析\t254 17．4．6 数据仓库数据导出数据 访问层\t255 17．4．7 数据访问层大数据可视化\t257 17．5 本章小结\t259 第18章 大数据运维基本问题案例集\t260 18．1 大数据平台问题分析处理 流程\t260 18．2 解决基础环境的基本问题 案例\t261 18．2．1 权限配置问题\t261 18．2．2 SELinux问题\t262 18．2．3 Hadoop安全模式问题\t262 18．2．4 主机名配置造成问题\t263 18．3 解决组件配置的基本问题 案例\t264 18．3．1 Hive组件异常问题\t264 18．3．2 Sqoop组件异常问题\t267 18．3．3 HBase组件异常问题\t268 18．3．4 ZooKeeper组件异常问题\t268 18．4 解决平台启动的基本问题 案例\t269 18．4．1 HDFS服务启动问题\t269 18．4．2 NameNode格式化异常 问题\t270 18．4．3 DataNode进程启动问题\t271 18．4．4 SecondaryNameNode启动 问题\t273 18．5 解决平台运行的基本问题 案例\t274 18．6 本章小结\t275 附录 虚拟化软件的使用\t276 A．1 虚拟机的概念、用途及常用 软件\t276 A．1．1 虚拟机的概念\t276 A．1．2 虚拟机的用途\t278 A．1．3 常用虚拟机软件\t279 A．2 H3C CAS云计算管理平台\t280 A．2．1 H3C CAS云计算管理平台 简介\t280 A．2．2 创建虚拟机\t282 A．2．3 修改虚拟机硬件配置\t284 A．2．4 基于CAS云平台使用 虚拟机\t285 A．2．5 删除虚拟机\t286 A．3 H3C教学与实践管理平台\t287 A．3．1 H3C教学与实践管理平台 简介\t287 A．3．2 预习\t287 A．3．3 上课学习\t289 A．3．4 巩固学习效果\t292 A．3．5 完成学习\t295 A．4 小结\t296 |
有问题微信扫码联系