作者 |
刘庆生 陈位妮 |
丛书名 |
职业教育大数据技术与应用专业系列教材 |
出版社 |
机械工业出版社* |
ISBN |
9787111677482 |
简要 |
简介 |
内容简介 本书以任务为载体,以实施过程为主线,将知识点穿插到任务实施过程中,知识 体系的构建循序渐进、由易到难、由浅入深,符合普遍认知规律。 本书以Hadoop 大数据平台为重点,主要内容包括预备知识、准备Hadoop 环境、 搭建Hadoop 大数据平台、使用Java 语言编写MapReduce 程序、使用Python 语言编 写MapReduce 程序、Hadoop 系统的常见故障及应对和Hadoop 系统运维。 本书适合作为各类职业院校大数据技术与应用等相关专业的教材,也可以作为大 数据爱好者的自学参考用书。 为便于教学,本书配有电子资源,选择本书作为授课教材的教师可登录机械工 业出版社教育服务网(wwwcmpeducom)免费注册后进行下载或联系编辑(010- 88379194)咨询。本书还配有二维码,读者可直接扫描二维码观看微课视频,方便教学。 |
目录 |
项目1 预备知识1 任务1 VirtualBox虚拟机安装与配置2 任务2 在VirtualBox中安装Ubuntu虚拟机7 任务3 安装和配置远程连接工具Xshell15 任务4 安装和配置远程连接工具Xftp21 任务5 Linux基础知识25 项目2 准备Hadoop环境31 任务1 配置JDK32 任务2 配置SSH免密码登录35 任务3 Hadoop文件和结构39 项目3 搭建Hadoop大数据平台45 任务1 配置单机模式Hadoop46 任务2 配置伪分布模式Hadoop50 任务3 配置集群模式Hadoop62 任务4 安装ZooKeeper组件75 任务5 配置高可用模式Hadoop82 任务6 HDFS92 任务7 Hadoop调优97 任务8 安装Hive数据仓库102 任务9 搭建Spark计算平台109 项目4 使用Java语言编写MapReduce程序123 任务1 安装与配置Maven本地仓库124 任务2 配置IDEA编程环境130 任务3 编写第一个Java应用程序137 任务4 编写Hadoop经典程序WordCount146 任务5 分析通信基站数据154 项目5 使用Python语言编写MapReduce程序159 任务1 WordCount案例160 任务2 母婴产品销售数据分析169 任务3 通信基站数据分析176 项目6 Hadoop系统的常见故障及应对185 任务1 Hadoop系统日志结构及分析186 任务2 NameNode单节点故障的风险预防189 任务3 硬件故障及应对197 任务4 Hadoop系统的隐私安全198 任务5 Hadoop系统的未来199 项目7 Hadoop系统运维201 任务1 用Ambari搭建Hadoop及生态组件202 任务2 动态增加和删除Hadoop节点221 任务3 从SecondaryNameNode恢复NameNode226 任务4 Zabbix安装与配置231 任务5 Ansible基础241 任务6 使用Ansible部署Hadoop集群249 任务7 Docker安装与应用252 任务8 使用Docker部署Hadoop集群257 参考文献263 |