大数据分析及应用项目教程(Spark SQL)（微课版） 实训单 实训1 Hadoop集群环境搭建

实训1Hadoop集群环境搭建一、实训目的与要求1、掌握Hadoop集群环境搭建的环境准备工作，包括配置主机名、防火墙设置、免密登录设置、Java环境设置。2、掌握安装Hadoop的过程、配置文件设置及启动集群的方法。3、会在Hadoop集群运行经典案例wordcount。二、操作训练1、环境准备主机名IP地址角色xxmaster192.168.128.130ResourceManager

SecondaryNameNode

NameNode

DataNode

NodeManagerxxslave01192.168.128.131DataNode

NodeManagerxxslave02192.168.128.132DataNode

NodeManagerxx为姓名缩写从BaseNode链接克隆3个虚拟机（1）配置主机名、IP配置xxmaster主机名、IP操作结果截图+签名配置xxslave01主机名、IP操作结果截图+签名配置xxslave02主机名、IP操作结果截图+签名（2）关闭防火墙关闭xxmaster主机防火墙，并设置开机不自启操作结果截图+签名关闭xxslave01主机防火墙，并设置开机不自启操作结果截图+签名关闭xxslave02主机防火墙，并设置开机不自启操作结果截图+签名（3）关闭SElinux关闭xxmaster主机SElinux操作结果截图+签名关闭xxslave01主机SElinux操作结果截图+签名关闭xxslave02主机SElinux操作结果截图+签名（4）修改/etc/hosts文件修改xxmaster主机/etc/hosts文件操作结果截图+签名修改xxslave01主机/etc/hosts文件操作结果截图+签名修改xxslave02主机/etc/hosts文件操作结果截图+签名（5）配置免密登录在xxmaster创建公钥和私钥操作结果截图+签名拷贝公钥到xxmaster操作结果截图+签名拷贝公钥到xxslave01操作结果截图+签名拷贝公钥到xxslave02操作结果截图+签名（6）配置Java环境配置xxmaster主机Java环境操作结果截图+签名配置xxslave01主机Java环境操作结果截图+签名配置xxslave02主机Java环境操作结果截图+签名2、安装hadoop在xxmaster主机修改hadoop的配置文件配置hadoop-env.sh操作结果截图+签名配置core-site.xml操作结果截图+签名配置hdfs-site.xml操作结果截图+签名配置mapred-site.xml操作结果截图+签名配置yarn-site.xml操作结果截图+签名配置workers操作结果截图+签名分发hadoop文件分发hadoop程序给xxslave01操作结果截图+签名分发hadoop程序给xxslave02操作结果截图+签名格式化HDFS文件系统操作结果截图+签名3、启动Hadoop集群在xxmaster启动Hadoop集群操作结果截图+签名在xxmaster确认操作结果截图+签名在xxslave01确认操作结果截图+签名在xxslave02确认操作结果截图+签名4、网页确