Hadoop大数据开发基础与案例实战（微课版）-教案 项目三 Hadoop集群搭建

Hadoop集群搭建教学单元名称Linux环境准备教学目标能力目标具有较强的动手能力。知识目标掌握静态IP的修改方法掌握主机名的修改方法绑定主机名和IP地址的对应关系配置免密登录素质目标接受新知识、自主学习、创新的能力教学重点掌握讲台IP的修改方法、掌握主机名的修改方法、绑定主机名和IP地址的对应关系教学难点免密登录教学方法项目向导、任务驱动、分组讨论教学时数4学时教学过程设计教学环节教学内容教师活动学生活动新课引入介绍CentOS7操作系统安装介绍IP地址、主机名和免密登录讲解听讲记录任务描述提出本次学习的任务——Linux环境准备讲解听讲记录任务部署1CentOS7操作系统安装，掌握静态IP的修改方法，掌握主机名的修改方法，绑定主机名和IP地址的对应关系，配置免密登录讲解搜集资料、交流任务实施1修改静态IP修改主机IP地址的操作步骤如下：①切换到/etc/sysconfig/network-scripts/目录下，命令如下所示：cd/etc/sysconfig/network-scripts/②编辑该目录下的ifcfg-ens33文件，命令如下所示：viifcfg-ens33③修改ifcfg-ens33中的内容，默认情况下是dhcp动态IP地址，需要静态IP地址，此时将BOOTPROTO的值改为static；需要开机时启动网卡，将ONBOOT的值改为yes，需要添加网络配置信息，包括静态IP地址参数IPADDR、网关参数GATEWAY、子网掩码参数NETMASK、DNS配置参数DNS1。④网卡信息修改完成后，保存并退出VI编辑器，需要重新启动网络服务，使修改的内容生效，命令如下所示：systemctlrestartnetwork⑤网卡重启完成后，可以查看网络配置信息，命令如下所示：ipaddrshow讲解演示模仿操作修改主机名①修改主机名的配置文件位于/etc目录下，文件名为hostname。编辑/etc/hostname文件，命令如下：vi/etc/hostname②在该文件中删除原来的主机名，添加要修改的主机名master，添加内容如下：master③保存并退出/etc/hostname文件，并且使用reboot命令重启使修改内容生效。讲解演示模仿操作绑定主机名和IP对应关系①修改/etc/hosts文件，命令如下所示：vi/etc/hosts在该文件末尾添加如下内容：28master32slave130slave2需要在另外两个节点上绑定主机名和IP对应关系，此时不需要在每一个节点上修改/etc/hosts文件，只需要使用scp命令，将已经配置好的/etc/hosts文件拷贝到另外两个节点上，拷贝命令如下：scp-r/etc/hostsroot@29:/etc/hostsscp-r/etc/hostsroot@30:/etc/hosts②三个节点都配置完成后，使用如下命令测试三个节点之间网络是否互通。在master节点上执行如下命令：pingslave1pingslave2在slave1节点上执行如下命令：pingmasterpingslave2在slave2节点上执行如下命令：pingmasterpingslave1免密登录①分别在三个节点上生成秘钥文件，分别在master、slave1和slave2三个节点上执行如下命令：ssh-keygen执行ssh-keygen命令时，会要求确认秘钥文件的存储位置（SSH密钥默认保留在~/.ssh目录中），输入并确认私钥的密码即可，也可以直接按“Enter”即可，表示将私钥密码空着。生成的id_rsa是本机的私钥文件，id_rsa.pub是本机的公钥文件。②分别在master、slave1和slave2三个节点上执行以下命令，该命令是将自身的公钥信息复制并追加到全部节点的授权文件authorized_keys中。ssh-copy-idmasterssh-copy-idslave1ssh-copy-idslave2③分别在master、slave1和slave2三个节点上执行ssh命令以下命令，来测试SSH免密登录。教学小结学生演示：按照任务要求进行演示。教师点评：根据学生安装情况进行验收点评，并提出改进，在此基础上进行练习。讲解学生记录布置作业静态IP的修改方法掌握主机名的修改方法绑定主机名和IP地址的对应关系配置免密登录Hadoop集群搭建教学单元名称JDK安装和Hadoop安装教学目标能力目标具有较强的动手能力。知识目标掌握JDK的安装过程掌握Hadoop的安装过程素质目标接受新知识、自主学习、创新的能力教学重点1、JDK的安装过程2、Hadoop的安装过程教学难点JDK环境变量的配置教学方法项目向导、任务驱动、分组讨论教学时数4学时教学过程设计教学环节教学内容教师活动学生活动新课引入介绍Hadoop架构运行基础介绍环境变量对JDK和Hadoop的重要作用讲解听讲记录任务描述提出本次学习的任务——JDK安装和Hadoop安装讲解听讲记录任务部署1将JDK上传至CentOS7操作系统中，再将JDK安装到该系统中，同时完成环境变量配置和测试安装是否成功。讲解搜集资料、交流任务实施11．下载JDK讲解演示模仿操作①下载jdk-8u211-linux-x64.tar.gz。②将下载的JDK安装包jdk-8u211-linux-x64.tar.gz传到虚拟机master的/usr/local/src目录下。③在虚拟机master上安装JDK，安装过程就是解压的过程，解压命令如下：tar-zxvf/usr/local/src/jdk-8u211-linux-x64.tar.gz-C/usr/local/src④为方便配置JDK系统环境变量，可以修改JDK安装目录名，命令如下：mv/usr/local/src/jdk-1.8.0/usr/local/src/jdk⑤配置JDK系统环境变量，修改文件/etc/profile，命令如下：vi/etc/profile在文件的末尾添加如下内容：exportJAVA_HOME=/usr/local/src/jdkexportPATH=$PATH:$JAVA_HOME/bin/etc/profile文件为系统的每个用户设置环境变量信息，此文件的修改会影响到所有用户，这个文件是每个用户登录时都会运行的环境变量设置。提示：exportPATH=$PATH:$JAVA_HOME/bin中的=两边没有空格，$PATH不能忽略写。⑥/etc/profile文件配置完成之后，需要使刚刚修改的内容生效，执行如下命令：source/etc/profile⑦验证JDK是否安装成功，执行java-version命令，如果出现版本信息，则安装成功。安装成功出现如下内容：javaversion"1.8.0_211"Java(TM)SERuntimeEnvironment(build1.8.0_211-b12)JavaHotSpot(TM)64-BitServerVM(build25.211-b12,mixedmode)⑧拷贝整个jdk安装目录到另外两个节点，执行如下命令：scp-r/usr/local/src/jdkroot@slave1:/usr/local/srcscp-r/usr/local/src/jdkroot@slave2:/usr/local/src⑨拷贝/etc/profile文件到另外两个节点，执行如下命令：scp-r/etc/profileroot@slave1:/etc/profilescp-r/etc/profileroot@slave2:/etc/profile⑩在slave1和slave2节点上，刷新/etc/profile文件，使得刚刚修改的内容生效，执行如下命令：source/etc/profile⑪验证slave1和slave2节点上的JDK是否安装成功，执行java-version命令，如果出现版本信息，则安装成功。讲解演示模仿操作任务部署2将Hadoop上传至CentOS7操作系统中，再将Hadoop安装到该系统中，同时完成环境变量配置和测试安装是否成功。讲解搜集资料、交流任务实施21．下载Hadoop讲解演示模仿操作安装Hadoop①在Hadoop官网上下载hadoop-2.9.2.tar.gz安装包。②使用WinSCP软件，将下载完成的hadoop-2.9.2.tar.gz安装包传到master节点上的/usr/local/src目录下③将hadoop-2.9.2.tar.gz解压到/usr/local/src目录下，执行以下命令：tar-zxvf/usr/local/src/hadoop-2.9.2.tar.gz-C/usr/local/src④为了方便配置Hadoop系统环境变量，可以修改目录名，命令如下：mv/usr/local/src/hadoop-2.9.2/usr/local/src/hadoop⑤配置Hadoop系统环境变量，修改文件/etc/profile，命令如下：vi/etc/profile在文件的末尾添加如下内容：exportHadoop_HOME=/usr/local/src/hadoopexportPATH=$Hadoop_HOME/bin:$Hadoop_HOME/sbin:$PATH⑥/etc/profile文件配置完成之后，需要使刚刚修改的内容生效，执行如下命令：source/etc/profile⑦验证Hadoop是否安装成功，执行Hadoopversion命令，如果出现如下版本信息，则安装成功。Hadoop2.9.2讲解演示模仿操作、归纳总结、记录教学小结学生演示：按照任务要求进行演示。教师点评：根据学生安装情况进行验收点评，并提出改进，在此基础上进行练习。讲解学生记录布置作业1、JDK的下载与安装，环境变量配置及测试；2、Hadoop的下载，环境变量配置及测试。Hadoop集群搭建教学单元名称Hadoop分布式环境搭建教学目标能力目标具有独立自主的开发能力知识目标掌握Hadoop分布式环境配置掌握常用的hadoop命令素质目标接受新知识、自主学习、创新的能力教学重点1、掌握Hadoop分布式环境配置2、掌握常用的hadoop命令教学难点Hadoop分布式环境的配置教学方法项目向导、任务驱动、分组讨论教学时数4学时教学过程设计教学环节教学内容教师活动学生活动新课引入介绍环境变量对分布式环境配置的重要作用讲解听讲记录任务描述提出本次学习的任务——Hadoop分布式环境配置讲解听讲记录任务部署1完成hadoop伪分布式环境的配置讲解搜集资料、交流任务实施1①修改配置文件hadoop-env.sh在该文件中修改JAVA_HOME环境变量，将其值修改为JDK的安装路径，修改内容如下所示：exportJAVA_HOME=/usr/local/src/jdk②修改全局参数配置文件core-site.xml将<configuration>和</configuration>中的标签中的内容修改如下所示：<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop/tmp</value></property></configuration>③修改hdfs参数配置文件hdfs-site.xml，将<configuration>和</configuration>中的标签中的内容修改如下所示：<configuration><property><name>.dir</name><value>/usr/local/src/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/src/hadoop/dfs/data</value></property><property><name>node.secondary.http-address</name><value>slave1:50090</value></property></configuration>④修改从节点配置文件slaves该配置文件需要把启动DataNode进程的节点加入到该文件中，首先需要进入该文件的编辑状态，执行如下命令：vislaves在slaves中加入如下内容：masterslave1slave2⑤在/usr/local/src/hadoop下创建dfs目录，在/usr/local/src/hadoop目录下执行mkdirdfs命令，该目录用来存放数据HDFS文件系统的元信息保存位置和HDFS文件系统的数据保存位置。⑥拷贝整个Hadoop安装目录到另外两个节点，如下命令：scp-r/usr/local/src/hadooproot@slave1:/usr/local/srcscp-r/usr/local/src/hadooproot@slave2:/usr/lo