实训2 HDFS的安装部署与配置

实训2.2HDFS的安装部署与配置1.实训目的通过本实训理解HDFS的架构以及安装与部署；学会启动HDFS集群，懂得上传文件到HDFS。2.实训内容该实训主要是进行HDFS集群的相关操作，包括HDFS的安装部署和配置，并且懂得查看HDFS的WebUI界面和上传文件到HDFS。但在部署之前需要安装好HDFS的运行前提环境JDK，然后再在master上部署NameNode服务，在slave上部署DataNode服务。3.实训要求以小组为单元进行实训，每小组5人，小组自协商选一位组长，由组长安排和分配实训任务，具体参考实训操作环节。4.准备知识（1）HDFS内容回顾①分布式文件系统分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。②HDFS架构HDFS为大数据平台其它所有组件提供了基本的存储功能。它具有高容错、高可靠、可扩展、高吞吐率等特征，为大数据存储和处理提供了强大的底层存储架构。HDFS是一个主从结构的分布式文件系统，具有分布式存储的特点，HDFS集群拥有一个NameNode和多个DataNode，NameNode管理文件系统的元数据，DataNode存储实际的数据。从用户的角度来看，其与传统的文件系统类似，可通过目录路径对其上的文件执行增删改查操作。由于是分布式存储，所以HDFS集群除了拥有一个NameNode，还有多个DataNode，NameNode管理着文件系统的元数据，DataNode存储实际的数据。HDFS开放文件系统的命名空间以便用户以文件形式存储数据，秉承“一次写入、多次读取”的原则。客户端通过NameNode和DataNode的交互访问文件系统，联系NameNode以获取文件的元数据，而真正的文件I/O操作是直接和DataNode进行交互的。（2）HDFS基本命令HDFS的基本命令与Linux的命令非常相似，可以结合Linux的命名进行对比学习。HDFS基本命令格式如下（cmd为具体的操作，args为参数）：hdfsdfs-cmdargs部分HDFS命令示例如下：hdfsdfs-mkdir/user/trunk#建立目录/user/trunkhdfsdfs-ls/user#查看/user目录下的目录和文件hdfsdfs-lsr/user#递归查看/user目录下的目录和文件hdfsdfs-puttest.txt/user/trunk#上传test.txt文件至/user/trunkhdfsdfs-get/user/trunk/test.txt#获取/user/trunk/test.txt文件hdfsdfs-cat/user/trunk/test.txt#查看/user/trunk/test.txt文件内容hdfsdfs-tail/user/trunk/test.txt#查看/user/trunk/test.txt文件的最后1000行hdfsdfs-rm/user/trunk/test.txt#删除/user/trunk/test.txt文件hdfsdfs-helpls#查看ls命令的帮助文档5.实训操作（1）安装包准备①下载好的JDK和Hadoop的安装包，可以直接使用MobaXterm工具上传安装包到各个节点。点击MobaXterm软件左侧的sftp可以进入传输文件页面，点击下方的“跟随终端文件夹”可以让显示的内容跟随操作的路径。如图2-30所示。图2-30切换到上传文件页面②将需要上传的软件拖拉到MobaXterm窗口空白处，如图2-所示。图2-30上传JDK与Hadoop安装包到master等待软件上传完后，继续往下操作。JDK安装配置三台节点均操作①将JDK移动到指定文件夹放置好，如图2-31所示。mkdirpackagemvhadoop-3.3.4.tar.gzjdk-8u161-linux-x64.tar.gzpackage/cdpackage/ll②创建/opt/software文件夹放置需要安装的软件，然后解压JDKmkdir/opt/softwaretar-zxvfjdk-8u161-linux-x64.tar.gz-C/opt/software/解压好后，如图2-所示。③需要配置环境变量（本次实训在/etc/profile文件中配置），如图2-33所示。vim/etc/profileexportJAVA_HOME=/opt/software/jdk1.8.0_161exportPATH=$PATH:$JAVA_HOME/bin图2-33配置环境变量注意：添加配置的位置是文件最后一行。③配置好后，需要使环境变量在当前会话生效，如图2-34所示。source/etc/profile图2-34使配置环境生效④校验是否设置成功，可以查看到JDK的版本号，如图2-35所示。java-version注意：三台节点均需要安装JDK。（3）HDFS相关配置①解压Hadoop包文件至/opt/software目录，然后查看是否解压成功。如图2-36所示。tar-zxvfhadoop-3.3.4.tar.gz-C/opt/software/图2-36查看是否解压成功②修改HDFS配置文件设置JDK安装目录编辑文件“/opt/software/hadoop-3.3.4/etc/hadoop/hadoop-env.sh”cd/opt/software/hadoop-3.3.4/etc/hadoopvimhadoop-env.sh找到如下一行：#exportJAVA_HOME=在其下方添加内容：exportJAVA_HOME=/opt/software/jdk1.8.0_161操作结果如图2-37所示。图2-37设置JAVA_HOME此处的“/opt/software/jdk1.8.0_161”即是JDK安装位置，如果不同，请根据实际情况更改。指定HDFS主节点编辑文件为“/opt/software/hadoop-3.3.4/etc/hadoop/core-site.xml”，修改编辑文件：vimcore-site.xml将如下内容添加到最后两行的<configuration></configuration>标签之间： <property> <name>hadoop.tmp.dir</name> <value>/opt/software/hadoop/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value> </property>位置如图2-38所示。图2-38配置core-site.xml指定HDFS相关配置编辑文件为“/opt/software/hadoop-3.3.4/etc/hadoop/hdfs-site.xml”，将指定HDFS集群存储的副本系数、Namenode元数据和DataNode数据的存储位置、，修改编辑文件：vimhdfs-site.xml将如下内容添加到最后两行的<configuration></configuration>标签之间： <property> <name>.dir</name> <value>/opt/software/hadoop-3.3.4/dfs/name</value><description>Namenode元数据存储位置</description> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/software/hadoop-3.3.4/dfs/data</value><description>DataNode数据存储位置</description> </property> <property> <name>dfs.replication</name> <value>2</value><description>块存储的副本系数</description> </property> <property> <name>node.secondary.http-address</name> <value>master:9868</value><description>SecondaryNameNode地址</description> </property><property><name>dfs.webhdfs.enabled</name><value>true</value><description>开启webhdfs服务</description></property>指定HDFS从节点编辑worker文件，路径为“/opt/software/hadoop-3.3.4/etc/hadoop/workers”文件夹里，将slave节点的文件名加入此文件中，本实训的slave节点为slave1和slave2，所以添加的内容为slave1和slave2：vimworkersslave1slave2注意：①原本文件中默认有localhost，记得删除掉。②此文件中不要包含多余的空行或者空格。最终配置内容如图2-39所示。图2-39查看workers文件内容（4）拷贝master上的配置文件到slave1、slave2在master机上执行下列命令，将配置好的hadoop文件目录拷贝至slave1、slave2。本实训使用附录中提供的脚本实现拷贝操作，可以查看后面的附录内容。~/shell/scp_call.sh/opt/software/hadoop-3.3.4/拷贝结束后，slave1和slave2节点将会有相应的文件目录。如图2-、图2-所示。图2-39查看slave1节点文件夹图2-39查看slave2节点文件夹（5）启动HDFS①配置环境变量为了方便方便后面操作，可以先将Hadoop主目录下的bin和sbin目录配上环境变量。vim/etc/profileexportHADOOP_HOME=/opt/software/hadoop-3.3.4exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin同时，Hadoop3.3.4版本对用户做了限制，所以还需要添加定义用户的变量。exportHDFS_NAMENODE_USER=rootexportHDFS_DATANODE_USER=rootexportHDFS_SECONDARYNAMENODE_USER=rootexportYARN_RESOURCEMANAGER_USER=rootexportYARN_NODEMANAGER_USER=root最终配置结果如图2-所示：最后还需要使环境变量在当前会话生效。source/etc/profile为了方便操作，可以拷贝master上的环境变量文件到slave1、slave2节点。在master节点执行：~/shell/scp_call.sh/etc/profile拷贝完成后，需要在slave1、slave2节点上执行source操作。②格式化HDFS首次使用HDFS需要先进行格式化，可以在/opt/software/hadoop-3.3.4/bin目录执行格式化命令。在master节点执行：hdfsnamenode-format如果没有发生意外，则会提示格式化成功，并且NameNode元数据的存储位置是hdfs-site.xml配置文件中指定的位置。如图2-40所示。图2-40格式化HDFS成功标识③启动HDFS在master节点执行，如图2-41所示。start-dfs.sh图2-41启动HDFS④通过查看进程的方式验证HDFS启动成功分别在master、slave1、slave2三台机器上执行jps命令，查看HDFS服务是否已经启动。若启动成功，在master上会看到相应的NameNode、SecondaryNameNode进程信息。如图2-42所示。图2-42查看master进程在slave1、slave2上会看到相应的DataNode进程信息。如图2-43、图2-44所示。图2-43查看slave1进程图2-44查看slave2进程此操作也可以使用提供的脚本文件进行查看，结果如图2-所示。~/shell/jps_all.sh图2-44使用脚本查看进程相关脚本请查看附录的jps_all.sh内容。（6）通过Shell指令上传文件到HDFS①新建一个测试文件在master节点上执行，效果如图2-所示：mkdir/root/datascd/root/datasecho123>>data.txt②上传data.txt文件到HDFS集群，如图2-45所示：hdfsdfs-put/root/datas/data.txt/hdfsdfs-ls/图2-45上传文件到HDFS③查看WebUI页面在浏览器中打开master的ip地址加端口：31:9870格式：master的ip:9870。如图2-46所示。图2-46查看WebUI界面点击WebUI界面上方菜单栏的“Utilities”，选择“Browsethefilesystem”，可以看到上传到HDFS集群根路径的data.txt文件。如图2-47所示。图2-47查看HDFS的文件接着，可以