第三章 Hadoop集群的搭建及配置

第三章Hadoop集群的搭建及配置1搭建完全分布式集群目录搭建伪分布式集群2伪分布式集群搭建准备工作：1.Linux操作系统搭建完好。2.PC机、服务器、环境正常。3.搭建Hadoop需要的软件包（hadoop-2.7.6、jdk1.8.0_171）。伪分布式模式：存储采用分布式文件系统HDFS，但是，HDFS的名称节点和数据节点都在同一台机器上；伪分布式集群搭建步骤1：1、关闭防火墙systemctlstopfirewalld.service永久关闭防火墙systemctldisablefirewalld.service查看防火墙systemctlstatusfirewalld.service2、上传安装包并解压使用rz上传压缩包至master的/opt/soft/（根据实际情况来）cd/opt/soft/packages/（需要事先创建packages目录）3、解压tar-zxvfhadoop-2.7.6.tar.gz-C/opt/soft/tar–zxvfjdk-8u171-linux-x64.tar.gz–C/opt/soft伪分布式集群搭建步骤2：1、配置环境变量vim/etc/profileJAVA_HOME=/opt/soft/jdk1.8.0_171HADOOP_HOME=/opt/soft/hadoop-2.7.6ExportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH2、重新加载环境变量source/etc/profile伪分布式集群搭建步骤3（修改Hadoop配置文件）：1、vim编辑hadoop-env.sh，追加以下内容：exportJAVA_HOME=/opt/soft/jdk1.8.0_171exportHDFS_NAMENODE_USER=root

exportHDFS_DATANODE_USER=root

exportHDFS_SECONDARYNAMENODE_USER=root

exportYARN_RESOURCEMANAGER_USER=root

exportYARN_NODEMANAGER_USER=root

2、vim编辑core-site.xml，修改以下配置：<property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/soft/hadoop-2.7.6/tmp</value></property><property><name>erval</name><value>1440</value></property>伪分布式集群搭建步骤3（修改Hadoop配置文件）：3、vim编辑hdfs-site.xml，修改以下配置：<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>

4、vim编辑mapred-site.xml.template：

重命名：cpmapred-site.xml.templatemapred-site.xml，并且修改以下配置：<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>伪分布式集群搭建步骤3（修改Hadoop配置文件）：5、vim编辑hdfs-site.xml，修改以下配置：<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>6、slavesmaster伪分布式集群搭建步骤4：1、执行名称节点格式化hdfsnamenode-format2、启动Hadoopstart-dfs.sh3、Hadoop启动完成后，可以通过如下命令来判断是否成功启动jps1搭建完全分布式集群目录搭建伪分布式集群2完全分布式搭建准备工作：1.Linux操作系统搭建完好。2.PC机、服务器、环境正常。3.搭建Hadoop需要的软件包（hadoop-2.7.6、jdk1.8.0_171）。4.搭建三台虚拟机。（master、node1、node2）存储采用分布式文件系统HDFS，而且，HDFS的名称节点和数据节点位于不同机器上。

完全分布式搭建一、修改Hadoop配置文件：1.core-site.xml<property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/soft/hadoop-2.7.6/tmp</value></property><property><name>erval</name><value>1440</value></property>2.hadoop-env.shexportJAVA_HOME=/opt/soft/jdk1.8.0_1713.*hdfs-site.xml<property><name>dfs.replication</name><value>3</value></property><property><name>dfs.permissions</name><value>false</value></property>完全分布式搭建4.mapred-site.xml.template重命名文件cpmapred-site.xml.templatemapred-site.xml修改配置文件<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>5.yarn-site.xml<property><name>yarn.resourcemanager.hostname</name><value>master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>完全分布式搭建6.slavesmasternode1node2配置文件修改完成完全分布式搭建二、分发配置文件到node1、node2：cd/opt/soft/scp-rhadoop-2.7.6/node1:`pwd`scp-rhadoop-2.7.6/node2:`pwd`三、格式化namenode（第一次启动的时候需要执行）hdfsnamenode-format四、启动Hadoop集群start-all.sh五、检查master、node1、node2上的进程六、关闭Hadoop集群stop-all.shHadoop安装目录解读执行命令配置文件日志文件启动命令软件jar包Hadoop集群—文件监控http://master:50070Hadoop集群—文件监控http://master:50070Hadoop集群—文件监控http://master:50070Hadoop集群—文件监控http://master:50070Hadoop集群—文件监控http://master:50070Hadoop集群—文件监控http://master:50