Hadoop3.0集群环境安装

Hadoop3.0集群环境安装目录2Hadoop3.0集群部署1Hadoop3.0新特性Hadoop3.0新特性

Hadoop3.0中引入纠删码、多Namenode支持、MRNativeTask优化、YARN基于cgroup的内存和磁盘IO隔离、YARNcontainerresizingHadoop3.0

新特性

HDFS纠删码多个NameNode备机对云计算平台的支持CommonYARN2.0的HDFS：1份数据，2份冗余副本纠删码技术：1份数据，0.5份冗余校验数据NameNodeDataNodeABDataNodeABDataNodeAB纠删码将数据存储空间节省50%Hadoop3.0新特性

HDFS纠删码多个NameNode备机对云计算平台的支持CommonYARNNameNode主机NameNode主机NameNode备机NameNode备机处理客户端RPC请求监控存储节点状态生成文件系统修改日志准备快速切换

读取并处理修改日志

监控存储节点状态生成文件系统镜像Paxos协议负责：维护文件系统修改日志监控NameNode状态选举新的NameNode主机Hadoop3.0新特性

HDFS纠删码多个NameNode备机对云计算平台的支持CommonYARNMB/S应用层物理存储层IMPALAHDFSCommonYARNYARN

FederationYARN节点标记Application

Timeline

Service

v2Hadoop3.0

新特性

Hadoop3.0

新特性

HDFSCommonYARNYARNFederationYARN节点标记Application

Timeline

Service

v2Hadoop3.0

新特性

HDFSCommonYARNYARNFederationYARN节点标记ApplicationTimeline

Servicev2HDFSCommonYARNJDK8+升级更强的兼容性指南重新实现的Shell脚本Classpath隔离Hadoop3.0新特性

支持JDK8以上版本Namenodeports:50470-->9871,50070-->9870,8020-->9820SecondaryNNports:50091-->9869,50090-->9868Datanodeports:50020-->9867,50010-->9866,50475-->9865,50075-->9864Kmsserverports:16000-->9600

(原先的16000与HMaster端口冲突)部分服务默认端口修改，不再绑定到Linux临时端口

(HDFS-9427,HADOOP-12811)hadoop-3.0要求JDK版本不低于1.8，对之前的Java版本不再提供支持Hadoop3.0新特性

增加参数冲突检测，避免重复定义和冗余参数脚本清理和简化更完善的文档和单元测试参数去重，缩短环境变量

CLASSPATH,JAVA_LIBRARY_PATH,andLD_LIBRARY_PATH等参数的去重，缩短环境变量

脚本重构，更多的代码加入function中，提供重载，删除重复代码，提升可维护性和易用性脚本重构HDFSCommonYARNJDK8+升级更强的兼容性指南重新实现的Shell脚本Classpath隔离2Hadoop3.0集群部署1Hadoop3.0新特性目录Hadoop3.0集群安装部署25%基础环境准备集群规划系统准备（安装vmwaretools）网络配置（禁止ipv6、配置host文件）关闭防火墙配置时间同步配置免密码登录安装JDK软件70%集群环境部署解压hadoop3.0文件包配置hadoop相关文件格式化namenode90%启动集群启动hdfs启动yarn基础命令测试执行MapReduce测试100%测试集群集群规划序号主机角色IP主机名账户密码CPU内存磁盘1hadoop1MasterNameNodeJobTrackerhadoop1root1qaz!QAZ4vCPU16GB300GB2hadoop2SlaveDataNodeTaskTrackerhadoop2root1qaz!QAZ4vCPU16GB300GB3hadoop3SlaveDataNodeTaskTrackerhadoop3root1qaz!QAZ4vCPU16GB300GBHadoop安装路径JDK安装路径/opt/hadoop-3.1.0/usr/java/jdk1.8.0_161系统准备1、系统安装2、配置lvm逻辑卷3、安装vmwareTools

系统使用centos6.8，选择Minimal安装，安装后自行配置网卡和yum源信息

系统安装前配置相应分区，其中/boot为ext4文件格式，大小200MB，/目录设置为lvm分区，方便后续扩展分区空间

系统安装完之后，安装vmwareTools工具1、配置主机名。

#vi/etc/sysconfig/network编辑修改：

HOSTNAME=hadoop12、配置hosts文件如下，把三个虚拟机的主机记录填入。

#vi/etc/hosts

配置内容： 11hadoop1

12hadoop2

13hadoop3

基础环境配置3、关闭防火墙。

#vi/etc/selinux/config

SELINUX=disabled

#chkconfigiptablesoff

#chkconfigip6tablesoff

#serviceiptablesstop4、配置SSH免密登录。

hadoop配置过程中，master需要对salves进行操作，所以我们需要在hadoop1节点配置ssh免密码登录hadoop2、hadoop3；

ssh-keygen(3个节点都要执行一路回车即可)。

在hadoop1上进行下面操作

cd.ssh

catid_rsa.pub>>authorized_keys

基础环境配置4、配置SSH免密登录。

节点二上：

cd.ssh

scp-rid_rsa.pubhadoop1:/root/.ssh/id_rsa.pub2

节点三上：

cd.sshscp-rid_rsa.pubhadoop1:/root/.ssh/id_rsa.pub3

在hadoop1节点上

catid_rsa.pub2>>authorized_keys

catid_rsa.pub3>>authorized_keys

scp-rauthorized_keyshadoop2:/root/.ssh/

scp-rauthorized_keyshadoop3:/root/.ssh/

基础环境配置5、安装JDK软件。

#tar-zxvf jdk-8u161-linux-x64.tar.gz-C/use/local配置java环境变量：

#vi/etc/profile

配置内容：

exportJAVA_HOME=/usr/local/jdk1.8.0_161 exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar exportPATH=$PATH:$JAVA_HOME/bin6、验证JDK安装。

#java–version

效果展示：

javaversion"1.8.0_161"Java(TM)SERuntimeEnvironment(build1.8.0_161-b11)JavaHotSpot(TM)64-BitServerVM(build25.161-b11,mixedmode)

基础环境配置Hadoop3.0集群安装部署25%基础环境准备集群规划系统准备（安装vmwaretools）网络配置（禁止ipv6、配置host文件）关闭防火墙配置时间同步配置免密码登录安装JDK软件50%集群环境部署解压hadoop3.0文件包配置文件格式化namenode70%启动集群启动hdfs启动yarn基础命令测试执行MapReduce测试100%测试集群集群环境部署1、解压缩Hadoop安装包到/opt目录下。

#tar-zxvfhadoop-3.1.0.tar.gz–C/opt2、配置Hadoop配置文件

#vi/opt/hadoop-3.1.0/etc/hadoop/core-site.xml

配置内容：<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-3.1.0/tmp</value></property>

</configuration>

集群环境部署3、修改hdfs-site.xml。

#vi/opt/hadoop-3.1.0/etc/hadoop/hdfs-site.xml

配置内容：

<configuration><property<name>dfs.replication</name><value>3</value></property><property><name>.dir</name><value>file:///opt/hadoop-3.1.0/hdfs/name</value></property>集群环境部署配置内容：<property><name>dfs.datanode.data.dir</name><value>file:///opt/hadoop-3.1.0/hdfs/data</value></property><property><name>node.secondary.http-address</name><value>hadoop2:9001</value></property></configuration>集群环境部署4、works设置。

/opt/hadoop-3.1.0/etc/hadoop/workers

配置内容：

hadoop2

hadoop35、修改mapred-site.xm。

#vi/opt/hadoop-3.1.0/etc/hadoop/mapred-site.xml

配置内容：<configuration><property><name></name><value>yarn</value></property>集群环境部署配置内容：<property><name>mapreduce.application.classpath</name><value>/opt/hadoop-3.1.0/etc/hadoop,/opt/hadoop-3.1.0/share/hadoop/common/*,/opt/hadoop-3.1.0/share/hadoop/common/lib/*,/opt/hadoop-3.1.0/share/hadoop/hdfs/*,/opt/hadoop-3.1.0/share/hadoop/hdfs/lib/*,/opt/hadoop-3.1.0/share/hadoop/mapreduce/*,/opt/hadoop-3.1.0/share/hadoop/mapreduce/lib/*,/opt/hadoop-3.1.0/share/hadoop/yarn/*,/opt/hadoop-3.1.0/share/hadoop/yarn/lib/*</value></property></configuration>集群环境部署6、修改yarn-site.xml。

#vi/opt/hadoop-3.1.0/etc/hadoop/yarn-site.xml

配置内容：<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandle</value></property>集群环境部署配置内容：<property><name>yarn.resourcemanager.resource-tracker.address</name><value>cdh1:8025</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop1:8030</value></property><property><name>yarn.resourcemanager.address</name><value>hadoop1:8040</value></property></configuration>集群环境部署7、配置hadoop-env.sh。

#vi/opt/hadoop-3.1.0/etc/hadoop/Hadoop-env.sh

配置内容：

#exportJAVA_HOME=/usr/java/jdk1.8.0_161

更新配置：

#

source/opt/hadoop-3.1.0/etc/hadoop/hadoop-env.sh8、在./start-yarn.sh配置如下内容。

#vi/opt/hadoop-3.1.0/sbin/start-yarn.sh

配置内容：exportYARN_RESOURCEMANAGER_USER=root

exportHADOOP_SECURE_DN_USER=root

exportYARN_NODEMANAGER_USER=root集群环境部署9、在./stop-yarn.sh配置如下内容。

#vi/opt/hadoop-3.1.0/sbin/stop-yarn.sh

配置内容：exportYARN_RESOURCEMANAGER_USER=root

exportHADOOP_SECURE_DN_USER=root

exportYARN_NODEMANAGER_USER=root集群环境部署10、在./start-dfs.sh配置如下内容。

#vi/opt/hadoop-3.1.0/sbin/start-dfs.sh

配置内容：

exportHDFS_NAMENODE_SECURE_USER=root

exportHDFS_DATANODE_SECURE_USER=root

exportHDFS_SECONDARYNAMENODE_USER=root

exportHDFS_NAMENODE_USER=root

exportHDFS_DATANODE_USER=root

exportHDFS_SECONDARYNAMENODE_USER=root

exportYARN_RESOURCEMANAGER_USER=root

exportYARN_NODEMANAGER_USER=root集群环境部署11、在./stop-dfs.sh配置如下内容。#vi/opt/hadoop-3.1.0/sbin/stop-dfs.sh

配置内容：

exportHDFS_NAMENODE_SECURE_USER=rootexportHDFS_DATANODE_SECURE_USER=rootexportHDFS_SECONDARYNAMENODE_USER=rootexportHDFS_NAMENODE_USER=rootexportHDFS_DATANODE_USER=rootexportHDFS_SECONDARYNAMENODE_USER=rootexportYARN_RESOURCEMANAGER_USER=rootexportYARN_NODEMANAGER_USER=root集群环境部署12、将以上配置好的Hadoop文件包打包并同步到其它Hadoop节点。

#cd/home

#tar-czvfhadoop.tar.gz/opt/hadoop-3.1.0

#scp–r/opt/hadoop-3.1.0hadoop2:/opt/

#scp–r/opt/hadoop-3.1.0hadoop3:/opt/13、在三台Hadoop主机中配置profile文件。

#vi/etc/profile

配置内容：

exportHADOOP_HOME=/opt/hadoop-3.1.0exportPATH=$PATH:$HADOOP_HOME/bin14、格式化NameNo