202152 Hadoop HA 集群部署 2ZooKeeper安装与配置 教学

主讲：方明清0102030405目录规划HadoopHA集群ZooKeeper安装与配置HDFSHA配置、启动与验证YARNHA配置、启动与验证YARNHA测试JobZooKeeper安装与配置2基础环境配置序号任务名称任务一上传安装包到第1个Zookeeper节点并解压任务二编辑Zookeeper配置文件任务三创建zkdata和zkdatalog文件夹任务四设置Zookeeper节点对应的ID（myid）任务五配置Zookeeper环境变量任务六分发Zookeeper到其他Zookeeper节点任务七修改其他Zookeeper节点对应的ID（myid）任务八启动与验证Zookeeper集群任务一上传安装包到第1个Zookeeper节点并解压登录Zookeeper第1个节点（master），使用root用户登录，然后切换为hadoop用户 [root@master~]#su–hadoop --从root用户切换为hadoop身份 [hadoop@master~]$上传Zookeeper安装包到master节点的/opt文件夹下，并解压 [hadoop@master~]$cd/opt [hadoop@master~]$tarzxvfapache-zookeeper-3.6.0-bin.tar.gz --解压安装包 [hadoop@master~]$mvapache-zookeeper-3.6.0-binzookeeper-3.6.0 --更改目录名任务二编辑Zookeeper配置文件登录Zookeeper第1个节点（master），使用root用户登录，然后切换为hadoop用户 [root@master~]#su–hadoop --从root用户切换为hadoop身份 [hadoop@master~]$进入Zookeeper的配置文件目录，复制配置文件并重命名为zoo.cfg [hadoop@master~]$cd/opt/zookeeper-3.6.0/conf --进入zookeeper配置文件目录 [hadoop@masterzookeeper-3.6.0]$cpzoo_sample.cfgzoo.cfg --复制配置文件并重命名编辑Zookeeper的配置文件zoo.cfg，增加或修改为以下内容： dataDir=/opt/zookeeper-3.6.0/zkdata --在原有语句上修改即可 dataLogDir=/opt/zookeeper-3.6.0/zkdatalog --zookeeper日志数据保存位置 #2888选举端口、3888原子广播端口 server.1=master:2888:3888 --节点对应ID，server.1=master server.2=slave1:2888:3888 --节点对应ID，server.2=slave1 server.3=slave2:2888:3888 --节点对应ID，server.3=slave2任务三创建zkdata和zkdatalog文件夹登录Zookeeper第1个节点（master），使用root用户登录，然后切换为hadoop用户 [root@master~]#su–hadoop --从root用户切换为hadoop身份 [hadoop@master~]$进入Zookeeper安装目录 [hadoop@master~]$cd/opt/zookeeper-3.6.0 --进入zookeeper安装目录创建zkdata和zkdatalog文件夹 [hadoop@masterzookeeper-3.6.0]$mkdirzkdata --创建zkdata文件夹 [hadoop@masterzookeeper-3.6.0]$mkdirzkdatalog --创建zkdatalog文件夹任务四设置Zookeeper节点对应的ID（myid）登录Zookeeper第1个节点（master），使用root用户登录，然后切换为hadoop用户 [root@master~]#su–hadoop --从root用户切换为hadoop身份 [hadoop@master~]$进入Zookeeper安装目录 [hadoop@master~]$cd/opt/zookeeper-3.6.0 --进入zookeeper安装目录进入zkdata文件夹，设置Zookeeper节点对应的ID（myid） [hadoop@masterzookeeper-3.6.0]$cdzkdata --进入zkdata文件夹 [hadoop@masterzkdata]$echo1>myid --创建myid文件，输入对应ID [hadoop@masterzkdata]$catmyid --查看myid内容，应该显示1任务五配置Zookeeper环境变量登录Zookeeper第1个节点（master），使用root

用户登录，配置Zookeeper环境变量 #vi/etc/profile往/etc/profile文件末尾中追加以下配置内容 #zookeeper exportZOOKEEPER_HOME=/opt/zookeeper-3.6.0 exportPATH=$PATH:${ZOOKEEPER_HOME}/bin修改完成，保存后执行#source/etc/profile命令，使得环境变量生效，并查看环境变量 [root@master~]$source/etc/profile --运行脚本，使得环境变量生效 [root@master~]$export --查看环境变量拷贝/etc/profile文件到slave1和slave2从节点 #scp/etc/profileroot@slave1:/etc/ --复制文件到slave1从节点 #scp/etc/profileroot@slave2:/etc/ --复制文件到slave2从节点任务六分发Zookeeper到其他Zookeeper节点登录Zookeeper第1个节点（master），使用root用户登录，然后切换为hadoop用户 [root@master~]#su–hadoop --从root用户切换为hadoop身份 [hadoop@master~]$分发Zookeeper文件到其他节点 [hadoop@master~]$cd/opt [hadoop@master~]$scp–r/opt/zookeeper-3.6.0hadoop@slave1:/opt/ --分发到slave1节点 [hadoop@master~]$scp–r/opt/zookeeper-3.6.0hadoop@slave2:/opt/ --分发到slave2节点分别登录slave1、slave2节点，切换为hadoop用户，检查分发结果以及环境变量 [hadoop@slave1~]$ls-l/opt --在slave1节点上检查分发结果 [hadoop@slave1~]$export --在slave1节点上检查环境变量 [hadoop@slave2~]$ls-l/opt --在slave2节点上检查分发结果 [hadoop@slave2~]$export --在slave2节点上检查环境变量任务七修改其他Zookeeper节点对应的ID（myid）分别登录Zookeeper其他节点（slave1、slave2），使用root用户登录，然后切换为hadoop用户 [root@slave1~]#su–hadoop --从root用户切换为hadoop身份 [hadoop@slave1~]$进入Zookeeper安装目录 [hadoop@slave1~]$cd/opt/zookeeper-3.6.0 --进入zookeeper安装目录进入zkdata文件夹，设置Zookeeper节点对应的ID（myid） [hadoop@slave1zookeeper-3.6.0]$cdzkdata --进入zkdata文件夹 [hadoop@slave1zkdata]$echo2>myid --创建myid文件，输入对应ID [hadoop@slave1zkdata]$catmyid --查看myid内容，应该显示24、以上相同步骤进入zookeeper的slave2节点，将myid内容设置为3任务八启动与验证Zookeeper集群分别登录所有Zookeeper所有节点，使用hadoop用户登录，以master节点为例 #su–hadoop --从root用户切换为hadoop身份 [hadoop@master~]$在Zookeeper所有节点上启动zookeeper，以master为例，slave1、slave2操作步骤相同 [hadoop@master~]$zkServer.shstart --在master节点上启动Zookeeper [hadoop@master~]$zkServer.shstatus --在master节点上查看启动状态

验证Zookeeper集群，以master为例，slave1、slave2操作步骤相同 [hadoop@master~]$jps --查看zookeeper进程QuorumPeerMain [hadoop@master