《大数据平台构建》 课件 项目四、Hadoop HA 集群部署

0102目录任务1规划HadoopHA集群任务2Zookeeper安装与配置03任务3HDFSHA配置与启动04任务4YARNHA配置与启动任务1规划HadoopHA集群1任务目标1、能够熟练完成HadoopHA服务器角色规划2、能够熟练完成HadoopHA离线安装所需软件的下载能力目标1、了解HadoopHA基本概念2、了解HadoopHA原理知识目标4

知识准备5一、HadoopHA简介(一)什么是HAHA是HighAvailability的简写，即高可用，指当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用简言之，有两台机器，一台工作，一台备用，当工作机宕机之后，备用机自动接替(二)什么是HadoopHAHadoopHA集群模式是最常见的生产环境上的安装部署方式实现高可用最关键的是消除单点故障，HadoopHA严格来说应该分成各个组件的HA机制，HadoopHA包括：HDFS的NameNodeHA和YARN的ResourceManagerHADataNode和NodeManager本身就是被设计为高可用的，不用对它们进行特殊的高可用处理二、HadoopHA原理6HadoopYARNHA原理HadoopYARNHA是通过同时配置两个或多个ResourceManager（RM）来解决HA问题ResourceManagerHA是通过活动/备用体系结构实现的。在任何时候，其中一个RM处于活动状态，并且一个或多个RM处于待机模式，等待在活动发生任何事情时接管。转换到活动的触发器来自管理员（通过CLI）或在启用自动故障转移时通过集成的故障转移控制器RM可以选择嵌入基于Zookeeper的ActiveStandbyElector

，以决定哪个RM应该是活动的。当活动关闭或变得无响应时，另一个RM将自动选择为活动，然后接管注意：不需要像HDFS那样运行单独的ZKFC守护程序，因为嵌入在RM中的ActiveStandbyElector

充当故障检测器和领导者选举器，而不是单独的ZKFC守护程序HadoopHDFSHA原理HadoopHDFSHA（HighAvailable）通过同时配置两个或多个NameNode来解决HA问题分别叫ActiveNameNode和StandbyNameNode，StandbyNameNode作为热备份，从而允许在机器发生故障时能够快速进行故障转移在任何时间点，只有一个NameNode节点处于活动状态，而其他NameNode处于待机状态ActiveNameNode负责群集中的所有客户端操作，而StandbyNameNode只是充当辅助角色，维护足够的状态以在必要时提供快速故障转移7任务实施一、HadoopHA部署的服务器角色规划master（IP：29）配置：2CPU、2G内存、20G硬盘slave1（IP：30）配置：2CPU、2G内存、20G硬盘slave2（IP：31）配置：2CPU、2G内存、20G硬盘NameNode（Active）NameNode(StandBy)DataNodeDataNodeDataNodeResourceManager(Active)ResourceManager(StandBy)NodeManagerNodeManagerNodeManagerJobHistoryServerHadoopHA部署的服务器角色规划ZKFCZKFC

ZookeeperZookeeperZookeeperJournalNodeJournalNodeJournalNode二、HadoopHA部署的离线安装所需软件包下载8项目所需软件下载清单官方下载网址HadoopHA集群部署OpenEuler22.03LTS（everything完整版）/zh//zh/OpenEuler22.03LTS（DVDISO版本）/zh//zh/SecureCRT8.7.3/products/securecrt/JDK8/java/technologies/downloads/Hadoop3.3.4//docs/r3.3.4/Zookeeper-3.7.1//releases.html离线安装Hadoop集群所需要的软件下载清单及官方下载网址主讲：方明清0102目录任务1规划HadoopHA集群任务2Zookeeper安装与配置03任务3HDFSHA配置与启动04任务4YARNHA配置与启动任务2Zookeeper安装与配置2任务目标1、能够熟练完成Zookeeper的安装与配置2、能够熟练完成Zookeeper集群的启动3、能够熟练完成Zookeeper集群的验证能力目标1、了解Zookeeper相关概念2、熟悉Zookeeper架构与工作原理知识目标12知识准备13一、Zookeeper简介(一)什么是ZookeeperZookeeper分布式服务框架是ApacheHadoop一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等Zookeeper作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，Zookeeper作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理简单的说，zookeeper=文件系统+通知机制(二)Zookeeper应用场景命名服务配置管理集群管理负载均衡分布式锁二、Zookeeper集群基本架构14Leader角色：负责投票的发起与决议，更新系统状态，写数据Follower角色：用于接收客户端请求并用来返回结果，在选主过程中参与投票Observer角色：可以接受客户端连接，将写请求转发给leader节点，但是不参与投票过程，只同步leader状态，主要存在目的就是为了提高读取效率任务实施15HadoopHA集群部署–

Zookeeper集群配置、启动与验证步骤01上传ZooKeeper安装包并解压02配置ZooKeeper环境变量03编辑ZooKeeper配置文件04创建zkData和zkDataLog目录05设置ZooKeeper节点对应的ID（myid）06分发ZooKeeper到其他节点07修改其他节点对应的ID（myid）08启动与验证ZooKeeper集群16任务实施一、Zookeeper集群配置、启动与验证上传安装包到第1个ZooKeeper节点（如：master）并解压，以master节点为例执行以下命令：[root@master~]#su–hadoop

#切换为hadoop用户身份[hadoop@master~]$cd/opt/

#改变到Zookeeper安装文件的上传目录/opt[hadoop@masteropt]$tar-zxvfapache-zookeeper-3.7.1-bin.tar.gz

#解压Zookeeper[hadoop@masteropt]$mvapache-zookeeper-3.7.1-binzookeeper-3.7.1

#重命名Zookeeper目录配置ZooKeeper环境变量[root@master~]#vi/etc/profile

#编辑环境变量配置文件（其余略）#新增以下ZOOKEEPER环境变量exportZOOKEEPER_HOME=/opt/zookeeper-3.7.1exportPATH=$PATH:$ZOOKEEPER_HOME/bin[root@master~]#source/etc/profile

#运行脚本使环境变量立即生效17一、Zookeeper集群配置、启动与验证（续）编辑ZooKeeper配置文件[root@master~]#su–hadoop

#切换为hadoop用户身份[hadoop@masteropt]$cd/opt/zookeeper-3.7.1/conf

#进入Zookeeper配置文件目录[hadoop@masterconf]$cpzoo_sample.cfgzoo.cfg

#从模板复制出Zookeeper配置文件[hadoop@masterconf]$vizoo.cfg

#编辑zoo.cfg配置文件（其余略）#修改dataDir配置参数，注释掉原始的设置：/tmp/zookeeperdataDir=/opt/zookeeper-3.7.1/zkDatadataLogDir=/opt/zookeeper-3.6.0/zkDataLog#在文件末尾添加以下内容server.1=master:2888:3888server.2=slave1:2888:3888server.3=slave2:2888:388818一、Zookeeper集群配置、启动与验证（续）创建zkData和zkDataLog目录[hadoop@masteropt]$cd/opt/zookeeper-3.7.1/

#进入Zookeeper目录[hadoop@masterzookeeper-3.7.1]$mkdirzkDatazkDataLog

#创建两个目录zkData、zkDataLog设置ZooKeeper节点对应的ID（myid）[root@master~]#su–hadoop

#切换为hadoop用户身份[hadoop@master~]$echo1>/opt/zookeeper-3.7.1/zkData/myid

#创建myid文件，内容为1[hadoop@master~]$cat/opt/zookeeper-3.7.1/zkData/myid

#查看myid文件内容119一、Zookeeper集群配置、启动与验证（续）分发ZooKeeper到其他ZooKeeper节点在master节点，以root用户身份，分发/etc/profile系统环境变量配置文件到其他Zookeeper节点[root@master~]#scp/etc/profileroot@slave1:/etc/

#分发系统环境变量配置文件到slave1节点[root@master~]#scp/etc/profileroot@slave2:/etc/

#分发系统环境变量配置文件到slave2节点在master节点，以hadoop用户身份，分发配置好的Zookeeper目录到其他Zookeeper节点[root@master~]#su–hadoop

#切换为hadoop用户身份[hadoop@master~]$cd/opt/

#改变到/opt目录[hadoop@masteropt]$scp-rzookeeper-3.7.1/hadoop@slave1:/opt/

#分发Zookeeper到slave1[hadoop@masteropt]$scp-rzookeeper-3.7.1/hadoop@slave2:/opt/

#分发Zookeeper到slave220一、Zookeeper集群配置、启动与验证（续）修改其他ZooKeeper节点对应的ID（myid）在slave1节点，以hadoop身份，将Zookeeper的myid文件内容修改为：2[root@slave1

~]#su–hadoop

#切换为hadoop用户身份[hadoop@slave1~]$cat/opt/zookeeper-3.7.1/zkData/myid

#查看修改前myid文件内容1[hadoop@slave1~]$echo2>/opt/zookeeper-3.7.1/zkData/myid

#修改myid文件内容为2[hadoop@slave1~]$cat/opt/zookeeper-3.7.1/zkData/myid

#查看修改后myid文件内容2在slave2节点，以hadoop身份，将Zookeeper的myid文件内容修改为：3[root@slave2

~]#su–hadoop

#切换为hadoop用户身份[hadoop@slave2

~]$cat/opt/zookeeper-3.7.1/zkData/myid

#查看修改前myid文件内容1[hadoop@slave2~]$echo3>/opt/zookeeper-3.7.1/zkData/myid

#修改myid文件内容为2[hadoop@slave2~]$cat/opt/zookeeper-3.7.1/zkData/myid

#查看修改后myid文件内容321一、Zookeeper集群配置、启动与验证（续）启动ZooKeeper集群#以master节点为例，用hadoop用户身份启动Zookeeper服务（注意：需要在所有节点启动）[hadoop@masteropt]$cd/opt/zookeeper-3.7.1/#进入Zookeeper目录[hadoop@masterzookeeper-3.7.1]$bin/zkServer.shstart

#启动Zookeeper服务ZooKeeperJMXenabledbydefaultUsingconfig:/opt/zookeeper-3.7.1/bin/../conf/zoo.cfgStartingzookeeper...STARTED注意：在slave1、slave2都需要运行以上命令启动Zookeeper服务22一、Zookeeper集群配置、启动与验证（续）验证ZooKeeper集群#在master节点，以hadoop用户身份，输入以下命令[hadoop@masterzookeeper-3.7.1]$bin/zkServer.shstatus#查看Zookeeper状态ZooKeeperJMXenabledbydefaultUsingconfig:/opt/zookeeper-3.7.1/bin/../conf/zoo.cfgClientportfound:2181.Clientaddress:localhost.ClientSSL:false.Mode:follower#在slave1节点，以hadoop用户身份，输入以下命令[hadoop@slave1zookeeper-3.7.1]$bin/zkServer.shstatus#查看Zookeeper状态Mode:leader#在slave2节点，以hadoop用户身份，输入以下命令[hadoop@slave2zookeeper-3.7.1]$bin/zkServer.shstatus#查看Zookeeper状态Mode:follower23一、Zookeeper集群配置、启动与验证（续）使用Zookeeper客户端进行连接测试[hadoop@masterzookeeper-3.7.1]$bin/zkCli.sh-servermaster:2181#使用Zookeeper客户端（其余略）WATCHER::WatchedEventstate:SyncConnectedtype:Nonepath:null[zk:master:2181(CONNECTED)0][zk:master:2181(CONNECTED)1]ls/

#列出znode的子节点主讲：方明清0102目录任务1规划HadoopHA集群任务2Zookeeper安装与配置03任务3HDFSHA配置与启动04任务4YARNHA配置与启动任务3HDFSHA配置与启动3任务目标1、能够熟练完成HDFSHA的安装与配置2、能够熟练完成HDFSHA集群的启动3、能够熟练完成HDFSHA集群的验证能力目标1、了解HDFSHA的系统架构2、熟悉HDFSHA的工作原理知识目标27知识准备28一、HDFSHA系统架构(一)HDFSHA系统架构ActiveNameNodeStandbyNameNodeDataNode节点ZKFailoverController（ZKFC）Zookeeper集群共享存储系统一、HDFSHA系统架构29(二)基于QuorumJournalManager（QJM）的共享存储系统共享存储系统是实现NameNode的高可用最为关键的部分，保存了NameNode在运行过程中所产生的HDFS的元数据。主备NameNode通过共享存储系统实现元数据同步。在进行主备切换的时候，新的主NameNode在确认元数据完全同步之后才能继续对外提供服务二、HDFSNameNodeHA主备切换流程30HealthMonitor初始化完成后启动内部线程来定时调用NameNode的HAServiceProtocol(RPC)接口的方法，监控健康状态HealthMonitor如果监控到NameNode的健康状态发生变化，会回调ZKFailoverController注册的相应方法进行通知如果ZKFailoverController判断需要进行主备切换，会通过ActiveStandbyElector来进行自动的主备选举ActiveStandbyElector与Zookeeper进行交互完成自动的主备选举ActiveStandbyElector在主备选举完成后，回调ZKFailoverController的相应方法来通知主备选举结果ZKFailoverController调用对应NameNode的HAServiceProtocol接口的方法将NameNode转换为Active状态或Standby状态31主讲：方明清任务3HDFSHA配置与启动3任务实施34HadoopHA集群部署–

HDFSHA配置、启动与验证步骤01配置HADOOP环境变量02修改HDFSHA核心配置文件03修改HDFSHA配置文件04分发HDFSHA配置文件05HDFSHA集群的格式化06常规启动HDFSHA集群07验证HDFSHA集群08测试HDFSHA集群主备NameNode切换35任务实施一、配置HADOOP环境变量在master节点，以root用户身份，修改/etc/profile系统环境变量文件，配置HADOOP环境变量[root@master~]#vi/etc/profile

#编辑环境变量配置文件（其余略）#新增以下HADOOP环境变量#HADOOP环境变量exportHADOOP_HOME=/opt/hadoop-3.3.4exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin[root@master~]#source/etc/profile

#运行脚本使环境变量立即生效36二、修改HDFSHA核心配置文件core-site.xml在master节点，以hadoop用户身份，编辑修改core-site.xml配置文件[root@master~]#su–hadoop

#在master节点，切换为hadoop用户[hadoop@master~]$cd/opt/hadoop-3.3.4/etc/hadoop/

#改变到hadoop配置文件目录[hadoop@masterhadoop]$vicore-site.xml

#编辑HDFSHA核心配置文件（其余略）<configuration><!--指定NameNode主机连接到nameservices逻辑名myha（在hdfs-site.xml中有定义）--><property><name>fs.defaultFS</name><value>hdfs://myha</value></property>

<!--指定tmp文件夹路径--><property><name>hadoop.tmp.dir</name><value>/home/hadoop/data/tmp</value></property>（下页续）37二、修改HDFSHA核心配置文件core-site.xml（续）在master节点，以hadoop用户身份，编辑修改core-site.xml配置文件（续）（续上页）<!–设置zookeeper地址--><property><name>ha.zookeeper.quorum</name><value>master:2181,slave1:2181,slave2:2181</value></property></configuration>以hadoop用户身份，在所有节点都创建目录/home/hadoop/data/data/tmp#以master节点为例，创建hadoop临时目录[hadoop@masterhadoop]$mkdir/home/hadoop/data/tmp/

#创建hadoop临时目录注意：需要在所有节点都创建目录/home/hadoop/data/data/tmp38三、修改HDFSHA配置文件hdfs-site.xml删除SecondaryNameNode，配置为双NameNode模式#编辑hdfs-site.xml配置文件，添加以下内容[hadoop@masterhadoop]$vihdfs-site.xml（其余略）<configuration><!–-为namenode集群定义一个nameservices逻辑名myha--><property><name>services</name><value>myha</value></property>

<!–-映射nameservices逻辑名称myha到namenode逻辑名称nn1,nn2--><property><name>nodes.myha</name><value>nn1,nn2</value></property><!--数据副本数量：3--><property><name>dfs.replication</name><value>3</value></property>（其余略）39三、修改HDFSHA配置文件hdfs-site.xml（续）映射namenode逻辑名称nn1,nn2的RPC地址到真实主机名master,slave1的RPC地址#编辑hdfs-site.xml配置文件，添加以下内容[hadoop@masterhadoop]$vihdfs-site.xml（其余略）

<!–映射namenode逻辑名称nn1的RPC地址到真实主机名master的RPC地址--><property><name>node.rpc-address.myha.nn1</name><value>master:8020</value></property>

<!–映射namenode逻辑名称nn2的RPC地址到真实主机名slave1的RPC地址--><property><name>node.rpc-address.myha.nn2</name><value>slave1:8020</value></property>（其余略）40三、修改HDFSHA配置文件hdfs-site.xml（续）映射namenode逻辑名称nn1,nn2的HTTP地址到真实主机名master,slave1的HTTP地址#编辑hdfs-site.xml配置文件，添加以下内容[hadoop@masterhadoop]$vihdfs-site.xml（其余略）

<!–-映射namenode逻辑名称nn1的HTTP地址到真实主机名master的HTTP地址--><property><name>node.http-address.myha.nn1</name><value>master:9870</value></property>

<!–-映射namenode逻辑名称nn2的HTTP地址到真实主机名slave1的HTTP地址--><property><name>node.http-address.myha.nn2</name><value>slave1:9870</value></property>（其余略）41三、修改HDFSHA配置文件hdfs-site.xml（续）映射namenode逻辑名称nn1,nn2的HTTP地址到真实主机名master,slave1的HTTP地址#编辑hdfs-site.xml配置文件，添加以下内容[hadoop@masterhadoop]$vihdfs-site.xml（其余略）

<!–-配置namenode间用于共享编辑日志的journalnode列表--><property><name>node.shared.edits.dir</name><value>qjournal://master:8485;slave1:8485;slave2:8485/myha</value></property>

<!–-配置journalnode用于存放共享编辑日志的目录--><property><name>dfs.journalnode.edits.dir</name><value>/home/hadoop/data/dfs/jn</value></property>（其余略）42三、修改HDFSHA配置文件hdfs-site.xml（续）配置主备NameNode失败自动切换参数#编辑hdfs-site.xml配置文件，添加以下内容[hadoop@masterhadoop]$vihdfs-site.xml（其余略）

<!–-开启NameNode失败自动切换--><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property>

<!–-配置NameNode失败自动切换实现方式--><property><name>vider.myha</name><value>node.ha.ConfiguredFailoverProxyProvider</value></property>（下页续）43三、修改HDFSHA配置文件hdfs-site.xml（续）配置主备NameNode失败自动切换参数（续）（续上页）

<!–-配置隔离机制方法，多个机制用换行分割，即每个机制占用一行--><property><name>dfs.ha.fencing.methods</name><value>sshfenceshell(/bin/true)</value></property><!--配置sshfence选项时的私钥文件地址--><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/home/hadoop/.ssh/id_rsa</value></property>（其余略）44三、修改HDFSHA配置文件hdfs-site.xml（续）配置NameNode、DataNode数据存放路径参数#编辑hdfs-site.xml配置文件，添加以下内容[hadoop@masterhadoop]$vihdfs-site.xml（其余略）

<!--NameNode数据存放路径--><property><name>.dir</name><value>/home/hadoop/data/dfs/namenode</value></property><!--DataNode数据存放路径--><property><name>dfs.datanode.data.dir</name><value>/home/hadoop/data/dfs/datanode</value></property>（其余略）主讲：方明清任务3HDFSHA配置与启动3任务实施47HadoopHA集群部署–

HDFSHA配置、启动与验证步骤01配置HADOOP环境变量02修改HDFSHA核心配置文件03修改HDFSHA配置文件04分发HDFSHA配置文件05HDFSHA集群的格式化06常规启动HDFSHA集群07验证HDFSHA集群08测试HDFSHA集群主备NameNode切换48四、分发HDFSHA配置文件在master节点，以root用户身份，分发/etc/profile系统环境变量配置文件到其他Zookeeper节点[root@master~]#scp/etc/profileroot@slave1:/etc/

#分发系统环境变量配置文件到slave1节点Authorizedusersonly.Allactivitiesmaybemonitoredandreported.root@slave1'spassword:profile100%25103.4MB/s00:00[root@master~]#scp/etc/profileroot@slave2:/etc/

#分发系统环境变量配置文件到slave节点Authorizedusersonly.Allactivitiesmaybemonitoredandreported.root@slave2'spassword:profile100%25101.8MB/s00:00[root@master~]#在master节点，以hadoop用户身份，分发配置好的Hadoop目录到其他节点[root@master~]#su–hadoop

#切换为hadoop用户身份[hadoop@master~]$cd/opt/

#改变到/opt目录[hadoop@masteropt]$scp-rhadoop-3.3.4hadoop@slave1:/opt/

#分发Hadoop到slave1[hadoop@masteropt]$scp-rhadoop-3.3.4hadoop@slave2:/opt/

#分发Hadoop到slave249五、HDFSHA集群的格式化在NameNode格式化之前，在所有节点，删除原来Hadoop完全分布式部署生成的数据存放目录#在master节点，以hadoop用户身份，删除原来Hadoop完全分布式部署生成的数据存放目录[hadoop@master~]$rm-rf/home/hadoop/data/dfs/*

#删除原部署生成的HDFS数据目录#在slave1节点，以hadoop用户身份，删除原来Hadoop完全分布式部署生成的数据存放目录[hadoop@slave1~]$rm-rf/home/hadoop/data/dfs/*

#删除原部署生成的HDFS数据目录#在slave2节点，以hadoop用户身份，删除原来Hadoop完全分布式部署生成的数据存放目录[hadoop@slave2~]$rm-rf/home/hadoop/data/dfs/*

#删除原部署生成的HDFS数据目录[hadoop@slave2~]$HDFSHA集群的格式化包含三个方面的内容：主NameNode的格式化通过共享日志完成主备NameNode同步镜像复制ZookeeperFailoverController（ZKFC）的格式化注意：HDFSHA集群的格式化只需要做一次，如果需要重新格式化，则需要删除已经格式化或者已经运行集群所生成的数据目录。50五、HDFSHA集群的格式化（续）在所有节点，启动Zookeeper，并进行验证、确保Zookeeper启动成功#在master节点，启动Zookeeper，并进行验证[hadoop@master~]$cd/opt/zookeeper-3.7.1/

#改变到Zookeeper目录[hadoop@masterzookeeper-3.7.1]$bin/zkServer.shstart

#启动zookeeperZooKeeperJMXenabledbydefaultUsingconfig:/opt/zookeeper-3.7.1/bin/../conf/zoo.cfgStartingzookeeper...STARTED[hadoop@masterzookeeper-3.7.1]$#在slave1节点，启动Zookeeper，并进行验证[hadoop@slave1~]$cd/opt/zookeeper-3.7.1/

#改变到Zookeeper目录[hadoop@slave1zookeeper-3.7.1]$bin/zkServer.shstart

#启动zookeeper[hadoop@slave1zookeeper-3.7.1]$bin/zkServer.shstatus

#查询zookeeper服务状态Mode:leader#在slave2节点，启动Zookeeper，并进行验证[hadoop@slave2~]$cd/opt/zookeeper-3.7.1/

#改变到Zookeeper目录[hadoop@slave1zookeeper-3.7.1]$bin/zkServer.shstart

#启动zookeeper[hadoop@slave2zookeeper-3.7.1]$bin/zkServer.shstatus

#查询zookeeper服务状态Mode:follower51五、HDFSHA集群的格式化（续）在所有节点，启动共享日志服务（JournalNode），并进行验证#在master节点，启动共享日志服务（JournalNode），并进行验证[hadoop@master~]$hdfs--daemonstartjournalnode

#启动共享日志服务（JournalNode）[hadoop@master~]$jps

#查看启动的共享日志服务过程42659Jps41530QuorumPeerMain42621JournalNode[hadoop@master~]$ll/home/hadoop/data/dfs/jn/

#查看是否自动生成了journalnode目录总用量0#在slave1节点，启动共享日志服务（JournalNode），并进行验证[hadoop@slave1~]$hdfs--daemonstartjournalnode

#启动共享日志服务（JournalNode）[hadoop@slave1~]$jps

#查看启动的共享日志服务过程64645JournalNode64294QuorumPeerMain64683Jps[hadoop@slave1~]$ll/home/hadoop/data/dfs/jn/

#查看是否自动生成了journalnode目录总用量0（下页续）52五、HDFSHA集群的格式化（续）在所有节点，启动共享日志服务（JournalNode），并进行验证（续）（续上页）#在slave2节点，启动共享日志服务（JournalNode），并进行验证[hadoop@slave2~]$hdfs--daemonstartjournalnode

#启动共享日志服务（JournalNode）[hadoop@slave2~]$jps

#查看启动的共享日志服务过程41922Jps41237QuorumPeerMain41884JournalNode[hadoop@slave2~]$ll/home/hadoop/data/dfs/jn/#查看是否自动生成了journalnode目录总用量053五、HDFSHA集群的格式化（续）在master节点，格式化NameNode，并启动NameNode#在master节点，格式化NameNode，并启动NameNode[hadoop@master~]$hdfsnamenode–format

#在master节点，格式化NameNode[hadoop@master~]$ll/home/hadoop/data/dfs/namenode/current/

#查看namenode格式化结果总用量16K-rw-r--r--1hadoophadoop40110月1711:32fsimage_0000000000000000000-rw-r--r--1hadoophadoop6210月1711:32fsimage_0000000000000000000.md5-rw-r--r--1hadoophadoop210月1711:32seen_txid-rw-r--r--1hadoophadoop21810月1711:32VERSION[hadoop@master~]$hdfs--daemonstartnamenode

#在master上启动namenode[hadoop@master~]$jps

#查看是否启动了NameNode进程43992NameNode41530QuorumPeerMain44061Jps42621JournalNode54五、HDFSHA集群的格式化（续）在slave1节点，通过共享日志服务同步master节点上的NameNode元数据，并启动NameNode#在slave1节点，通过共享日志服务同步master节点上的NameNode元数据，并启动NameNode[hadoop@slave1~]$hdfsnamenode–bootstrapStandby#通过共享日志同步元数据[hadoop@slave1~]$ll/home/hadoop/data/dfs/namenode/current/

#查看slave1同步的元数据总用量16K-rw-r--r--1hadoophadoop40110月1711:41fsimage_0000000000000000000-rw-r--r--1hadoophadoop6210月1711:41fsimage_0000000000000000000.md5-rw-r--r--1hadoophadoop210月1711:41seen_txid-rw-r--r--1hadoophadoop21810月1711:41VERSION[hadoop@slave1~]$hdfs--daemonstartnamenode

#在master上启动namenode[hadoop@slave1~]$jps

#查看是否启动了NameNode进程65248NameNode65317Jps64645JournalNode64294QuorumPeerMain[hadoop@slave1~]$55五、HDFSHA集群的格式化（续）在ZKFC的任何一个节点（即master、slave1节点），进行ZKFC的格式化，并进行验证#在master节点，进行ZKFC的格式化，并进行验证[hadoop@masterzookeeper-3.7.1]$bin/zkCli.sh-servermaster:2181

#客户端连接zookeeper[zk:master:2181(CONNECTED)3]ls/

#查看znode列表[hbase,zookeeper][hadoop@masterzookeeper-3.7.1]$hdfszkfc–formatZK

#在master上进行ZKFC格式化[hadoop@masterzookeeper-3.7.1]$bin/zkCli.sh-servermaster:2181

#客户端连接zookeeper[zk:master:2181(CONNECTED)0]ls/

#查看ZKFC格式化后的znode列表[hadoop-ha,hbase,zookeeper][zk:master:2181(CONNECTED)0]quit

#退出客户端#在slave1节点，客户端连接zookeeper，进行验证[hadoop@slave1zookeeper-3.7.1]$bin/zkCli.sh-serverslave1:2181

#客户端连接zookeeper[zk:slave1:2181(CONNECTED)3]ls/

#查看znode列表[hadoop-ha,hbase,zookeeper][zk:slave1:2181(CONNECTED)0]quit

#退出客户端主讲：方明清任务3HDFSHA配置与启动3任务实施58HadoopHA集群部署–

HDFSHA配置、启动与验证步骤01配置HADOOP环境变量02修改HDFSHA核心配置文件03修改HDFSHA配置文件04分发HDFSHA配置文件05HDFSHA集群的格式化06常规启动HDFSHA集群07验证HDFSHA集群08测试HDFSHA集群主备NameNode切换59六、部署完成之后常规启动HDFSHA集群在所有节点，以hadoop用户身份，启动Zookeeper，并进行验证#在master节点，以hadoop用户身份，启动Zookeeper，并进行验证[hadoop@masterzookeeper-3.7.1]$bin/zkServer.shstart

#在master节点，启动zookeeper[hadoop@masterzookeeper-3.7.1]$bin/zkServer.shstatus

#在master节点，验证zookeeper#在slave1节点，以hadoop用户身份，启动Zookeeper，并进行验证[hadoop@slave1zookeeper-3.7.1]$bin/zkServer.shstart

#在slave1节点，启动zookeeper[hadoop@slave1zookeeper-3.7.1]$bin/zkServer.shstatus

#在slave1节点，验证zookeeper#在slave2节点，以hadoop用户身份，启动Zookeeper，并进行验证[hadoop@slave2zookeeper-3.7.1]$bin/zkServer.shstart

#在slave2节点，启动zookeeper[hadoop@slave2zookeeper-3.7.1]$bin/zkServer.shstatus

#在slave2节点，验证zookeeper60六、部署完成之后常规启动HDFSHA集群（续）在所有节点，以hadoop用户身份，启动共享日志服务（JournalNode），并进行验证#在master节点，以hadoop用户身份，启动共享日志服务（JournalNode），并进行验证[hadoop@master~]$hdfs--daemonstartjournalnode

#在master节点启动共享日志服务[hadoop@master~]$jps

#在master节点，查看已启动的JournalNode进程#在slave1节点，以hadoop用户身份，启动共享日志服务（JournalNode），并进行验证[hadoop@slave1~]$hdfs--daemonstartjournalnode

#在slave1节点启动共享日志服务[hadoop@slave1~]$jps

#在slave1节点，查看已启动的JournalNode进程#在slave2节点，以hadoop用户身份，启动共享日志服务（JournalNode），并进行验证[hadoop@slave2~]$hdfs--daemonstartjournalnode

#在slave2节点启动共享日志服务[hadoop@slave2~]$jps

#在slave2节点，查看已启动的JournalNode进程61六、部署完成之后常规启动HDFSHA集群（续）在master、slave1节点（即主备NameNode节点），以hadoop用户身份，启动ZookeeperFailoverController（ZKFC），并进行验证#在master节点（即主备NameNode节点），以hadoop用户身份，启动ZookeeperFailoverController（ZKFC），并进行验证[hadoop@master~]$hdfs--daemonstartzkfc