2023学年完整公开课版ResourceManager故障转移

侯磊目录0102配置自动RM故障转移部署高可用性RM集群配置自动RM故障转移1配置自动RM故障转移可以通过在yarn-site.xml文件中设置参数yarn.resourcemanager.ha.auto-matic-failover.zk-base-path和参数yarn.resourcemanager.cluster-id来配置自动ResourceManager故障转移过程。配置自动RM故障转移<property><name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name><value>/yarn-leader-election</value><description>Optionalsetting.Thedefaultvalueis/yarn-leader-election</description></property>配置自动RM故障转移<property><name>yarn.resourcemanager.cluster-id</name><value>yarn-cluster</value></property>部署高可用性RM集群2部署高可用性RM集群此前，我们使用配置属性配置了高可用性RM。激活高可用性ResourceManager的配置时，需要执行一些操作。如下所示:1．确保ResourceManager运行的两个节点具有一致的yarn-site.xml文件。2．值得注意的是，ZooKeeper配置文件（zoo.cfg）中的客户端参数值必须与yarn-site.xml文件中的端口值相匹配。<property><name>yarn.resourcemanager.zk-state-store.address</name><value>localhost:2181</value></property>部署高可用性RM集群3．使用以下命令启动ZooKeeper服务:/usr/lib/zookeeper/bin/zkServer.shstart4．启动所有HDFS服务，包括NameNodes(HA环境中有两个NameNodes)、StandbyNameNode(如果尚未设置HANameNode服务的话）和所有DataNodes。部署高可用性RM集群5．启动所有YARN服务，包括在两个节点上运行的主ResourceManager和辅助ResourceManager，以及JobHistoryServer和Node-Manager服务。$yarnstartresourcemanager//onprimaryRMserver$yarnstartresourcemanager//onsecondaryRMserver$yarnstarthistoryserver//onserverwhereJobHistoryServerruns$yarnstartnodemanager//onallserverswhereNodeManagerserviceruns部署高可用性RM集群6.如果选择了ResourceManager自动故障转移功能，那么这就全部设置好了，因为Hadoop本身将选择活动的ResourceManager。如果已禁用自动故障转移功能，则两个RM将处于备用状态。必须使用以下命令将其中一个转换为活动模式:$yarnrmadmin-transitionToActiverm100由IDrm100(在我们的示例