大数据平台技术实例教程 课件 【ch06】分布式协调服务ZooKeeper

分布式协调服务ZooKeeper“新工科建设之路·数据科学与大数据系列大数据平台技术实刚教程第六章01高可靠性大数据框架配置新增进程的作用如下。JournalNode;提供主备NameNode之间共享数据的能力。QuorumPeerMain:是ZooKeeper集群的启动入口类,用于加载配置和启动OuorumPeer线程。DFSZKFailoverController:在高可用中，负责监控NameNode的状态，并及时将状态信息写入ZooKeeper。02ZooKeeper简介ZooKeeper定义了以下5种权限。(1)CREATE:创建子节点的权限。(2)READ:获取节点数据和子节点的权限。(3)WRITE:更新节点数据的权限。(4)DELETE:删除子节点的权限。(5)ADMIN:设置节点ACL的权限。03ZooKeeper的常用命令1.启动ZooKeeper服务在ZooKeeper安装完成后，需要进入zookeeper/bin文件夹启动ZooKeeper，启动成功后会提示服务已经STARTED，命令如下:2.查看ZooKeeper服务状态可以查看当前虚拟机在ZooKeeper中扮演的角色，是Leader还是Follower，命令如下:3.停止ZooKeeper服务若想停止ZooKeeper服务，可直接运行以下命令:4.重启ZooKeeper服务若想重新启动ZooKeeper服务，可直接运行以下命令:04ZooKeeper的安装与运行从Apache网站下载ZoKeeper压缩包，本书使用的ZooKeeper版本是3.4.6。通过MobaXterm软件，将下载好的文件上传到虚拟机中，并解压缩到/opt/ahut下。进入zookeeper/conf文件夹，创建配置文件zoo.cfg。分发ZooKeeper文件夹到其余三个节点。创建myid文件。修改环境变量。启动ZooKeeper服务。使用ZooKeeper客户端。1.安装(1)在ahut01中输入hdfs-sitexml与vicore-site.xml，修改HDFS的环境配置与Hadoop核心参数，并将hdfs-site.xml和core-site.xml分发到其余节点。(2)在ahut02中输入tarxfzookeeper-3.4.6.targz-C/opt/ahut/，解压缩并安装ZooKeeper。(3)在ahut02中输入vizoo.cfg，修改ZooKeeper的配置文件zoo.cfg。(4)在ahut02中输入scp-rzookeeper-3..6/ahut03:pwd与scpzookeeper-3.4.6/ahut04:pwd，将ZooKeeper文件夹分发给ahut03和ahut04。(5)分别在ahut02、ahut03、ahut04中输入mkdir-p/var/ahut/zk与echo1>/ar/ahut/zk/myid、echo2>/var/ahut/zk/myid、echo3>/var/ahut/zk/myid，分别在ahut02、ahut03、ahut04中创建zk文件夹并配置对应的mmyid。2.运行(6)在ahut02中输入vi/etc/profile，在aut02的节点中修改/etc/profile文件，并添加ZooKeeper的配置信息。(7)在ahut02中输入scp/etc/profileahut03:/etc/与scp/etc/profileahut04:/etc/，将/etc/profile文件分发给ahut03、ahut04的节点。(8)分别在ahut02、ahut03、ahut04中输入source/etc/profile，更新环境变量，使其生效。(9)分别在ahut02、ahut03、ahut04中输入zkServer.shstart、zkServer.shstatus、ips与zkServershstop，启动ZooKeeper，并查看启动状态和相应的进程，然后关闭ZooKeeper服务。(10)再次启动ZooKeeper，在ahut01、ahut02、ahut03中输入hadoop-daemon.shstartjournalnode启动JournalNode，查看JournalNode进程。2.运行(11)在ahut02、ahut03、ahut04中输入rm-rf/var/ahut/hadoop/full，删除相关文件夹接着在ahut01中输入hdfsnamenode-format与hadoop-daemonshstartnamenode，格式化HDFS，并启动NameNode。(12)在ahut02中输入hdfsnamenode-bootstrapStandby，将主节点的信息复制过来。(13)在ahut02中输入zkClish，查看ZooKeeper客户端。(14)在ahut01中输入hdfszkfc-formatZK，使HDFS集群在ZooKeeper中初始化。(15)在ah