Hadoop平台搭建与应用（第2版）（微课版）-课后习题及答案 项目3

Hadoop平台搭建与应用项目2Hive环境搭建与基本操作PAGE68PAGE69Zookeeper集群中有哪些角色？在一个集群中，最少需要3台。或者保证2N+1台，保证集群中有奇数台的主要原因是为了选举算法。Zookeeper集群是一个主从集群，它一般是由一个Leader(领导者)和多个Follower(跟随者)组成。此外，针对访问量比较大的Zookeeper集群，还可新增Observer(观察者)。Zookeeper集群中的三种角色各司其职，共同完成分布式协调服务，如下图所示。Zookeeper集群架构图（1）Leader它是Zookeeper集群工作的核心，也是事务性请求(写操作)的唯一调度和处理者，它保证集群事务处理的顺序性，同时负责进行投票的发起和决议，以及更新系统状态。（2）Follower它负责处理客户端的非事务(读操作)请求，如果接收到客户端发来的事务性请求，则会转发给Leader，让Leader进行处理，同时还负责在Leader选举过程中参与投票。（3）Observer它负责观察Zookeeper集群的最新状态的变化，并且将这些状态进行同步。对于非事务性请求可以进行独立处理;对于事务性请求，则会转发给Leader服务器进行处理。它不会参与任何形式的投票，只提供非事务性的服务，通常用于在不影响集群事务处理能力的前提下，提升集群的非事务处理能力(提高集群读的能力，也降低了集群选主的复杂程度)。什么是Zookeeper中的脑裂？对于Zookeeper来说有一个重要问题，就是根据什么来判断一个节点死亡(down掉)了？Zookeeper通过内部心跳机制来确定leader的状态，一旦leader出现意外Zookeeper能很快获悉并且通知其他的follower，其他follower在之后作出相关反应，这样就完成了一个切换，这种模式也是比较通用的模式。但是这里面有个很严重的问题，因为心跳出现超时可能是leader挂了，也可能是zookeeper节点之间网络出现了问题，导致leader假死的情况，leader其实并未死掉，但是由于假死会发起新的leader选举，选举出一个新的leader，但旧的leader网络又通了，导致出现了两个leader，有的客户端连接到老的leader，而有的客户端则连接到新的leader。这样就会出现很严重问题。Zookeeper是如何解决脑裂问题的？要解决Split-Brain脑裂的问题，一般有下面几种种方法：（1）Quorums(法定人数)方式:比如3个节点的集群，Quorums=2,也就是说集群可以容忍1个节点失效，这时候还能选举出1个leader，集群还可用。比如4个节点的集群，它的Quorums=3，Quorums要超过3，相当于集群的容忍度还是1，如果2个节点失效，那么整个集群还是无效的。这是zookeeper防止"脑裂"默认采用的方法。（2）Redundantcommunications(冗余通信)方式：集群中采用多种通信方式，防止一种通信方式失效导致集群中的节点无法通信。4.Zookeeper有哪几种部署模式？Zookeeper有三种部署模式：（1）单机部署：一台集群上运行；（2）伪集群部署：一台集群启动多个Zookeeper实例运行。（3）集群部署：多台集群运行；5.Zookeeper的工作原理？Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。Zab协议的全称是ZookeeperAtomicBroadcast（Zookeeper原子广播）。Zookeeper是通过Zab协议来保证分布式事务的最终一致性。Zab协议要求每个Leader都要经历三个阶段：发现，同步，广播。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的时期。低32位用于递增计数。每个Server在工作过程中有四种状态：LOOKING：当前Server不知道leader是谁，正在