2023学年完整公开课版Region管理

Region管理2学习任务了解Hbase的核心组件功能了解Region管理的工作机制3知识目标Hbase包含哪些核心的组件RegionServers服务的核心组件有哪些01能力目标了解Hbase中的核心组件作用了解RegionServers服务的核心组件了解组件协同工作机制02学习目标4目录01HBase架构组件02RegionServers组件03组件如何协同工作5HBase架构组件物理上，HBase由主从属类型的体系结构中的三种类型的服务器组成。区域服务器为读取和写入提供数据。访问数据时，客户端直接与HBaseRegionServers通信。区域分配，DDL操作由HBase主进程处理。Zookeeper是HDFS的一部分，它维护一个实时集群状态。6HBase架构组件所有HBase数据都存储在HDFS文件中。HadoopDataNode存储RegionServer正在管理的数据。NameNode维护组成文件的所有物理数据块的元数据信息。区域服务器与HDFSDataNode并置，后者支持RegionServers服务的数据的数据位置（将数据放在需要的位置附近）。HBase数据在写入时是本地数据，但是当移动某个区域时，它在压缩之前不是本地的。Hbase数据存储7HBase架构组件HBase表按行键水平分为“Regions”。Regions包含区域的开始键和结束键之间的表中的所有行。Regions被分配给集群中的节点，称为“RegionServers”，它们为读取和写入提供数据。区域服务器可以服务大约1,000个Regions。Regions8HBase架构组件HBaseMaster处理区域分配，DDL（创建，删除表）等操作。主要负责协调RegionServers：（1）在启动时分配区域，重新分配区域以进行恢复或负HBaseHMaster载平衡、（2）监控集群中的所有RegionServer实例（侦听来自zookeeper的通知）。管理功能：用于创建，删除，更新表的界面。9HBase架构组件HBase使用ZooKeeper作为分布式协调服务来维护集群中的服务器状态。Zookeeper维护哪些服务器处于活动状态且可用，并提供服务器故障通知。Zookeeper使用共识来保证共同的共享状态。请注意，应该有三到五台机器达成共识。ZooKeeper10RegionServers组件区域服务器在HDFS数据节点上运行，并具有以下组件：WAL：WriteAheadLog是分布式文件系统上的文件。WAL用于存储尚未持久存储到永久存储的新数据;它用于在发生故障时进行恢复。BlockCache：是读缓存。它将频繁读取的数据存储在内存中。至少最近使用的数据在完整时被逐出。MemStore：是写缓存。它存储尚未写入磁盘的新数据。在写入磁盘之前对其进行排序。每个区域每个列族有一个MemStore。Hfiles将行存储为磁盘上的排序KeyValues。11RegionServers组件当客户端发出Put请求时，第一步是将数据写入预写日志WAL：（1）编辑附加到存储在磁盘上的WAL文件的末尾、（2）WAL用于在服务器崩溃时恢复尚未保留的数据。HBase写步骤（1）12RegionServers组件将数据写入WAL后，将其放入MemStore中。然后，put请求确认返回给客户端。HBase写步骤（2）13组件如何协同工作Zookeeper用于协调分布式系统成员的共享状态信息。区域服务器和活动HMaster连接到ZooKeeper的会话。ZooKeeper通过心跳保持活动会话的短暂节点。14组件如何协同工作每个RegionServer都会创建一个临时节点。HMaster监视这些节点以发现可用的区域服务器，并且还监视这些节点以查找服务器故障。HMasters争相创建一个短暂的节点。Zookeeper确定第一个并使用它来确保只有一个主服务器处于活动状态。活动HMaster向Zookeeper发送心跳，非活动HMaster监听活动HMaster故障的通知。如果区域服务器或活动HMaster未能发送心跳，则会话过期并删除相应的短暂节点。将通知已删除节点的更新侦听器。活动HMaster侦听区域服务器，并在失败时恢复区域服务器。非活动HMaster