肖冰-阿里HBase高可用之路

se 高可用之路储系统。Ali-HBase基于阿里巴巴本身业务场景和特点，对社区HBase进行深度定制与改进，从解决方案、稳定护航、发展支撑等全方位提供一站式分布式NOSQL数据库的产品与服务。•高可靠性•易伸缩•高灵活性 高可用之路可用时间与故障时间，维修时间及可用时间总和的比。•请求失败率•RegionServer宕机比例 高可用之路节点宕机/大请求节点宕机、大请求等情况都会直接影.响读写请求，威胁集群的可用率，如何进行优化保证可用率异地灾备极端灾害情况下，某地域整个单元不灾备能力集群灾备个HBase集群挂掉，如何保证可用率LGLG•RS宕机自动恢复 (00-24)(25-49)LGn检测到RS宕机renamerslog目录在zk上给rs上所有region建立recover检测到RS宕机renamerslog目录在zk上给rs上所有region建立recover节点优化AssignRegionsenqueuesplittask删除rslog目录删除recover节点•分钟级快速宕机恢复检测到检测到RS宕机renamerenamerslog目录enqueueenqueuesplittask删除删除rslog目录AAssignRegions重试8s 高可用之路重试8s•线程阻塞问题AAPP线程1线程2线程10在单台RegionServer宕机情况下，由于重试时间远大于正常访问响应时间，应用大部分线程都会阻塞在失败请求的重试上，造成报错量大大超过10%请求失败优化重试3次，且间隔时间指数增长放弃请求 高可用之路请求失败优化重试3次，且间隔时间指数增长放弃请求•宕机快速反应请请求失败判判断RS是否宕机将将RS加入宕机列表，访问快速抛错后台进程间隔探测后台进程间隔探测是否假死允许继续访问 高可用之路•大集群下的多租户隔离lusterTableTableTableTable4•保证用户表在HBase层面上的相互隔离，使得在单个HBase集群中不 高可用之路•调度优化解决大请求filternext会访问成百上千个block。当block大部分都在内存时，这种scan就会消耗大量cpu资源 高可用之路•HBase单集群部署Zk5Zk4ZK2Zk5Zk4ZK2ZK1ZK3ZK3BackupMaster…...JournalNodeJournalNodeJournalNodeJoJournalNodeStandbyStandbyNameNodeActiveNameNode…...SlaveClusterSynchronousCallSlaveClusterSynchronousCallSlaveClusterSynchronousCall/SlaveClusterSynchronousCallSlaveClusterSynchronousCallSlaveClusterSynchronousCall/hbase/replication/…Zookeeper•HBase主备集群数据同步sterZK/hbase-master/vznode/hbase-standbyZK/hbase-master/vznode/hbase-standbyhbase.zookeeper.quorum:zk1,zk2,zk3zookeeper.znode.parent:/vznode•秒级无缝灾备切换terStandbyStandbyClusterzk集群地址以及parentznode访问HBase，为了实现客户端在主备集群之间的无缝切换使用了虚拟parentznode(vznode)代替了物理parentznode，vznode存储的内容就是物理parentznode，通过vznode指向不同的物理node实现客户端在主备集群之间的StandbyClusterReplication StandbyClusterReplicationZK耦合灾备部署机房C机房机房C机房BZK1ZK1ZK2ZK2ZK3ZK3ZK4ZK4ZK5ZK5/hbase-master/hbase-standby机房C机机房CrZK5ZK1ZK2ZK4ZK3ZK5ZK1ZK2ZK4ZK3 高可用之路ZK5ZK1ZK2ZK4ZK3ZK5ZK1ZK2ZK4ZK3•去耦合高可用灾备部署ZK1APP配配置管理+消息推送机房A//hbase-masterMasterClusterReplication机房B//hbase-standbyStandbyClusterClusterTableATableBCluster3TableATableCusterTableBTableC 高可用之路ClusterTableATableBCluster3TableATableCusterTableBTableC•多集群混合ReplicationClusterCluster1TableATableBTableCZK1ZK1ZK1Replication机房AReplication机房BReplicationReplication ZK1Replication机房AReplication机房BReplicationReplication••异地灾备集群部署机房CReplicationRepReplication机房D 总结与展望•高可用之路分钟级单机恢复、秒级宕机反应大集群下的多租户隔离、资源调度优化去耦合高可用同城灾备、低成本高灵活异地灾备•细节决定成败！！！ 总结与展望