Lindorm助力携程HBase混合云体系的建设

HBase混合AVE■吴宙旭携程数据库专家Contents01HBase运维面临挑战目录02公有云Lindorm的引入及应用03混合云的基础化建设及应用AZ-AAZ-BAZ-AM携程数据库架构携程数据库架构·AZ级别的高可用Redis/rorHBaseOceanbase/tidbMysql/mongoZookeeperZookeeperZookeeper物理机带来计算、存储的利用率问题ZookeeperZookeeperZookeeperHMasterHMasterNameNodeHMasterNameNode计算密集型存储空间浪费RegionServerDataNodeRegionServerDataNodeRegionServerDataNode业务季节性影响应对五一、国庆、寒暑假等算存资源溢出场景RegionServerRegionRegionServerRegionServer服务的高可用性及单元化部署服务SLA的要求性能型、冷热分离、容量型低成本兼顾性能算存分离、动态扩缩服务资源最小化性能型、冷热分离、容量型低成本兼顾性能算存分离、动态扩缩服务资源最小化HBase生态完美兼容算、存利用率最大化(按需扩容计算节点和存储空间)冷、热存储分离(按数据读流量来确定冷热边界)AAZ级别故障(切换读写路由实现)jhh表级别的同步(表为单位同步数据)云溢出架构(多写单读)双读单写架构(单写多读)客户端Log、Metric埋点管理员工具上传发布系统(表的提交、审核、发布、修改)扩缩容工具(hbase、hadoop、liad-hoc即席查询混合云双读单写架构服务接口层数据查询服务工接口层数据查询服务消费消息队列数据消息队列消息队列落地是否成功数据查询服务层是服务层是落地是否成功存储层携程HBase存储层携程HBase双读写架构实现架构优势多机房部署、服务高可用数据存储无冗余Lindorm端的数据提供冷热分离，成本大幅降低云溢出架构实现云溢出架构实现双写HBase+Lindorm混合云溢出架构TTL=180AliyunCloudLindormTTL=1混合云部署现状数据分布数据分布总数据量使用Lindorm的结果收益降本增效经综合测算，采用Lindorm方案的技术成本降低了20%稳定可靠301740750188018101620183018401E⁵01900121019201930194019502080301740750188018101620183018401E⁵01900121019201930194019502080-tncomtahk1-Indormteabe2-tntormtebk-3-Ihsermtahk⁴-Ihsormtebks-Iatomtabee-thsemtahe7-hctermtahea-Intomtahe⁹-mm*10-temteh-20-Ihtemmtet²1-Ihfemtet²g-Imfmts²4-Iomtbe²5-setb26-mtomtete?日新增数据TB+级别PutP99<2ms冷存储GetP99稳定在百msVssDAoPSMSHhOHVssDAoPSMSHhOH20MS0bxoHSoVoWIOV2aVSDNxD混合云服务感知体系监控数据采集监控数据采集HBase通过