大数据云存储HBase实践与探索

1、大数据云存储HBase实践与探索技术创新，变革未来1.HBase大数据中价值数据库技术发展 单击此处编辑母版标题样式2HBase应用案例云HBase建设云HBase未来展望提纲关系型数据库MySQL解决中小数据库存储需求！分库分表分布式存储HBase分布式存储，支持海量存储，高百万级并发！不支持事物等数据库传统需 求！HBase支持实时更新、增量导入、多维删除、随机查询、范围查询、高伸缩、高可用、高可靠、高性能、高适应在线分布式NOSQL数据库。数据库技术发展分库分表解决一定容量需求，实现 复杂，业务需感知！数 据 量数据库技术发展 单击此处编辑母版标题样式2为了无法计算的价值GBPB成本一般

2、需要高端存储，成本较高！QPS无法满足较高的并发要求， 性能不能横向扩展！分析计算资源有限，不能满足 分析类需求！容量QP S成本分析容量数据库技术发展 单击此处编辑母版标题样式2为了无法计算的价值无法满足TB、PB级别的数 据存储需求！传统关系型数据库面对的问题写吞吐高不受SSD随机写入放大干扰 离线导入效率巨高优先写自动分区Spark on HBaseHBase on HDFSHadoop生态存储无限满足TB、PB级存储需求LSM-Tree增加QPS数据库技术发展 单击此处编辑母版标题样式2为了无法计算的价值可以满足分析需 求，HDFS共建存储空间无限分区自动分裂分区在线MergeHBas

3、e应对办法业务场景关系型数据库技术发展 单击此处编辑母版标题样式2为了无法计算的价值HBase历史数据自动过期，比如删除2年前的日志业务逻辑TTL地址维护：每个客户10个地址业务逻辑多版本业务添加列DBA添加动态列离线数据导入API写bulkload数据分析无Spark、Hadoop冷热数据无异构存储其它问题应用案例-双十一大屏数据收藏交易高速同步TimeTunnel实时计算SparkStreaming/StormHBase集 群每秒流量GB级HBase集 群每秒请 求百万级HBase集 群实时 数据 服务毫秒级 查询为了无法计算的价值应用案例-蚂蚁风控事件人物环境时间方式行为每秒写入 百万级

4、HBase集群离线计算低 价 清 理过 期 淘 汰过 载 淘 汰明细增量导出日账结果回流十TB级导入在线风控台明 实 细 时 日 查 账 询每秒查询百万级为了无法计算的价值应用案例-汽车物联网传感器会收集每辆货车的定位数据上传到MQ中，其中包括经度、纬度、设备上报时 间、车辆状态等GPS等传感器流式计算SparkStreaming/Storm离线计算 补偿算法 SparkHBase集 群在线查询读写分离为了无法计算的价值平台类用户行为类报表展示类交易聊天监控消费IOTKylinTTOpenTSDB大屏报表HBase集群数据库技术发展 单击此处编辑母版标题样式2为了无法计算的价值HBase三大类

5、应用HBase阿里业务淘宝为了无法计算的价值B2B菜 鸟天猫蚂蚁物流 地址风 控智能客服交 易收 藏 夹大 屏云HBase技术大图ECS物理机基础资源A-JDKAli-LinuxAli-HDFSZookeeperAli-HBase多版本强一致二级索引水平扩展自动分区高可用多版本、动态列、TTL、多语言支持实时更新、批量导入、随机查询、多维删除基础软件集群管控监控告警配置管理健康诊断为了无法计算的价值云HBase内核改造高性能易运维低成本强安全高可用授信白名单 账号密码验证 黑白名单权限控制(ACL)写性能提升30%+ 400%分级存储 存储OSS请求全链路 增量导出 增量导入 一键迁移 自动备

6、份为了无法计算的价值资源分组 MTTR多集群-容灾450004000035000300002500020000150001000050000社区服务端+社区客户端云HBase服务端+社区客户端云HBase服务端+云Hbase客户端数据库技术发展 单击此处编辑母版标题样式2为了无法计算的价值社区版本：1.1.1 VS 阿里云云HBase版本2个slave 4cpu16g 启动单个RegoinServer单条写 15byte云HBase内核性能云HBase访问控制ECS机器云HBase集 群安全防护ECS机器云HBase集群安全防护VPC网络经典网络WEB UIWEB UIWEB UI为了无法计算

7、的价值云HBase云HBase云HBase云HBase同城多区域、异地杭州北京可用区A可用区B可用区B可用区A云HBase高可用-容灾为了无法计算的价值云HBase数据流API读写云HBaseODPSEMR Hivebulkload导入 增量导出LogServiceECSOSSEMR Hadoop/SparkAPI读写API写入bulkload导入 增量导出QuickBIAPI读产品化为了无法计算的价值DataV云HBase On OSSHLogHRegionServerHRegionStoreFileStoreMemStoreBlockCacheHDFSOSSLocal DiskHFileDataBlockBlockCache为了无法计算的价值新内核改进为了无法计算的价值HBase2.0OffheapingSpark IntegrationIn-Memory Flush/CompactionAsync WAL硬件发展带来的变化万兆网络普及，存储计算分离更加彻底固态存储容量更大、