数字资产下的数据存储实践

数字资产下的数据存储实践葛双博阿里云数据库高级产品专家集中存储关系数据库万物互联互联网移动互联网集中存储关系数据库万物互联互联网移动互联网人工智能智慧生活车联网数字资产-〕里云云原生多模垂直化垂直化关系数据库关系数据库0.120252005201020150.12025-〕里云简单易用/高可靠/扩容高可靠/扩容/数据处理简单易用可靠性/可用性(硬件故障、数据备份)取指定数据在线扩容高吞吐在线扩容高吞吐LindormAPILindormMulti-Model引擎宽表时序搜索文件LindormStream数据流订阅与计算LindormDFS存储HadoopCompatibleFilesystemProtocol（100%HDFS兼容）透明转存标准/性能型存储透明转存标准/性能型存储容量型存储容量型存储分布式存储分布式数据库磁盘磁盘分库分表磁盘分布式存储分布式数据库磁盘磁盘分库分表磁盘传统单机数据库-〕里云支付宝账单高度可控金融级节点存储峰值请求支付宝账单高度可控金融级节点存储峰值请求手淘消息手淘消息菜鸟物流监控,大屏,轨迹,设备状态…GMV&光明顶大屏g蚂蚁智能风控推荐,搜索,BI报表…广告直通车生意参谋淘宝淘宝天猫支付宝菜鸟阿里妈妈优酷大文娱飞猪AE友盟饿了么钉钉盒马高德-〕里云低成本低成本高可靠高性能 -〕里云把存储当算力，有效存储越大，算力越大。100PB以上规模存储，需要存储集群能无限扩展。扩容不影响封装数据的写入和时空证明写入吞吐在1-100GB/s磁盘故障、服务器故障，不影响封装数据写入和时空证封装数据写入和时空证明IO冲突。分布式分布式智能调度智能调度冗余度内磁盘或者节点故障不影响时空证明扩容不影响写入和时空证明子集群可无限扩展元数据1+2容灾，允许故障2个节点读写冲突时，优先保证时空证明智能控制Rebuild带宽，保证时空证明 客户端挂载提供文件操作接口(如有其他系统支持需求可根据实际情况进行支持)•单个LDFS集群挂载进程占用约10GB内存(可调)•单个LDFS挂载进程并发打开文件句柄数不超过10万-〕里云 APP/ldfs-1//ldfs-1节点数量线性增长•每个子集群由3个元数据节点+最大120个存储节点(67PB)构成•子集群内扩容存储节点，应用无感知•元数据节点允许故障2台接入交换机接入交换机接入交换机元数据节点存储节点存储节点存储节点存储节点元数据节点存储节点存储节点元数据节点节点数量线性增长•每个子集群由3个元数据节点+最大120个存储节点(67PB)构成•子集群内扩容存储节点，应用无感知•元数据节点允许故障2台接入交换机接入交换机接入交换机元数据节点存储节点存储节点存储节点存储节点元数据节点存储节点存储节点元数据节点元数据节点元数据节点元数据节点存储节点存储节点客户端节点客户端节点无限水平扩展子集群1子集群2子集群N数据节点元数据节点故障容忍故障容忍冗余策略数据节点元数据节点故障容忍故障容忍推荐模式最小模式推荐模式最小模式存储节点存储节点8存储节点存储节点存储节点协议机协议机协议机协议机….存储节点存储节点8扇形写入高效利用带宽8存储节点存储节点存储节点协议机协议机协议机协议机….存储节点存储节点8扇形写入模式存储节点存储节点以EC8+2举例存储节点智能识别切换智能识别切换-〕里云数据封装模式数据封装模式封装流量WindowPost请求封装流量WindowPost请求 数据副本数据副本数据副本数据副本 数据副本数据副本数据副本数据副本数据副本数据副本数据副本坏盘/慢盘宕机/网络故障-〕里云数据副本数据副本坏盘/慢盘宕机/网络故障1.以EC8+2为例，可容忍两节点不可用可容忍两节点不可用。损坏节点维修后可重新集群剩余节点进行并行数据Rebuild不可用节点免Rebuild流量影响WindowPost指标项指标内容磁盘水位单独物理磁盘容量单机可用逻辑容量442TB(1000进制)/402TiB(1024进制)单机可承载密封块单机带宽单机rebuild能力里里存储节点监控运维中心 元数据节点托管机房-〕里云•永久存储，不删除，总规模上百TB•时间维度：最近的数据最热，最远的数据最冷•部分股票和K线颗粒度是数据热点•20%的热数据占了80%的QPS快照类行情数据逐笔航行数据开盘价/收盘价/最高价/最低价/成交量/时间戳股票ID+时间+K线颗粒度程序触发查询，并发度高-〕里云最小值 最大值最小值一行情数据一K线统计……存储原始行情数据存储K线数据 !用户查询•同时引入MySQL和Redis，运维复杂•MySQL无法支撑海量存储和高并发查询•分库分表无法应对业务持续增长带来的扩容需求•分库分表方案无法应对单机热点数据•存储成本高一行情数据一 内存中计算最大值最小值 结果写入……存储原始行情数据异常时加载存储K线数据存储原始行情数据 用户查询•使用Lindorm替换MySQL和Redis，无需维护两套开源技术组件•Lindorm提供冷热分离能力，存储成本下降70%•在线弹性扩容•数据自动均衡和单机抗热点•高性能，支持千万级QPS•支持二级索引和全文检索，提供数据分析能力•金融级容灾(同城强一致和异地容灾)•数据按时间线写入，近线访问为主•冷数据存储成本减少80%，热数据访问性能提升15%01不压缩 2快速压缩•数据按时间线写入，近线访问为主•冷数据存储成本减少80%，热数据访问性能提升15%01不压缩 2快速压缩3•即开即用，按表开启•应用零改造•冷热分隔线，灵活调整深度压缩•自由设置冷热的存储介质、压缩算法性能型存储容量型存储标准型存储冷热分离冷热分离推送Server3(隔离服务器)Server2Server1Server0HotKey探测模块Region汇报模块Region汇报模块收集推送Server3(隔离服务器)Server2Server1Server0HotKey探测模块Region汇报模块Region汇报模块收集-〕里云钉钉钉钉BotHotKeyHotKey探测模块RegionRegion汇报模块当业务存在访问热点时，可能打爆服务器,影响全局服务热点Key实时识别结合外部控制系统，自动隔离热点KeyLindorm宽表引擎ServerServerServer行格式列格式Lindorm搜索引擎SearchServerSearchServerSearchServerLindormSQL引擎(DDL/DQL/DML等统一接入)简单查询&写入&数据管理计算引擎ServerServerServer联邦分析&ETL检索聚合查询简单易用产品特性，开箱即用，无需额外开发和维护Lindorm宽表引擎ServerServerServer行格式列格式Lindorm搜索引擎SearchServerSearchServerSearchServerLindormSQL引擎(DDL/DQL/DML等统一接入)简单查询&写入&数据管理计算引擎ServerServerServer联邦分析&ETL检索聚合查询简单易用产品特性，开箱即用，无需额外开发和维护在线高并发请求统一SQL访问数据的管理、读写、分析等统一SQL接入根据SQL类型自动选择合适的存储引擎在线请求与分析请求自动资源隔离，消除相互影响数据一致元数据自动打通实时交互式分析数据按需自动同步，毫秒级低延迟支持强同步低成本数据统一存储在LDFS，大幅减少碎片高性能宽表引擎：使用行存格式，支持高并发在线服务搜索引擎：使用倒排+列存(自研PAX、开源Parquet等多支持高性能分析üüüüüüüüüüüü复杂分析复杂分析计算引擎：基于Spark引擎深度优化，提供高性能融合分析分布式全分布式架构，水平扩展，自动容错，满足企业级高可靠需求Lindorm跨机房部署，支持机房级故障的自动恢复，并保证数据的强一致使用场景1.99.99%以上SLA优势关键技术4.节点/机房故障后，自动切换Leader资源利用率高率请求容错，去毛刺-〕里云机房A机房B机房CZoneAn逻辑图部署图数据同步服务t数据同步服务t-〕里云优势以表为粒度，自由单双向同步百毫秒数据延迟对lindorm集群无影响，由LTS做数据参与同步的集群数量、表数量无限制延迟可监控报警、数据链路可API管理分布式、自容错、数据校验-〕里云低成本低成本•智能压缩，高压缩率•按需在线扩容•自动冷热分级存储•多种存储介质混存自动删除过期数据云原生云原生和存储独立伸缩•秒级在线扩容，扩容过程不影响服务•100PB水平扩展高性能高性能•点查场景千万级高并发下保证个位数毫秒•多维实时检索•实时数据高并发写入•离线数据快速导入数据处理数据处理•关系/键值/文件/搜索/时序/时空能力超融合，业务化繁为简•二级索引和多维检