云原生多模数据库Lindorm

云原生多模数据库阿里云产品与技术专业知识认证(APPC)葛双博阿里云数据库高级产品专家V|产品价值与场景产品选型与报价产品市场地位与荣誉奖项竞争分析碎片化成本高碎片化成本高面向万物互联时代的多模数据库互联网移动互联网支付万物互联关系数据库多模数据库?IdDateDayDay_of_WeekMonthMonth_NameQuarterQuarter_Name事务事务EeetSaletDate_IdStore_IdProduct_IdUnits_Sold关系模型关系模型?IdSkore_NumberState_ProvinceCountry维度表EAN_CodeProduct_NameBrandProduct_Category分库分表灵活可扩展OPENTSDBmongoDBhedoopSparkVE运维难运维难数据融合架构收敛海量多模型数据海量多模型数据灵活+灵活+SQL在线服务在线服务非结构化数据非结构化数据的自研内核高度可控节点存储8亿+峰值请求的自研内核高度可控节点存储8亿+峰值请求阿里集团最佳实践交易物流总资产账户安全险保障中>余额余额宝藏花阁花友二群银行卡周家后宫保险服务蚂蚁借呗网商银行支付宝账单布鲁诺钢琴现场选琴优惠群20:53您的包裹已出库√消息(13)芝麻信用通知互动设备状态..91217017615.91217017615整-88%双/E班100分35秒，2015天描双11全球狂"蚂蚁智能风控表…勤勤关系型云原生多模数据库Lindorm关系型云原生多模数据库Lindorm化繁为简化繁为简业务系统业务系统业务系统非结构化数据运行数据运行数据非结构化数据运行数据运行数据结构化数据元数据宽表关系宽表关系宽表型HBase检索分析时序型降低开发成本优化资源效率减少运维负担降低开发成本优化资源效率•zstd+字典采样，最高15•zstd+字典采样，最高15储•支持归档存储，历史数据可永久保存•水平扩展，无单点瓶颈•千万级吞吐，百PB规模•吞吐性能为HBase的3-•热点自愈，自动拆分和终一致可选延迟，最终一致••数据融合：宽表、时•计算融合：查询、检索、批处理、流计算动态列、行级TTL、行列转存Lindorm的核心优势和丰富业务功能的持续扩展需求。低成本低成本·高压缩率(最高10:1)·低成本存储介质弹性扩展弹性扩展高性能高性能·千万级高并发下保证个位数毫秒时延，平均RT小于3ms,p99·多维实时检索数据处理数据处理·二级索引·多维检索·交互式分析(规划中)·流计算(规划中)金融级高可用/高可靠金融级高可用/高可靠L□l?U//读写热点保护读写热点保护·单机抗热点缓存·分区级别在线动态迁移·指定对象Quota限流多租户多租户·用户认证数据生态数据生态·开源生态兼容·阿里生态兼容·丰富的数据同步通道文档对象文件文件/对象时序文档对象文件文件/对象时序易扩展存算分离在线扩容海量存储10倍压缩高性能每秒千万级写入百PB存储规模毫秒级响应OSS时序时空宽表TimeSeriesGanosTimeSeriesGanosSearch时序引擎时空引擎搜索引擎文件引擎HadoopCompatibleFilesystemProtocol性能型存储容量型存储性能型存储容量型存储数据归档数据归稻数据归档归档型存储(TunnelService)数据透视系统管理存储计算分离云原生存储LindormStore智能转存归档存储(离线存储，容量型存储20%的价格，适合无需在线访问的历史归档数据)80%成本节约口在线扩容，无需搬迁数据，十分钟完成加/减节点操作口集群性能线性扩展，无单点瓶颈，支持百PB存储规模和千万级并发吞吐口数据多级异构存储，兼顾性能和存储成本，历史数据归档永久存储多模归一的融合宽表多模归一的融合宽表宽表+搜索+文档+时空+对象一体化融合动态列稀疏表行级TTL多版本以宽表呈现的逻辑试图column1column2column3column4column5column6column7column499column500l主键二级索引文档(json)U时空向量多维索引&全文检索blob对象(S3对象(S3兼容)宽表向量检索宽表向量检索LDFS共享存储池灵活的Lindorm宽表口动态列&稀疏表车辆ID车型颜色动力里程变速器新能源无轿车黑色燃油蓝色北京MetricNameDateValueCpu_user2019-5-116:00:00Cpuuser2019-5-116:10:002019-5-215:00:002019-5-316:00:00Load_one2019-5-316:10:00若TTL为一个月2019-6-116:00:00过期2019-6-116:10:00过期2019-6-215:00:00过期2019-6-316:00:00过期2019-6-316:10:00过期多版本设备ID上次登陆时间上次登陆城市2019-5-916:00杭州2019-5-111:00北京2019-4-912:00杭州时序模型〔-〕阿里云Metric:temperatureTags:Room=3302Building=7TimestampValue时间线时间线口基础概念√时间线：由相同Metric、Tags组成的一系列数据点√数据点：由Metric+Tags+Timestamp+Value组成的一条数据记录√标签(tags):表明指标项监测针对的具体对象的属性单值型Room:3302BuildingRoom:3302Building:71492158910extern:temperatureRoom:3302Building:7extern:temperature多值型特点稀疏Tag动态TagT监控有多个字段值，表示指标的不同方面低成本•低成本•4u36盘位高密度存储机型•支持EC，最高可做29+3p，出盘率可达90.6%，成本接近单副本•EC冗余技术，冗余度内，磁盘和服务器故障，不丢失数据，不影响数据读写•8+2p、9+2p、18+3p、29+3p等多种EC模式可选高性能&简运维在线扩容高性能&简运维•单节点提供接近2GB/s吞吐••单节点提供接近2GB/s吞吐•集群性能随节点数量线性增长•集群水位均匀分布•在线扩容，不影响数据读写•多模态检索能力灵活的标签组合查询时空位置检索相似向量检索景标签等多类信息·支持AND/OR/NOT/数量等各种且有一个卡车”干万级数据实现秒级检索索警、轨迹查询和分析●二维图片/3D点云根据已选择或上传的样本中检索相似样本·利用向量检索技术，干万级数据检索时间<3秒找到大量相似样本支持json类型数据使用SQL访问，语法对齐MySQL8.0第一阶段第一阶段●已发布的指定字段或者集合·在where条件中基于json中指定字段过滤支持使用json中的字段建立索新json中指定字段或者集合第二阶段第三阶段tabletb(p1int,c1varchar,c2json,primarykey(p1))intotb(p1,c1,c2)values(2,'2',json_object('k1',2,'k2','2'))intotb(p1,c1,c2)values(2,'2',[1,2,{"k1":3,"k2":"3"}])p1,c1,c2,json_extract(c2,'$.k1')jfromtbwherep1=1p1,c1,c2fromtbwherewherep1>=1andp1<4andjson_extract(c2,'$.k2')>'0带标签检索的大对象存储〔-〕阿里云基于Lindorm多模能力，实现大json对象的存储和高并发实时检索·Json文件>100MB3{"batch_num":0,"file_name":"lane2d_anting/3W_1206/imgs/5f693016e5862189cec4df7aae6c5618.jpg","img_id"img_id":0,"y":0.0"hmwan":"hmw"ihc_highbeam_score":0.0,"ldw_on":0,"mcp_tid":0,"ncwan":Ω"reserve":U,'static_foe":{"ufcw_on":0"available":0"extra_info":{"available":0,按需展开主键多维索引&全文检索以宽表呈现的逻辑试图整存整取历史数据查询实时数据查询地理围栏告警·查询当前正在某个区域的车辆·查询最后一个轨迹点在某个区域的车辆·车队管理场景：车辆是否在指定区域或者指定线路形式时空聚类·分析：什么时间、什么地点容易发生告警(事故)轨迹相似性·挖掘历史规矩数据，找出相似轨迹，计算常用线路Lindorm聚合查询方案查询&检索&分析&计算的超融合处理口简单易用√产品特性，开箱即用，无需额外开发和维护口在线业务统一SQL访问√数据读写、查询等统一SQL接入，根据SQL类型自动选择合适的存储引擎√在线请求与分析请求自动资源隔离，消除相互影响口离线分析，行列转存√元数据互通，计算引擎可直接分析宽表中的数据√支持行列转存，基于log订阅，将行存数据导出成列存，并提供元数据管理能力口数据一致√数据按需自动同步，毫秒级低延迟√支持强同步口低成本√数据统一存储在LDFS,大幅减少碎片口高性能等多种格式),支持高性能分析√计算引擎：基于Spark引擎深度优化，提供高性能融合分析，提供元数据管理，支持行列转存口分布式√全分布式架构，水平扩展，自动容错，满足企业级高可靠需求Lindorm搜索引擎列存+倒排索引行列转存复杂分析列格式行格式自动数据同步元数据+行存索引标准数据格式计算集群一体机存储集群标准数据格式计算集群一体机存储集群•Signalflow用于从Python到高效可执行文件的策•SignalflowJob允许用户通过Python方便的定义批量计算任务•SignalflowJob任务会被编译为底层计算引擎计算引擎存储引擎•SignalflowTable提了针对量化研究非常方便的数据格式的定义•底层基于Tair/Lindorm，阿里自研的高效数据库引擎分布式计算集群之上·自动根据日期与股票池进行并发回测·用户无需关心底层并行执行的细节·以task的形式组织Job中计算的先后顺序·task之间可以是顺序执行或者并行执行·task的前后计算顺序构成DAG,自动按照DAG并行·task的类型包括最基本的cmd,可以执行任意命令·也具有带有语意的task,如SFTask表示signalflow的脚本。此类task内置了一些常用的设置可以省掉很多繁琐的底层配置20script='/path/to/your/code/script.py"21task2=job.SFTask(dates,univ,•SignalflowTable以四维数组为组织数据的基本格式•底层存储在Lindorm/Tair数据库内•向上屏蔽存储细节，用户不需要关注数据如何存储•向上支持多个接口，方便signalflow程序访问•Python接口允许把数据读入为Numpy或者Pandas•支持C++接口·机器学习技术广泛应用，例如推荐、预测、反欺诈等场景个阶段，门槛高·训练、推理需要频繁访问/移动数据·利用数据库技术来优化机器学习流程·通过SQL训练、管理、部署、预测模型fortrainingTrain,debug,Validate多模超融合文件引擎宽表引擎时序引擎训练机器通过SQL学习模型推理FROM(SELECTdate,site,capacityTARGETcapacitySETTINGS(FORECAST预测未来5个数据点forecast_forecast_capacity(5)FROMcapacity_data;案例(异常检测到根因分析)多模数据分析日志挖掘根因概率：10.5%根因概率：10.5%图关系追根溯源图关系追根溯源支持用户自定义模型导入(开发中)01产品技术领域知识02产品价值与场景03产品选型与报价04产品市场地位与荣誉奖项05竞争分析1.P991.P99延迟指99%请求的响应时间小于该值2.图中数值供参考，具体以实际场景为准3.测试环境请参考附录〔-〕阿里云Lindorm-2.10参与单位证书兹证明，贵单位为中国信息通信研究院牵头的时序数据库标准工作组成员，参与了中国通信标准化协会大数据技术与标准推进委员会(CCSATC601)《大数据产品时序数据库》系列标准的制定，特发此证。2018年8月信通院时序数据库性能评测第一读数据点/秒读数据点/秒写数据点/秒低成本：自适应透明压缩〔-〕阿里云自适应编码深度优化的ZSTD压缩采样编码压缩类型信息字典信息字典编码熵编码数据文件大小LindormLindormHBaseMySQLMongoDBMongoDB订单数据2.10GB车联网数据2.51GB日志数据737MB3.99GB用户行为数据同城跨机房高可用〔-〕阿里云介绍Lindorm跨机房部署，支持机房级故障的自动恢复，并保证数据的强一致使用场景1.99.99%以上SLA优势1.存算分离+日志与表格数据分离RTO<1分钟，业务受损时间减少10倍口可调一致性率√请求异常后，自动访问另一副本进行重试ZoneZoneA日志日志逻辑图部署图〔-〕阿里云异地容灾异地容灾口以表为粒度，自由单双向同步口百毫秒数据延迟口对lindorm集群无影响，由LTS做数据同步口参与同步的集群数量、表数量无限制口延迟可监控报警、数据链路可API管理口分布式、自容错、数据校验数据同步服务新加坡应用Lindorm集群应用自动冷热分离〔-〕阿里云√数据按时间线写入，近线访问为主√冷数据存储成本减少80%,热数据访问性能提升15%口优势：√即开即用，按表开启√应用零改造√冷热分隔线，灵活调整√自由设置冷热的存储介质、压缩算法00冷热分离WarmData深度压缩性能型存储标准型存储容量型存储全局二级索引场景口非主键查询口写后可读whereCol2>=?whereCol2=?andColO>=?属性键属性键排序键一致口按需冗余whereColO>=?whereCol1=?andwhereColO>=?whereCol1=?andColO>=?排序键√查询未冗余列，则自动回查主表口高性能索引2主表索引列Col2冗余列Col3、Col4索引1索引列Col1冗余列Col2、Col3数据一致性统一访问数据一致性统一访问性能吞吐一体化搜索检索统一访问，简单易用>系统自动维护索引，应用开发不感知索引表>索引支持非冗余、冗余部分列、全冗余>查询时基于编译优化(RBO)自动路由到搜索引擎，并智能判断是否需要回查宽表引擎丰富搜索能力>覆盖所有数据类型，Number/String/Date等>支持文本相关性查询、多语言(中英文、繁简体)智能分词>具备查询补全、结果高亮显示、聚合分析等全文搜索功能数据自动同步到搜索引擎>历史数据自动化构建>异步增量索引，基于LTS提供可扩展的同步通道，数据同步可视化>毫秒级同步延迟(HBase/Cassandra/Solr)查询编译搜索引擎异步增量索引SchemaSchema转换数据写入Segment数据同步全量索引构建QLucene技术挑战技术挑战多租户√多租户共享使用同一物理集群，并保障命名空间、安全性、资源上的隔离租户租户数据表租户配额自动诊断自动诊断云原生智能诊断云原生智能诊断多模引擎硬件存储引擎多模引擎硬件●.●●●.10倍GC优化三大核心技术停顿时间一.一.CCSMap:无锁高并发无对象Skiplist核心设计多维能力·吞吐提升20%·内存效率提升40%高度复用口技术领先HBase3.0核心特性无锁高并发ScannerScannerCompactor内存块引用共享Scanner:空闲:等待内存块回收:等待引用释放:内存块使用中Marked1MarkedMarked1Marked0FinalizableUnused(18bits)ObjectAddress(42bits,4TBaddressspace)64-bitObjectPointerLLC日志三副本协议〔-〕阿里云ttWrite√网络、磁盘抖动，Write√坏盘，宕机故障恢复时间长口LLC核心设计√写3等2的Quorum√慢节点摘除，节点落后较多时重选WALWAL88长度√平均写入RT减少50%√P99延迟下降至1/6→→时序的企业级特性特性介绍对一条时间线上的数据按指定时间间隔进行聚合，从而数据按不同精度存储，满足不同时间范围高效查询需求〔-〕阿里云时序的企业级特性时间线聚合时序的企业级特性时间线聚合特性介绍按指定条件对同一个Metric的多条时间线的数据按时间戳对齐后进行数值聚合，Lindorm时序引擎内置时序流式分析引擎，支持预聚合与插值TS3时序的企业级特性边云一体口边缘计算场景时序数据存储解决方案口Lindorm时序边缘版轻量级输出口高可用架构，与Lindorm时序Cloud功能对齐口数据自动同步到远端Cloud实例集群规则配置规则配置TSDBEdgeTSDBEdgeTSDBEdge时序的企业级特性时序分析1.时间序列数据聚合计算查询项查询项时序信息命4000均值变化2.时序预测方差变化更好的HBase性能稳定热点region自动均衡，热点key自动隔离跨机房容灾(强一致模型和最终一致模型可选)SLA99.9%，跨可用区集群SLA99.99%压缩自适应编码算法+深度优化的ZSTD压缩，压缩率高达5-10倍冷热分离容量型存储弹性支持ScaleUp：升配/磁盘扩容支持ScaleOut：扩缩节点/扩缩计算节点支持Serverless：无需感知水位，完全自动弹性功能支持SQL支持二级索引支持多维检索和全文检索内置列存和Spark引擎系统用户基础能力月账单年账单系统用户基础能力月账单年账单智能化分类标签多租户数据输出安全营销运营报表历史数据平台-账单业务架构历史数据平台-账单业务架构外部用户内部用户审计商家消费者客服运营审计基础产品创新产品账单记录账单详情分类标签账单备忘资金记录支付助手智能账本账单地图数据输入业务平台资金平台UGC内容数据流数据输入业务平台资金平台UGC内容交易信息资金信息账单订单信息高可用弹性伸缩高性能高可用弹性伸缩高性能热点保护数据生态历史数据平台-支付宝账单电商交易可靠消息队列可靠消息队列金融服务信用〔-〕阿里云账单系统账单查询账单写入异地容灾快，存储成本压力巨大1.高吞吐写入能力1.无限水平扩展2.大促弹性伸缩历史数据平台-收钱吧账单系统千亿+账单百TB+数据支付网关账本、报表等支付网关binlog同步32个32个RDS32个RDS6个月以内数据导入数据备份服务数据备份服务历史数据〔-〕阿里云千万+新增新方案支付网关账本、报表等32个RDS同步全量数据数据备份服务统计窗口高频交易数据计算结果统计窗口高频交易数据计算结果计算结果高频交易数据统计窗口高频交易数据计算结果统计窗口高频交易数据计算结果计算结果高频交易数据成交量 •分库分表无法应对业务持续增长带来的扩容需求成交量 成交明细•在线弹性扩容，支持海量数据存储和处理•数据自动均衡和成熟的数据热点处理方案供数据分析能力存储成本下降70%K线/指标计算 索和数据统计功能数仓〔-〕阿里云数仓某金融风控某金融风控会员信息数据数据处理平台计算计算Spark阿里云阿里云存储存储MaxComputeMaxCompute/Spark简单数据映射云查询/分析简单数据映射云查询/分析数据在线保留N数据在线保留N个月据映射数据永久或指定周期保留(含N个月内数据)·对应不同业务在线库(含分库分表),提供全局历史库入口·对应不同业务在线库(含分库分表),提供全局历史库入口·具备在线查询&数据分析能力·具备多维查询&分析能力·异步实时同步，平均延迟小于200ms车联网&自动驾驶场景需求总结车联网&自动驾驶场景需求总结海量数据·某直辖市新能源汽车公共数据平台，70万辆车，1PB数据·某豪华汽车品牌，存量180TB,明年预计400TB·某国产汽车品牌，规划未来3年数据量达到3PB灵活·训练模型多，模型稳定前，字段会变更·不同图片识别得到的标签不一样，典型的稀疏表特征大对象数据·某自动驾驶公司单条json数据>100MB·某造车新势力单条json数据>10MB多模态检索·多维度标签检索：模型训练生成的标注数据存储，检索维度20+,qps2万/s,未来规划20万/s·时空检索：某国产汽车品牌卡口查询场景和电子围栏报警场景。业务计算●状态监测，某控制的状态从A集合跳变到B集合。SparkLindorm车联网&自动驾驶方案Spark容量空间水平扩展，支持百容量空间水平扩展，支持百PB存储规模运维性能吞吐水平扩展，每秒千万级吞吐压缩率，数据多级存储存算分离，自助快速扩容算法训练BI看板实时监控事件回溯实时监控事件触发明细查询事故分析事件触发明细查询结构化数据窗口计算)时空结构化数据窗口计算)实时监控电池状态电池状态时序非结构化数据非结构化数据运营分析历史数据运营分析某直辖市新能源汽车公共数据平台简介〔-〕阿里云上海市新能源公共数据监测系统总接入车辆数Totalaccessedvehicle在线车辆数Onlinevehicle14.8万充电车辆数Totalchargingvehicle行驶中充电中Charging氢能源接入车辆累计运行情况总行驶里程(公里)294.2亿总行驶里程(公里)294.2亿13.3亿总耗电(度)总减排CO2(吨)总耗电(度)窗Totalpowercons窗42.9亿460.2万42.9亿24小时接入量变化充电中Charging行驶中Driving在线中Online接入车企enterpriseQuD接入品牌接入车型市级新能源汽车公共服务平台上海市经济和信息化委员会指导下成立第三方新能源汽车公共数据服务平台，成立于2014年，实现在沪销售新能源汽车数据全接入。根据《GB/T32960.1-2016电动汽车远程服务与管理系统技术规范》采集124项数据字段。全国最大新能源汽车监管平台上海市唯一，全国接入量最大的地方新能源政府监管平台，目前已接入超过100家车企100个品牌，接近1000个车型，超过58万量新能源汽车数据。占全国新能源汽车推广量的10%左右。包含乘用车、商用车、物流、大巴等。某新能源汽车公共数据平台系统架构某新能源汽车公共数据平台系统架构电动汽车多模数据存储智能网联汽车数据上传数据上传加氢站数据数据分析加氢站数据BI报表BI报表列存异常分析异常分析OSS/HDFS〔〕阿里云CopyrightbyAlibabaCloudAllrightsres优化资源成本提升访问效率优化资源成本提升访问效率元数据运行数据Tracing设备关系图多模数据库多模数据库湖仓计算平台减少运维负担减少运维负担单可用区集群版多可用区集群版Serverless版专有云企业版专有云敏捷/ADP/DBstack特点公共云标准跨机房强一致容灾按需付费，即时适用场景任何规模企业生产任何规模企业生产培训学习、测试任何规模企业生产企业生产合作伙伴集成服务等级协议技术架构标准SLA强分布式部署多副本、自动容灾强双可用区部署标准SLA中分布式部署多副本强强分布式部署多副本离散工业过程改进流程工业生产监控APM/NPM运维离散工业过程改进流程工业生产监控APM/NPM运维•边缘部署单节点InfluxDB版本•边缘部署单节点SDBV3版本实时数据同步•开放第三边缘硬件集成版Lindorm•高频交易实时数据存储计算•采集、计算、分析、可视化全链路监控数据解决案•分布、异构监控数据存储一体化解决案，低部署、运维成本•开放生态，支持插件、应用扩展，支持自定义数据存储、分析能力。金融高频交易监控金融高频交易监控Lindorm产品优势：适合监控数据存储场景、高性价比、高性能快速融合对接大数据生态，实现IoT数据遍在可支持客户监控/业务系统无缝对接和安装•边端云一体化案•高性价比监控数据全量存储LindormStore：LindormStore：高性价比数据库备份恢复存奖项荣誉·大数据产品能力评测&泰尔实验室-时序数据库性能专项评测证书·泰尔实验室-阿里云时序时空数据库TSDB车联网场景评测证书·泰尔实验室-阿里云时序时空数据库TSDB电网场景评测证书·阿里云时序时空数据库软件著作权V0.5·国家电子政务系统质量监督检验中心CMA、CNAS认证GXPCRCSC-ZJM-2021-002/02-17GXPC-RC-SC-ZJM-2021-002/04-17ENASe-Ge-GGXPC-RC-SC-ZJM-2021-002/05-17项目名称： 关健技术及系统大数据服务平合2021年GXPC-RC-SC-ZJM-2021-002/01-17国信软件评测物联网智能开放服务运行支撑分布式海量数据存储系统Lindorm验收淘宝(中国) 2021年09GXPC-RC-SC-ZJM-2021-002/06-17子政务系统质量出国信软件评测技GXPC-RC-SC-ZJM-2021-002/03-17淘宝(4国家电子政务系统北京新国信软件评s项目名称： 项目名称： 分布式关系型数据库中间件 国家电子政务系统质量监督检验中心北京新国信软件评测技术有限公司