2022云栖大会：Lindorm多模融合海量数据存得起看得见

阿里云阿里云NoSQL数据库PD负责人阿里云NoSQL数据库研发负责人互联网平台业务数据2000s9互联网平台业务数据2000s91传统商业业务数据半结构化/非结构化数据处理与分析半结构化/非结构化数据处理与分析数据特征（4V）海量（Volume）、多样（Variety）、价值（Value）、时效宽表wideColumn图Graph时序TimeSeriaIs键值KV（缓存态/持久化）文档Document结构化数据处理与分析坚实支撑阿里电商Tair支撑了电商交易核心体验场景，数十亿QPS的峰结构化数据半结构化数据非结构化数据移动互联网移动互联网PB级互联网TB级关系模型架构挑战关系型数据库阶段Google三驾马车非关系型数据库阶段非关系型数据库阶段Gartner分离分离高学习成本高运维成本高资源成本高学习成本高运维成本高资源成本弹性低成本计算/存储分离架构，资源独立弹性伸缩弹性低成本计算/存储分离架构，资源独立弹性伸缩开源生态兼容支持与常见数据库之间的双向在线迁移，无缝对客户端LindormSQLHBaseCassandraOpenTSDBInfluxDBSolrS3HDFSKafka结构化数据半结构化数据非结构化数据互联网、物联网时代的云原生多模数据库，Lindorm让海量数据存得起，看得见多模超融合多模超融合原生支持宽表、时序、对象、时空等多种数据类型标准SQL接口，统一访问多模数据统一查询引擎统一查询引擎LindormSQLLindorm多模引擎Lindorm计算引擎实时处理对象云原生分布式文件系统LindormDFS交互分析批计算在线查询多维检索表格流弹性使用弹性使用底层存储池化管理，用户按需使用，无感扩缩容高效压缩与编码支持使用纠删码EC算法，副本冗余系数低至1.25数据文件分块压缩，上层计算透明使用多级介质混合管理支持多副本异构存储，高速介质提供性能，低速介质可靠性，最大化性价比LindormLindorm多模引擎搜索HadoopCompatibleFilesystemProtocol（HDFS兼容）文件管理冷热转存副本异构池化调度擎时序引流引擎对象宽表多租户安全纠删码EC透明压缩物联网数据压缩比高达15:1，综合存储成本下降80%，云原生弹性满足任意存储规模多模数据统一视图多模数据统一视图提升开发效率支持丰富类型、结构松散的大宽表支持丰富类型、结构松散的大宽表TimeSeriesPolygon时序类型基础数据类型高级数据类型对象类型时空类型BooleanVarcharVectorJsonPointBlobLineInt……LindormLindorm多模引擎搜索时擎序引对象宽表流库算智一体化APP增强数据处理能力分布式计算减少数据链路维护接入API流库算智一体化APP增强数据处理能力分布式计算减少数据链路维护接入API提升业务迭代速度流式处理复杂分析检索聚合在线查询流式处理复杂分析检索聚合分布式文件系统LDFS(lindorm-dfs)场景数据冷热特征明显，数据存储成本压力大Lindorm宽表引擎冷热统一查询分区1冷热自由调整冷热异构管理价值•冷数据存储成本减少90%•热数据查询性能提升15%•场景数据冷热特征明显，数据存储成本压力大Lindorm宽表引擎冷热统一查询分区1冷热自由调整冷热异构管理价值•冷数据存储成本减少90%•热数据查询性能提升15%•业务代码零改造•冷热参数在线调整按行冷热转换元数据与索引层热数据层冷数据层…核心挑战•统一查询：基于元数据与查询条件按需懒加载冷数据，冷热自动聚合返回算法，减少冷热转换IO放大•冷热调整：按行识别冷热，在线调整冷热分界线。•冷数据极致处理：行列混存格式提升压缩比，元数据分层按需加载减少内存占用快速压缩容量型存储性能型存储高速介质深度压缩冷热高效分离冷热高效分离分区2分区2场景海量数据的低成本存储、高并发查询、多维检索与聚合分析场景海量数据的低成本存储、高并发查询、多维检索与聚合分析护，即可获得海量数据下的多维检索与聚合分析的能力，体验与效率大幅领先于多个产品的组合方案RBO自动选择最合适的索引，加速查询页、文本分词、高亮显示等能力•检索分析加速：索引数据使用倒排、BKD树、列存等技术，大幅提升多维检索与聚合分析的性能资源碎片，并支持按需IO隔离。平衡一致性与吞吐延迟的选择查询解析主键查询写入擎ore 同步写入索引(强一致)执行优化协议接入WAL多维检索与分析全量构建索引异步更新索引数据多模态海量规模场景多样业务挑战车联网应用事件触发在线请求数据分析简单易用丰富处理，统一访问高性能数据处理性能比开源自建快3-10倍数据多模态海量规模场景多样业务挑战车联网应用事件触发在线请求数据分析简单易用丰富处理，统一访问高性能数据处理性能比开源自建快3-10倍弹性资源按需秒级伸缩成本压力成本压力分析运营分析车况分析实时预警车辆监控事件多模数据融合统一访问实时入库实时云原生多模数据库Lindorm车辆状态与属性标签数据视频/图片数据车辆位置数据属性/标签索引实时数据时非结构化数据视频/图片接入方案优势低成本低成本自动冷热分离，高压缩率，综合成本降低80%大容量大容量系统水平扩展，支持PB级存储和千万级吞吐企业级企业级历经十余年生产考验，具备成熟的稳定性、安全性能力挑战挑战多模融合多模融合解决解决数据孤岛存储，融合分析困难资源碎片，存储成本高API多样化，开发成本高44次连接4种API4个集群元数据运行数据关系数据库搜索引擎时序数据库元数据运行数据关系数据库搜索引擎时序数据库监控监控TracingTracing宽表数据库常规方案运行数据Tracing运行数据Tracing监控监控元数据云原生多模数据库云原生多模数据库Lindorm