Lindorm：打造AI时代的 一体化数据平台

结构化数据MapReduce半结构化数据结构化数据MapReduce半结构化数据结构化数据APSARA云栖大会MapReduce结构化数据半结构化数据非结构化数据全文检索交互分析全文检索交互分析…•资源碎片化，使用不均APSARA云栖大会ElasticSearchAPSARA云栖大会APSARA云栖大会计算层数据引擎层存储层查询层计算层数据引擎层存储层查询层兼容hbase、es、kafka、influxdb等接口模型管理、推理(X86/ARM/倚天)(ESSDPL1/PL0高效)APSARA云栖大会(KafkaAPI/SQL)APSARA云栖大会•纠删码EC，1.25副本实现高可靠••点查、范围查、多条件查、部分级吞吐，性能是HBase的3-7倍•金融级强一致跨机房容灾•支持交互分析、批计算、流计•存算分离，Serverless计算•兼容多种接口：HBase、ES、•支持增量数据订阅•支持与数据库、大数据间的访问和数据打通APSARA云栖大会HadoopCompatibleFilesystemProtocol（HDFS兼容）APSARA云栖大会0.10.10.12)4)APSARA云栖大会Kafka客户端Kafka客户端Partition，比开源kafka提升一个APSARA云栖大会Tail缓存Tail缓存… … CassandraAPSARA云栖大会0XLindorm-2.1社区版HBase-2.0APSARA云栖大会社区版HBase-2.00APSARA云栖大会在线查：兼容ElasticSearch的多维检索 ElasticSearch客户端APSARA云栖大会vector_distance(doc_vector,'[0.067985594,0.94134957,0.9174301]')LIMIT10;FilterattributekeykeykeykeykeykeykeykeyFilterattributekeykeykeykeykeykeykeykeyAPSARA云栖大会Shuffle………… ShuffleShuffleAPSARA云栖大会Lindorm(DDL/DQL/DML等统一接入)Lindorm(DDL/DQL/DML等统一接入)Spark/Hive客户端(离线任务编排、调度)列格式行格式列格式行格式开发和维护，即可获得海量数据下的复杂分析的能力，体验与效率大幅领先于多个产品组合的方案择行存或列存，加速查询与分析据裁减，大幅提升复杂分析的性能按需弹升终一致性保证Spark/Fliink/PrestoSpark/Fliink/Presto•灵活Schema，支持动态列和部分更新•开源分析引擎（Spark/Flink/Presto）直APSARA云栖大会 Partition-0Partition-1 Partition-0Partition-1 ......APSARA云栖大会40.230.427.325.923.521.118.818.116.915.915.113.312.511.79.78.77.87.16.24.33.613.18.79.38.17.76.512.12.520.520.623.218.618.818.615.711.78.98.98.38.18.68.38.59.17.84.56.32.52.43.63.85.45.5967型APSARA云栖大会selectai_infer(qa_model,‘Lindoselectai_infer(qa_model,doc_field)fromtablewhereid=xxx;APSARA云栖大会00高压缩存储在线宽表性能是HBase的7X统一SQL访问在线数据迁移弹性Serverless计算分析计算性能是Spark的1.5X统一元数据开源接口100%兼容减少数据冗余消息吞吐性能是Kafka的1.5X无需搭建数据链路