TSDB-云边一体化时序时空数据库技术

1、TSDB-云边一体化时序时空数据库技术技术创新，变革未来Contents 目录01 认识TSDB02 技术揭秘03 开源生态认识TSDB01平板文件的简单存储 数据模型比较单一1st时序时空数据处理工具19992010Docker/微服务 交通/轨迹Future 云时序数据库2017 发展历史2nd面向时序时空领域的数据库20112016面向监控报警领域Cloud Native/Serverless IoT/工业IoT时序时空模型特征存储数据模型，压缩，聚合分析方面做了大量创新 具备空间和时间的多维索引高性能低成本免运维 生态丰富云边一体化架构应用场景性能计算时空大数据计算智慧交通，城市大脑，

2、轨迹分析，路径规划轻量化可工业数字化转型电力，交通，物流，IOT，工业低成本性能可扩展基础设施智能化APM，智能运维，监控诊断，金融数据模型Time Series序列值FixedSingle SnapshotUpdated Snapshot瞬时值TYX移动点TYX轨迹 序列TXY事件 指标TVV YXT地理参 考变量TVTV YX地理参 考时序Spatial LocationDynamic阿里云TSDBIoT场景深度定制，云边一体化多值数据模型（插值、聚合、采样，降精度）存储计算分离，冷热分离，列存，无损压缩（25+算法）丰富API，满足LBS、轨迹、点云、电子围栏等各种场景智慧交通、城市大脑

3、、监控、电力、能源行业 广泛应用兼容性和扩展性兼容OpenTSDB协议，兼容Prometheus存储，支持SQL/MM，支持OGC标准ANSI SQL兼容，动态Schema，内置时序时空高级分析函数Time Series and Spatial-Temporal Database极致性价比 指标/事件型数据存储系统4000万写数据点/秒，600万读数据点/秒，15:1压缩比（2018双十一）PB级存储，无缝扩缩容，时空检索比Geomesa快7倍技术揭秘02MQTTSQLGISOpenTSDBGeoMQTTMQMQTTSQLProtocolsSQL EngineTransportIndexSto

4、rageCompressionFSParserAnalyzerPlanCodegen JoinAggregateSpatialJoinDistributed ExecutorCoordinatorMergeCollectSQLBypassRead/WriteAccessDeleteQueryTimeseries FilterSpatial FilterBKDIndexInverted IndexTimeseries IndexS2/S3IndexRowStoreBlob StoreColumn StoreDelta-of- DeltaRoaring BitmapZigZagHiMOXORLoc

5、al File SystemShared File SystemHDFSOSSGeoMQTTSparkFlinkKafkaMQ技术架构生态分布式PGProtocolRESTFul APISQL EngineDistributed Execution EngineCluster CoordinatorData ExchangeData ExchangeTransportP1R2R3Local DiskPGProtocolRESTFul APISQL EngineDistributed Execution EngineCluster CoordinatorTransportP2R3R1Local

6、DiskPGProtocolRESTFul APISQL EngineDistributed Execution EngineCluster CoordinatorTransportP3R2R1Local DiskSLB计 算 层存 储 层SQL引擎Table SchemaHash/ NLP /Merge/Spatial JoinDistributed ExecutorColumnar in- memoryRuntime codeGenHash/StreamAggHash/Merge/Broadcast ExchangeExtended UDF/UDAFStatisticsPartition

7、, Shards NodesMetaStoreHttpPG ProxyTransportParserSemantic Analyzer AST Annotated ASTLogical OptimizerFilter/Agg pushdown, Partition Pruning, Join reorderPhysical Optimizer (Join/Agg, Parallelizer,Exchange)Logical PlanFragmented Physical PlanTransportMemory PoolSchedulerCluster State Service每个节点地位等同

8、PlannerRuntime Filter Prune弹性升扩2019-9-12019-9-22019-9-39-1P09-1P19-2P09-2P19-12P29-3P09-3P1TSDB Storage cluster时空计算Partition InfoGlobal IndexOn Master NodePartitionPacking & IndexingArrayRowLocal IndexLocal IndexGlobal Index0123421340Row01234预聚合引擎QueryWriteStreamingForwardTSDB StoreOriginal(s)312466

9、10163600Rollup(1m)60Rollup(5m)122019-9-1Time-index2019-9-22019-9-39-1P09-1P19-2P09-2P19-12P29-3P09-3P1Node 1Node 4Node 2Node 3TSDB Storage cluster聚合函数库ForemanQuery CachePer Interval Merge(2rd)MPP Workers2019-9-12019-9-2Per Partition Merge(1rd)P0P1P3Time-index 命 中 查 询 Rollup Time-Index 未命中 查询Original

10、流算引擎适配规则配置数据投递TSQL/API多阶段聚合Group By支持近似类聚合(HLL/Sketch)分布式模型(序列化等)数值类聚合(min/max.)预聚合与归并(Map/Reduce)前置/后置Filter算分析与优化聚合引擎存储引擎Row StoreField 1Index StoreField 1.Field n.Field nField 2Field 2Row2Row3索 引 优 选InvertBKDS3TPIRIDs: 1 3 5RIDs: 1 6 9RIDs: 2 7 8Posting listColumn StoreJoin P2PColumn Meta Charact

11、er MapField RangeSuccinctGCDCompressionRoaring Bitmap.startFp1.DocValuemeta1startFp2DocValue footer.dvm.dvdSum(c)a=8b 2 months)低频迁移( w/r 5 / day)Migration Manager根据策略和统计信息创建迁 移任务Migration QueueTask1Task2Hot: SATA云盘Cold: OSSHot: SSD云盘Partition 2Partition 3数据特征冷热分层明显 最近数据访问频繁分层原理迁移单位是partition所有访问经Met

12、a进路由 Stats统计各分区访问频度策略触发迁移任务迁移完成后更新Meta信息.Data Bucket Partition k.Data Bucket Partition 2.Partition 5Partition mTask迁移partion2到OSS边缘计算设备设备设备云端边缘边缘TSDB本地数据 看板云端TSDB云端IoT Studio云代理消息路由设备接入多维 数 据 分 析多维数据分析聚合 展示1）创建产品/设备 2）为设备打标签（位置、设备类型）3）配置部署TSDBCloudHA ManagerVFS（Local Storage/Remote Storage）服务层Time P

13、artitioned IndexTime Partitioned DataTime Structured Merge TreeTime Partitioned IndexTime Partitioned DataTime Structured Merge TreestandbyActiveCloud SyncHTTPSUserAcc ount Rule FilterResumeS ync Query Enginewal/compaction/compression边云数据协同速读写分析低成本存储轻量化部署基于内存的列式数据同步效时序存储 TSMT；时间分区索引； 研压缩算法部署运维设备管理Io

14、T公有云平 台核能力规实则时下同发步TSDB时序时空生态OpenTSDB生态建设PostgreSQLMQTTGeoMQTT开源生态03让机器数据产生价值-InfluxdbCPU内存硬盘网络TelegrafInfluxDB ClusterGrafana图形展示系统数据采集Kapacitor阈值告警SQL查询分析钉钉短信电话RedisMySQLMongoDBkubernetes水平可扩展集群方案基于LSM的Meta Server通过Raft高可用Meta Server Group 支持水平增加Data HA Group全局内存管理全局内存池，索引，数据，查询内存动态调整 时间线，数据库无限制基于阿里云高效云盘保证数据不丢失TICK生态兼容数据采集、存储、分析展示全集成 阿里云托管，无需运维全自动监控、告警设备设备设备Prometheus公测分布式存储满足大规模历史数据长期存储，数据备份 查询高吞吐，低延迟，按需弹性扩展Cloud Native Influxdb无缝对接，配置简单集群全局查询能力查询API兼容原生Prometheus协议，提供统一的全局查询 查询结合I