TiDB数据库的HTAP架构内核介绍

1、技术创新，变革未来TiDB数据库的HTAP架构内核介绍What is TiDB?分布式关系型数据库，全面兼容MySQL 协议HTAP (Hybrid Transactional/Analytical Processing)在本地和云上都有强大的Scale 能力是数据库领域世界范围内的顶级开源项目被超过 1500 家知名企业所使用目录TiDB 的HTAP 架构一些比较关键的设计点使用Raft 协议复制数据可更新的列存引擎结合行存和列存的优势用户的使用方式性能测试TiDB HTAP 架构的上层视角TiDB Upper ViewTiDB 的HTAP 架构Raft Groupidnameage0962

2、Jane307658John453589Jim205523Susan52Row Storeid0962765835895523nameJaneJohnJimSusanage30452052Column StoreSELECT avg(age) from tmp;行存 VS 列存使用 Raft 协议复制数据使用 Raft 协议在 TiKV 节点之间，以及 TiKV 和 TiFlash 之间复杂数据更容易扩展更低延迟架构上的简洁更容易支持事务的 ACID 特性使用 Raft 协议复制数据使用 Raft 协议复制数据Leader or Follower replicas (Synchronous)L

3、earner replica (Asynchronous)Raft LeaderRaft Learner4Together with MVCC, provides strongly consistent readTiDBT0 WriteT2 Ensure Latest Data3T1 ReadRaft Learner - ReadDeltaTree: 一个可更新的列存引擎写批量写& 高频写Fast读为 Scan 而优化FastDeltaTree Storage EngineWrit eReadDeltaTree 的设计目标数据以主键范围分区成SegmentSegment 的内部结构类似于LSM

4、-TreeCompact不同的Layer 使用不同的存储结构Delta Layer:More frequent write (1000 IOPS)Random readSmall volume (5%)Stable Layer:Less write (95%)DeltaStableDeltaStablePageStorageDTFiles不同的Layer 使用不同的存储结构DeltaIndex (A Memory B+Tree)Ins or DelDIDSIDDelta LayerStable LayerInternal NodeLeaf NodePlacedDeltaRowsDeltaInd

5、ex：优化读性能Optimize sort merge:PK compareData copy, one by one.Level 0Level 1Level nStableDeltaStableDeltaStableDeltaLSM-Tree.Sement 0-inf, 100)Sement 1100, 200)Sement n 200, +infDelta Treeselect . where x between (150, 160)VS范围Scan 与LSM Tree 的区别数据以 Range 分区类似LSM-Tree，但只有两层写优化: 使用DeltaCache 缓冲读优化：更少的层数

6、，且使用DeltaIndex 优化 mergeDeltaTree 总结同时拥有行存和列存的独特优势回顾TiDB 的HTAP 架构Raft GroupTiKV Node 1Store 1Region 1Region 2Region 3Region 4TiKV Node 3Store 3Region 2Region 3Region 4Region 1TiKV Node 2Store 2Region 4Region 3Region 2Region 1TiFlash Node 1TiKV ClusterTiDB/ TiSparkSELECT AVG(s.price) FROM prod p, sale

7、s s WHERE p.pid = s.pidAND p.batch_id = B1328;Index Scan(batch_id = B1328)TableScan(price,pid)在一个查询内部，同时利用行存和列存的优势TiFlash ClusterTiFlash Node 2TiFlash Node 1MPP WorkerOptimizerTiFlash Node 2TiFlash Node 3TiDB-ServerMPP WorkerMPP WorkerPlan SegmentParserUser QueryTiKV Node 1TP Query read KV directlyT

8、iFlash is computing / storage combined for now.It forms MPP cluster in AP workload.AP query might read KV if neededIn MPP mode, TiDB- Server becomes the coordinator.MPP 引擎，v5.0 新特性我们的用户是如何利用TiDB 的HTAP 能力的？MySQLAPP ServerAnalytical DatabaseBI ServiceTiDBAPP ServerBI ServerTiDB TP + AP In One CaseETLTiDB + Flink性能测试TiFlash MPP vs Spark（v5.0）TiDB vs Others右表是一个航空公司实时航 班起降的分析场景测试约 1.8亿条记录https:/ Lab/ontime-airline- performanceTiDB + TiFlash 的测试结果/p/106688537TiDBSingleStoreTiDB VS SingleStore , CH-benCHmark，隔离性对比A real-world case总结TiDB 通过使用异构存储，获得真正的