基础架构pingcapthe architectural evolution of tidb数据库分布式系统开源软件与社区等领域

About 者，TiDBTiKV产 pute执行引擎研发:AgendaWhat’sTiDBTheWaytoTiDBFutureWorkWhat’sTiDBWhat’sTiDBTiDB：全新一栈式HTAP数据MySQL5.7协议MySQL生1500+企业互联10+银行与

独角兽企业80%单个集群1000+节

OLTP规模化的头部用面向零售高增

面向金融敏

弹性高扩展，TiDBonK8s随时

SQL节节TheWaytoTiDB5.0TiDBDBA熬夜的日子出设计 乐观事务：中间的DML语 查锁，Commit时再检查 TiDB新特性漫谈：悲观事 出一个TiKV负责死锁检场景一：线上SQL忽然执行计划变了 SQL

ASTn

DistSQL TiDBCop Cop Cop

需要改SQL：增加SQLHintTiDBv1.0v5.0不需要修改业务SQLBinding（TiDB不想一条条加：SPM（TiDBSQLSQLExecute Cost-baseExecute Exists?

Yes

nin

YesNoExecute

NonQueuenforKnownn降低犯错的概率：引入SkylinePruning裁剪不优索引，引 hashstep1:fetch

step2:dispatchindexlookuptaskstotableworkersandmainthreadstep3:fetchindexlookup

step4:fetch

step5:notifymainthreadthatthelookuptaskisfinished

main:fetchanindexlookuptask,waitittobeAsyncCommit（TiDBv5.0）：2PC1PC聚簇索引（TiDBv5.0）：减少回表次数，让查询时间CREATETABLE`user``id`varchar(20)NOT`name`varchar(20)DEFAULTNULL,PRIMARYKEY(`id`)CLUSTERED

)SELECT*FROMWHEREid>ANDid<

'123'<id<

'123'<id<CoprocessorCache（TiDBv5.0）：减少下推的计算量，降低重复查询的延TiDB

DistSQLCoprCache

TiKV

TiKV

TiKV TiDB有哪 MVCCGRocksDBCompactionRegionSchedulingyzeUpdateGlobal MVCCGCinCompactionRocksDB’sIORateAvoidredundantregionrebalancecausedbyemptyTiDB5.0SysbenchTiDB5.0TPC-TheWaytoTiDB让我们HTAP的发TiSparkgRPC

SparkSparkretrieveSparkSpark

gRPCSparkSpark

Spark 在TiKVSparkSpark做分析 DistributedStorageTiSpark是否就足够用户在很多场合下需要高并发中小规模APTiKV这样的行 分析场景需要的性TiKV上 业务时跑OLAP负载，没有资 简直是TiKV

SparkCluster

StoreRegionStoreRegionRegionRegionRegionStoreRegionRegionRegionRegionRegionRegionRegionRegionTiFlashExtensionCluster TiKVClusterRaftLearner-SyncTiKVRegion

TiFlash TiKVRegion

TiKVRegion

TiFlash以RaftLearner方式接入Multi-Raft组，使用异步方式传输数据，TiKV产生非TiFlash时，会被从行格式拆RaftLearner-ReadRaftLeader4 数据时，TiFlash发送Raft索引

Raft3RaftLearner-ReadRaftLeader4 时，TiFlash才提供

Raft4列存改造后的

KVKVRaftMulti-RaftMulti-RaftRawKV,RaftSchemalessRawKV,RaftTiSpark作为唯一分布式计缺少中规模快速查询略重的模型（MR模型）-仍需要MPP写入需要通TiKV大批量写入速度吞吐不副本必须先以行存方式写入再同步为TiFlashTiFlashNodeTiFlashNodeTiFlashNodeMPPEngineTiDB-ServerTiKVClusterTiKVNodeTiKVNodeTiKVNodeOLAPApplicationsOLTPApplicationsInMPPTiDB-ServerestheTiDB-MakingHTAPrealbyMPPfirstUser

TiKVNodeTPTiKVNodeTiFlashiscomputing/storagecombinedfornow.ItformsMPPclusterinAP

SegmentTiFlashNode

TiFlashNode TiFlashNodeMPPWorker

MPP

MPPWorkerMPPTiDB架构演OLTPScale

TiDBTiDB1.0~OLTPTiDB1.0~TiDB+TiSpark解决复OLAP

TiDBOLTPScale+轻HTAPTiDB+

TiDBOLTPScale+HTAPTiDB+TiFlash具备HTAP能力的分布式FutureWorkFutureWorkOLTPScaleBigClusternMemoryManagement&QueryPerformanceG