TiDB技术演进及生态发展

1、TiDB 技术演进及生态发展势高则围广，TiDB 技术演进及生态发展商鞅之“大盘灭国棋”说起商鞅代表秦国执黑子先行于天元密使：我许你重下商鞅：中枢之地，辐射四极，雄视八荒密使：先生招招高位，步步悬空，全无根基实地 商鞅：旦有高位，岂无实地？棋道，以围地为归宿，但必以取势为根本。势高则围广，势卑则围小。明势 - 分布式关系型数据库，未来已来立势 - TiDB 从最难的路开始蓄势 - TiDB 关键技术创新取势 - TiDB 破茧而出及高速演进围广 - TiDB 用户与人才的繁荣明势 - 开源分布式关系型数据库，未来已来“到 2020 年将有超过 500 亿的终端与设备联网，未来超过 50% 的数

2、据需要在网络边缘侧分析、处理与存储，到2025年，物联网将产生 95% 的实时数据。”-IDC“到 2020 年，平均下来，一个人每天会产生 1.5GB 的数据，每辆车会产生 4TB 的数据，每架飞机会产生 40TB 的数 据，每个小型的工厂会产生 1PB 的数据”-IntelCEOBianKzanchirr时代机遇 - 数据量爆炸性增长与数据库现状的矛盾现有数据存储技术制约有状态的数据难以扩展，数据孤岛；大数据技术栈处理时延高，并发处理能力弱；实时分析时效慢，数据服务价值低；用户需求按需水平扩展，灵活的业务不再受制于基础架构；高并发、响应延时低且稳定；实时决策；“防范化解金融风险特别是防止发

3、生系统性金融风险，是金融工作的根本性任务。要加快金融市场基础设施建设，稳步 推进金融业关键信息基础设施国产化。”-2019年2月，习近平在主持中共中央政治局第十三次集体学习时发表重要讲话。加强分布式数据库研发应用。-2019年8月，中国人民银行金融科技发展规划（20192021年）时代机遇 - 金融供给侧结构性改革开源软件正在改变 IT 行业开源，是当今基础软件领 域取得世界范围内成功 的最优路径。Redhat 市值 300+ 亿美金MongoDB 市值 90+ 亿美金Elastic Search 市值 60+ 亿美金Cloudera 市值 20+ 亿美金Confluent（Kafka）D 轮

4、 1.25 亿美元融资（2019.1）Databricks（Spark）E 轮 2.5 亿美元融资（2019.2）Redis Labs E 轮 6000 万美元融资（2019.8）CockRoach Labs C 轮 5500 万美元融资（2019.8）PingCAP（TiDB）C 轮 5000 万美元融资（2018.9）立势 - TiDB 从最难的路开始不妥协的设计目标回归到 2015，重新设计一个数据库，我 们认为具备如下目标：扩展性（Scale-out），动态弹性不仅仅是数据量，还包括吞吐量强一致高可用标准 SQL 与 事务（ACID ）MySQL 协议基于云HTAP核心业务数据在公司有

5、多少副本？如何从 30+ - 10-行列混合、多计算引擎不放低的标准要求最高的客户挑战最难的场景两个行业高地技术要求最高的互联网稳定可靠最苛刻的金融蓄势 - TiDB 关键技术创新高度分层的架构MySQL Drivers(e.g. JDBC)TiDBTiKVMySQL ProtocolRPC无状态的计算层分布式且支持事务的Key-Value 存储引擎PD自动、自定义调度API (gRPC)Transaction MVCCMulti-Raft (gRPC) RocksDBSQLASTLogical PlanOptimizedLogical PlanCost ModelSelectedPhysic

6、al PlanStatistics扩展性（弹性）的基础 - 自动分片(-, +)TiKV Key SpaceRegion (Range)ID: RegionX Range: start_key, end_key)Region Metadatastart_keyend_key来寻址。全局有序的 KV map按照等长大小策略自动分裂分片（96 M）每个分片是连续的 KV，通过 Start/End key每个分片 Seek 成本固定我们称该分片为 Region，它是复制Sor、ted调Ma度p的最小单位每一个分片也是弹性的Region 1 a-z)Region 1 a-z)increaseRegio

7、n 1 a-n)Region 2 n-z)SplitRegion 2 n-z)Region 1 a-n)decreasedecreaseRegion 1 a-z)Merge自动 merge96 MB 自增分片20 MB 合并分片SplitMerge弹性的复制组、强一致的复制算法Raft 、Multi - raftleader、follower、learner目前是强主模式、读写在 leader 上4.0 版本开启 followerreadVS当你创建一个表TiKV Node 3Store 3TiKV Node 1Store 1TiKV Node 2Store 2Region 1*Region

8、1Region 1Lets say, the amount of data within Region 1 exceeds the threshold (default: 96MB)PDPDPD随着数据量的增加，开始了自动分裂TiKV Node 3Store 3TiKV Node 1Store 1TiKV Node 2Store 2Region 1*Region 1Region 1Lets say, the amount of data within Region 1 exceeds the threshold (default: 96MB)PDPDPDI think I should spl

9、it up Region 1Rart 复制组随着分片分裂而增加TiKV Node 3Store 3TiKV Node 2Store 2TiKV Node 1Store 1 Region 1*Region 1Region 2*Region 1Region 2Region 2Region 1 will be split into two smaller regions.(the leader of Region 1 sends a Split command as a special log to its replicas via the Raft protocol.Once the Split

10、command is successfully committed by Raft, that means the region has been successfully split.)PDPDPD副本丝滑的搬迁TiKV Node 3Store 3TiKV Node 2Store 2TiKV Node 1Store 1 Region 1*Region 1Region 1Region 2*Region 2Region 2TiKV Node 4Store 4PDPDPDPD: “Hey, Node1, create a new replica of Region 2 in Node 4, and

11、 transfer your leadership of Region 2 to Node 2”复制一个新的 followerTiKV Node 3Store 3TiKV Node 2Store 2TiKV Node 1Store 1 Region 1*Region 1Region 1Region 2Region 2*Region 2TiKV Node 4Store 4Region 2PDPDPD业务无感的副本迁移，让集群动态成为可能TiKV Node 3Store 3TiKV Node 2Store 2TiKV Node 1Store 1 Region 1*Region 1Region 1R

12、egion 2*Region 2TiKV Node 4Store 4Region 2PDPDPDPD: “OK, Node 1, delete your local replica of Region 2”弹性的灵魂 - 调度Node 1Node 2PDScheduling StrategeCluster InfoAdminHeartBeatScheduling CommandRegion CConfigMovement分片数量、Leader、吞吐量自动平衡自定义调度接口支持跨 IDC 表级同时写R入egion ARegion B动态扩展的数据库打破了单表数据量的天花板打破了单集群写入吞吐量的

13、天花板让表级多 IDC 同时写入成为可能让海量数据下 HTAP 成为了可能分布式事务去中心化的两阶段提交通过 PD 全局受时（TSO）4M timestamps 每秒每个 TiKV 节点分配单独区域存放锁信 息（ CF lock）Google Percolator 事务模型TiKV 支持完整事务 KV API默认乐观事务模型也支持悲观事务模型（3.0+ 版本）默认隔离级别: Snapshot IsolationTiDB 计算引擎 TiDBserver完全重构的高度兼容 MySQL 计算引擎标准 SQL 支持，DML & DDL支持 Online DDL，加字段秒回二级索引、Partition、

14、View、Window functionRBO & CBO相比 MySQL，更多的算子，hash join、 index join最大程度的下推策略、谓词、聚合、TOP-N、limit向量化执行引擎分布式执行引擎SQLASTLogical PlanOptimized Logical PlanCost ModelSelected Physical Plantidb-serverStatisticsTiKVTiKVTiKVTiKVTiKVTiKVTiKV Cluster取势 - TiDB 破茧而出及高速演进3.0 我们做的不仅仅如此。易用性更多的系统视图，通过 SQL 进行慢查询分析。新的功能分区

15、表Titan 存储引擎，将大 value 分离，减少读写放大，思想来自 WiscKey。插件系统，白名单、审计等：RBAC优化器准确性提升，快速统计信息等：Fast/Increamental Analyze：悲观锁：Pessimistic Lock (experimental)SQL 执行计划管理与绑定：SQL Plan Management静默 Region：优化冷 Region 心跳策略：Hibernate regions分布式 GC 机制：让 GC 更高效并行：Distributed GC性能提升4.5x 提 升 TPC-C benchmark1.5x 提升 Sysbench bench

16、markHTAP 伪命题？还是可探索的HTAP 必须是在一个计算引擎、一个存储引擎吗？我们认为，HTAP 是针对业务来说，DB 透明且实效。扩展性为 HTAP 奠定了基础，但还远远不够。借助大数据生态，我们研发了 TiSpark，丰富了计算能力。但仍然有两个核心矛盾行存对于分析场景不友好没有列存，你们也敢说自己是 HTAP？无法做到 Workload 隔离SparkExecSparkExecExecTiKVTiKVTiKVSparkDriverTiSparkTiSparkTiSparkTiSparkTiKVPlacement Driver (PD)gRPCgRPCretrieve data l

17、ocationSparkretrieve data from TiKVTiKV准实时更新的列存 - TiFlash通过 Raft Learner 独立同步一套列存Raft Learner 提供极低消耗的副本同步Raft Learner 读取协议配合 MVCC 提供强一致的读取通过 Label 进行物理隔离AP / TP 作业互相无影响部分基于 ClickHouse准实时更新的列存TiDB/TiSpark + TiKV/TiFlash两个独立的行列存储引擎、两个独立的计算引擎通过 Raft 复制来代替繁重的 ETL，可以支持准实时的 OLAP30 个业务副本可收敛到 10 个，甚至更少下一步，同

18、一个 Query，优化器可以进行不同的寻址没有覆盖 100% 场景的 HTAP，但支持的范围可以一直扩大相似性能、更高易用性围广 - TiDB 用户与人才的繁荣坚定开源Github: 20000+ stars, 开源分布式 NewSQL 领域排名第一；Github：400+ contributors，代码贡献者遍布全球；合作开发机构包括 三星、美团、知乎、微众银行等；2018年度全球最佳开源软件奖（by InfoWorld）；CNCF 第一个 Key-Value 数据库项目（2019.5）；CNCF Landscape（2017.6）；Bigdata Landscape（2018.7）；CNCF 基金会统计的旗下开源项目全球各 组织贡献排行榜排名第六；同时是全球前十名中唯一的创业公司，贡 献仅次于华为；人才战略我们认为：TiDB 人才是最终的竞争力。所以， 在这个 ToB 的行业，我们采取 ToC的策略。我们内部叫做 ToE，面向所有和 TiDB 相关的Enginer。为此，我们发起了 TiDB User Group （TUG