全时态数据库技术的数据闪回

1、技术创新，变革未来腾讯TDSQL基于全时态数据库技术的全数据闪回腾讯金融级云数据库解决案（CDB for TDSQL）面向金融类业务，十年积累，亿级账户验证腾讯公司内与计费、充值、转账、财务等核系统90%以上都使TDSQL！2002腾讯SP业务原MYSQL2004增值业务分库分表伸缩2008业务爆炸致性、7X24 可性2010腾讯计费超并发超短 时延2012师腾讯 充值更名TDSQL2015腾讯云金融云2014WeBank私有化部署20172018全时态数分布式事 据库务1技术和业务结合2 技术和数据结合TDSQL简介录CONTENTSTDSQL全时态数据库理念TDSQL分布式全时态数据库原理

2、与架构TDSQL基于HTAC的全闪回技术Application development is complex，应开发复杂：各种应使业务日志产日志：不同应创造了不同格式的日志存储日志：量冗余信息（源库 + 日志）分析日志：读、解析、分析The logic of the data is fragmented，逻辑割裂：业务按日分表，只能按日进结算，不能灵活、便的计算。如计算任意时间段内的数据，日表在物理上割 裂了数据按时间的逻辑连续特性，需要指定若个特定的日表才能进计算。No real time characteristics，实时特性丢失：如上两个问题，隐含地，意味着 进计算的数据需要导到个新的

3、分析系统进计算，导出/导数据的过程 也带来了资源和时间的消耗、使得分析系统难以具备实时计算特性。Complexity of data management，数据管理复杂：另外，日志等信息，是历史 数据，需要期保存。对不同格式、海量的日志进存储与管理，这成为个巨的挑战。TDSQL全时态数据库理念与解决的问题TDSQL数据作者的核价值观：历史数据富有价值切过往（数据的历史和状态）兼可追溯TDSQL数据作者的核理念：为数据赋能TDSQL全时态数据库理念与解决的问题TDSQL全时态数据库理念与解决的问题TDSQL简介录CONTENTSTDSQL全时态数据库理念TDSQL分布式全时态数据库原理与架构TD

4、SQL基于HTAC的全闪回技术TDSQL全态数据模型数据的状态属性，标识数据的命周期轨迹。数据的命周期分为三个阶段，每个阶段刻画数据的不同状态属性，以标识数据的命周期轨迹中所处的状态。当前态（Current State）：数据项的最新版本的数据，是处于当前阶 段的数据。处于当前阶段的数据的状态，称为当前态。历史态（Historical state）：数据项在历史上的个状态，其值是旧 值，不是当前值。处于历史阶段的数据的状态，称为历史态。个数据项的历史态，可以有多个，反映了数据的状态变迁的过程。处于历史态的数据，只能被读取不能再被修改或删除。过渡态（Transitional State）：不是数

5、据项的最新的版本也不是历史态版本，处于从当前态向历史态转变的过程中。处于过渡态的数据，称为半衰数据。TDSQL全态数据操作语义只有够丰富的操作语义才能撑起个有价值的数据模型当前态数据的户操作语义（符合传统数据库在数据上的DML、DQL 操作语义）历史态数据的户操作语义（符合时态数据库的双时态概念）事务操作语义（全时态数据的致性管理）TDSQL全时态数据模型全时态 = 全态数据 + 双时态数据TDSQL全时态数据模型 = 全时态 + 数据操作语义TDSQL全时态数据库存储层原理Multi-Version Concurrency Control数据库对于个逻辑对象维护多个物理版本The DBMS

6、maintains multiple physical versions of a single logical object in the database对象的粒度-数据库、表、属性当事务对个对象进写操作时，数据库会创建个新的版本当事务对个对象进读操作时，读到可的最新版本TDSQL全时态数据库事务层原理TDSQL全时态数据库事务层原理Multi-Version Concurrency Control并发控制协议 (快照+可性判断)多版本存储垃圾清理索引管理Time-travel每次更新把当前版本拷到历史表，并标记位置在主表中写新版本TDSQL全时态数据库事务层原理start transaction; 修改user1的金额; 修改user2的金额; commit;TDSQL全时态数据库事务层原理核算法：TDSQL分布式全局读致性算法腾讯全时态数据库创新的系统架构HTAC（Hybrid Transaction/ AnalyticalCluster）混合事务/分析集群3个融合：全态数据融合AP和TP处理融合架构向数据模型融合TDSQL全时态数据库性能验证UPDATE-TPSUPDATE-LatencyTDSQL简介录CONTENTSTDSQL全时态数据库理念TDSQL分布式全时态数据库原理与架构TDSQL基于HTAC的全闪回技术Oracle的闪回TDSQL全时