中国银联自研分布式数据库架构

1、中国银联自研分布式数据库架构技术创新，变革未来1. 业界分布式数据库产品变化2015年分布式数据库相关产品2016年分布式数据库相关产品现在？腾讯：TDSQL (DCDB)阿里：DRDSPetaData (HybridDB for MySQL)MariaDB：SpiderPingCAP：TiDB巨杉SequoiaDB亚马逊、阿里Aurora、PolarDB数据存储：MySQL高可用：MySQL复制数据存储：KV高可用：Multi-Raft数据存储：KV高可用：类似MySQL复制分布式存储引擎单点写、多点读存储与计算分离Proxy技术路线丰富完善Proxy层的SQL解析能 力主要技术状态分布式事

2、务支持TDSQL支持DRDS支持(多种分 布式实现模式)复杂语句聚合类有限支持不支持部分数据类 型ProxyxxSQLxxSQLxxSQLxxSQLxxSQLxxSQLxxSQLxxSQL技术路线实现分布式的存储引 擎主要技术状态支持分布式事务复杂语句支持复杂语句并增加特性DDL支持不支持单点DDL性能：与数据节点之间为同 步调用集群性能低于单机MariaDBMariaDBMariaDBMariaDBMariaDBMariaDBMariaDBMariaDBMariaDBMariaDBStorage EngineSpiderInnoDBSQL Interface、Parser、Optimizer

3、、 Caches & BUffersConnection Management技术路线借鉴Google Spanner和F1使用KV进行数据存储使用Multi-Raft实现高可用与数据迁移主要技术状态支持分布式事务乐观锁机制：不适合热点数据较好的MySQL兼容性时延较高成本较高ProxySparkSQL技术路线使用KV进行数据存储实现分布式存储引擎主要技术状态支持分布式事务支持复杂语句悲观锁，不适合高并发场景较好的MySQL语法兼容支持多种xSQL主数据节点从数据节点从数据节点主数据节点从数据节点从数据节点主数据节点从数据节点从数据节点主数据节点从数据节点从数据节点Proxy协调节点Proxy

4、PostgreSQLProxyMySQLProxy编目节点ProxyAPP技术路线通过Proxy层进行复杂 语句路由OLTP与OLAP混合主要技术状态分布式事务简单语句支持分布式 事务复杂语句目前不支持 事务复杂语句支持MySQL单机语句增加了OLAP特性语法 支持TPC-HTPC-DSTransactionCoordinatorAliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)AliSQL (TokuDB)ProxyRoutime C

5、ontrollerCompute WorkerComplex SQLDistributed TransactionSingle Partition Query/Transaction技术路线单点写、多点读Aurora已支持多点写存储计算分离分布式文件系统用户态读写网络、文 件主要技术状态读性能线性扩展写性能可以达到 MySQL单机性能的6 倍以上2. 银联架构演进UPSQL ProxyProxyUPSQLUPSQLUPSQLUPSQLUPSQLUPSQLUPSQLUPSQLUPSQL(Master)UPSQL(Standby)协调器Coordinator事务管理器Trx Manager语句路由

6、 SQL Router简单语句Simple SQL复杂语句 Complex SQL 元数据与辅助处理器 Metatda & Coprocessor存储引擎Storage Engine自研存储引擎Lamost应用APP应用APP应用APP应用APP应用APPUPSQL(Master)UPSQL(Standby)UPSQL(Master)UPSQL(Standby)UPSQL(Master)UPSQL(Standby)MySQL网络协议 MySQL Protocolselect product, sum from( select product, sum(profit) as sum from t

7、1group by product with rollup) as tmpwhere product is null;UPSQL数据分片UPSQL. .Metadata & CoprocessorCoordinatorCoordinator Coordinator 使用Handler语法扫描实体表数据UPDRDB能支持跨分片join、子查询、视图、UDF等复杂语句，其一般处理流程为：协调器(Coordinator)将复杂语句转发给辅助处理器(Coprocessor)如果操作的表为Lamost引擎，Lamost引擎会将相应操作转换为Handler语句，从实体表获 取数据辅助处理器根据获取到的数据

8、进行语句处理，并将最终结果返回协调器 语句转发辅助处理器1.0.0.21.1.0共享集群基于Schema数据拆分1.2.0运维需求1.2.1数据库恢复感知1.2.2高可用主动感知1.2.3兼容多源复制1.2.4聚合查询优化1.2.5适应分库业务逻辑1.2.6后端机制优化2015-08-312015-11-182016-05-202016-06-2.20.1.3UPSQL Proxy 11.2.7高可用优化2.0.0分布式事务2.0.2支持多源复制协议2.0.1后端机制优化2.0.3STMT改进2017-07-072.1.0Fetch与分页2017-11-24U

9、PSQL Proxy 22.2.0数据搬迁与扩缩容自动化2018-08-282.3.0适配：TSP系统2018-09-282.4.0流式处理（适配：商户与公参数管理）2.4.2语句解析缺陷修复2018-12-192.4.1行业与内容云迁移适配2.4.3UPDRDB优化点同步2.5.0支持IPv62020-06-301.0.0基线版本2019-09-031.1.0扩缩容优化1.2.0小表不拆分1.3.0支持IPv62019-11-042020-03-022020-06-301.4.0安全加固2020-10-311.3.1ARM适配UPDRDB3. 产品迭代的不同阶段2017年之前，我们主要解决数

10、据库高可用、 简单的数据拆分2017年开始，以分布式事务、异步连接池 为重点主要提供分布式功能与性能2018年底开始，开始论证技术路线，考虑 更为统一的复杂语句、扩缩容等问题的解 决方案4. 分布式数据库取决于：架构 or 功能？技术路线含义特征产品混合方案产品新架构基于新架构创建的新型 分布式数据库。设计之初就考虑了分布 式特征。具备较高的硬 件要求，且存在稳定性 担忧。OceanBase TiDB存储引擎在传统数据库之后，研 发分布式存储引擎，以 具备分布式数据库关键 特性。与传统数据库具备极好 的兼容性，但性能损耗 较大，部分产品存在明 显提升上限。SequoiaDB-MySQL(巨杉)

11、 MariaDB SpiderAurora (by Amazon) PolarDB (by Alibaba ) CynosDB (by Tencent)混合存储引擎和中 间件方案，在兼容 性、稳定性、扩展 性上进一步发展。PolarDB-XUPDRDB透明中间件在传统数据库之上构建 中间件。具备高性能、低成本和 稳定性特征。但与传统数据库的兼容 性最差。Vitess(from Youtube)Sharding-Sphere UPSQL Proxy TDSQLGoldenDBAndrew Pavlo and Matthew Aslett. Whats really new with newsql? 45(2):45-55, 2016.Newsqlthe new way to handle big data. /2012/01/newsql-handle-big-data/.5. 开源 or 闭源2012发布JAVA容器 UPJAS私有云投产2014发布服务调用框 架Magpie发布关系型数据 库UPSQL2017发布Linux操作系 统UPEL发布消息中间件 UPKafka2015发布数据库中间 件UPSQL Proxy2016发布NOSQL数