2023中兴通讯GoldenDB分布式数据库架构及核心功能

GoldenDB分布式数据库架构及核心功能目录1分布式数据库概念3

GoldenDB产品架构与核心功能2金融行业典型案例01分布式数据库概念数据库行业技术发展历史和趋势时间轴1960s1990s2000s2010s2020sIBM/ORACLE推动OLTPscale

up扩展Google分布式论文发布电子商务、互联网金融大幅发展HTAP类数据出现融合事务处理和分析能力数据管理系统分析型数据系统事务型数据系统NoSQL数据库出现解决分析性能问题事务型数据库仍以纵向扩展为主分布式事务型数据库兴起系统架构x86架构的线性扩展必须解决分布式事务强一致的难题高可靠高性能两地三中心，满足监管 要求满足互联网金融业务的 高并发高性能要求智能运维运维复杂度增加自动化运维智能监控来源：中国信通院《金融分布式事务数据库白皮书》技术挑战分布式数据库概念及架构演进来源：中国信通院《金融分布式事务数据库白皮书》概念：分布在一个计算机网络上的多个逻辑相关的数据库集合。系统通常是地理上分散而逻辑上集中的数据库系统，即通过计算机网络将地理上分散的各个局域节点连接起来共同组成一个逻辑上统一的数据库系统。因此分布式数据库相比传统数据库具有物理分布性以及逻辑整体性的特点优势：分布式数据处理架构，有效提高系统性能低成本和灵活扩展性好系统的可用性和可靠性强02GoldenDB产品架构与核心功能GoldenDB发展历程中信银行核心下移并行仿真上线首个商用版本中信银行冠字号文件数据库EBASE-MEM分布式数据库GoldenDB统一门户同业平台江苏银行后督系统中信银行统一卡积分江苏省农信互金平台2015201620172018200220112007EBASE内存数据库DHSS金融分布式数据库201420192020中信银行信用卡核心投产18年技术积累100%内核掌控100+发明专利银监会一类成果奖金融电子化优秀自主创新奖人行科技发展二等奖南京市科技进步奖年度优秀网信产品基础软硬件奖获Gartner报告推荐中信银行总行核心正式投产(计划)GoldenDB领跑国产数据库测试工信部信通院“分布式事务数据库”测试唯一满分通过认证GoldenDB设计目标：满足银行核心业务的关键需求实时一致的分布式事务控制全局事务管理机制，确保高并发下的读

写一致性和隔离性。已提交事务回滚机制，提高应用开发的透明性。满足金融场景的容灾方案快同步和数据库分组技术，确保高并发下同城RPO=0，RTO<30s，全局

一致的备份恢复技术，确保数据误删除时能恢复到任意时刻点。不停服务的联机重分布日志回放和冻结方案，数据重分布对现有业务无影响。分布式隔离级别，确保锁影响范围降低，减少冲突，提升性能。丰富完善的监控和运维能力监控、统计和告警设计联动，确保能够快速感知系统状态变化。自动化的切换和故障恢复能力，确保数据库服务的高可用。Share-nothing分布式架构，各层可线性扩展多样化集群形态灵活匹配多种业务场景：一套GoldenDB集群适配多种业务场景，提升资源利用率同时实现统一运维管理。GoldenDB采用Share-nothing架构No-ShardingSharding集群计算节点集群GTMNode

1Node

2OMMNode

n…………APP1APP2客户端接入层APPN…Distribute

Transaction集群…GoldenDB金融级数据强一致解决方案事务自动补偿机制，实现分布式事务原子性全局事务乐观锁，实现分布式事务隔离性全局活跃事务控制，保证数据备份恢复全局一致性事务理论的分布式延伸DDB1(主)DB2(主)DB3(主)DB1(从)DB2(从)DB3(从)table单机数据库:保证事务在事务内(原子性-A)、事务间(隔离性-I)和故障时(持久性-D)的一致性(C)。分布式数据库：将数据库事务的ACID理论延伸到分布式架构下。A

IC计算节点1计算节点2计算节点3DB日lo志gtable单机数据库分布式数据库原子性：多条记录的多次操作要么一起成功，要么一起失败。原子性：多个数据分片上的多次操作要么一起成功，要么一起失败。隔离性：不同连接(处理线程或进程)不会相互访问到未提交事务的数据。隔离性：多个计算节点上的不同连接不会相互访问到在多个数据分片内未提交事务的数据。持久性：事务提交前必须先将日志落盘，机器重启后不丢失数据。持久性：事务提交前必须将日志在分片主、从节点都得到复制，主节点故障时从节点上仍能找回数

据。APP1

APP1

APP2APP3分布式事务的难点要实现分布式事务的实时一致性（保证ACID

），难点在哪？部分DB提交失败，如何保证全局事务的原子性(A)？并发访问时，每个事务都不知道其他事务的状态，如何保证事务之间的隔离性(C)？更近一步地，部分DB提交成功，部分DB提交失败时，如何保证回滚期间的隔离性(C&A)？以转账交易为例:交易前2个账户资金余额各100，事务T1从账户1转账50到账户2;在事务T1提交期间，由于DB1和DB2提交时 间有空隙，若此时事务T2读取2个账户的余 额，会发现余额之和是50+100=150。因事务之间的隔离性问题产生数据读不一致。存在事务T1对账户1上扣钱成功，给账户2加钱失败的情况。因事务内部的原子性问题产生数据写不一致性。账户1减50账户2加50账户1提交查询账户1和账户2的余额DB1DB2APP1

APP2

计算节点从账户1转账50元到账户2事务T1事务T2账户2提交，但提交失败查询账户1余额查询账户2余额余额50余额100A=100B=100B=100B=100实时强一致分布式事务控制commitA-50，

B+50A-50B+50Global

RollbackB->100A->100RollbackA=100A:100<-50A->50B->50A=50A:100->50APPJDBC/ODBC基于自动补偿机制实现分布式事务的原子性，对应用透明。引入GTM彻底解决分布式数据库脏读问题，保证全局事务的一致性。一阶段提交方案，提升系统处理性能。APP2JDBC/ODBCAPP3JDBC/ODBC计算节点集群全局事务管理器

GTMFailureDB1DB2DB3实时可靠的强一致性分布式事务处理，正确率100%全局一致的备份恢复备份：元数据+表数据+日志+活跃事务列表；全量、增量备份，定时、实时备份；在线热备份；与第三方工具集成。恢复：恢复到全局一致状态；可恢复到任意时间点。分布式数据库恢复到全局一致的数据才是可用的。1月1日全量备份数据分片1数据分片n数据分片2...OMM管理台

(备份策略设置)1月2日增量备份实时备份事务日志，数据可恢复到任意时间点。同步备份全局状态信息，用该信息将数据恢复到全局一致状态。GoldenDB数据高可靠解决方案组件高可靠两地三中心系统级高可靠容灾方案快同步机制、分组管理、高低水位数据高可靠-组件高可靠组件全冗余设计、故障自动切换计算节点集群：无状态设计,故障自动切换。数据节点集群：每个数据分片由多个副本组成，一主多备，快同步复制，节点故障自动切换，

新主选择交由管理节点处理。GTM：由多个副本组成，一主多备，实时消息同步复制，节点故障自动切换，新主选择交由管理节点处理。管理节点：高可用部署，快同步复制，节点故障自动切换。管理节点APP1JDBC/ODBCAPP2JDBC/ODBCAPP

nJDBC/ODBC……主数据分片1备备主数据分片n备备计算节点集群GTMLoadBalance(F5)主

主备

备

备

备数据节点集群数据节点副本间采用多种日志复制技术，满足不同场景需求，在保证数据的高可靠的同时实现高性能。MasterSlave1Slave2事务提交日志写入日志发送日志发送ACK确认

ACK确认校验判断

ACK数目事务提交ACK确认异步复制：方案：主库写入日志后即可返回客户端消息，无需等待日志传送给从库；效果：主备复制不影响主节点事务处理；最大性能模式，

RPO不为0。快同步复制：方案：配置的副本同步策略满足后，主库返回操作结果给客户端，策略不满足时产生告警或切换为只读；效果：可实现RPO为0，且保证复制性能。关键技术：线程池、非阻塞式同步并行复制日志持久化日志持久化高效可靠的数据同步技术数据高可靠-分组管理DB-SDB-SDB-MAPPDB-SDB-SDB-S问题全节点的数据同步，代价高昂，用户体验差目标用更低的代价实现RPO=0方案数据节点按照区域分组主节点按照收到组响应数，来给应用回响应只要分组内有一份完整数据即可数据零丢失效果精简响应，缩短响应时间并保证RPO=0数据高可靠-高低水位安全策略水位：主机收到分组响应的数目，数目越多水位越高，数目少则水位低用户需求模式分组响应>=3分组响应=2分组响应=1分组响应=0数据很重要，一定不能丢数据高水位=3低水位=1数据库运行正常产生告警，数据库提供读写服务产生告警，数据库提供读写服务产生告警，数据库仅提供只读服务用户体验很重要，一定不能停服务高水位=2低水位=0数据库运行正常数据库运行正常产生告警，数据库提供读写服务产生告警，数据库提供读写服务以3分组为例，不同用户配置的影响：高水位:业务正常工作的系统环境安全存在隐患

低水位:业务维持工作能够容忍的最低系统环境危险！！系统正常运行告警！系统正常运行告警！仅提供读服务系统策略数据高可靠-两地三中心容灾本地机房(A)APP……主从主从计算节点…GTM从Group2Team1管理节点主

从Group1Team1主智能DNSLoadBalance异地机房(C)APP……从从从从计算节点…GTM从Group2Team3管理节点从

从Group1Team3从智能DNSLoadBalance…从

从Group1Team2从

从管理节点GTM从Group2Team2从

从从同城机房(B)APP…智能DNS

LoadBalance计算节点…异步复制，RPO<30秒同城灾备RPO=0按业务灵活配置容灾策略优先本地机房切换，切换对应用全透明数据复制按机房响应，降低多副本时延容灾切换数据全局一致(同城、异地)支持两地三中心可视化运维管理支持孤岛演练GoldenDB性能扩展解决方案多级扩展多级分片在线数据重分布读写分离性能扩展-多级SCALE-OUT计算节点、数据节点可横向线性扩展，满足性能及容量的各种处理需求计算节点根据业务需要可灵活配置计算节点数量，实现处理性能线性扩展计算节点集群内置链接池链路共享，数据库链接数线性可扩展APPAPIDataBaseAPPJDBC/ODBC计算节点集群Node

1 Node

2Node

nAPP

…JDBC/ODBC架构演进Scale

out

…DB-SAPP

…JDBC/ODBC…No-ShardingDB-MSharding集群Shard1-M

Shard1-SShardn-MShardn-SSharding集群Shard1-M

Shard1-SShardn-MShardn-S性能测试数据-典型核心业务测试23500450004000035000300002500020000150001000050000核心业务TPS40000GoldenDB

16分片

GoldenDB

30节点GoldenDB

16分片达到20000TPS，

30分片40000TPS，满足核心业务性能要求性能呈线性增长60504030201003000TPS

10000TPS

20000TPS事务时延（ms）共16条SQLGoldenDB5%20%0%5%10%15%20%25%线性扩展损

率GoldenDB

同类产品在横向扩展时，GoldenDB整体性能损控 制在5%，远低于同类产品性能损率，几Ⓖ近线性扩展（中信银行核心业务下移技术验证测试数据）3000TPS时，GoldenDB事务平均时延为15ms20000TPS时，GoldenDB事务平均时延为

52ms性能扩展-分片策略一级按照法人字段国外的客户到服务器1数据行法人客户类型业务类型法人1法人2二级按照客户类型字段国内的非重点客户到服务器2三级按照业务类型字段国内的重点客户对公业务到服务器3其他数据到服务器4一般客户重点客户对公业务对私业务精细化控制数据在集群中的分布形态尤其适用于多法人场景，将不同法人的数据划分到不同数据Group支持多样化的分片策略：支持按哈希拆分数据集支持按范围拆分数据集支持按列表拆分数据集支持单节点/多节点复制多级分片功能支持多达5层分区支持多个分区键使用不同分片策略性能扩展-动态数据重分布支持数据节点的扩容、缩容，能高效地将数据均匀分布到数据库集群上，同时保证对在线业务影响小、且可操作性强：高性能：支持关联表表并发重分布；可操作性好：全程可视化控制，包括执行、暂停、继续、取消、异常情况下的重试等；使用Map映射的方式保存元数据信息，重分布迁移时数据切片粒度更细，IO消 更少，重分布操作更加平滑。节点3节点1节点2一致性哈希0612节点6153节点49节点5节点3节点1节点2一致性哈希0612性能扩展--读写分离DB-MDB-S计算节点计算节点RW/RRLoadbalanceDB-S快同步复制GoldenDB支持将DQL查询负载均衡到从库，提升系统资源利用和处理效率。对应用透明：应用无需改造，在数据库运维界面简单配置即可实现功能；可视化运维管理：支持在线调整权重，支持在不同集群中使用不同的负载均衡模式；SQL

Hint提示：支持个别高实时性的SQL通过Hint指定至Master执行。GoldenDB业务迁移解决方案数据库语法兼容数据在线、离线迁移工具业务易迁移-全面的语法兼容性兼容标准SQL语法兼容SQL92、99、2003标准语法兼容复杂的SQL语法100%兼容MySQL语法基本兼容SQL标准语法，支持Mysql工具生态圈强大的分布式优化器，复杂SQL语句兼容性和处理性能优兼容常用ORACLE语法支持Oracle

OCI接口，支持常见的Oracle函数、关键字等，业务迁移更高效全局唯一序列值兼容Oracle

Sequence语法单调递增性,多模式选择GoldenDB分布式数据库兼容SQL标准语法，支持MySQL协议，支持常用的Oracle语法，内置强大的分布式SQL优化器，业务迁移难度低。合并下压分片剪枝AVG等聚合函数优化多步骤执行数据节点提示去重消除常数折叠死代码消除内置强大的SQL优化器：条件繁殖group

by重写distinct下推order

by下推limit下推条件下推并行执行……数据易迁移-导入导出与在线交易分离1、支持结构化的文本文件导入导出2、支持导出库表等数据字典信息3、支持部分字段导入导出4、支持对数据行进行处理后导入导出5、支持断点续传6、支持导入出错数据转SQL语句7、黑白名单权限控制功能1、数据批处理2、表结构发生变化3、业务迁移场景1、工具灵活可视，易用性好2、数据迁移流与交易流分离，降低对联机业务影响3、容错性高，最大程度完成数据导入导出特性计算节点集群LoadServerAPP文件数据迁移流交易流双向数据传输服务DTS保证交易一致性：只同步已提交的数据拓扑灵活，可扩展性好支持数据清洗和转换可视化的数据流程管理异构数据库双向实时数据同步支撑应用平滑的数据迁移，同时可用于数据实时分析、业务数据共享等解决方案。......GoldenDBOracle/MySQL等异构数据库双向实时同步服务LogGoldenDB统一运维解决方案统一安装统一运维统一监控GoldenDB运维能力概览GoldenDB

InSight运维数据分析挖掘平台运维数据归集、分析挖掘及展示，包括SQL诊断、会话诊断、空间诊断、日志分析等。GoldenDB

OMM统一运维管理平台可视化运维操作平台。GoldenDB日志集运维日志慢查询日志审计日志可视化的日志挖掘全流程日志跟踪GoldenDB

Tool

Suite工具集全链路问题诊断工具

GoldenDB

PD操作管理命令行工具dbtool数据同步和导入导出工具GoldenDB巡检、排障操作维护排障一键安装，不停服务升级，保证升级期间的业务连续性，支持升级任务编排系统自动巡检，自动检测故障，系统主动自愈修复提供集群用户管理、元数据管理、配置下发和配置比对等功能数据重分布操作、备份恢复、主备一致性检查等运维操作可视化操作运维能力开放：接入第三方平台，供其他系统调用和扩展编排GoldenDB提供统一管理门户和丰富的运维工具，实现高效、智能、可视化运维管理。工具集智能化、极简化、可视化自动巡检1集群管理 配置管理2

3安装升级4统一监控5主备一致性检查6数据重分布7备份恢复10安全管理 监控告警8

9统一运维平台GoldenDB

OMMGoldenDB提供统一管理门户和丰富的运维工具，实现高效、智能、可视化运维管理。统一运维平台GoldenDBOMM监控系统数据采集系统资源（内存/磁盘....）

日志（慢查询/审计...）

专业数据（锁/连接....）第三方监控平台实时状态日志分析空间诊断SQL诊断事务诊断配置诊断组件资源日志跟踪增长趋势锁冲突SQL长事务配置比对监控告警故障定位重分布建议查询计划建议状态分析关联分析系统资源日志搜索空间分析慢SQL事务回滚状态变量运维数据分析挖掘平台GoldenDB

InsightGoldenDB

Insight平台是可插拔式的，从GoldenDB系统中采集数据，进行数据分析，展示分析结果。提供日志分析、空间、SQL、事务、配置等诊断功能，针对系统问题和瓶颈进行分析和预测，助力运维自动化和智能化。运维数据分析挖掘平台GoldenDB

Insight问题诊断工具-GoldenDB

PDPD基础功能全链路运行状态详情当前运行SQL语句详情统计信息（表RUID数，倾斜度分析等）数据库进程堆栈信息历史SQL语句的执行信息锁等待、死锁等锁信息.......DDBB状状态态（（主主从复从制复、制恢、复恢进复进度度等）等）应用报错数据库告警GoldenDB

问题诊断工具：提供从应用经计算节点到数据节点的全链路交易跟踪及问题诊断能力。应用侧报错：自顶而下，根据流水号定位相关SQL，下沉到DB，定位到数据节点上的相关链路DB侧告警：自底而上，根据告警链路信息定位到流水号，上浮到计算节点，定位到对应的交易链路应应用用交易流水号

交易流水号计算计节算点节点

数数据据节节点点03金融行业典型案例GoldenDB在中信银行的实施路径冠字号系统合作平台投产金融同业平台成功投产核心下移预研启动卡中心核心下移启动零售客户综合积分系统投产中信银行门户网站系统投产总行核心仿真投产卡中心核心生产投产总行核心生产投产历程：现稳中求进，不断深入总行电子渠道（对私）业务处理平台2015年9月2016年11月2016年5月2017年6月2017年4月2018年3月2018年11月2019年10月2019年12月2020年上半年架构变革：从封闭的IBM

AS/400集中式架构迁移到X86服务器的开放分布式架构。代码转换：应用核心处理逻辑保持不变，通过工具自动转换为JAVA，保护多年的应用积累。分布式数据库取代传统数据库：分库分表架构实现系统横向平滑扩展，满足金融强一致性分布式事务要求。降低成本：从传统架构迁移到分布式架构后，可显著降低硬件成本和开发成本。RPG/COBOLDB2IBM

i/UNIXIBM中间件小型机改造前架构 改造后架构分布式数据库（GoldenDB）计算节点1计算节点2计算节点nPC

Server(X86)Linux

OS......新应用核心JAVA节点1PC

Server(X86)Linux

OS技术平台JAVA新应用核心JAVA节点2PC

Server(X86)Linux

OS技术平台JAVA新应用核心JAVA节点kPC

Server(X86)Linux

OS技术平台JAVA...中信银行核心业务下移项目客户收益及技术优势客户收益60%硬件成本30%开发成本GoldenDB投产运营总体情况投产后总体运行情况：整体运行平稳当前数据量18.1T，每日新增300G双11期间：1个小时交易金额达到11亿元TPS:1440

CPU

17%

mem

9%交易时延：41ms授权服务

账户服务数据服务DB112345678910DB2DB40DB39……中间层10台计算节点服务器，授权3台，账户5台，数据服务2台数据集群由40个分片构成，单分片表都集中在DB1上。系统经过双11考验，实际压力远低于网联压测，运行平稳。计算节点App1APP2统一档案管理平台APP3APP4GTMManager计算节点APP5F5DBGroup

1DBGroup

2PC

Server

1DBGroup

2DBGroup

3PC

Server

2DBGroup

3DBGroup

4PC

Server

3DBGroup

4DBGroup

5PC

Server

4DBGroup

5DBGroup

6PC

Server

5DBGroup

6DBGroup

1PC

Server

6广东农信档案管理平台分布式数据库项目数据库，设置2个计算节点+6个数据节点，云化部署弹性可扩容。客户需求业务介绍：统一档案管理平台，为各类业务系统、管理系统产生的档案提供全生命周期集中管理。数据规模：近百张表，其中大表每年产生7亿记录，每年新增数据量600G主要痛点：1、DB2性能达到瓶颈，3个月数据查询耗时10分钟；2、业务侧进行分库分表，增加业务难度；3、无法横向扩容；4、维护成本高解决方案分布式业务改造：业务层面进行分布式架构改造，云化部署弹性可扩展。分布式数据库改造：按照未来三年规划，从传统的DB2数据库改造为分布式客户收益性能改进：3个月的数据查询耗时从10分钟提升至秒级。业务简化：数据库实现分库分表，简化业务逻辑。降低成本：数据库采购成本，维护成本降低。DBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

1DBGroup

2DBGroup

3DBGroup

4GTMGTMManagerManagerDBGroup

1DBGroup

2DBGroup

3DBGroup

4计算节点LoadServer计算节点LoadServerDBGroup

5DBGroup

6DBGroup

5DBGroup

6DBGroup

5DBGroup

6计算节点计算节点计算节点计算节点全渠道应用系全渠道分布统式数据库DBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

5DBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

5GTMGTMManagerManagerDBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

5计算节点LoadServer计算节点LoadServer计算节点计算节点新核心应用系统新核心分布式数据库3GTMDB

Group1PCServerLoadServerDB

Gro