分布式数据库助力金融科技架构转型

1、分布式数据库助力金融科技架构转型移动化与互联网化推动科技的发展集中式架构问题系统分散，数据共亨度低缺乏灵活的水平伸缩能力无法快速应对瞬时爆发的业务增长采购运维成本高昂缺乏自主掌控能力，生产运行风险大大集中大机架构，重核心业务系统分布式SOA面向服务架构应用程序分布式虚拟化部署、微服务数据存储分布式大数据、分布式影像 平台核心父易分布式分布式父易型数据库分布式技术在企业中的发展历程应用程序开发从烟茵式架构向分布式的转型应用 削墒数据库中间件微 服 务数据库微 服 务微 服 务微 服 务数据库微 服 务微 服 务微 服 务数据库微 服 务微 服 务传统架构向微 服务转型应用 削墒数据库如何应对微服

2、务应用框架Oracle IBM 0B2MySQLMySQLPGSQLPGSQL分布式数据库MySQL实例MySQL实例PGSQL实例PGSQL实例集中式存储数据紧耦合无法弹性扩张单点故障碎片化存储数据碎片化数据无共享运维成本高分布式存储微服务对应独 立实例物理分散存储 弹性扩张分布式数据库技术的典型应用场景数据仓库大数据影像平台数据中台联机父易数据仓库 传统报表统计分析类 业务，使用分布式MPP数据库大数据 离线数据挖掘，使用 Hadoop技术堆栈影像平台 非结构化对象存储， 使用分布式数据库或对象存储数据中台 提供联机生产业务的 核心系统瘦身，使用分布式数据 库联机父易 提供在线父易型服务，

3、 使用分布式数据库分布式技术在传统大数据数仓的价值用得广大数据支持多种数据类 型的存储支持MapReduce对非结 构化数据自定义访问方 式算得快分布式计算有效利用所 有设备计算能力使用预计算技术有效降 低实时计算需求存得多横向扩展提升存储量列存储压缩能力强分布式数据库技术在统计分析中的不足 大数据支持多种数据类型用得广 的存储 支持MapReduce对非结构化数据自定义访问方式 分布式计算有效利用所有算得快 设备计算能力 使用预计算技术有效降低实时计算盂求存得多 横向扩展提升存储呈 列存储压缩能力强可靠性弱并发能力不足响应速度不够联机交易业务需要什么样的分布式数据库？ACID的支持 事务、致

4、性等，处理OLTPSQL完整支持 MySQL/PostgreSQL语法的完整兼容分布式与扩展性 分布式是新代架构的基础，扩展性能应对变化的数 据量Multi-model与多租户 multi-model多模数据库引擎，同引擎处理多种 数据应用场景，符合微服务和云数据库的架构理念HTAP 混合事务和分析场景，适应更多数据应用需求传 统 技 术 兼 容 性新 技 术 酌 瞻 性Application核心信贷CRM票据分库分表clusterclusterclustercluster将不同模块的数据表分库存储，库间 不相互关联杳询，如果有，必须通过 数据冗余或在应用层次加工来解决， 对应用程序侵入较大。

5、通过分布式中间件进行用户ID的路由分发，保 证用户的类操作涉及的表在个节点上完成， 避免分布式事务。如果有跨节点的事务，则通 过中间件保证其致性。原生分布式数据库将表分布到不同朸器的库上，减轻数据库的压 力物理朸的CPU、内存、网络I0负载分摊。支持 分布式事务。Application分布式中间件（路由分发MQ)用户组1用户组2用户组3用户组4XXXclusterclusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信贷信贷DB1信贷DB2信贷DB3信贷DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票据clusterApplicationc

6、lusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信贷信贷DB1信贷DB2信贷DB3信贷DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票据票据DB1票据DB2票据DB3票据DBnXXX票据DB1 X 票据DB2 X票据DB3X 票据DBn分布式交易型数据库技术发展体系应用垂直分库垂直分库分库分表原生分布式数据库起点比较早，应用控制能力强，可进 行深度定制化对千底层数据库没有任何特殊要求， 完全在应用程序内部进行分库构建中间SQL解析层，尽可能将标准SQL拆分成多个子杳询下压到下层数据库，在SQL层进行结杲拼装对千底层数据库无特殊要求，在中

7、间 件进行SQL切分（支持XA即可）部分兼容传统SQL，应用程序开发难 度小千垂直分库数据库内部处理分布式事务与数据切 分逻辑，对千应用程序完全透明，不 需感知底层数据分布数据库内部原生支持分布式事务，性 能远远高千分库分表高可用与容灾能力由数据库内核原生 支持，不需额外辅助工具应用程序逻辑侵入性极强，应用程序 需要进行复杂逻辑才能进行合理数据 分布拓扑结构调整或扩容时非常痔苦，几 乎不可能完成在线扩容很难支持跨库事务应用程序逻辑侵入性较强，应用程序 需感知底层数据分布结构，才能设计 出优化后的杳询逻辑中间件实现分布式事务，跨库事务使 用XA机制，性能大幅度下降作为单点向新型分布式数据库转型的

8、 过渡阶段，技术延续性堪忧技术较新，业界成熟案例相对较少辅助工具相对较少，生态环境有待完 善优 势劣 势分布式数据库技术发展体系对比金融级分布式数据库分布式数据库架构”计算存储分离” 分布式数据库架构数据库实例区数据存储区元数据管理区协调 节点协调 节点协调 节点协调 节点数据 节点数据 节点数据 节点分区1数据 节点数据 节点数据 节点分区2数据 节点数据 节点数据 节点分区3数据 节点数据 节点数据 节点分区4数据 节点数据 节点数据 节点分区5数据 节点数据 节点数据 节点分区6MySQL实例PGSQL实例S3实例编目节点 编目节点 编目节点主副本1从副本2从副本3每个实例均可作为高可用

9、负载 均衡 且能进行对等读写操作Sequoia DB分 布 式 存 储 引 擎SequoiaDB支持多种数据库实例类型关系型文档型MySQLPostgreSQLJSON SparkSQL对象型S3Posix文件系统关系型数据库实例：MySQLMySQL实例1（高可用）MySQL实例2（高可用）MySQL实例3（高可用）MySQL实例4（高可用）全兼容MySQL数据库增删改查语法(SQL、DML)视图、存储过程、触发器、自增字段(DDL、DCL)语法 跨节点跨表事务、四种隔离级别、读已提交能力协议级兼容MySQL客户端协议级兼容JDBC驱动通讯协议 支持所有MySQL开发框架访问计划计算方式兼容

10、MySQL访问计划 统计信息收集策略兼容MySQL分布式事务能力悲观锁卖已提父能力MySQL/PGSQL/SparkSQL保持100%兼容原生MySQL/PGSQL/SparkSQL解 析与执行引擎，不需担心语法兼 容访间计划流水类数据按时间与ID 维切分，避免数据搬迁余额类数据按ID散列，保 证均衡无热点传统段提父机制保证数据跨节点致性段提父表设计原2PC则锁机制兼容性HT P能力+数据湖：MySQL + SparkSQLMySQL实例1（高可用）MySQL实例2（高可用）MySQL实例3（高可用）MySQL实例4（高可用）SparkSQL实例1SparkSQL实例2微服务框架下，对成千上万

11、个MySQL数据库实例做到统一化管理，防止数据碎片化，并对来自不同实 例和服务的数据统一实时分析，避免联机交易与分析业务相互干扰多模式与多租户在一个集群内同时提供关系型数据库以及对象存储实例 尽可能减少用户对于异构产品的学习与运维成本MySQL实例1MySQL实例2S3对象存储Posix文件系统结构化存储格式非结构化存储格式多租户与数据隔离数据中台域非结构化数据域数 据 存 储 区联机父易互联网服务影像存储审计监督数据仓库机器学习结构化与非结构化存储格式File HeaderSpace Management ExtentData Segment MetadataCS Metadatapage1

12、page2.offset 1offset 2空闲空间key2key1支持多种容灾模式，数据零丢失同城方案1、主备机房使用可靠高速光纤直连2、每个分区主节点在主中心3、平时使用强致同步策略保障数据不丢4、故障发生时使用takeover工具进行集群分离， 备集群独立运行 5、故障恢复后使用merge工具进行集群合并双活方案1、应用程序直连本地数据中心数据库协调节点2、应用程序不需要关注底层数据存储主备中 心复制和通讯策略两地三中心1、远程数据中心使用异步机制进行数据复制2、数据中心之间可进行流量控制保证不会占用过多带宽异构数据源复制策略异步数据复制策略1、使用1S54或+Sv格式定期将异构数据源M

13、r始数据 p行导出Qcdc件2、tTFT6a方式将c件传输至巨杉数据库M客户端3、tTIdbBDGrJs具将cdc件导o巨杉数据库4、满足异构数据源T+1M数据复制策略，简单S靠准h时数据复制策略1、异构数据源使用lmMs具将日志c件h时解析x 写o管道2、tTAGacAe SJFrD对管道信息监nx转换Q标准D32 DD2命令 3、指令分发至P线程处理服务p行巨杉历史数据库M b删改查4、满足异构数据源T+OM数据复制策略，秒级延时5、if支持5racCe /FCdeE /aJe(对y5racCe数据源)、0B3 +D+(对y0B3 DB2)、00E(对y0B30EfFrDBx)、V及+aE

14、EeC(对y3LSQ2)6、对eifN支持M数据库需O寻找开源M日志解析 s具或p行独立开发OracleDB2InformixMySQL导 入 工 具历史库异 步 数 据 复 制 策 略DB2InformixMySQL历史库准 实 时 数 据 复 制 策 略定期任务实时推送Oracle日志解析格式转化任务处理联机交易场景中分布式数据库应用接入层应用应用应用服务层杳询服务账务服务场景控制流程调度备份服务外部服务鉴权服务用户权限安全服务服 务用户服务存储层SequoiaDB巨杉数据 库RedisCeph物理层计算虚拟化网络虚拟化存储虚拟化 laaS虚拟机虚拟机虚拟机 VM物理机物理机物理机X86物

15、理机集群管控配詈中心注册中心消息服务组 消息推送资源服务组 资源更新杳询账 户组外部备 份组安全服 务组场景控 制服务 组认证授权 服务组分布式数据库分布式缓存分布式存储微服务框架分布式数据库开发管理渠道层A地B地应用应用应用数 据 中 心API分布式缓存数据库实例MySQL实例MySQL实例协调节点备数据协调节点备数据备数据主数据SequoiaDB存储SequoiaDB分布式数据库数据中心1API分布式缓存数据库实例MySQL实例MySQL实例协调节点备数据协调节点备数据备数据主数据SequoiaDB存储SequoiaDB分布式数据库数据中心2API分布式缓存数据库实例MySQL实例MySQ

16、L实例协调节点备数据协调节点备数据备数据主数据SequoiaDB存储SequoiaDB分布式数据库数据中心3实时开少同城双活两地三中心架构数据中台场景中分布式数据库应用数据中台业务价值数据汇聚 连接前后纵观大局 统领全局技术升级 应用快捷套数据个ID组服务数据标准化数据规范定义从业务源头标准化技术内核工具化规范定义、建模研发、调度运维元数据驱动智能化智能化规划计算和存储单元技术驱动数据连接通过统ID进行业务间数据连接技术内核工具化自动化数据清洗、高效标签生产业务驱动技术价值化打破信息孤岛，产生高价值数据主题式数据服务主题逻辑表屏蔽复杂的物理表统多样化数据服务高并发杳询自由报表在线服 务跨源数据

17、服务屏蔽异构数据源数据中台体系结构实时数据服务内容管理场景中分布式数据库应用银行业内容管理系统发展历史新一代 ECM 非结构化数据量巨大。银行每E产生大量凭证、票据、报表、档案以及其他非结构化数据。 银行的非结构化数据直接关系银行的核心价值，包括信用、法规遵从、风险管理、客服等。 银行的非结构化数据涉及诸C业务领域，M存在大量业务间的传递和共享需求。 非结构化数据的操作常常是业务流程的重要环节，直接影响业务流程的效率。 银行的非结构化数据通常有很强的生命周期管理和安全方面的需求。传E 需求弱事务型碎片化 随时随地云计算互联网银行CE-简单的影像 5用独立服务于CE的 影像服务E一7供服务的影

18、像40全行级的-3管理 40，21采用传EECM架构2003-20042005-20072007-20102010-2014SCM 3.0架构设计应用服务资源管理层原C服务编制组件安全 管理应用服务 质箫管理数据生命 周期管理可拔插原C服务层全文检索图像检索视频检索OCR识别语音识别元数据管理应用系统智能识别 云平台应用存/恒信投行管理 系统企贷、个 贷电C档案 系统IT运营监 控系统云服务资源管理层并行计算框架资源管理服务数据挖R服务全文检索服务其他管理服务数据存/层元数据服务应用存/应用存/应用存/应用存/应用存/应用存/根据存/系统 的特点，根据 应用类型与生 命周期，使用 不同级别的存/方式文件缓存层元数据存/文件O久化存/层文件归档层应用服务层文件搜索简单文件存/ 下载服务复合