国产数据库多维度思考与实践-王辉

数据库专家/王辉发展历程国内数据库200020042008事件人行提出《金融科技发展规划2022-2025》2013年阿里完成去IOE战略2018中美贸易战爆发十四五数字经济发展规划国内数据库2017年PingCAP发布TiDB1.0版本2019年腾讯发布TDSQL2019年中兴发布GoldenDB2019年华为发布GaussDB事件人行提出《金融科技发展规划2022-2025》2013年阿里完成去IOE战略2018中美贸易战爆发十四五数字经济发展规划国内数据库2017年PingCAP发布TiDB1.0版本2019年腾讯发布TDSQL2019年中兴发布GoldenDB2019年华为发布GaussDB2008年进入互联网时代200020042008事件人行提出《金融科技发展规划2022-2025》2008年进入互联网时代十四五数字经济发展规划国内数据库2017年PingCAP发布TiDB1.0版本2019年腾讯发布TDSQL2019年中兴发布GoldenDB2019年华为发布GaussDB事件人行提出《金融科技发展规划2022-2025》2008年进入互联网时代十四五数字经济发展规划国内数据库2017年PingCAP发布TiDB1.0版本2019年腾讯发布TDSQL2019年中兴发布GoldenDB2019年华为发布GaussDB生态《分布式数据库金融应用迁移要求》《2024数据库发展研社区热度、技术文章持续增加少量尝试国产数据库，未达到预期效果各厂商和高校建立培训及证书体系技术大会国产数据库课题占绝对地位200020042008学习、积累尝试、创新事件业务人行提出《金融科技发展规划2022-2025》2008年进入互联网时代十四五数字经济发展规划应用国际数据库算国内数据库2017年PingCAP发布TiDB1.0版本2019年腾讯发布TDSQL2019年中兴发布GoldenDB2019年华为发布GaussDB事件业务人行提出《金融科技发展规划2022-2025》2008年进入互联网时代十四五数字经济发展规划应用国际数据库算国内数据库2017年PingCAP发布TiDB1.0版本2019年腾讯发布TDSQL2019年中兴发布GoldenDB2019年华为发布GaussDB生态《分布式数据库金融应用迁移要求》《2024数据库发展研社区热度、技术文章持续增加少量尝试国产数据库，未达到预期效果各厂商和高校建立培训及证书体系技术大会国产数据库课题占绝对地位200020042008学习、积累尝试、创新平台工具迁移工具开发工具SQL审计运维平台备份软件开源社区社区建设技术社区人才培养高校机构数据安全全密态安全软件国产数据库产品生态图（交易型）平台工具迁移工具开发工具SQL审计运维平台备份软件开源社区社区建设技术社区人才培养高校机构数据安全全密态安全软件科技总经理科技总经理/CIO运维人员运维人员/DBA稳定运行快速发现故障自愈开发人员开发人员/架构师大金融机构大金融机构整体分布式解决方案兼容性和数据同步解决方案异构基础设施兼容稳定性稳定性业务人员连续性连续性小金融机构小金融机构核心ISV适配和兼容度服务伙伴和培训体系成本可控的高可用方案ServerLess存算分离AI4DB兼容能力基础能力运维能力分布式特性扩展能力ServerLess存算分离AI4DB兼容能力基础能力运维能力分布式特性扩展能力核心能力核心能力稳定性数据库服务第三方厂商云数据库厂商数据库原厂商数据库原厂商数据库产品集中式集中式分布式分布式银行总体业务架构图（简版）渠道层柜面系统柜面系统影像系统影像系统ATMATM系统手机银行手机银行代缴费代缴费第三方金融第三方金融供应链支付供应链支付前置层前置层渠道整合平台统一支付平台中间业务平台渠道整合平台统一支付平台中间业务平台互联网开放平台互联网开放平台l企业服务交互平台（SOA/ESB/EAI）业务支持层业务支持层产品服务层管理决策层管理决策层支付密码支付密码指纹认证指纹认证身份核查身份核查反洗钱反洗钱总账系统总账系统征信查询征信查询风险识别风险识别客户管理层客户管理层人力资源人力资源客户信息管理客户信息管理数据层数据仓库系统历史数据查询数据集市系统综合报表系统数据抽取与报表数据层数据仓库系统历史数据查询数据集市系统综合报表系统数据抽取与报表数据交互系统单元测试代码管理持续集成版本管理组件管理监控告警链路跟踪应急处置全链路压测故障模拟场景模拟应用安全主机安全分布式核心总体架构图单元测试代码管理持续集成版本管理组件管理监控告警链路跟踪应急处置全链路压测故障模拟场景模拟应用安全主机安全业务产品层应用服务层能力中心产品能力中心产品客户参数公共机制统一冲正授权统一日切7*24公共机制统一冲正授权统一日切7*24统一报文统一回滚技技术支持层分布式技术组件分布式调度组件分布式事务组件分布式技术组件分布式调度组件分布式事务组件分布式锁组件批量处理组件单元化能力组件单元化切换组件服务编排组件缓存处理组件缓存处理组件服务调用组件服务调用组件注册中心配置中心服务治理监控负载均衡流控组件通信组件事务组件安全组件微服注册中心配置中心服务治理监控负载均衡流控组件通信组件事务组件安全组件微服务框架基础设施计算资源存储资源数据库虚拟化计算资源存储资源数据库虚拟化核心系统转型路径管理系统->核心系统集中式核心->分布式核心04单元化设计面临可靠稳定06全链路监控可靠稳定业务连续性数据拆分策略业务连续性技术架构策略0205研发效能设计要点技术架构策略0205研发效能分布式运维服务模型策略分布式运维核心系统国产化建设•新核心系统具备投产条件，分阶段或一次性将业务投入生产全面替代•应用逻辑不变，但需要适配国产数据库对象和相关语法及驱动程序•新核心系统具备投产条件，分阶段或一次性将业务投入生产全面替代•应用逻辑不变，但需要适配国产数据库对象和相关语法及驱动程序•由集中式架构向分布式架构转变，采用分布式数据库实现•构建分布式技术平台•采用成熟技术，快速具备投产条件•难度小业务先行下移•技术平台持续完善•引入交易回放系统•全新开发核心系统，采用微服务或单元化架构，但依然要适配选型设计选型设计应用适配应用适配测试验证测试验证环境部署环境部署系统切换系统切换生产运维生产运维培训文档培训文档微服务架构利用微服务的理念解耦应用单元化通过合理数据拆分，将业务在一个单元内闭环单元路由服务网关单元内数据单元2单元内数据单元1服务数据微服务服务数据微服务服务数据微服务微服务架构利用微服务的理念解耦应用单元化通过合理数据拆分，将业务在一个单元内闭环单元路由服务网关单元内数据单元2单元内数据单元1服务数据微服务服务数据微服务服务数据微服务APIAPIAPI传统集中式架构!!单元2单元内数据单元内数据解决了大规模集群的发型和故障隔离能力它是对微服务的加强，并不局限于微服务架构。切换方案数据库实现一次性切换新源通过业务侧实现一次性切换数据库实现一次性切换新源通过业务侧实现一次性切换新源并行验证阶段新源新双轨并行阶段新源源全面投产阶段 源新源在线业务无感切换在线业务无感切换全量数据机窗口历史数据+新数据据全量数据+增量数据下初始阶段!源在线逐步切换用户!源新新新全面切换完成新↓↓源源 !源 新统一数据库DBaaS运维平台建设核心借记卡系统改造实践核心借记卡系统改造实践核心借记卡系统改造实践开发C语言OracleAIX开发C语言OracleAIX开发C语言ODBCGaussDB应用层n应用程序与逻辑不变下完成适配改造应用层数据库层n数据库由商用集中式改为国产分布式数据库层操作系统操作系统服务器n基础软硬件由IOE架构改为全栈国产架构服务器核心借记卡系统改造实践同城RPO=0,RTO<60秒异地RPO<1分钟，RTO<1分钟4C4D，1主3从4副本节点故障自动切换，无需人工参与，应用无感知两区四域三中心架构n助力人工智能高效建模通过数据库平台中的SQL、Python、自动机器学习