重庆银行双活核心建设实践

1、 重庆银行“双活”核心建设实践 同城双活秒级切换 20182018 年 9 9 月 2323 号，凝聚着重庆银行人心血的新一代核心业务系统与应用级双活数据 中心成功上线。本次应用级双活数据中心与新一代核心业务系统的顺利上线，实现了 重庆银行数据中心架构与业务系统的整体重构，带来了重庆银行业务与技术的全面转 中，使用多层业务调度框架 （DLLBDLLB）构架应用双活体系， 实现核心系统双活部署运行, 并成功实现秒级应用灾备切换。 启用“新核心”打造金融科技新优势 重庆银行老核心系统于 20042004 年建设上线，对业务经营和发展产生了强有力的支撑作用。 近年来，国内外金融环境复杂多变，金融监管

2、要求日趋严格，客户需求日益多样化, 跨界及同业竞争加剧，金融科技迅猛发展，互联网金融浪潮兴起，商业银行间的竞争 已趋白热化。老核心系统逐渐显现出客户支持能力不足、业务处理效率偏低、产品创 新速度较慢以及跨渠道服务能力较弱等问题，亟待更新升级以适应外部形势变化的要 求。 正是在这样的大背景下，20172017 年 6 6 月 2 2 日，重庆银行启动了新一代核心系统建设项目, 行领导亲自挂帅管理，科技部和运营管理部双牵头实施，总行各业务部门、各分支机 构积极参与配合。这是重庆银行领导层为加大改革创新力度而采取的重大战略决断, 是一项涵盖业务转型、技术转型和实施转型在内、事关重庆银行全局的企业级系

3、统工 程。型，开启了重庆银行科技赋能业务发展的新篇章。 在新一代核心系统的建设部署过程 重庆银行新一代核心系统涉及行内 5050 多个渠道及业务系统、2020 多个管理类系统的配 合改造，在吸收了老核心系统优点的基础上，兼顾了监管、市场、业务的诉求，功能 更全面、技术更先进、理念更领先、可扩展性好。重点突出了“以客户为中心、以市 场为导向”的战略理念，实现了更加优质智能的客户服务、更加全面精准的业务数据、 更加灵活快速的产品创新、更加便捷高效的业务办理效率和多维科学的安全保护体系。 核心业务系统高可用建设目标 核心业务系统一直是银行 ITIT 系统中保障业务连续性要求的重要系统， 监管提到的“

4、商 业银行应根据自身业务的性质、规模和复杂度制订适当的业务连续性规划。以确保在 出现无法预见的中断时，系统仍能持续运行并提供服务，并通过采取相应技术措施降 低业务中断的可能性和影响”， 也是对核心业务系统的安全稳定高可用架构的监管要 求。 正是基于业务连续性以及资源利用率考虑，重庆银行在新一代核心业务系统建设中选 择以“同城应用级双活” 模式为目标。应用级双活(ActiveActive- -ActiveActive )就是在正常情况 下，应用两个 数据中 心都是活动在 线并提 供服务的，是 相对于 传统应用主备 模式 (Active(Active- -Sta ndby Sta ndby )的一

5、种利用率、可用性更高的建设形式。 应用级双活模式，既两个数据中心所部署的核心业务系统是对等、不分主从、并同时 提供对外服务的： 在一个数据中心发生故障或灾难的情况下，同城数据中心仍然可以 正常运行并对关键业务或全部业务实现接管，达到互为备份的效果。 利用，避免某个备份中心处于闲置状态，造成资源与投资浪费。因此应用级双活数据 中心的服务能力往往双倍甚至数倍于主备数据中心模式。正常模式下两个 数据中心的核心业务系统之间协同工作, 并行对外提供服务，实现了对 ITIT 资源的充分 核心系统的同城双活建设部署 在核心业务系统“应用级双活”部署阶段，重庆银行综合考虑了本行数据中心机房基 础环境、网络、系

6、统的特点以及第一批次中 5151 套业务系统的相关特性，综合新一代核 注入”基础上，设计了独特的 DLLBDLLB（多层业务调度）框架，并率先在国内城商行范围 内使用了纯 IPIP 访问、动态分配负载方式的应用级双活建设部署方案。 调度框架如下图所示。 图 DLLBDLLB 多层业务调度框架 DLLBDLLB 多层业务调度框架， 就是在同城两个数据中心的核心网络层部署专用的全局调度 负载均衡设备来专门处理跨数据中心的交易数据调度；在每个数据中心内的各业务生 产区域，同样部署了区域负载均衡设备，用于对集群应用服务的负载均衡交付服务。 全局调度负载均衡设备和区域负载均衡设备通过完善的健康检查机制与

7、负载分配机 制协调工作：当部分应用节点发生异常时， 区域负载均衡设备能够自动隔离故障节点, 保障区域内业务系统运行的高可用性和稳定性；全局负载均衡设备将两个数据中心结 合为一个有机整体，实现双中心同时承载业务，并作为另一个数据中心的灾备支持。 通过 DLLBDLLB 多层业务调度框架，实现了每个服务器节点安全独立运行，互不影响，同时 实现节点的热插拔功能，方便系统维护调整。当某个数据中心出现整体故障时，只需 秒级即可由同城数据中心完成整体业务接管；这种多层业务调度框架分别从跨中心的 全局应用高可用层面和数据中心内部的本地应用高可用层面，为新一代核心业务系统 的应用双活创造了实施条件。心业务系统

8、建设目标和项目要求，最终在跨数据中心 “OSPF“OSPF 动态路由+RHI+RHI 健康路由 DLLBDLLB 多层业务 综合来看，重庆银行新一代核心业务系统的 DLLBDLLB 多层业务调度框架具有如下优点: 同城双数据中心采用三层网络互联，区域隔离，保障了每个数据中心及其功能区域的 隔离，具有良好的安全特性；借助于“ OSPFOSPF 动态路由+RHI+RHI 健康路由注入”技术，实现 配方案，能够有效减少核心业务系统开发阶段的相关改造工作量、 降低核心业务系统开发难度； 基于纯 IPIP 流量分配引导方案， 相较于基于域名的流量分 配引导方式，在故障切换过程中更加迅速， 可以将应急切换

9、周期从分钟级下降至秒级。 20182018 年 8 8 月 1717 日投产演练阶段，重庆银行新一代核心业务系统完成生产双活部署。 月 1717 日至 9 9 月 12 12 日，对新一代核心双活运行模式和应急切换方案进行了最终测试。 月 2323 日 1616 时 1616 分，新一代核心业务系统在双中心同时上线，同时提供交易服务。 结语：核心同城双活的效果 新一代核心业务系统上线后，通过收集负载均衡设备的运行日志进行分析发现，在现 49%45%49%45%勺核心业务交易，实现了核心业务应用同时提供服务的“双活”效果, 了资源利用效率。 新一代核心业务系统上线投产后，重庆银行在正常生产运行状态下组织了模拟交易异 常的应急切换演练；当一个数据中心的核心系统部分交易运行缓慢时，为避免出现业 务中断，保障业务持续运行，按照预案组织紧急切换，迅速将核心交易业务全部引导 至另一个数据中心。 整个过程中切换指令下发时间小于 3030 秒，渠道类业务切换时间小 于 1010 秒，柜面业务切换时间小于 1 1 分钟