银行核心系统基于VPLEX+RecoverPoint架构实现本地双活及容灾

1、 银行核心系统基于 VPLEX+RecoverPoint 架构实现本地双活及容灾 一、 概述IT系统作为银行业务的重要支撑平台，随着银行业务的发展，业务量日益增长，系统数量也相应增加，对IT系统的要求也越来越高，对IT系统的建设也需要更加完善。如何确保服务提供的可靠性与连续性，提升银行整体服务水平，是银行信息系统建设面临的重要课题之一。作为2010年通过改革重组并经中国银保监会批准成立的某银行，为了满足业务的发展需求和银保监等机构的监管要求，必须要根据自身业务的特点、模式和未来的发展趋势，完善其数据中心，同时建设同城灾备中心和异地灾备中心，持续提高业务的连续性服务能力。另外，鉴于某银行IT系统

2、的特点，即采用的数据集中存放、集中处理的大集中模式，这样的模式虽然有利于加强银行账务监管、数据共享、降低运营成本，同时也有效保障系统与数据的完整性，但这种集中模式存在着一定弊端：如果一旦生产中心核心系统或集中存储等重要系统或设备发生故障，将会影响全行的所有业务，势必会带来一定的经济损失和声誉影响。这就要求银行必须建立稳定可靠的生产中心，尽可能地实现核心系统及其他系统的高可靠运行，同时还应有完善的容灾系统来抵御这种突发的风险事件，以提高银行业务系统持续服务的能力，保证银行业务的连续性运营。二、 需求分析随着某银行业务规模的不断壮大和业务产品的快速发展，对其IT运营平台提出了更高的要求，特别是在业

3、务连续性能力及大规模突发事件的应急恢复能力方面，为满足某银行发展战略目标，某银行需要在既有的灾备基础上，进一步完善“两地三中心”灾难备份系统的建设，同时加强生产中心包含核心系统在内的系统建设，实现核心系统、应用数据库系统的本地双活，以提升IT系统的业务连续性运行能力。生产中心建设目标：建成稳定可靠的IT系统，实现核心存储系统的本地双活、核心系统与应用数据库系统的本地双活，即核心系统INFORMIX数据库的本地双活，应用系统ORACLE数据库基于RAC集群的双活。同城灾备中心建设目标：实现所有重要系统的应用级容灾及所有系统的数据级容灾，同城中心的数据库系统与生产中心实现A+B（Active+Ba

4、ckup）的主备模式，数据的一致性采用基于存储复制的方式实现，同时灾备技术指标RPO尽可能地接近于0、RTO小于2小时，即优于GB/T20988-2007信息安全技术信息系统灾难恢复规范中等级5的要求，同时实现重要数据的CDP保护，以及满足部分系统跨中心的应用级双活异地灾备中心建设目标：实现数据级容灾，即实现生产中心的所有数据在异地中心的容灾，同时通过基于数据库层面的复制技术与Vmware虚拟化技术实现柜面业务与自助设备业务的应用级灾备。常用术语解释：RPO：Recover Point Objective，复原点目标RTO：Recover Time Objective，复原时间目标CDP：Co

5、ntinuous Data Protection，连续数据保护CRR：Continuous Remote Replication，持续远程复制三、 基于VPLEX+RecoverPoint选型经验（一）技术产品选型根据需求分析、市场调研及相关公司的技术交流，目前市面上常用的可实现本地存储数据双活的产品主要的DELL EMC公司的VPLEX及IBM公司的SVC技术产品，根据测试体验、市场占有率及用户使用感念，拟选择DELL EMC公司的VPLEX，其兼容性优于IBM的SVC产品。对于容灾系统建设的技术产品，要本着使用简便、稳定可靠、易于实现、操作快捷、横向扩展等原则，同时要求在实施过程不影响现有

6、生产系统的正常运行，目前中小银行在用的技术产品主要有VERITAS的FS、飞康的 IPSTOR、DELL EMC的RecoverPoint，根据POC测试及结合生产与同城中心使用的存储产品，选用DELL EMC的RecoverPoint能很好地满足上述要求。对于数据双活的存储产品选型，根据以往的使用经验，以及为了VPLEX更好的兼容性，继续选择DELL EMC的产品，即选择DELL EMC的VAMX系列存储。因此，结合数据库的复制技术及DELL EMC的VPLEXRecoverPoint的组合是大多中小银行在双活建设与容灾建设中常采用的技术方案。对于异地容灾中心，由于带宽资源的限制，为实现数据

7、级容灾的需求，选用DELL EMC的Data Domain的存储，将生产中心的所有数据库通过备份软件备份保存至DELL EMC的Data Domain的存储介质中，借助Data Domain的复制功能实时传输到异地的Data Domain中，实现异地数据级容灾目标。以下为DELL EMC的VPLEX及RecoverPoint的技术特点的简介。1、VPLEX技术特点VPLEX系列主要有两个产品：VPLEX Local 和VPLEX Metro。VPLEX Local 支持本地联合,可跨异构阵列提供简化的管理和无中断数据移动。VPLEX Metro 提供分布式联合能力，扩展了同步距离内两个位置间的

8、访问能力。VPLEX Metro 利用AccessAnywhere支持跨远距离共享，可实现跨中心的存储数据访问和移动。图一VPLEX使用一个独特的群集体系结构，让金融业用户可以消除数据中心的物理界限，并允许多个数据中心的服务器具有对共享块存储设备的读/写访问权限。VPLEX Local 配置定义为有一、二或四个VPLEX引擎，它们通过其充分冗余的引擎间结构互连集成到单个群集中。此群集互连功能支持在线添加VPLEX引擎，因而为VPLEX Local 和VPLEX Metro 配置提供了优异的可扩展性。VPLEX群集节点之间以及跨VPLEX Metro 配置的所有连接是充分冗余的，确保了针对单点故

9、障的保护。VPLEX群集可通过添加更多引擎进行纵向扩展，通过将群集连接到VPLEX Metro 中进行横向扩展（两个VPLEX Metro 群集在城域网距离内连接起来）。使用VPLEX Metro进行跨物理数据中心阵列镜像可以有效减低灾备系统切换和回切时的复杂LUN管理操作。VPLEX是一个用于联合DELL EMC和非DELL EMC存储的解决方案，以可扩展、高可用的处理器引擎为基础，DELL EMCVPLEX设计为可从小型配置无缝扩展到大型配置。2、RecoverPoint技术特点RecoverPoint数据保护设备提供了易于配置和安装的模块：本地恢复模块（RecoverPoint CDP）

10、和远程恢复模块（RecoverPoint CRR）。这些模块运行在同一套RecoverPoint机器上，既降低成本，又便于管理，也可以基于用户的特殊需要，分开或者紧密部署，达成无可匹敌的、端到端的保护。下图描述了其主要功能特点。图二RecoverPoint在容灾系统建设中的应用原理是实现生产中心与容灾中心间存储间LUN的复制，即生产中心端（一般为源端）存储LUN通过SAN或IP方式复制到容灾中心端（一般为目的端），正常复制情况下，源端存储的LUN是可用的，目的端存储的LUN为不可用的，只有在RecoverPoint进入“测试拷贝”状态时，目的端的LUN才可用，此状态下数据复制不会被中断，还是正

11、常进行，另外，通过进入相应的功能状态下，还可实现目的端与源端的切换，即实现数据的反向复制。（二）架构设计选型在确定了双活应用及容灾系统建设的技术产品选型后，某银行也采用“两地三中心”的架构，对“两地三中心”的建设目标及架构布局规划为：生产中心通过VPLEX实现存储数据双活，并结合数据库工具实现本地双活；同城中心采用RecoverPoint（简称RP）进行存储间的数据复制，以实现容灾数据与生产中心的一致；异地中心实现数据级容灾，通过集中备份软件Networker及DELL EMC的Data Domain的存储介质并借助DD的复制功能传输至异地中心的Data Domain的存储中，以实现数据异地容

12、灾。下图为两地三中心的架构设计简图图三四、 实践技术方案及经验针对目前生产系统的现状情况，并考虑未来跨中心应用双活的需求，并本着从简至繁、从主到次的原则，从数据级至应用级，逐步实现核心类本地双活，在条件成熟后，再延伸至跨中心的应用级双活，再至全双活的建设方案，充分发挥“两地三中心”格局的优势。1、 基于VPLEX Local本地数据级存储双活的实施使用VPLEX Local进行跨异构或同构阵列镜像可以有效整合数据中心资源、防止阵列单点故障，提供平滑的阵列设备故障切换。生产中心的存储采用集中存储配置方式，生产中心配置了两台DELL EMC的高端存储VMAX100K及两台全闪存储VMAX250F（

13、如图三），为了提高主机系统访问存储的性能，在生产中心配置了两台高端的SAN光纤交换机，构建生产中心SAN的核心架构，并将承载核心系统、数据库系统运行的小型机及应用系统的X86服务器与核心存储、VPLEX直接接入核心SAN光纤交换机，通过zone的配置实现主机系统在VPLEX设备中来间接访问存储。方案实施将利用DELL EMCVPLEX来进行本地DELL EMC存储的数据双活，即通过VPLEX Local功能将两台VMAX100K组成一个镜像组，将两台VMAX250F组成一个镜像组，从而保证两组中两台本地存储互做备份，任何一台存储出现故障都不会导致业务停运或者数据丢失。具体方案及实现过程如下：1

14、.1 生产中心核心SAN架构图如下图所示，分别由VMAX100K与VMAX250F通过VPLEX Local构建成的两组双活存储，承担着生产中心核心数据库、应用数据库及虚拟化平台的系统运行，任何一组存储中的一台出现故障都不会影响生产中心的运行。图四1.2 方案实施为了实现两组存储间的镜像保护，需将主机访问存储的方式变更为主机访问VPLEX，即将四台VMAX存储全部由VPLEX来管理。具体方法：在存储中划分的LUN不直接MAPPING给主机，而是MAPPING给VPLEX，再在VPLEX按照1：1的方式封装且不再进行重新划分，然后依次进行Claim storage-Create Extends-

15、Create Device-Create Virtual Volume等操作后，最终将存储划分后的LUN生成可被主机使用的Virtual Volume，同时在VPLEX的Initiators中注册主机的HBA卡，并标记相应的名称，然后创建相应的Storage View，将对应的Port、Initiator及Virtual Volume加入到该Storage View中，就完成了在VPLEX中为主机划分LUN的操作，即实现了将存储的LUN分配给主机使用的操作，为了实现存储数据的双活，分别将组内对应的另一存储分配过来的LUN，经VPLEX封装转换后，再在VPLEX中进行本地镜像(Local Mir

16、ror)，从而实现核心系统数据及应用系统数据的本地存储双活，进而提升生产系统运行的可靠性、稳定性，确保重要数据的安全。下图为VPLEX的管理界面。图五2、核心系统及其他数据库的本地双活实施在实现了本地存储系统的双活后，为了实现生产中心核心系统的双活，必须在数据库层面、应用层面也必须进行双活部署。其实施方案：2.1 应用层面由于应用系统基本上采用B/S架构，双活部署可以采用中间件的集群模式，也可以采用基于f5的负载分发设备来实现，结合现状情况，基本采用f5或RADWARE的负载均衡设备来实现，即每个应用部署两个或多个节点，通过负载均衡设备来进行应用分发，从而实现应用的多节点运行。对于C/S架构的

17、核心系统不能采用中间件的集群模式来实现应用双活，只能通过负载均衡设备来实现应用层面的双活。在生产与同城中心大二层的网络模式下，应用双活不仅在生产中心可实现，而且可拓展至跨中心部署实施，实现“准双活”的同城容灾模式，可进一步提升容灾技术RTO。2.2 数据库层对于核心系统的数据库双活的实现，由于核心系统使用的Informix数据库，不具备ORCALE数据库系统的RAC功能，故通过采用Informix数据库的高可用模块（如HDR、RSS、SDS）来实现类似的双活。基本方案：在生产中心通过Informix数据库的HDR分别构建核心系统数据库Informix的主库（Primary）与备库（Second

18、ary），主、备库之间在HDR中配置为同步方式的实时复制，根据HDR的特点：备库只能为“Read Only”状态，即不具有写功能，则主要用于查询交易，其他交易在主库中完成，实现交易分发控制通过修改核心应用系统来实现，将查询交易全部分发至备库，其他交易则分发至主库，这样，实现了核心系统的本地双活。通过该方案不仅充分利用了核心系统的主机资源，而且提升了核心系统的运行性能及核心系统的可靠性，同时在主库失效时，备库可在短时间内接管主库，从而确保数据库服务不中断，业务不受影响。对于其他应用数据库，则采用ORACLE数据的RAC模式来进行双活部署，从而有效实现数据库的本地双活。3、基于RecoverPoi

19、nt的同城应用级容灾容灾建设是商业银行IT系统建设的重要工作之一，而容灾建设的关键是如何确保灾备中心与生产中心数据的一致性、完整性，容灾技术方案的选择则是容灾建设工作的重中之重。某银行在充分了解市面上现有的成熟容灾技术方案后，并吸取同业的成功经验，最终选定采用DELL EMC的RecoverPoint产品及该产品的CRR功能来进行同城灾备的建设，使用该产品可确保同城容灾技术指标RPO、RTO远优于GB/T20988-2007信息安全技术信息系统灾难恢复规范中等级5的技术要求，其实施方案为：3.1 容灾的系统架构图如下图所示，生产中心与同城灾备中心的系统部署采用相同的架构。图六3.2 方案选择与

20、实施为了少走技术弯路，经过与DELL EMC的反复交流，某银行采用DELL EMC成熟的基于RecoverPoint的存储复制技术方案来进行同城容灾系统的建设，同时为提升容灾系统接管生产系统运行的可靠性，同城灾备中心与生产中心采用相同的架构部署，并且原则上使两中心间系统的资源配置比达到或接近1：1的配比，操作系统版本、数据库类型与版本也保持与生产中心一致，这样只需将生产中心存储的数据复制到同城容灾中心存储中即可。图七实施方法：在RecoverPoint中，将生产中心核心系统的对应的存储LUN与容灾中心核心系统对应的存储LUN进行一对一的配对复制，其复制方向既可以从生产向容灾中心复制，即正向复制

21、（正常情况下，为正向复制），也可以从容灾中心向生产中心复制，即反向复制。反向复制一般用于容灾接管生产系统运行后才使用，或者进行真实的容灾切换演练才使用。实现正反向复制是在RecoverPoint的管理界面的“数据保护”功能框下依次执行“测试拷贝”-“恢复生产”，执行完成后，存储的数据复制方向就发生了改变，注意：执行该操作时，一定在两中心系统停运的条件下，否则不能执行该操作。（如下图）图八通过DELL EMC的RecoverPoint建设的容灾系统，建设成本低，容灾指标高，其容灾技术指标可达到或接近GB/T20988-2007信息安全技术信息系统灾难恢复规范中等级6的技术要求，而且切换操作简单，

22、接管生产应用时间短。五、实践效果与案例分享科学合理的技术架构，不仅给工作上带来便利，而且还会产生可观的经济效益及社会效益，下面是基于VPLEX+RecoverPoint架构在数据中心建设中具体运用的效果。（一）基于RecoverPoint的容灾建设的典型实践应用案例1、在数据中心迁移中的应用通过DELL EMC的RecoverPoint设备构建的容灾系统，不仅容灾技术指标满足容灾系统建设的要求，而且在数据中心迁移中也能发挥明显的优越性。2017年，某银行需要进行生产中心的搬迁，作为数据中心的IT人员都知道，数据中心搬迁最大的难点是数据的迁移，如何在尽可能短的停业窗口时间内，将生产中心系统迁移至

23、新中心运行，是一项风险性大、技术难度高的系统工程。由于在前期建设中采用了DELL EMC的RecoverPoint设备的容灾技术，利用其CRR技术功能，实现了两中心间的存储数据复制。通过变通使用，将新中心通过DELL EMC的RecoverPoint设备构建为容灾中心，即将新中心与现有生产中心存储通过DELL EMC的RecoverPoint实现远程实时复制，这样现有中心存储中的数据将全部复制到新中心的存储中，使得数据的完整性、一致性得到有效保障。在正式切换时，将现有生产中心的所有业务系统停运，两中心间基于存储的数据复制随着业务的停运也将实现数据的完全一致，然后在新中心的RecoverPoin

24、t中执行“停止数据传输”，这样，原有生产中心保存在存储中的数据全部复制到新中心的存储中，再启动新中心的数据库与应用系统，同时再次启动原生产中心的数据库与应用系统，经过技术与业务层面的两中心间数据的比对，比对结果证明两中心相应系统的数据完全一致。通过这种方式，高效地实现了生产中心的数据迁移，并且大大缩短了因生产中心迁移而导致的业务停运时间，减少了对客户的影响。2、在容灾系统真实切换演练中的应用根据监管要求，商业银行的重要业务系统每三年必须完成一次业务部门参与的真实切换演练，为满足监管要求，该行在往年完成了除核心系统在内的其他重要系统的真实切换演练后，2019年拟将包含核心系统在内的多套系统进行真

25、实切换演练，鉴于DELL EMC的RecoverPoint优越的切换功能，再借助VERITAS的BCS系统的容灾管理功能，在系统切换演练日，通过BCS系统管理平台的“单键”切换功能，在数分钟时间内，实现了核心系统在内的多套系统由生产中心向容灾中心的切换，并接管了生产系统的运行，恢复了业务的正常交易。对核心系统进行真实切换演练，并在切换后运行24小时，再成功回切，这在所有城商行中是为数不多的一家，该行凭着能进行包含核心系统在内的容灾实切演练，在监管部门的评级中获得了很好的评价，为该行赢得了可观的社会效益。3、 历史数据追溯及生产数据紧急恢复基于DELL EMC的RecoverPoint的存储数据

26、复制实现了数据的CRR（连续远程复制），并且根据数据的重要程度设定了数天至一个月的保护窗口期限，这样在容灾中心可以实现将数据恢复至保护窗口时间内的任一时间点，利用该功能就可以追查生产环境中已过往的数据，或者将生产环境误删除的数据进行快速找回与恢复。如2019年的某一日，在对某重要系统进行数据清理时，因操作不当，误删除了部分重要数据，导致该重要系统及相关联系统的部分交易不能正常进行，由于备份不能做到实时进行，因此在生产环境中已无法恢复误删除的数据，此时借助RecoverPoint对数据的CRR复制保护功能，通过在容灾中心将该系统的存储复制数据回滚至误操作前的时间点，再在容灾中心启动该重要系统的数

27、据库，很容易地就找回了误删除的数据，将误删除的数据恢复至生产环境后，很快就恢复了该重要系统的相应业务。另外，还经常利用RecoverPoint的CRR功能，在容灾中心回滚核心系统的数据库，追寻生产中心中无法查找的异常数据，为解决生产中心的某些问题提供了重要保障。（二）VPLEX在存储数据迁移的应用DELL EMC存储虚拟化VPLEX解决方案用于在金融行业数据中心内、跨数据中心及在数据中心之间进行信息虚拟化、访问、共享和迁移。它是世界上第一个同时提供本地联合和分布式联合的平台。使用VPLEX实现无感知的存储间数据迁移：如某银行生产中心使用的DELL EMC VMAX100K存储由于剩余容量的不足，同时为了有效缩短核心系统的批处理时间，拟在生产中心购入DELL EMC的全闪存储VMAX250F，并将运行在VMAX100K中的核心系统数据迁移至全闪存储VMAX250F中，要求不能停止核心系统的运行，即不中断业务。为了满足该需求，该行的系统