Symantec两地三中心应用级云容灾方案

1、湖南移动手机支付系统两地三中心的应用级湖南移动手机支付系统两地三中心的应用级云容灾方案云容灾方案optional footer information here议程议程2金融业容灾规范金融业容灾规范1手机支付方案设计手机支付方案设计2symantecsymantec方案方案-手机支付应用级云容灾的落地手机支付应用级云容灾的落地3数据复制技术的比较数据复制技术的比较4案例借鉴案例借鉴5optional footer information here32021/10/20信息系统灾难恢复规范信息系统灾难恢复规范-gb/t 20988（原重要信息系统灾难恢复指南）1级-基本支持l每周至少做一次完全数

2、据备份l制定介质存取、验证和转储的管理制度l完整测试和演练的灾难恢复计划2级-备用场地支持3级-电子传输和 部分设备支持 4级-电子传输及 完整设备支持5级-实时数据传输 及完整设备支持6级-数据零丢失和 远程集群支持l预定时间调配数据,通信线路和网络设备l备用场地管理制度l设备及网络紧急供货协议l配置部分数据,通信线路和网络设备l每天实现多次的数据电子传输l备用场地配置专职的运行管理人员l配置所需要的全部数据和通讯线路及网络设备，并处于就绪状态l7*24 运行;更高的技术支持和运维管理l实现远程数据复制技术l备用网络也具备自动或集中切换能力l实现远程数据实时备份，实现零丢失l应用软件可以实现

3、实时无缝切换l远程集群系统的实时监控和自动切换能力optional footer information here42021/10/20国级实现解析国级实现解析至少一周一次全备份备份介质场外存放有符合介质存放条件的场地 42021/10/20配备灾难恢复所需的部分数据处理设备 配备部分网络设备 配备部分通讯设备 有恢复运作的场地每天多次利用通信网络将关键数据定时批量传送至备用场地7x24小时运作 就绪或运行状态就绪状态 第一级：基本支持第二级：备用场地支持第三级：电子传输和部分设备支持第四级：电子传输及完整设备支持第五级：实时数据传输及完整设备支持第六级：数据零丢失和远程集群支持采用远程数据复

4、制技术将关键数据实时复制到备用场地具备自动或集中切换能力远程实时备份，实现数据零丢失具备远程集群系统的实时监控和自动切换能力optional footer information here5金融行业业务连续性的法规遵从金融行业业务连续性的法规遵从第十九条商业银行应当制定与其业务规模和复杂性相适应的应急和业务连续方案，建立恢复服务和保证业务连续运行的备用机制，并应当定期检查、测试其灾难恢复和业务连续机制，确保在出现灾难和业务严重中断时这些方案和机制的正常执行。第二十四条商业银行应及时向银监会或其派出机构报告下列重大操作风险事件： （二）造成商业银行重要数据、账册、重要空白凭证严重损毁、丢失，造成

5、在涉及两个或两个以上省（自治区、直辖市）范围内中断业务3小时以上，在涉及一个省（自治区、直辖市）范围内中断业务6小时以上，严重影响正常工作开展的事件；商业银行操作风险管理指引第二十九条 银行业金融机构应制定信息系统应急预案，并定期演练、评审和修订。省域以下数据中心至少实现数据备份异地保存，省域数据中心至少实现异地数据实时备份，全国性数据中心实现异地灾备。灾备演练 rto异地灾备optional footer information here规范对容灾设计的启发规范对容灾设计的启发 确定手机支付系统容灾的国6级方向 手机支付的应用分级 根据应用等级，定义不同的pto,明确容灾方案presenta

6、tion identifier goes here6optional footer information here议程议程7金融业容灾规范金融业容灾规范1手机支付方案设计手机支付方案设计2symantecsymantec方案方案-手机支付应用级云容灾的落地手机支付应用级云容灾的落地3数据复制技术的比较数据复制技术的比较4案例借鉴案例借鉴5veritas storage foundation for oracle8方案设计方案设计 业务现状 已有机房位于四方坪 主机以ibm 为主 阵列为emc 容灾需求 未来会新增岳阳和河西两个机房用于容灾 手机支付系统业务模式属于移动的银行类业务 应用种类多

7、，应用之间逻辑复杂veritas storage foundation for oracle9方案设计思路方案设计思路 业务分级设计类别类别名名称称rporto数据量数据量数据同步数据同步应用切换应用切换数据备份数据备份说明说明总量增量河西-四方坪四方坪-岳阳河西-四方坪四方坪-岳阳备份频率保存周期i类/国6级ii类/国5级iii类/国4级方案设计思路方案设计思路 两地三中心的分工设计 容灾中心角色： 河西为生产中心，备份主中心，监控管理中心 四方坪用于同城容灾中心 岳阳用于异地容灾中心 数据同步方式 河西到四方坪，同步模式，数据零丢失，数据同步通过光纤链路 四方坪到岳阳，异步模式。数据同步通

8、过网络 应用切换方式： 故障发生时，河西切换到四方坪，距离短，切换快 如果后续岳阳提高主机配置，当同城两中心全部故障后，应用切换到岳阳异地容灾中心 数据备份 主备份中心置于河西 西方坪/岳阳同时为异地备份存放中心和备份切换中心。veritas storage foundation for oracle10方案设计思路方案设计思路 项目实现 一期实现四方坪到岳阳的国5级标准容灾的异地容灾和应急中心 两地数据的异步复制 岳阳两台570主机用途 可定期容灾演练，验证复制数据的可用性 可临时用于数据查询等操作 极限情况下，应用切换到岳阳，可充当应急响应中心 二期实现河西/四方坪/岳阳的国6级容灾同城/

9、异地容灾中心 四方坪/河西容灾和生产中心互换 数据复制方向改变，由原来的四方坪到岳阳，改为河西到四方坪在到岳阳 河西和四方坪建立一对一的应用ha 项目实施中的风险点 四方坪和河西的中心互换veritas storage foundation for oracle11议程议程12金融业容灾规范金融业容灾规范1手机支付方案设计手机支付方案设计2symantecsymantec方案方案-手机支付应用级云容灾的落地手机支付应用级云容灾的落地3数据复制技术的比较数据复制技术的比较4案例借鉴案例借鉴5什么是应用级云容灾什么是应用级云容灾 应用层 应用切换从技术上不受地域限制，可在三中心内实现 多个应用之间

10、可根据逻辑关系关联性的自动切换，而非各应用独立切换。 方便可靠的在线容灾演练 主机层 主机之间的保护可以通过多对一的方式实现。如应用服务器等。 不同主机平台之间可以实现数据跨平台共享。如ibm主机和富士通主机 所有主机可以在一个图形界面中集中管理 存储层 实现存储池，在线空间调整和性能调整。 实现存储阵列的ha 三中心间的数据灵活的增量同步或者复制 所有存储使用都可在一个图形界面中统一管理veritas storage foundation for oracle13什么是应用级云容灾什么是应用级云容灾 数据中心的备份 三中心不同业务数据都可统一备份到一个存储或带库上。 同一数据可通过网络，光纤

11、等备份到三中心的任一存储目的中 所有设备的备份都由一个备份主服务器控管 主备份中心可在三地之间切换。 三中心的监控 三中心的所有主机，阵列，数据，备份通过一个统一界面集中管理，监控和告警 统一监控管理平台可以在三中心之间随意切换。veritas storage foundation for oracle14总之云容灾就是：总之云容灾就是：1.技术层面三中心在功能，角色上无任何主次技术层面三中心在功能，角色上无任何主次之分，三者之间的功能可随意切换。之分，三者之间的功能可随意切换。2. 实现开放式的异构架构，便于硬件的调整。实现开放式的异构架构，便于硬件的调整。3. 应用在三中心灵活切换应用在三

12、中心灵活切换4. 方便可靠的在线容灾演练方便可靠的在线容灾演练high availability & disaster recovery application availability1515湖南移动手机支付云容业务灾切换示意图湖南移动手机支付云容业务灾切换示意图岳阳(异地容灾)四方坪(同城容灾)河西（本地ha）sapsap异步复制sap同步复制/镜像 app 4app 3app 2app 1app 4app 3app 2app 1两地三中心应用级云容灾storagesnapshotnon-disruptivetestingfd sg两地三中心的统一监控两地三中心的统一监控symantec云

13、容灾方案的实现云容灾方案的实现-产品清单产品清单veritas storage foundation for oracle16功能类功能类symantec产品产品实现功能描述实现功能描述硬件厂商相应硬件厂商相应产品（产品（emc为为例）例）基础产品veritas cluster server(vcs) 实现三中心的所有应用/主机的云群集无cluster manager console（cmc）实现三中心应用关联性切换无storage foundation(sf)实现三中心的所有阵列的云存储无netbackup(nbu)实现三中心的所有应用/系统的云备份无同城复制sf/mirror实现河西和四方

14、坪的数据同步以及阵列的hasrdf异地复制sf/vvr实现河西/四方坪到岳阳的数据异步同步srdf/a监控产品ccs实现应用主机交换机阵列端到端的银色监控无symantec云容灾方案的实现云容灾方案的实现-产品部署产品部署和示意图和示意图veritas storage foundation for oracle171.vcs实现云实现云容灾容灾2. sf实现云存实现云存储储3. nbu 实现云实现云备份备份4. sf/mirror实实现同城数据现同城数据复制复制5. sf/vvr实实现异地数据现异地数据复制复制6. cmc/ccs/存储应用统存储应用统一监控一监控vcs cmc 集群管理标准化

15、集群管理标准化集中管理集中管理预警报告预警报告配置一致性检查配置一致性检查 容灾演练容灾演练cmc管理服务器管理服务器orclorclorclorclorclcuswlssqlsqlsymantec云群集云群集-概述概述fsvolvolfsvoldgnicipfsdblsnrvcs 保护单个业务应用 实现集群本地切换 容灾演练灾备切换流程化灾备切换流程化 支持混合os 集群 多级ha/dr 集群间业务映射 基于优先级切换 生产中心到灾备中 心整体切换+symantec云群集云群集-多应用关联的群集切多应用关联的群集切换换19symantec云群集云群集-容灾演练容灾演练对业务产生中断可能产生无

16、法预测的问题耗时、耗力、耗资源如何做?78%从未测试过流程预案启动应用生成空间优化的快照验证应用主中心始终在线不影响生产系统的正常运行无需中断业务系统存储需求量小20vcs生产机房生产机房容灾机房容灾机房prod sgfd sg数据同步数据同步快照数据symantec云存储云存储概述概述symantec corporate overview21物理磁盘/lunsvolumeapplication将多个物理磁盘对象整合成一个虚拟对象 卷管理系统的任务是创建一个数据存储的虚拟层 对于上层应用而言,”卷”就像一个物理的磁盘分区一样 对于系统而言,”卷”表现为一个在/dev树下的“块设备”和“字符设备

17、” : /dev/vx/rdsk/ 我们把文件系统也当作一种特殊类型的应用存储的管理创建卷增加，缩小卷的空间挂接到不同主机卷的日常操作为卷增加或移出磁盘数据的复制、拷贝和迁移镜像/分割物理层管理lun映射冗余链路管理i/o负载均衡symantec云存储云存储-实现异构的开放平台实现异构的开放平台symantec corporate overview22 u s er appl ic a tio n suser applications os driversdmpvxfsvxvmkernelhbahbaswitchswitch12345fcfcfcfcfcipipip后台存储资源ipfcfcfc

18、fcfcfcfcfc应用系统文件系统/数据库逻辑卷管理存储链路管理磁盘驱动管理存储拓扑管理optional footer information heresymantec云存储应用云存储应用-资源动态管理资源动态管理在线优化调整在线迁移调整快速空间支持数据安全服务在线容量扩展统一的存储控制和管理统一的存储控制和管理符合业务需求的快速资源部署和服务提供硬件物理资源提供基本存储单元 $/gb24symantec云存储应用云存储应用-实现跨主机平台实现跨主机平台数据共享数据共享aix1. 实现数据跨平台共享和迁移富士通2. 测试系统使用实际数据用于测试开发snapshot 3. 测试开发系统采用li

19、nux平台节省投资主阵列主阵列snapshotlinux 测试系统optional footer information here25symantec云存储应用云存储应用-降低应用升级失降低应用升级失败影响败影响 手机支付系统应用服务器/数据服务器1. 应用/数据库升级前作一个快照（用时1分钟） 2.升级失败，利用快照恢复，直接将系统恢复到升级前的状态（耗时5分钟左右）阵列snapshot3.升级成功，直接删除快照 快照恢复通过快照方式升级可减少通过快照方式升级可减少95%t停机时间停机时间使用快照升级过程：使用快照升级过程：传统升级模式：传统升级模式：1.应用升级2.升级失败后备份恢复，耗时

20、数小时原始数据增量指针式的快照数据optional footer information here中国移动江苏公司的核心业务支撑系统来看，包括boss系统、经营分析系统、客服系统、企业信息化系统等子系统，总计近400台服务器（tpcc值超过10000万），近100台高、中、低端存储设备，超过1000tb的重要业务数据，分布于南京和无锡的5个数据中心symantec云备份云备份系统的技术设计及实现方案分为以下几个层次： 备份虚拟化技术引入及部署-建立一个可扩展的基础架构 soa-建立跨越整个备份资源的统一兼容的面向业务需求的备份服务 自动化管理-提高云备份基础架构管理效率降低复杂度optiona

21、l footer information here27空间管理要求资源管理集中化告警监控降低投资成本清点存储设备了解资源的消耗 准确反映当前整体情况科学决策/预测发展趋势采购过程更明确性能监控端到端拓扑发现动态跟随网络变化事前主动监控使用更经济快速定位事故原因存储环境故障响应集中处理平台业务影响关联策略提高反应速度减少管理工具端到端管理软件独立性统一管理提高适应能力统一工具减少人为失误从业务应用到物理设备可视性管理要求可靠性管理要求可变性管理要求symantec云管理云管理optional footer information here议程议程28金融业容灾规范金融业容灾规范1手机支付方案设计

22、手机支付方案设计2symantecsymantec方案方案-手机支付应用级云容灾的落地手机支付应用级云容灾的落地3数据复制技术的比较数据复制技术的比较4案例借鉴案例借鉴5optional footer information here29symantec同城数据复制方案同城数据复制方案-sf mirror29 生产卷生产卷emc盘阵盘阵san容灾阵列容灾阵列镜像卷镜像卷异构镜像异构镜像盘阵盘阵1. 本地阵列故障，应用不切换2. 本地阵列修复，数据增量同步，不影响业务3 容灾阵列故障，业务无影响4. 容灾阵列修复增量同步，业务无影响optional footer information here

23、30硬件厂商同城容灾方案硬件厂商同城容灾方案-srdf的复制模的复制模式式limited distancehost1423sourcetargetsrdf瓶颈单个lun最多只能处理每秒300个写左右dmx3只能处理每秒15000个写左右optional footer information here同城数据复制方案比较同城数据复制方案比较presentation identifier goes here31功能描述功能描述 sf mirror srdf阵列故障零停机本地/远程阵列故障应用不受影响本地阵列故障应用停止内部逻辑错误完全避免无法避免阵列异构完全支持必须同构云储存功能完全实现无法实现成

24、本硬件无需增加额外的硬件模块还需额外购买硬件复制卡，增加阵列cache，cpu，port等配置用于复制时的阵列消耗必须加买复制软件，bcv等sf中包含复制，快照等无额外投资，软件optional footer information here异地数据复制比较异地数据复制比较asan replicationaip replicationaasrlsrlsrdf/asf /vvroptional footer information here异地数据复制方案比较异地数据复制方案比较presentation identifier goes here33功能描述功能描述 sf/ vvr srdf/a内

25、部逻辑错误完全避免无法避免阵列异构完全支持必须同构复制链路要求基于单个i/o块为单位，收到一个i/o就传一个i/o, 链路不增加额外开销在阵列cache中累积30 秒的i/o后，一起同步到远程的阵列cache中，所以对链路和阵列cache开销大成本阵列档次由于有三中心的容灾，岳阳又是异步复制，因此可以采用中低端的阵列硬件复制方案，异步复制必须是高端阵列，中低端阵列不具备复制功能阵列配置阵列内无需增加额外的硬件模块增加阵列的cache，cpu，port等配置用于复制时的阵列消耗 增加河西主机房的实施方法1. 四方坪vvr异步同步到岳阳2. 河西建成后，在四方坪的主卷上增加一个河西的镜像卷3. 完

26、成2地3中心，河西和四方坪在数据镜像关系上不存在主次之分1.四方坪异步到岳阳2.河西建成后，复制完全重建以实现2地3中心3. 重建过程中，数据无容灾optional footer information here两地三中心的整体方案两地三中心的整体方案presentation identifier goes here34纯软件纯软件纯硬件纯硬件软硬结合软硬结合方案1.河西 和四方：镜像2.镜像完的数据 vvr到岳阳1.河西同步到西方坪2.四方坪异步到岳阳1.河西同步到四方坪2.河西异步到四方坪1.symantec 实现河西和四方坪的镜像同步2. 硬件厂商完成异步复制可行性完全可行完全可行行完全

27、可行四方坪和河西主机房互换的实施1.先实现异步远程复制，2.异步不停，直接增加镜像。1. 四方坪到岳阳异步2.中断原先的异步复制，完全重新建立同步和异步复制关系。1.硬件实现四方坪到河西2.软件加入河西镜像卷3.硬件重新建立异步复制实施方案比较延续性实施，实施简单无风险，实施最简单实施最复杂，实施过程无连续性，新增河西时实施过程中，可能会有一定时间无容灾保护实施较复杂，但河西加入时，始终有容灾保护阵列逻辑错完全避免阵列逻辑错完全无法避免阵列的逻辑错，河西，四方坪两个逻辑错可能点避免部分逻辑错。四方坪阵列逻辑错不影响，河西阵列逻辑错无法避免几乎避免阵列逻辑错，同时减小河西主机房逻辑错的影响。方案

28、主要优势除数据同步外，实施云存储，云管理等。硬件环境单纯，责任制简单除数据同步外，实施云存储，云管理等。optional footer information here议程议程35金融业容灾规范金融业容灾规范1手机支付方案设计手机支付方案设计2symantecsymantec方案方案-手机支付应用级云容灾的落地手机支付应用级云容灾的落地3数据复制技术的比较数据复制技术的比较4案例借鉴案例借鉴5optional footer information here金融业案例金融业案例1- 银联银联2g时代的容灾时代的容灾 （2005）presentation identifier goes here3

29、6se9990上海浦东上海浦东se9990上海浦西上海浦西 his-db re-build运营服务器ldap服务器备灾运营服务器历史数据库异地生成服务器ldap服务器vxvm mirror volume50kmdwdm+dark fibrese9990 truecopy asyn1200km，atmse9990 北京北京ldap servermulti-master同步ii,iii类数据：配置和安全管理数据生产运营数据iv类数据：历史数据库i类数据：ldap数据optional footer information here金融业案例金融业案例2- 光大光大3g时代的容灾（时代的容灾（2009

30、）37清算清算 business group人行清算 businessunit 前置应用business 证券清算 businessunit 国际清算 businessunit 行内清算 businessunit 证券清算证券清算 business unit数据库应用 business 集群内服集群内服务组务组前置集群内服务组1数据库集群内服务组2数据中心数据中心data center清算 业务群business group oa 业务群business group核心业务群business group以光大银行的数据中心为例：有超过80多种应用，而且应用之间存在着相互的依赖关系optiona

31、l footer information here38srdf/s公网公网emcemc上上地地陶然陶然亭亭sfracsfrac远程切换远程切换站点间的容灾站点间的容灾“一键式一键式”切换切换盘阵间的数据复制（自动的反向复制）盘阵间的数据复制（自动的反向复制）容灾的管理更加简单容灾的管理更加简单容灾演练容灾演练在线添加节点在线添加节点在线存储及路在线存储及路径维护径维护上地上地bcv 快照启动容灾演习启动容灾演习快照加载快照加载复制复制应用测试应用测试演习结束演习结束陶然亭陶然亭金融业案例金融业案例2- 光大国际结算系统光大国际结算系统optional footer information he

32、re 移动案例移动案例3-xx移动移动 ngcrm 镜像镜像应天路生产机房虎踞路机房无锡机房srdf/ssrdf/ssrdf/arhpdmx2000superdomesrdf/ssrdf/sdmx1000p异步复制异步复制异步复制异步复制营帐1营帐2营帐3营帐4营帐5营帐6营帐分库营帐分库optional footer information here 移动案例移动案例3-xx移动移动 ngcrm 镜像镜像浦口高新机房无锡机房(dr site)ca /asyn ( 300km,dwdm )cacacaxp24000xp24000hp sdcrm1raccrm2raccrm3raccrm4raccrm1rac crm2raccrm3raccrm4racv