Symantec两地三中心应用级云容灾方案

湖南移动手机支付系统两地三中心的应用级云容灾方案巢珏颖/CocoChao议程2金融业容灾规范1手机支付方案设计2Symantec方案----手机支付应用级云容灾的落地3数据复制技术的比较4案例借鉴532023/11/27《信息系统灾难恢复标准》--GB/T20988

〔原《重要信息系统灾难恢复指南》〕1级-基本支持每周至少做一次完全数据备份制定介质存取、验证和转储的管理制度完整测试和演练的灾难恢复计划2级-备用场地支持3级-电子传输和部分设备支持4级-电子传输及完整设备支持5级-实时数据传输及完整设备支持6级-数据零丢失和远程集群支持预定时间调配数据,通信线路和网络设备备用场地管理制度设备及网络紧急供货协议配置部分数据,通信线路和网络设备每天实现多次的数据电子传输备用场地配置专职的运行管理人员配置所需要的全部数据和通讯线路及网络设备，并处于就绪状态7*24运行;更高的技术支持和运维管理实现远程数据复制技术备用网络也具备自动或集中切换能力实现远程数据实时备份，实现零丢失应用软件可以实现实时无缝切换远程集群系统的实时监控和自动切换能力42023/11/27国级实现解析至少一周一次全备份CustomerExpress备份介质场外存放有符合介质存放条件的场地42023/11/27配备灾难恢复所需的局部数据处理设备配备局部网络设备配备局部通讯设备有恢复运作的场地每天屡次利用通信网络将关键数据定时批量传送至备用场地7x24小时运作

就绪或运行状态就绪状态第一级：根本支持其次级：备用场地支持第三级：电子传输和局部设备支持第四级：电子传输及完整设备支持第五级：实时数据传输及完整设备支持第六级：数据零丧失和远程集群支持承受远程数据复制技术将关键数据实时复制到备用场地具备自动或集中切换力气远程实时备份，实现数据零丧失具备远程集群系统的实时监控和自动切换力气5金融行业业务连续性的法规遵从第十九条商业银行应当制定与其业务规模和简洁性相适应的应急和业务连续方案，建立恢复效劳和保证业务连续运行的备用机制，并应当定期检查、测试其灾难恢复和业务连续机制，确保在消逝灾难和业务严峻中断时这些方案和机制的正常执行。

其次十四条商业银行应准时向银监会或其派出机构报告以下重大操作风险大事：〔二〕造成商业银行重要数据、账册、重要空白凭证严峻损毁、丧失，造成在涉及两个或两个以上省〔自治区、直辖市〕范围内中断业务3小时以上，在涉及一个省〔自治区、直辖市〕范围内中断业务6小时以上，严峻影响正常工作开展的大事；《商业银行操作风险治理指引》其次十九条银行业金融机构应制定信息系统应急预案，并定期演练、评审和修订。省域以下数据中心至少实现数据备份异地保存，省域数据中心至少实现异地数据实时备份，全国性数据中心实现异地灾备。 灾备演练RTO异地灾备标准对容灾设计的启发确定手机支付系统容灾的国6级方向手机支付的应用分级依据应用等级，定义不同的PTO,明确容灾方案PresentationIdentifierGoesHere6议程7金融业容灾规范1手机支付方案设计2Symantec方案----手机支付应用级云容灾的落地3数据复制技术的比较4案例借鉴5VeritasStorageFoundationforOracle8方案设计业务现状已有机房位于四方坪主机以IBM为主阵列为EMC容灾需求将来会新增岳阳和河西两个机房用于容灾手机支付系统业务模式属于移动的银行类业务应用种类多，应用之间规律简洁VeritasStorageFoundationforOracle9方案设计思路业务分级设计类别名称RPORTO数据量数据同步应用切换数据备份说明总量增量河西---四方坪四方坪--岳阳河西---四方坪四方坪--岳阳备份频率保存周期I类/国6级II类/国5级III类/国4级方案设计思路两地三中心的分工设计容灾中心角色：河西为生产中心，备份主中心，监控治理中心四方坪用于同城容灾中心岳阳用于异地容灾中心数据同步方式河西到四方坪，同步模式，数据零丧失，数据同步通过光纤链路四方坪到岳阳，异步模式。数据同步通过网络应用切换方式：故障发生时，河西切换到四方坪，距离短，切换快假设后续岳阳提高主机配置，当同城两中心全部故障后，应用切换到岳阳异地容灾中心数据备份主备份中心置于河西西方坪/岳阳同时为异地备份存放中心和备份切换中心。VeritasStorageFoundationforOracle10方案设计思路工程实现一期实现四方坪到岳阳的国5级标准容灾的异地容灾和应急中心两地数据的异步复制岳阳两台570主机用途可定期容灾演练，验证复制数据的可用性可临时用于数据查询等操作极限状况下，应用切换到岳阳，可充当应急响应中心二期实现河西/四方坪/岳阳的国6级容灾同城/异地容灾中心四方坪/河西容灾和生产中心互换数据复制方向转变，由原来的四方坪到岳阳，改为河西到四方坪在到岳阳河西和四方坪建立一对一的应用HA工程实施中的风险点四方坪和河西的中心互换

VeritasStorageFoundationforOracle11议程12金融业容灾规范1手机支付方案设计2Symantec方案----手机支付应用级云容灾的落地3数据复制技术的比较4案例借鉴5什么是应用级云容灾应用层应用切换从技术上不受地域限制，可在三中心内实现多个应用之间可依据规律关系关联性的自动切换，而非各应用独立切换。便利牢靠的在线容灾演练主机层主机之间的疼惜可以通过多对一的方式实现。如应用效劳器等。不同主机平台之间可以实现数据跨平台共享。如IBM主机和富士通主机全部主机可以在一个图形界面中集中治理存储层实现存储池，在线空间调整和性能调整。实现存储阵列的HA三中心间的数据灵敏的增量同步或者复制全部存储使用都可在一个图形界面中统一治理VeritasStorageFoundationforOracle13什么是应用级云容灾数据中心的备份三中心不同业务数据都可统一备份到一个存储或带库上。同一数据可通过网络，光纤等备份到三中心的任一存储目的中全部设备的备份都由一个备份主效劳器控管主备份中心可在三地之间切换。三中心的监控三中心的全部主机，阵列，数据，备份通过一个统一界面集中治理，监控和告警统一监控治理平台可以在三中心之间任凭切换。

VeritasStorageFoundationforOracle14总之云容灾就是：1.技术层面三中心在功能，角色上无任何主次之分，三者之间的功能可随意切换。2.实现开放式的异构架构，便于硬件的调整。3.应用在三中心灵活切换4.方便可靠的在线容灾演练HighAvailability&DisasterRecoveryApplicationAvailability1515湖南移动手机支付云容业务灾切换示意图岳阳(异地容灾)四方坪(同城容灾)河西〔本地HA〕SAPSAP异步复制SAP同步复制/镜像APP4APP3APP2APP1APP4APP3APP2APP1两地三中心应用级云容灾Storage

Snapshot

Non-

disruptive

testingFDSG两地三中心的统一监控Symantec云容灾方案的实现---产品清单VeritasStorageFoundationforOracle16功能类Symantec产品实现功能描述硬件厂商相应产品（EMC为例）基础产品VeritasClusterServer(VCS)

实现三中心的所有应用/主机的云群集无ClustermanagerConsole（CMC）实现三中心应用关联性切换无StorageFoundation(SF)实现三中心的所有阵列的云存储无Netbackup(NBU)实现三中心的所有应用/系统的云备份无同城复制SF/Mirror实现河西和四方坪的数据同步以及阵列的HASRDF异地复制SF/VVR实现河西/四方坪到岳阳的数据异步同步SRDF/A监控产品CCS实现应用

主机

交换机

阵列端到端的银色监控无Symantec云容灾方案的实现---产品部署和示意图VeritasStorageFoundationforOracle171.VCS实现云容灾2.SF实现云存储3.NBU实现云备份4.SF/Mirror实现同城数据复制5.SF/VVR实现异地数据复制6.CMC/CCS/存储应用统一监控VCSCMC

集群管理标准化集中管理预警报告配置一致性检查

容灾演练CMC管理服务器ORCLORCLORCLORCLORCLCUS……WLSSQLSQLSymantec云群集---概述FSVolVolFSVolDGNICIPFSDBLSNRVCS疼惜单个业务应用实现集群本地切换容灾演练灾备切换流程化支持混合OS集群多级HA/DR集群间业务映射

基于优先级切换生产中心到灾备中

心整体切换+Symantec云群集---多应用关联的群集切换19Symantec云群集---容灾演练对业务产生中断可能产生无法猜测的问题耗时、耗力、耗资源如何做?78%从未测试过流程预案启动应用生成空间优化的快照验证应用主中心始终在线不影响生产系统的正常运行无需中断业务系统存储需求量小20VCS生产机房容灾机房ProdSGFDSG

数据同步快照数据Symantec云存储—概述SymantecCorporateOverview21物理磁盘/LUNsVolumeApplication将多个物理磁盘对象整合成一个虚拟对象卷治理系统的任务是创立一个数据存储的虚拟层对于上层应用而言,”卷”就像一个物理的磁盘分区一样对于系统而言,”卷”表现为一个在/dev树下的“块设备”和“字符设备”:/dev/vx/[r]dsk/…我们把文件系统也当作一种特殊类型的应用存储的治理创立卷增加，缩小卷的空间挂接到不同主机卷的日常操作为卷增加或移出磁盘数据的复制、拷贝和迁移镜像/分割物理层治理LUN映射冗余链路治理I/O负载均衡Symantec云存储---实现异构的开放平台SymantecCorporateOverview22fcfcfcfcfcipipip后台存储资源ipfcfcfcfcfcfcfcfc应用系统文件系统/数据库规律卷治理存储链路治理磁盘驱动治理存储拓扑治理Symantec云存储应用---资源动态治理在线优化调整在线迁移调整快速空间支持数据安全效劳在线容量扩展统一的存储把握和治理符合业务需求的快速资源部署和效劳供给硬件物理资源供给根本存储单元$/GB24Symantec云存储应用----实现跨主机平台数据共享AIX1.实现数据跨平台共享和迁移富士通2.测试系统使用实际数据用于测试开发Snapshot3.测试开发系统承受linux平台节省投资主阵列SnapshotLINUX测试系统25Symantec云存储应用----降低应用升级失败影响手机支付系统应用服务器/数据服务器1.应用/数据库升级前作一个快照〔用时1分钟〕2.升级失败，利用快照恢复，直接将系统恢复到升级前的状态〔耗时5分钟左右〕阵列snapshot3.升级成功，直接删除快照快照恢复通过快照方式升级可削减95%t停机时间使用快照升级过程：传统升级模式：应用升级升级失败后备份恢复，耗时数小时原始数据增量指针式的快照数据中国移动江苏公司的核心业务支撑系统来看，包括BOSS系统、经营分析系统、客服系统、企业信息化系统等子系统，总计近400台效劳器〔TPCC值超过10000万〕，近100台高、中、低端存储设备，超过1000TB的重要业务数据，分布于南京和无锡的5个数据中心Symantec云备份系统的技术设计及实现方案分为以下几个层次：

备份虚拟化技术引入及部署-建立一个可扩展的根底架构SOA-建立跨越整个备份资源的统一兼容的面对业务需求的备份效劳自动化治理-提高云备份根底架构治理效率降低简洁度27空间治理要求资源治理集中化告警监控降低投资成本清点存储设备了解资源的消耗

准确反映当前整体情况科学决策/预测发展趋势采购过程更明确性能监控端到端拓扑发现动态跟随网络变化事前主动监控使用更经济快速定位事故原因存储环境故障响应集中处理平台业务影响关联策略提高反应速度减少管理工具端到端管理软件独立性统一管理提高适应能力统一工具减少人为失误从业务应用到物理设备可视性治理要求牢靠性治理要求可变性治理要求Symantec云治理议程28金融业容灾规范1手机支付方案设计2Symantec方案----手机支付应用级云容灾的落地3数据复制技术的比较4案例借鉴529symantec同城数据复制方案----SFmirror29

生产卷EMC盘阵SAN容灾阵列镜像卷X异构镜像盘阵1.本地阵列故障，应用不切换2.本地阵列修复，数据增量同步，不影响业务X3容灾阵列故障，业务无影响4.容灾阵列修复增量同步，业务无影响30硬件厂商同城容灾方案---SRDF的复制模式LimiteddistanceHost1423SourceTargetSRDF瓶颈单个LUN最多只能处理每秒300个写左右DMX3只能处理每秒15000个写左右同城数据复制方案比较PresentationIdentifierGoesHere31功能描述SFmirrorSRDF阵列故障零停机本地/远程阵列故障应用不受影响本地阵列故障应用停止内部逻辑错误完全避免无法避免阵列异构完全支持必须同构云储存功能完全实现无法实现成本硬件无需增加额外的硬件模块还需额外购买硬件复制卡，增加阵列cache，cpu，port等配置用于复制时的阵列消耗必须加买复制软件，BCV等SF中包含复制，快照等无额外投资，软件快照数据保护可以跨异构阵列作快照阵列内部实现异地数据复制比较ASANReplicationAIPReplicationAASRLSRLSRDF/ASF/VVR异地数据复制方案比较PresentationIdentifierGoesHere33功能描述SF/VVRSRDF/A内部逻辑错误完全避免无法避免阵列异构完全支持必须同构复制链路要求基于单个I/O块为单位，收到一个I/O就传一个I/O,链路不增加额外开销在阵列cache中累积30秒的I/O后，一起同步到远程的阵列cache中，所以对链路和阵列cache开销大成本阵列档次由于有三中心的容灾，岳阳又是异步复制，因此可以采用中低端的阵列硬件复制方案，异步复制必须是高端阵列，中低端阵列不具备复制功能阵列配置阵列内无需增加额外的硬件模块增加阵列的cache，cpu，port等配置用于复制时的阵列消耗增加河西主机房的实施方法四方坪VVR异步同步到岳阳河西建成后，在四方坪的主卷上增加一个河西的镜像卷完成2地3中心，河西和四方坪在数据镜像关系上不存在主次之分1.四方坪异步到岳阳2.河西建成后，复制完全重建以实现2地3中心3.重建过程中，数据无容灾两地三中心的整体方案PresentationIdentifierGoesHere34纯软件纯硬件软硬结合方案1.河西和四方：镜像2.镜像完的数据VVR到岳阳1.河西同步到西方坪2.四方坪异步到岳阳1.河西同步到四方坪2.河西异步到四方坪1.Symantec实现河西和四方坪的镜像同步2.硬件厂商完成异步复制可行性完全可行完全可行行完全可行四方坪和河西主机房互换的实施先实现异步远程复制，异步不停，直接增加镜像。

四方坪到岳阳异步中断原先的异步复制，完全重新建立同步和异步复制关系。硬件实现四方坪到河西软件加入河西镜像卷硬件重新建立异步复制实施方案比较延续性实施，实施简单无风险，实施最简单实施最复杂，实施过程无连续性，新增河西时实施过程中，可能会有一定时间无容灾保护实施较复杂，但河西加入时，始终有容灾保护阵列逻辑错完全避免阵列逻辑错完全无法避免阵列的逻辑错，河西，四方坪两个逻辑错可能点避免部分逻辑错。四方坪阵列逻辑错不影响，河西阵列逻辑错无法避免几乎避免阵列逻辑错，同时减小河西主机房逻辑错的影响。方案主要优势除数据同步外，实施云存储，云管理等。硬件环境单纯，责任制简单除数据同步外，实施云存储，云管理等。议程35金融业容灾规范1手机支付方案设计2Symantec方案----手机支付应用级云容灾的落地3数据复制技术的比较4案例借鉴5金融业案例1----银联2G时代的容灾〔2023〕PresentationIdentifierGoesHere36SE9990上海浦东SE9990上海浦西

His-DBRe-buildCUP容灾项目体系架构运营服务器LDAP服务器备灾运营服务器历史数据库异地生成服务器LDAP服务器VxVMMirrorVolume50KM@DWDM+DarkFibreSE9990TrueCopyAsyn1200KM，ATMSE9990北京LDAPServerMulti-Master同步II,III类数据：配置和安全管理数据生产运营数据IV类数据：历史数据库I类数据：LDAP数据金融业案例2----光大3G时代的容灾〔2023〕37清算

BusinessGroup人行清算BusInessUnit前置应用Business

证券清算BusinessUnit国际清算BusinessUnit行内清算BusinessUnit证券清算BusinessUnit数据库应用Business

集群内服务组前置集群内服务组1数据库集群内服务组2数据中心DataCenter清算业务群BusinessGroupOA业务群BusinessGroup核心业务群BusinessGroup以光大银行的数据中心为例：有超过80多种应用，而且应用之间存在着相互的依靠关系38SRDF/S公网EMCEMC上地陶然亭SFRACSFRAC远程切换站点间的容灾“一键式”切换盘阵间的数据复制〔自动的反向复制〕容灾的治理更加简洁容灾演练在线添加节点在线存储及路径维护上地BCV快照启动容灾演习快照加载复制应用测试演习完毕陶然亭金融业案例2----光大国际结算系统

移动案例3---XX移动NGCRM镜像

应天路生产机房虎踞路机房无锡机房SRDF/SSRDF/SSRDF/ARHPDMX2023SuperdomeSRDF/SSRDF/SDMX1000P异步复制异步复制异步复制异步复制营帐1营帐2营帐3营帐4营帐5营帐6营帐分库

移动案例3---XX移动NGCRM镜像浦口高新机房无锡机房(DRSite)CA/Asyn(300KM,DWDM)CACACAXP24000XP24000HPSDCRM1RACCRM2RACCRM3RACCRM4RACCRM1RACCRM2RACCRM3RACCRM4