城市商业银行双活数据中心建设方案v1.0

银行双活数据中心与灾备解决方案

Active-ActiveDatacenterandDisasterRecoverySolutions议程1项目背景2建设目标3总体解决方案4实施与运维2议程1项目背景2建设目标3总体解决方案4实施与运维3商业银行发展状况4银监会/chinese/jrjg/index.html商业银行资产规模继续增长。截至2012年二季度末，总资产余额达99.3万亿元，与上年末同比增长20.4%。2012年第二季度，各类商业银行中，资产余额增长最快的是农村商业银行（增幅是50.4%，部分原因是农村商业银行数量增加），其次是城市商业银行（增幅31.5%）和股份制银行（增幅27.3%）。商业银行灾备中心建设总体趋势5职能定位方面技术特性方面架构方面测试演练方面单纯注重信息系统灾备体系建设方面纯粹的灾难恢复单一的存储复制技术传统的主备架构模拟演练建立满足金融业务发展需要，确保金融服务连续性的业务持续管理体系向兼顾开发、测试、统计分析等非交易类业务方向拓展向按业务系统的灾难恢复指标要求选择多种灾备技术转变向双中心互备、双中心高可用及多中心架构转变向真实演练转变灾备和业务连续性监管要求沿革6银监会2011.12《商业银行业务连续性监管指引》银监发【2011】（104号）2010.4《商业银行数据中心监管指引》银监发【2010】（114号）2009.6《商业银行信息科技风险管理指引》2008.4《银行业重要信息系统突发事件应急管理规范（试行）》（【2008】53号）2006.8《银行业金融机构信息系统风险管理指引》【2006】(63号)人民银行2008.2《银行业信息系统灾难恢复管理规范》（JR/T0044-2008）2006.4《关于进一步加强银行业金融机构信息安全保障工作的指导意见》（【2006】123号文件）国标委2007.6《信息系统灾难恢复规范》（GB/T20988—2007）国信办2005.4《重要信息系统灾难恢复指南》2004.4《关于加强信息安全保障工作的意见》银行业信息系统灾难恢复标准7中国人民银行《银行业信息系统灾难恢复管理规范》（JR/T0044-2008）：短时间中断对国家、外部机构和社会产生重大影响或影响单位关键业务功能并造成重大经济损失的系统：RTO（恢复时间目标）<6小时，RPO（恢复点目标）<15分钟；短时间中断会影响单位部分关键业务功能并造成较大经济损失的系统：RTO<24小时，RPO<120分钟；短时间中断会影响单位非关键业务功能并造成较大一定经济损失的系统：RTO<7天。GB/T20988－2007《信息系统灾难恢复规范》SHARE78国际标准灾备模式灾备层次1级基本级。备份介质场外存，安全保管、定期验证Tier-0无异地备份数据冷备数据级Tier-1有数据备份，无备用系统2级备份场地支持。网络和业务处理系统可在预定时间内调配到备份中心Tier-2有数据备份，有备用系统3级电子传输和部分设备支持。灾备中心配备部分业务处理和网络设备，具备部分通讯链路Tier-3电子链接4级电子传输和完整设备支持。数据定时批量传送，网络/系统始终就绪。Tier-4使用快照技术拷贝数据暖备/热备应用级5级实时数据传输及完整设备支持。采用远程复制技术，实现数据实时复制，网络具备自动或集中切换能力，业务处理系统就绪或运行中。Tier-5交易的完整性6级数据零丢失和远程集群支持。数据实时备份，零丢失，系统/应用远程集群，可自动切换，用户同时接入主备中心Tier-6少量或无数据丢失双活业务级商业银行灾备设计目标议程1项目背景2建设目标3方案总体架构4子系统方案设计5实施与运维9业务连续性(信息系统)建设体系架构10业务应用管理实践支撑系统系统软件硬件基础设施战略规划层，对业务进行评估，划定连续性级别对应用的逻辑关系进行梳理，确定应用的可用性指标流程的定义，配置变更与事件管理管理，安全，基础架构服务等配套系统虚拟化，操作系统，网络协议，存储服务服务器，存储设备，网络设备与链路建筑，环境，供电……11确定业务的可用性需求RPO损失的数据量丢失数据成本宕机成本二级应用三级应用数据可用性成本系统可用性成本一级应用恢复业务所需时间RTO0时间轴成本轴12类别A+及A类

关键应用，核心应用B类

二三级应用C类

非生产应用解决方案Active-ActiveDCVMReplication

RecoveryManagerVMReplication

DataProtectionSLARPO<5MinsRTO<2HoursRPO<15Mins

RTO<4HoursRPO<30Mins

RTO<4Hours应用场景BC,DA,DRDA,DRDA,DR(Manually)需求条件Layer2Network,RTT<200ms

StorageVirtualizationLayer2/3Network

AnyDist.

AnyStorageDevicesLayer2/3Network

AnyDist.

AnyStorageDevices管理工作量LowMiddleHigh成本HighMiddleLow基于业务的需求选择合适的解决方案以虚拟化为基础，灵活、可信、经济的业务连续性保障平台13一个平台：采用标准技术，统一资源调度，统一管理

提供多种

手段高可用容错迁移存储迁移备份复制快照

适用多种

场景同城双中心异地双中心两地三中心分支到中心

支持多种

关系双活互备主备多对一备份到云单中心

服务多种

应用关键应用二三级应用开发/测试数据库教学/科研议程1项目背景2建设目标3总体解决方案4实施与运维14银行生产环境“Double

Pod”系统架构双向复制业务连续性解决方案的三大要点16高可用数据

保护灾难

恢复虚拟化极大地简化了业务连续性解决方案17资源整合封装硬件无关所有与系统相关的信息都存储在磁盘数据中可以通过数据保护工具来保护整个系统可靠地将虚拟机恢复到任何硬件容灾站点可以采用低端设备减少生产端和容灾端的硬件需求在容灾端可以采用较高的整合比

服务器在线迁移/动态调配存储在线迁移/动态调配主机配置文件存储配置文件容错（FT）高可用（HA）X云计算基础架构云计算基础架构自动化资源确保业务连续性

按需容量配置虚拟化平台保障业务连续性vSphere+vCenter基于虚拟化技术的业务连续性解决方案概览19资源池vSpherevSpherevSphere本地站点灾备站点基于虚拟化层的异步复制基于硬件设备的同异步复制自动化应用切换管理城域集群应用感知的高可用性关键应用零停机保护在线迁移虚拟机，动态调配计算与存储资源VMotionandStorageVMotion高效的数据备份与恢复可通过运行计划与脚本实现自动化操作资源池vSpherevSphereDev/TestDev/TestDev/Test灾难恢复本地高可用数据保护方案特点与应用程序和操作系统无关与硬件设备无关

完善的保护

简单，经济同城双活数据中心解决方案——城域存储集群(vMSC)20场景描述整合距离相对较近的两个数据中心中的计算、存储和网络资源，实现高度灵活的负载分配，从而有效提升资源利用率，同时实现较高的可用性，且不会增加管理负担。方案特点跨数据中心实现高可用性与负载平衡，管理简便数据零丢失，无任何单一故障点，可最大化业务在线时间可实现城域级别的应用迁移与灾难避免/灾难恢复同城双活双活数据中心在各个级别上全面保障可用性vMotion&DRS

HA&FT服务器StoragevMotion，StorageDRS存储VMFSVMFS硬件热添加

多网卡绑定

存储多路径组件数据Backup

ReplicationMetroCluster站点同城站点B同城站点A同城双活数据中心解决方案——城域存储集群(vMSC)22需求条件数据中心距离小于100公里，具备裸光纤链路通过二层IP网络连接两个数据中心，BW>250M，RTT<100ms.可通过NSX或传统大二层网络技术实现采用存储虚拟化技术提供数据同步服务(RTT<5ms)存储支持FC,iSCSI,NFS等类型如EMCVPLEX,NetAppMetroCluster,HPLeftHand,IBMSVC利用VSAN实现存储的跨数据中心镜像(未发布)第三站点提供仲裁服务VMware相关产品与服务vSphereEnt+NSX网络虚拟化专业服务跨数据中心集群vCenter1仲裁站点C控制器控制器双活数据中心存储解决方案的选择传统虚拟化存储-镜像技术两个数据中心采用相同硬件配置，数据同步双写如EMCVPLEX,NetAppMetroCluster,HPLeftHand,IBMSVC等采用新型软件定义存储解决方案VVOL可实现存储资源的统一调度与管理VSAN可极大简化存储管理，实现全面自动化LUNLUNdiskgroupdiskgroupdiskgroupVSANnetworkVSANnetworkVSANnetworkvsanDatastorediskgroupdiskgroupVSANnetworkscaleupscaleout城域集群对存储的要求ESXi管理网络支持RTT<10ms同步存储复制RTT<5ms存储厂商可能有不同要求兼容性指南“iSCSIMetroClusterStorage”“FCMetroClusterStorage”“NFSMetroClusterStorage”24vMSC认证的存储设备城域集群中的传统存储解决方案25SiteASiteBDarkFiber<=200kmAggrXPlex0AggrYPlex1AggrYPlex0DWDMDWDMAggrXPlex1vSphereMetroStorageCluster工作原理vSphereHAClusterStretchedacross

campus

ormetroareavMSCCertifiedStorageMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSArraybasedsynchronousreplicationPlex0Plex0vSphereMetroStorageCluster工作原理StandardvMotionofVirtualMachinesvMotionvMSCCertifiedStorageMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSArraybasedsynchronousreplicationPlex0vSphereHAClusterPlex0vSphereMetroStorageCluster工作原理vSphereHAClusterStoragetakeovervMSCCertifiedStorageMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0Plex0Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSSiteshutdown

formaintenancevSphereMetroStorageCluster工作原理vSphereHAClustervMSCCertifiedStorageMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex0Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0Automatic

resyncMaintenanceperformed,siterestoredvSphereMetroStorageCluster工作原理vSphereHAClustervMSCCertifiedStorageNetAppMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex0Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0StandardvMotion

toreturnVMsAccessreturned选择正确的数据保护方案31基于阵列

的复制

vSphere

复制技术vSphere

数据保护可实现零数据丢失存储合作伙伴解决方案RPO同步分钟小时天RPO从15分钟到24小时基于虚拟机层，虚拟机级别RPO最小1天备份数据复制可实现

自动化

灾难恢复自动的灾难恢复流程控制32vSpherevCenterServerSiteRecoveryManagervCenterServerSiteRecoveryManagervSphere生产站点灾难恢复站点ServersServersArray-basedreplicationvSphereReplication解决方案描述要实现自动化的应用级灾难恢复，需要使用SiteRecoveryManager一类的灾难恢复管理工具。主要特色为数千台虚拟机制定恢复计划不影响生产的灾难恢复测试自动化的灾难恢复流程主要收益降低超过50%的灾难恢复管理开销消除手工操作的复杂性和风险实现快速、高度可预测的RTO为应用提供策略驱动的灾难恢复控制灾备中心建设访问优化OTVOTV主中心同城灾备中心StorageExtensionsLANExtensions数据中心互连VN-linknotificationsOTVOTV新一代同城灾备中心建设内容异地(同城)灾备解决方案34场景描述在不限距离的两个数据中心之间构建备份关系，通过备份或复制技术实现数据保护，并借助于自动化工具实现灾难恢复计划的制定、验证和切换。方案特点跨地域的业务连续性保护，包括应用迁移，灾难避免和灾难恢复等有效保障数据一致性及服务可用性，可实现较好的RPO和RTO可制定灵活且详细的灾难恢复计划与演练计划不影响生产的灾难恢复测试自动化的演练、切换与回切一对一或多对一的站点映射异地灾备异地(同城)灾备解决方案35需求条件通过二层或三层IP网络连接两个数据中心采用基于vSphere或阵列的复制技术vSphere内置复制功能免费，RPO=15分钟-24小时，文件级一致性，虚拟机级别颗粒度支持异构存储，vCenter直接管理阵列复制功能由合作伙伴提供，需额外购买支持同步或异步复制，应用级一致性，LUN级别颗粒度VMware相关产品与服务vSphereEnt+vCenterSiteRecoveryManagerVSAN专业服务vSpherevCenterServerSiteRecoveryManager生产站点服务器阵列

复制vSphere复制vSpherevCenterServerSiteRecoveryManager灾备站点服务器异地(同城)灾备解决方案——多种映射关系36SiteCDatacenterSiteCVCCluster(s)SRMSRMSiteBDatacenterSiteBVCCluster(s)SRMSRMSiteADatacenterSiteAVCCluster(s)SRMSRMSiteBDatacenterROBO1ROBO2ROBO“N”SiteB

VCRemoteSiteMgmt.VCCluster(s)SRMSRMSRMSiteADatacenterSiteA

VCCluster(s)SRM两地三中心解决方案——双活与灾备的完美集成37场景描述适用于对业务连续性要求较高的应用，通过集成同城双活与异地灾备两种解决方案，既能实现数据零丢失和故障自动切换,又能抵御局部灾难的发生。方案特点同城两个站点之间的高可用提供数据零丢失的第一层保护异地数据中心之间的灾备功能实现第二层保护软件定义的网络与存储可提供最大灵活性两地三中心同城中心A异地中心同城中心B同城高可靠双中心应能够支持关键应用的灵活切换。异地容灾中心作为主数据中心及同城中心的暖备份中心。对于关键应用，同城中心应该没有任何性能降低，异地容灾中心的性能降低率不能超过20%。商业银行灾备模式——两地三中心ApplicationApplicationApplicationApplicationApplication数据中心

2Tier1关键业务系统ApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationTier2与

Tier3应用ApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplication数据中心

1Tier1关键业务系统2:46p.m.45英里以外的海域发生地震2:57p.m.IT部门紧急反应3:55p.m.海啸来袭！！！2:49p.m.发布海啸警报Tier2与

Tier3应用39异地业务级容灾示例议程1项目背景2建设目标3总体方案架构4实施与运维40虚拟化平台实施方法论Text1Text2Text3Text4Text5Text62.业务影响分析1.当前环境分析3.容灾方案设计4.容灾实施5.灾难恢复计划设计6.灾难恢复计划演练VVDR银行容灾建设工作内容42需求设计实施演练系统关联分析确定各系统耦合关系及切换系统范围容灾切换需求明确XX银行容灾建设指标与业务部门沟通明确切换建设应用范围总体设计涵盖应用分析技术架构/网络/导航/管理设计关键技术验证识别关键技术点组织关键技术测试详细设计细化切换设计方案确定系统配置参数双中心虚拟化容灾实施根据改造方案完成虚拟化平台容灾初始化，根据详细设计，完成有关软件安装实施中心切换演练验证实施效果演练方案描述演练内容方式应急预案出现意外情况时的应急指导演练剧本指导演练整体流程操作手册技术步骤操作指导应用系统调研收集整理IT系统现状切换预案确定切换场景，明确人员、组织、流程工作内容说明阶段工作内容工作项需求1.当前环境分析业务现状分析IT现状及关联高可用及备份现状当前恢复能力分析2.业务影响分析应用系统关联分析主要应用系统分析灾备建设策略灾备建设的范围及指标灾备场景应对策略灾备恢复切换策略及切换单元建议设计与实施3.容灾方案设计需求分析NFR:有效性可靠性可管理性安全性可恢复性FR容灾基础设施网络存储应用恢复架构概览架构逻辑设计架构物理设计vCenter逻辑设计SRM设计SRM数据库设计网络设计存储设计公有服务设计占位虚拟机设计命名规范设计资源映射关系设计（资源、文件件、网络、保护组）DRP设计（启动顺序、测试网络、测试场景）工作内容说明(续)阶段工作内容工作项4.容灾实施现有架构优化网络实施存储实施虚拟化实施SRM实施容灾验证演练5.灾难恢复计划设计切换范围切换方式参与单位组织架构及职责切换实施方案（环境准备-切换流程-业务验证-回切）切换计划切换风险分析及应急措施6.灾难恢复计划演练灾难恢复演练范围定义灾难恢复演练角色定义灾难恢复演练流程灾难恢复演练指挥灾难恢复演练操作指挥灾难恢复演练功能验证演练后环境恢复流程演练后环境恢复指挥演练后环境恢复操作指挥演练总结风险分析及控制示例：异地机房银行主机房结合建转运(Day1)及日常运维(Day2)虚拟化管理和监控规划建议规划方案规划依据多中心统一管理围绕资源服务生命周期进行管理分为云自动化管理、云运维管理、云资源管理三个部分设计特点集成平台，作