中信集团灾备中心建设方案详细

1、中信集团灾备中心建设方案V4.0中企网络通讯技术有限公司2015年5月14日目录第1章集团应用系统灾备需求.41.1 灾备项目背景41.2 集团生产站点总体现状41.3 灾备项目需求10第2章集团灾备中心建设目标.122.1灾备级别划分122.1.1第2级备份介质异地存放+异地备份数据中心.132.1.2第3级网络传输+异地数据中心部分设备支持.142.1.3第4级网络传输+异地数据中心完整设备支持.152.2灾备系统组成172.3灾备模式介绍182.4集团一期灾备项目关键指标要求19第3章业务系统灾备建设方案.193.1方案设计思路203.2灾备中心VM规划213.3信息披露系统灾备设计23

2、3.3.1方案设计拓扑图233.3.2虚拟服务器层面233.3.3Oracle数据库设计243.4股份门户网站灾备设计253.4.1方案设计拓扑图253.4.2虚拟服务器层面253.4.3SQLServer数据库设计25第4章灾备网络概要设计.274.1方案设计拓扑图274.2集团管理信息部部署方式284.3上海宝山机房部署方式294.4灾备数据业务流向304.4.1Veeam灾备数据复制304.4.2应用系统数据复制324.5灾备切换场景及业务数据流向分析344.5.1正常情况下的路由及数据流344.5.2灾备切换场景概述354.5.3灾备切换情况说明38第5章数据灾备及数据回复的实现过程.

3、395.1数据灾备过程395.2数据回复过程40第6章灾备技术说明.416.1VEEAM的实现过程416.2VEEAM的优势分析43第7章灾备项目实施相关.457.1实施计划457.2灾备站点基础设施467.2.1软硬件选型497.3灾备站点虚拟机配置507.4项目交付517.5安装过程517.6项目支持团队537.7项目进度537.8UAT测试标准547.9灾备启动流程567.10灾备回复流程577.11责任划分58第8章客户服务.608.1客户服务理念608.2一站式服务支持608.3客户满意度的措施618.4服务优势618.5中企通信服务质量承诺标准628.5.1MPLSVPN专线承诺标

4、准628.5.2中企通信云平台承诺标准62第9章中企通信灾备中心服务介绍.639.1中企通信灾备中心服务综述639.2上海宝山数据中心概述649.3中企通信云计算服务（SMARTCLOUD?）概述659.4中企通信灾备服务（BRR）概述66第10章成功案例.69第1章集团应用系统灾备需求1.1 灾备项目背景随着集团业务信息量增大，集团日常工作对信息化的依赖程度越来越高。业务系统一旦中断，将给集团带来巨大的经济损失和负面效应。业务连续性的保障工作成为集团管理信息部首要考虑的问题。因此要建设异地灾备中心，对核心业务系统进行容灾备份，在系统出问题时，能有相关的容灾系统及时接管业务，保证业务系统的连续

5、、稳定运转。1.2 集团生产站点总体现状中国中信集团有限公司建设有IT共享服务中心和数据中心，承载着集团的所有信息化系统及子公司的部分应用系统。IT共享服务中心拥有2台IBMP710主机、6台IBMP730主机（112核CPU、448G内存）以及10台IBMX3850服务器、2台IBMX3650服务器（44颗6核CPU、1664G内存），利用PowerVM和VMware虚拟化技术，构建了小型机资源池和PC服务器资源池，同时利用2台IBMV7000存储（22T可用容量）、1台NetappV6210a存储（20T可用容量）构建了存储资源池；数据中心拥有2台IBMP730主机（32核CPU、128G

6、内存）以及3台IBMX3850服务器（18颗6核CPU、160G内存），利用PowerVM和VMware虚拟化技术，构建了小型机资源池和PC服务器资源池，同时利用1台IBMV7000存储（11T可用容量）构建了存储资源池；小型机资源池和PC服务器资源池通过4台CISCO9148光纤交换机多路径连接到存储资源池。IT共享服务中心和数据中心利用PowerVM、VMware技术部署了40余台小型机虚拟机以及140余台PC服务器虚拟机，承载着门户网站、内联网、集成化管理类应用、邮件系统、数据分析系统等应用系统及各应用系统的开发测试环境。虚拟机的操作系统包括AIX（6.1为主）、Windows（2000

7、、2003、2008、2012）、Linux（Redhat、CentOS、SUSE），数据库包括OracleRAC（10g、11g）、SQLServer双机、DB2、MySQL等，中间件包括Websphere、Weblogic、Tomcat等，应用平台包括Portal、Domino、HFM等。IT共享服务中心和数据中心的网络由2台CISCO4507R和一台Huawei5700交换机组成，利用2台天融信TG61040、2台Feitigate1000c防火墙划分出核心区、辅助区、安全区、测试区、Web区等多个虚拟网络，防火墙具有访问控制、防攻击、防病毒的功能。IT共享服务中心和数据中心还部署有2对

8、美国优势网络公司的Inchorus1240应用前端交换机，配置了部分应用系统的负载均衡。用户访问各应用系统时，大部分通过TDS统一认证，有些应用系统有自己的认证系统。1.2.1 一期生产站点现状集团的信息披露系统和中信股份门户网站的服务器架构基于双机热备份的架构部署。信息披露系统的现状如下：如图所示，目前信息披露系统由9台服务器组成，其中2台web服务器、2台HFM服务器、2台数据管理服务器以及及1台报表分析服务器共7台服务器运行在集团的VMware虚拟化平台上，操作系统为Windows2008R2，2台数据库服务器运行集团的PowerVM虚拟化平台上，操作系统为AIX6.1。7台VMware

9、虚拟服务器部署着Oracle公司的Foundation、HFM、BIEE，以及景华天创公司的Bivison；2台PowerVM虚拟化小型机部署着OracleRAC。2台web服务器、2台数据管理服务器使用美国优势公司的Inchorus配置了负载均衡，2台web服务器为双活模式，2台数据管理服务器为主备模式。信息披露系统数据分为两类：一类为随机上报的披露数据，每月约100条左右；一类为按季度上报的合并数据，目前有70家子公司上报，每家每次数据量为5M左右。股份门户的现状如下：如图所示，目前中信股份门户网站由6台服务器组成，2台web服务器、2台CMS服务器、2台数据服务器共6台服务器运行在集团的

10、VMware虚拟化平台上，操作系统为Windows2012R2。6台VMware虚拟服务器部署着WindowsIIS、Euroland公司的CMS和WindowsSQLserver数据库集群。2台web服务器使用美国优势公司的Inchorus配置了负载均衡，为双活模式。门户网站的数据更新是随机的，每月约15条左右。服务器CPU内存存储VMDK文件大小IP地址负载均衡（服务）IP中信集团信息披露系统Web服务C:100GD:50G8G12G172.20.17.65172.20.16.26C:100GD:50G8G12G172.20.17.66C:100GD:150G11G24G172.20.17

11、.55172.20.17.55C:100GD:150G8G14G172.20.17.56172.20.17.56数据管理服务器1216GC:100GD:150G10G21G172.20.17.58172.20.16.25数据管理服务器2216GC:100GD:150G8G12G172.20.17.59数据库集群172.20.21.30中信股份门户网站Web服务器1Web服务器2根据集团提供的信息系统调查表计算出，生产环境下，各信息系统的的资源用量为：2器18GWeb服务2器28GHFM用服务应器216G1HFM应用服务器216G2412GC:50G25G172.20.2.8412GC:50G2

12、3G172.20.2.9172.20.2.18CMS服务器1（主服务器）CMS服务器2（备用服务器）412GC:50G24G172.20.17.68172.20.17.68172.20.17.69412GC:50G22G172.20.17.69（备用地址）C:数据库服务器1416G150G500G29G2G172.20.21.32172.20.21.35172.20.21.341.3 灾备项目需求集团目前第一期计划针对信息披露系统和中信股份网站进行灾备项目的实施。目前信息披露系统的web服务器、HFM服务器、数据管理服务器以及报表分析服务器共7台服务器运行在集团的vmware虚拟化平台上，披露

13、系统的Oracle数据库系统运行在小型机上，该系统的主要功能是完成财务报表的合并，同时支持中信股份的信息披露业务；中信股份的官方网站的6台服务器也运行在集团的vmware虚拟化平台上，该网站属于中信股份的官方网站，是中信股份集团对外的信息发布和形象展示窗口；集团信息部门要求针对这两个系统提出可行性灾备方案，要求在生产站点业务中断后，灾备站点可以在一定时间内完全接管业务，保证数据在异地有冗余备份。?信息披露系统的要求：1. 灾备站点的Web服务器、HFM服务器、数据管理服务器、Oracle数据库服务器和DNS服务器的IP地址均不能变更；2. 信息披露系统只针对中信集团本部和集团下属各个子公司提供

14、服务，全部通过中信集团第二张网进行内网访问；3. 生产站点和灾备站点之间通过MPLSVPN网络连通，实现数据的传输；?中信股份门户网站的要求：1. 灾备站点的Web服务器、CMS服务器和SQLServer数据库服务器的IP地址可以不和生产站点的Web服务器、CMS服务器以及SQLServer数据库服务器保持一致；2. 中信股份门户网站对外通过互联网提供访问服务；3. 生产站点和灾备站点之间通过MPLSVPN网络连通，实现数据的传输和交互；第2章集团灾备中心建设目标2.1 灾备级别划分根据国务院信息化工作办公室于2005年4月下发的重要信息系统灾难恢复指南中的定义，灾难恢复等级可以划分为6个不同

15、的等级，根据不同的灾难恢复需求确定灾难恢复等级，不同的灾难恢复等级，其解决方案可根据灾难恢复登记以下主要方面所达到的程度分为七级，即从低到高有七种不同层次的灾难恢复解决方案。可以根据中信集团各业务的系统及数据的重要性以及恢复策略，来设计选择灾难恢复方案和计划。根据重要信息系统灾难恢复指南的定义，灾难恢复级别的选择，主要决定以下七个要素：数据备份系统备用数据处理系统备用网络系统备用基础设施技术支持运营维护管理灾难恢复预案国信办在重要信息系统灾难恢复指南中定义了灾难恢复等级划分了六个标准，依据风险分析和业务影响分析，按照业务连续性要求，集团总部信息系统分为重要信息系统、次重要信息系统和非重要信息系

16、统3类，每类信息系统适用不同的国家灾备等级标准：重要信息系统：4级次重要信息系统：3级非重要信息系统：2级具体内容如下：2.1.1 第2级备份介质异地存放+异地备份数据中心要素要求a)完全数据备份至少每周一次；A.2.1数据备份系统b)备份介质场外存放。备用数据处理系a)灾难发生时能在预定时间内调配所需的数据A.2.2统处理设备到场。a)灾难发生时能在预定时间内调配所需的通信A.2.3备用网络系统线路和网络设备到位。a)有符合介质存放条件的场地；A.2.4备用基础设施b)有满足信息系统和关键业务功能恢复运作要求的备用场地。A.2.5技术支持a)有介质存取、验证和转储管理制度；b)按介质特性对备

17、份数据进行定期的有效性验证；A.2.6运行维护支持c)有备用场地管理制度；d)与相关厂商有符合灾难恢复时间要求的紧急供货协议；第二级灾难恢复应具有技术和管理支持如表A2所示。表A.1第2级灾难恢复的技术和管理支持e)与相关运营商有符合灾难恢复时间要求的备用通信线路协议。A.2.7灾难恢复预案a)有相应的经过完整测试和演练的灾难恢复预案。2.1.2 第3级网络传输+异地数据中心部分设备支持第三级灾难恢复应具有技术和管理支持如表A3所示。表A.2第3级灾难恢复的技术和管理支持要素要求a) 完全数据备份至少每天一次；A.3.1数据备份系统b) 备份介质场外存放；c) 每天多次利用通信网络将关键数据定

18、时批量传送至备用场地。A.3.2备用数据处理系统a) 配备灾难恢复所需的部分数据处理设备。A.3.3 备用网络系统a)配备部分通信线路和相应的网络设备。a) 有符合介质存放条件的场地；A.3.4 备用基础设施b) 有满足信息系统和关键业务功能恢复运作要求的场地。A.3.5 技术支持a)在备用场地有专职的计算机机房运行管理人员。A.3.6 运行维护支持a) 按介质特性对备份数据进行定期的有效性验证；b) 有介质存取、验证和转储管理制度；c) 有备用计算机机房管理制度；d) 有备用数据处理设备硬件维护管理制度；e) 有电子传输数据备份系统运行管理制度。A.3.7 灾难恢复预案有相应的经过完整测试和

19、演练的灾难恢复预案。2.1.3 第4级网络传输+异地数据中心完整设备支持第四级灾难恢复应具有技术和管理支持如表A4所示。表A.3第4级灾难恢复的技术和管理支持要素a)b)要求完全数据备份至少每天一次；备份介质场外存放；A.4.1数据备份系统c)每天多次利用通信网络将关键数据定时批量传送至备用场地。A.4.2备用数据处理系a)配备灾难恢复所需的全部数据处理设备，并统处于就绪状态或运行状态。a)配备灾难恢复所需的通信线路；A.4.3备用网络系统b)配备灾难恢复所需的网络设备，并处于就绪状态。a)有符合介质存放条件的备用场地；b)有符合备用数据处理系统和备用网络设备运A.4.4备用基础设施行要求的场

20、地；c)有满足关键业务功能恢复运作要求的场地；d)以上场地应保持7x24运作。在备用场地有：a)7x24专职计算机机房管理人员；A.4.5技术支持b)专职数据备份技术支持人员；c)专职硬件、网络技术支持人员。a)有介质存取、验证和转储管理制度；b)按介质特性对备份数据进行定期的有效性验证；A.4.6运行维护支持c)有备用计算机机房运行管理制度；d)有硬件和网络运行管理制度；e)有电子传输数据备份系统运行管理制度。A.4.7灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案。2.2 灾备系统组成一个典型的灾备系统由灾备中心基础环境设施、数据备份系统、备份处理系统、网络通信系统和灾难恢复计划等组

21、成。在集团第一期的灾备项目中，灾备系统的组成如下：?基础设施环境：由中企通信位于上海宝山的云计算数据中心（T3+级别）提供异地灾备数据中心的基础设施环境，以保障数据备份系统和备份处理系统的正常工作；采用DELL高性能x86架构服务器、SAN存储以及光纤交换机作为底层硬件资源；?数据备份系统：依托集团总部数据中心和上海宝山数据中心之间高速、稳定的MPLSVPN骨干网络，通过中企通信SmartCLOUDvONE私有云和虚拟化灾备软件veeambackup&replication来构建此次项目的数据备份系统；?备份处理系统：veeamserver控制台系统、Oracle数据库、SQLServ

22、er数据库、TDS身份验证系统以及DNS系统，构成灾备中心的整个备份处理系统；灾难恢复计划主要基于以下两个阶段考虑：系统切换阶段：业务系统的故障切换主要针对灾备中心的业务系统虚拟服务器进行快速、有效地恢复，按照预先制定的业务系统恢复流程和启动顺序进行操作；网络切换阶段：网络层面的切换主要针对灾难发生后的业务访问进行快速、有效的网络切换，确保用户可以正常访问到灾备中心的业务系统；2.3 灾备模式介绍灾备模式主要分为双活模式和主备模式2类，其中主备模式又可分为热备模式、暖备模式和冷备模式。双活模式：主中心和灾备中心负载均衡，用户可同时访问主中心或灾备中心，主中心和灾备中心之间双向同步复制数据（要求

23、距离小于100公里），数据零丢失，适用同城灾备，该模式对应国家标准6级。热备模式：当主中心发生灾难时，自动切换到灾备中心，主中心数据向灾备中心同步复制数据（要求距离小于100公里），数据零丢失，适用同城灾备，该模式对应国家标准6级。暖备模式：当主中心发生灾难时，手动切换到灾备中心，主中心向灾备中心实时复制数据，数据丢失小，适用同城或异地灾备，该模式对应国家标准5级。冷备模式：当主中心发生灾难时，手动切换到灾备中心；主中心向灾备中心定时复制或备份数据，数据丢失较大，适用同城或异地灾备，该模式对应国家标准4或3级。2.4 集团一期灾备项目关键指标要求集团目前一期计划针对中信股份信息披露系统和中信股

24、份网站进行灾备项目的实施，通过项目的实施，形成一种灾备的模式，下一步对更多的核心应用进行灾备。根据应用系统的访问需求，对灾备中心提出如下需求：要求信息披露系统在2小时内实现业务系统的全面接管，包括系统的启动、内部网络IP的接管、应用的启动，以及辅助的域名解析服务、TDS身份认证服务、VPN访问的切换；同时要求信息披露系统的数据丢失量小于4个小时；（RT0<2小时、RPO<4小时）要求中信股份网站在半小时内恢复可访问，包括系统的启动、域名的切换；同时要求中信股份网站的数据丢失量小于4个小时；（RT0<0.5小时、RPO<4小时）以上两个业务系统的灾备需求适用4级的国家灾备

25、等级标准，采用冷备模式。第3章业务系统灾备建设方案中企通信提供一个完整的异地灾备解决方案：使用异地数据中心的SmartCLOUD?vONE私有云服务以及生产站点和灾备站点之间MPLSVPN网络连接的服务来解决由于人为错误、技术故障、自然灾害、病毒木马以及其他不可预知因素导致的数据丢失和业务中断的问题，同时提供一个快速恢复客户的关键任务和业务数据的方案。该方案的目的是为了保护集团的数据免受灾难和虚拟服务器故障所带来的丢失和损坏风险，在业务系统因灾难或故障引起生产站点不可用或者数据丢失损坏时，灾备中心可以完全接管业务，并且灾备中心的数据具有可恢复性和即时性。3.1 方案设计思路1. 信息披露系统和

26、股份门户网站采用主备模式来实现异地灾备；基于两个业务系统的RTO/RPO要求，针对信息披露系统，采用冷备模式；针对股份门户网站，做镜像站点设计，灾备模式采用冷备模式；生产站点发生灾难时，两个系统均需要进行手工切换；2. 生产站点和灾备站点的复制策略可以针对每台虚拟服务器（信息披露系统的web服务器、HFM服务器和数据管理服务器）进行自定义，并提供vmware虚拟化架构下定时复制和增量复制的功能，针对每次复制任务得执行结果要有日志记录功能，出现异常时具有报警提示；3. 股份门户网站web服务器的内容通过网站后台进行统一发布；4. 股份门户网站的CMS服务器在灾备站点处于开启状态，使用文件定时同步

27、（4小时/次）的方式满足RPO的要求；5. 针对信息披露系统的Oracle数据库，在灾备中心部署x86架构下的Oracle数据库，通过自动化脚本的方式实现灾备站点数据的定时更新；6. 针对股份门户的SQLServer数据库，在灾备中心部署单机版SQLServer数据库服务器，通过自动化脚本的方式实现灾备站点数据的定时更新；灾备中心VM规划列表：灾备中心VM规划7. 针对TDS和DNS，在灾备站点的虚拟服务器中，部署TDS节点，通过MPLSVPN内网同步用户数据；在DNS服务器上对信息披露系统的域名进行A记录的设定；8. 有不同的恢复方案应对不同的灾难场景3.2 灾备中心VM规划灾备中心规划图：

28、系统名称服务器名称操作系统应用程序生产站点IP负载均衡IP灾备站点IP启动顺序windows172.20.17.652008R2（64/172.20.16.2Web服务器位）Foundation172.20.17.666172.20.17.65windows172.20.17.552008R2（64HFM/信息披露系统HFM服务器位）Bivison172.20.17.56172.20.17.55windows172.20.17.58数据管理服务2008R2（64/器位）Bivison172.20.17.59172.20.17.58windows报表分析服务2008R2（64器位）BIEE172

29、.20.17.60172.20.17.60制台制台服务器位）manager待规划172.20.21.28/29172.20.21.26Oracle服务器Oracle11g/27/30172.20.21.30windows2012R2（64172.20.2.8/Web服务器位）IIS7.0172.20.2.9windows172.20.17.682012R2（64/中信股份门户CMS服务器位）CMS172.20.17.69172.20.21.32windows/35、172.20.21.332012R2（64SQLServer/36、数据库服务器位）2012172.20.21.34windows

30、TDS身份验证2008R2（64系统TDS服务器位）IBMTivoli待规划windows2008R2（64域名解析系统DNS服务器位）MSDNS10.200.1.1windowsvmware虚拟vCenter服务2008R2（64化管理平台器位）vCenter待规划windowsveeamveeam备份控veeam备份控2008R2（64backup3.3 信息披露系统灾备设计3.3.1 方案设计拓扑图3.3.2 虚拟服务器层面?针对WEB服务器、HFM服务器和数据管理服务器，实现方式如下：复制类型复制步骤阶段任务?通过灾备站点的VeeamServer建立复制任务建立复制任务?选择需要复制的

31、VM，复制的时段，vLAN/IP设置等?复制任务的配置（Metadata）将存储于VeeamServer上的文件夹中初次复制对生产站点的VM进行快照?Veeam通过VMware的快照功能对生产站点的VM执行快照?快照存放于VM自身的数据卷中（Datastore）将生产站点的VM复制到灾备站点?将VM的快照全部复制（Full）到灾备站点?灾备站点的VM将存储于指定的数据卷中，并处于随时可开机状态?当复制完成后，生产站点的VM快照将自动删除对生产站点的VM进行快照?Veeam通过VMware的快照功能对生产站点的VM执行快照?快照存放于VM自身的数据卷中（Datastore）后续复制将生产站点的数

32、据增量复制到灾备站点?将VM的快照和灾备站点现有的VM数据进行比对?将数据的增量复制到灾备站点，更新现有的VM并形成一个新的还原点?当复制完成后，生产站点的VM快照将自动删除根据集团管理信息部对本次项目RTO/RPO的要求，veeam的复制频率设定为4小时/次，并且保留24小时以内的还原点快照；?针对身份验证系统和域名解析系统，中企会在灾备站点部署一套处于开机状态的TDS系统和DNS系统，其中，TDS系统作为集团身份验证系统的一个Slave节点定期从TDS的Master节点获取更新数据；DNS系统的IP地址和生产站点DNS系统的IP地址保持一致，并将信息披露系统的域名解析到172.20.17.

33、65，以此确保灾备站点启用后，身份验证功能和域名解析功能处于可用状态。3.3.3 Oracle数据库设计针对生产站点的Oracle服务器集群，设计如下：在灾备中心部署x86架构下的单机Oracle数据库，通过自动化脚本的方式实现生产站点Oracle数据的定时导出并定时传输到灾备站点Oracle服务器，在灾备站点的Oracle服务器上执行定时导入；（中企通信会在此次项目中提供具备Oracle数据库的导出、远程传输、定时导入功能的脚本程序，检测脚本）根据披露系统的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的Oracle服务器端保留24小时以内的数据导出文件；3.4 股份门户网站灾备设计3

34、.4.1 方案设计拓扑图3.4.2 虚拟服务器层面1. 针对WEB服务器，实现方式如下：通过在股份门户网站的后台上传功能模块中增加灾备站点的地址，来达到WEB服务器数据同步的目的；2. 针对CMS服务器，实现方式如下：在灾备站点单独的一台虚拟服务器上部署股份门户的CMS服务，配置不同于生产站点CMS的IP地址，通过自动化脚本的方式实现生产站点和灾备站点两端CMS服务器的数据每4小时同步一次；3. 整体架构采用股份门户镜像站点的部署方式，正常状态下WEB服务器通过MPLSVPN内网调用生产站点SQLServer数据库的数据。3.4.3 SQLServer数据库设计针对生产站点的SQLServer

35、服务器集群，设计如下：在灾备中心部署x86架构下的单机SQLServer数据库，首先在生产站点的SQLServer设定数据库定时备份策略，定时生成数据库备份文件并传输生产站点的SQLServer备份文件到灾备站点SQLServer服务器上，通过计划任务定时执行批处理文件的方式进行备份文件的定时恢复；（中企通信会在此次项目中提供具备SQLServer数据库的定时备份、远程传输、定时导入功能的批处理文件程序）数据库服务器IP地址方面，配置不同于生产站点SQLServer集群的地址；当生产站点发生灾难、SQLServer集群服务失效时，中企通信后台运维人员将手工更改灾备站点的SQLServer服务器

36、IP地址为生产站点的SQLServer集群IP地址，完成数据库服务的切换。根据股份门户的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的SQLServer服务器端保留24小时以内的数据导出文件；第4章灾备网络概要设计4.1 方案设计拓扑图方案描述：1. 针对此次集团管理信息部的披露系统、中信股份门户网站灾备项目；集团管理信息部将采用现有网络设备完成。2. 将灾备服务器部署在上海宝山机房，使其与集团管理信息部采用MPLSVPN（中信第二张网）互联，并在此网络上进行灾备数据的传输和生产站点恢复运营后数据的回传。3. 中企在上海宝山机柜部署2台Cisco3945（根据带宽的需求选择其Cisco

37、3945，并且可满足未来带宽升级等变化）连接MPLSVPN网络，在Cisco3945通过BGP从PE接收到达集团管理信息部内部网络的路由。4.2 集团管理信息部部署方式京城大厦集团总部网络6509-1核心交换机BGP路由172.20.31.254/20EIGRP路由172.20.2.254/24CECMPLSNetwork核心区防火墙4506三层交换机BGP路由服务器群（信息披露系统、中信股份门户网站）6509-2核心交换机上海宝山灾备中心1 针对此次系统灾备项目，集团信息管理部将采用现有网络设备完成灾备数据的转发，不增加硬件设备。2 集团管理信息部访问上海宝山灾备中心的路由，由中企的PE路由

38、器通过BGP协议向集团管理信息部的核心交换6509转发。3 集团管理信息部的核心交换机6509将通过BGP协议收到上海宝山灾备中心的路由，并将其转发到内网EIGRP网络4 在集团管理信息部内网部署Veeam代理服务器，此代理服务器将单独划分一个Vlan专用于数据备份，但此Vlan需要与vCenter通信4.3 上海宝山机房部署方式1 上海宝山机房采用2台Cisco3945路由器连接MPLSVPN网络，带宽为20M，路由器分别下联2台DELL交换机，2台路由器为内网提供高可用服务。2 同时部署UTM安全设备连接互联网，带宽为20M，用于中信股份门户网站的互联网接入。3 将部署2台物理服务器分别上

39、联2台DELL交换机，将披露系统、中信股份门户网站、Veeam服务器部署在SmartCLOUDvONE私有云上，在交换机上为这3个系统分别创建3个独立Vlan，在Cisco3945路由器配置3个子接口用于对应不同的Vlan，并为每个Vlan提供网关功能。4 2台物理服务器分别下联DELL存储交换机，通过此存储交换机连接DELL存储设备。5 两台3945路由器上，需要部署少量静态NAT配置,原因是披露系统中Web服务器、HFM、数据管理服务器、Ocacle服务器要求IP地址不能变动，所以在做数据备份时需要在灾备中心CE路由器配置NAT转换，以使得完成路由可达性（详细说明见1.4.2），中信股份门

40、户网站灾备IP地址可以改变，所以在备份过程中不需要针对此系统配置NAT。6 针对中信股份门户网站的灾备，上海灾备中心将重新部署IP网段为173.1.1.0/24，在UTM防火墙上将此内部IP映射到互联网，并在北龙中网负载均衡设备上添加上海灾备中心UTM的公网IP地址，当灾难发生时可通过北龙中网设备将流量重定向到灾备中心的门户网站系统。7 披露系统和TDS服务器属于同一个Vlan，中信股份门户网站属于另一个Vlan，Veeam服务器单独在另一个Vlan4.4 灾备数据业务流向4.4.1 Veeam灾备数据复制集团管理信息部的VM镜像可直接通过Veeam进行数据备份，Veeam的备份任务是通过上海

41、灾备中心的Veeam服务器进行调度中信集团子公司网络京城大厦集团总部网络VeeamProxy6509-1核心交换机CECMPLSNetwork核心区防火墙4506三层交换机服务器群（信息披露系统、中信股份门户网站）6509-2核心交换机C3945-2C3945-1Switch-2Switch-1灾备镜像Veeam复制任务灾备数据流向VeeamServer上海宝山私有云灾备中心Veeam备份和调度示意图1. 在上海宝山灾备中心建立一个Veeam管理服务器，在集团管理信息部建立一个Veeam代理服务器。2. 在上海灾备中心的Veeam管理服务器中创建复制任务，任务通过MPLS网络调用北京Veeam

42、代理端协作复制任务（蓝色线路）；3. Veeam代理端与集团管理信息部的vCenter进行授权连接，将生产站点VMware虚拟服务器的快照文件通过MPLSVPN网络复制到上海的灾备中心（红色线路）；4. 集团管理信息部为Veeam代理服务器单独划分一个Vlan（具体Vlan可在实施阶段协调）与现有生产网络隔离，Veeam代理服务器与生产网络vCenter服务器实现路由可达；5. 复制到灾备站点的快照文件存储在SmartCLOUDvONE私有云的存储中，并处于随时可开机启动的状态；6. 为灾备中心的Veeam管理服务器划分一个单独的vlan，该vlanID与灾备中心vCenter的VlanID一

43、致，使之与披露系统、中信股份门户网站灾备服务器相互隔离，4.4.2 应用系统数据复制生产中心的oracle服务器和股份门户网站的web服务器、CMS服务器以及SQLServer数据库服务器不通过Veeam进行灾备复制，需要在应用系统层面进行定时的数据同步。由于信息披露的web服务器、HFM服务器、数据管理服务器以及Oracle数据库服务器不允许改变IP地址，因此需要在灾备中心的CE路由器（Cisco3945）上进行NAT（网络地址转换）的配置，以达到两端对应服务器之间数据同步的目的；股份门户网站的web服务器、CMS服务器和SQLServer服务器的IP地址允许变更，并且这三台服务器的数据定时

44、同步模式基于应用层面来实现，因此，只需在MPLSVPN骨干网络上宣告对应服务器的路由信息即可达到两端数据同步的目的；1. 北京生产中心的Oracle服务器以及披露系统和TDS（172.20.16.23）不能修改IP地址，因此在备份过程中需要在灾备中心的Cisco3945上配置NAT转换；2. 在Cisco3945上将披露系统的Oracle服务器以及TDS服务器IP地址映射为WAN口网段IP地址，北京生产网络在备份时目的地址为NAT转换后的IP地址；3. 股份门户网站的三台服务器（web服务器、CMS服务器和SQLServer服务器）可以变更IP地址，因此在备份过程中不使用NAT直接备份，只需保

45、证路由可达即可；4. 灾备中心的虚拟服务器之间的数据交互，可直接在局域网内进行，各个虚拟服务器的网关地址都是Cisco3945对应的子接口地址。4.5 灾备切换场景及业务数据流向分析4.5.1 正常情况下的路由及数据流1. 在生产中心正常工作的情况下，集团的两台6509核心交换机将通过BGP协议向中企的PE路由器宣告灾备系统的路由；2. 中企的PE路由器收到这些BGP路由后，会将这些路由信息通过BGP协议在MPLSVPN网内传播，最终将传达到各子公司的CE路由器（蓝色线路）；3. 各子公司将通过集团广播的核心区域路由进行寻址，经过中企的MPLSVPN骨干网后，访问位于集团核心区的信息披露系统（

46、红色线路）4. 中信股份门户网站通过互联网进行访问；4.5.2 灾备切换场景概述4.5.2.1. 集团管理信息部整个业务系统故障1. 集团生产站点发生灾难性故障，业务系统全部故障，且无法在短时间内恢复业务时，由集团工程师通过电话、邮件等方式向中企网络发起灾备切换需求。2. 中企网络收到切换需求后，将第一时间安排云计算工程师协助集团启用灾备中心的虚拟服务器，并按要求修改系统设置（修改TDS系统的IP地址/修改股份门户网站web服务器中数据库的调用地址）。3. 同时中企网络将安排网络工程师，修改灾备中心的PE路由器的配置，按计划将灾备系统相关业务系统的主机路由信息（披露系统、股份门户网站、TDS服务器和DNS服务器）通过BGP协议广播到集团的第二张MPLSVPN网内（紫色线路）。删除北京PE路由器关于生产电点业务系统网络路由4. 集团及各子公司的CE路由器将通过BGP协议接收到灾备中心的网络路由，后续访问披露系统和股份门户网站的数据包全部传输到上海灾备中心。5. 当生产中心恢复正常后，中企网络将按照客户要求，将VM数据反向同步到生产中心，并按约定时间删除相应的主机路由广播，路由收敛完成后，业务系统的访问流量将会引导回原有路径（红色线路）。4