中信集团灾备中心建设方案

中信集团灾备中心建设方案中信集团灾备中心建设方案V4.0中企网络通讯技术有限公司2015年5月14日

目录核CPU、128G内存）以及3台IBMX3850服务器（18颗6核CPU、160G内存），利用PowerVM和VMware虚拟化技术，构建了小型机资源池和PC服务器资源池，同时利用1台IBMV7000存储（11T可用容量）构建了存储资源池；小型机资源池和PC服务器资源池通过4台CISCO9148光纤交换机多路径连接到存储资源池。IT共享服务中心和数据中心利用PowerVM、VMware技术部署了40余台小型机虚拟机以及140余台PC服务器虚拟机，承载着门户网站、内联网、集成化管理类应用、邮件系统、数据分析系统等应用系统及各应用系统的开发测试环境。虚拟机的操作系统包括AIX（6.1为主）、Windows（2000、2003、2008、2012）、Linux（Redhat、CentOS、SUSE），数据库包括OracleRAC（10g、11g）、SQLServer双机、DB2、MySQL等，中间件包括Websphere、Weblogic、Tomcat等，应用平台包括Portal、Domino、HFM等。IT共享服务中心和数据中心的网络由2台CISCO4507R和一台Huawei5700交换机组成，利用2台天融信TG61040、2台Feitigate1000c防火墙划分出核心区、辅助区、安全区、测试区、Web区等多个虚拟网络，防火墙具有访问控制、防攻击、防病毒的功能。IT共享服务中心和数据中心还部署有2对美国优势网络公司的Inchorus1240应用前端交换机，配置了部分应用系统的负载均衡。用户访问各应用系统时，大部分通过TDS统一认证，有些应用系统有自己的认证系统。1.2.1 一期生产站点现状集团的信息披露系统和中信股份门户网站的服务器架构基于双机热备份的架构部署。信息披露系统的现状如下：如图所示，目前信息披露系统由9台服务器组成，其中2台web服务器、2台HFM服务器、2台数据管理服务器以及及1台报表分析服务器共7台服务器运行在集团的VMware虚拟化平台上，操作系统为Windows2008R2，2台数据库服务器运行集团的PowerVM虚拟化平台上，操作系统为AIX6.1。7台VMware虚拟服务器部署着Oracle公司的Foundation、HFM、BIEE，以及景华天创公司的Bivison；2台PowerVM虚拟化小型机部署着OracleRAC。2台web服务器、2台数据管理服务器使用美国优势公司的Inchorus配置了负载均衡，2台web服务器为双活模式，2台数据管理服务器为主备模式。信息披露系统数据分为两类：一类为随机上报的披露数据，每月约100条左右；一类为按季度上报的合并数据，目前有70家子公司上报，每家每次数据量为5M左右。股份门户的现状如下：如图所示，目前中信股份门户网站由6台服务器组成，2台web服务器、2台CMS服务器、2台数据服务器共6台服务器运行在集团的VMware虚拟化平台上，操作系统为Windows2012R2。6台VMware虚拟服务器部署着WindowsIIS、Euroland公司的CMS和WindowsSQLserver数据库集群。2台web服务器使用美国优势公司的Inchorus配置了负载均衡，为双活模式。门户网站的数据更新是随机的，每月约15条左右。根据集团提供的信息系统调查表计算出，生产环境下，各信息系统的的资源用量为：服务器CPU内存存储VMDK文件大小IP地址负载均衡（服务）IP中信集团信息披露系统Web服务器128GC:100GD:50G8G12G172.20.17.65172.20.16.26Web服务器228GC:100GD:50G8G12G172.20.17.66HFM应用服务器1216GC:100GD:150G11G24G172.20.17.55172.20.17.55HFM应用服务器2216GC:100GD:150G8G14G172.20.17.56172.20.17.56数据管理服务器1216GC:100GD:150G10G21G172.20.17.58172.20.16.25数据管理服务器2216GC:100GD:150G8G12G172.20.17.59数据库集群172.20.21.30中信股份门户网站Web服务器1412GC:50G25G172.20.2.8172.20.2.18Web服务器2412GC:50G23G172.20.2.9CMS服务器1（主服务器）412GC:50G24G172.20.17.68172.20.17.68CMS服务器2（备用服务器）412GC:50G22G172.20.17.69172.20.17.69（备用地址）数据库服务器1416GC:150G500G29G2G172.20.21.32172.20.21.35172.20.21.34灾备项目需求集团目前第一期计划针对信息披露系统和中信股份网站进行灾备项目的实施。目前信息披露系统的web服务器、HFM服务器、数据管理服务器以及报表分析服务器共7台服务器运行在集团的vmware虚拟化平台上，披露系统的Oracle数据库系统运行在小型机上，该系统的主要功能是完成财务报表的合并，同时支持中信股份的信息披露业务；中信股份的官方网站的6台服务器也运行在集团的vmware虚拟化平台上，该网站属于中信股份的官方网站，是中信股份集团对外的信息发布和形象展示窗口；集团信息部门要求针对这两个系统提出可行性灾备方案，要求在生产站点业务中断后，灾备站点可以在一定时间内完全接管业务，保证数据在异地有冗余备份。信息披露系统的要求：灾备站点的Web服务器、HFM服务器、数据管理服务器、Oracle数据库服务器和DNS服务器的IP地址均不能变更；信息披露系统只针对中信集团本部和集团下属各个子公司提供服务，全部通过中信集团第二张网进行内网访问；生产站点和灾备站点之间通过MPLSVPN网络连通，实现数据的传输；中信股份门户网站的要求：灾备站点的Web服务器、CMS服务器和SQLServer数据库服务器的IP地址可以不和生产站点的Web服务器、CMS服务器以及SQLServer数据库服务器保持一致；中信股份门户网站对外通过互联网提供访问服务；生产站点和灾备站点之间通过MPLSVPN网络连通，实现数据的传输和交互；

集团灾备中心建设目标灾备级别划分根据国务院信息化工作办公室于2005年4月下发的《重要信息系统灾难恢复指南》中的定义，灾难恢复等级可以划分为6个不同的等级，根据不同的灾难恢复需求确定灾难恢复等级，不同的灾难恢复等级，其解决方案可根据灾难恢复登记以下主要方面所达到的程度分为七级，即从低到高有七种不同层次的灾难恢复解决方案。可以根据中信集团各业务的系统及数据的重要性以及恢复策略，来设计选择灾难恢复方案和计划。根据《重要信息系统灾难恢复指南》的定义，灾难恢复级别的选择，主要决定以下七个要素：数据备份系统备用数据处理系统备用网络系统备用基础设施技术支持运营维护管理灾难恢复预案国信办在《重要信息系统灾难恢复指南》中定义了灾难恢复等级划分了六个标准，依据风险分析和业务影响分析，按照业务连续性要求，集团总部信息系统分为重要信息系统、次重要信息系统和非重要信息系统3类，每类信息系统适用不同的国家灾备等级标准：重要信息系统：4级次重要信息系统：3级非重要信息系统：2级具体内容如下：第2级备份介质异地存放+异地备份数据中心第二级灾难恢复应具有技术和管理支持如表A．2所示。表A.SEQ表_A.\*ARABIC1第2级灾难恢复的技术和管理支持要素要求A.2.1数据备份系统完全数据备份至少每周一次；备份介质场外存放。A.2.2备用数据处理系统灾难发生时能在预定时间内调配所需的数据处理设备到场。A.2.3备用网络系统灾难发生时能在预定时间内调配所需的通信线路和网络设备到位。A.2.4备用基础设施有符合介质存放条件的场地；有满足信息系统和关键业务功能恢复运作要求的备用场地。A.2.5技术支持—A.2.6运行维护支持有介质存取、验证和转储管理制度；按介质特性对备份数据进行定期的有效性验证；有备用场地管理制度；与相关厂商有符合灾难恢复时间要求的紧急供货协议；与相关运营商有符合灾难恢复时间要求的备用通信线路协议。A.2.7灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案。第3级网络传输+异地数据中心部分设备支持第三级灾难恢复应具有技术和管理支持如表A．3所示。表A.SEQ表_A.\*ARABIC2第3级灾难恢复的技术和管理支持要素要求A.3.1数据备份系统完全数据备份至少每天一次；备份介质场外存放；每天多次利用通信网络将关键数据定时批量传送至备用场地。A.3.2备用数据处理系统配备灾难恢复所需的部分数据处理设备。A.3.3备用网络系统配备部分通信线路和相应的网络设备。A.3.4备用基础设施有符合介质存放条件的场地；有满足信息系统和关键业务功能恢复运作要求的场地。A.3.5技术支持在备用场地有专职的计算机机房运行管理人员。A.3.6运行维护支持按介质特性对备份数据进行定期的有效性验证；有介质存取、验证和转储管理制度；有备用计算机机房管理制度；有备用数据处理设备硬件维护管理制度；有电子传输数据备份系统运行管理制度。A.3.7灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案。第4级网络传输+异地数据中心完整设备支持第四级灾难恢复应具有技术和管理支持如表A．4所示。表A.SEQ表_A.\*ARABIC3第4级灾难恢复的技术和管理支持要素要求A.4.1数据备份系统完全数据备份至少每天一次；备份介质场外存放；每天多次利用通信网络将关键数据定时批量传送至备用场地。A.4.2备用数据处理系统配备灾难恢复所需的全部数据处理设备，并处于就绪状态或运行状态。A.4.3备用网络系统配备灾难恢复所需的通信线路；配备灾难恢复所需的网络设备，并处于就绪状态。A.4.4备用基础设施有符合介质存放条件的备用场地；有符合备用数据处理系统和备用网络设备运行要求的场地；有满足关键业务功能恢复运作要求的场地；以上场地应保持7x24运作。A.4.5技术支持在备用场地有：7x24专职计算机机房管理人员；专职数据备份技术支持人员；专职硬件、网络技术支持人员。A.4.6运行维护支持有介质存取、验证和转储管理制度；按介质特性对备份数据进行定期的有效性验证；有备用计算机机房运行管理制度；有硬件和网络运行管理制度；有电子传输数据备份系统运行管理制度。A.4.7灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案。

灾备系统组成一个典型的灾备系统由灾备中心基础环境设施、数据备份系统、备份处理系统、网络通信系统和灾难恢复计划等组成。在集团第一期的灾备项目中，灾备系统的组成如下：基础设施环境：由中企通信位于上海宝山的云计算数据中心（T3+级别）提供异地灾备数据中心的基础设施环境，以保障数据备份系统和备份处理系统的正常工作；采用DELL高性能x86架构服务器、SAN存储以及光纤交换机作为底层硬件资源；数据备份系统：依托集团总部数据中心和上海宝山数据中心之间高速、稳定的MPLSVPN骨干网络，通过中企通信SmartCLOUDvONE私有云和虚拟化灾备软件veeambackup&replication来构建此次项目的数据备份系统；备份处理系统：veeamserver控制台系统、Oracle数据库、SQLServer数据库、TDS身份验证系统以及DNS系统，构成灾备中心的整个备份处理系统；灾难恢复计划主要基于以下两个阶段考虑：系统切换阶段：业务系统的故障切换主要针对灾备中心的业务系统虚拟服务器进行快速、有效地恢复，按照预先制定的业务系统恢复流程和启动顺序进行操作；网络切换阶段：网络层面的切换主要针对灾难发生后的业务访问进行快速、有效的网络切换，确保用户可以正常访问到灾备中心的业务系统；灾备模式介绍灾备模式主要分为双活模式和主备模式2类，其中主备模式又可分为热备模式、暖备模式和冷备模式。双活模式：主中心和灾备中心负载均衡，用户可同时访问主中心或灾备中心，主中心和灾备中心之间双向同步复制数据（要求距离小于100公里），数据零丢失，适用同城灾备，该模式对应国家标准6级。热备模式：当主中心发生灾难时，自动切换到灾备中心，主中心数据向灾备中心同步复制数据（要求距离小于100公里），数据零丢失，适用同城灾备，该模式对应国家标准6级。暖备模式：当主中心发生灾难时，手动切换到灾备中心，主中心向灾备中心实时复制数据，数据丢失小，适用同城或异地灾备，该模式对应国家标准5级。冷备模式：当主中心发生灾难时，手动切换到灾备中心；主中心向灾备中心定时复制或备份数据，数据丢失较大，适用同城或异地灾备，该模式对应国家标准4或3级。集团一期灾备项目关键指标要求集团目前一期计划针对中信股份信息披露系统和中信股份网站进行灾备项目的实施，通过项目的实施，形成一种灾备的模式，下一步对更多的核心应用进行灾备。根据应用系统的访问需求，对灾备中心提出如下需求：要求信息披露系统在2小时内实现业务系统的全面接管，包括系统的启动、内部网络IP的接管、应用的启动，以及辅助的域名解析服务、TDS身份认证服务、VPN访问的切换；同时要求信息披露系统的数据丢失量小于4个小时；（RT0<2小时、RPO<4小时）要求中信股份网站在半小时内恢复可访问，包括系统的启动、域名的切换；同时要求中信股份网站的数据丢失量小于4个小时；（RT0<0.5小时、RPO<4小时）以上两个业务系统的灾备需求适用4级的国家灾备等级标准，采用冷备模式。业务系统灾备建设方案中企通信提供一个完整的异地灾备解决方案：使用异地数据中心的SmartCLOUD™vONE私有云服务以及生产站点和灾备站点之间MPLSVPN网络连接的服务来解决由于人为错误、技术故障、自然灾害、病毒木马以及其他不可预知因素导致的数据丢失和业务中断的问题，同时提供一个快速恢复客户的关键任务和业务数据的方案。该方案的目的是为了保护集团的数据免受灾难和虚拟服务器故障所带来的丢失和损坏风险，在业务系统因灾难或故障引起生产站点不可用或者数据丢失损坏时，灾备中心可以完全接管业务，并且灾备中心的数据具有可恢复性和即时性。方案设计思路信息披露系统和股份门户网站采用主备模式来实现异地灾备；基于两个业务系统的RTO/RPO要求，针对信息披露系统，采用冷备模式；针对股份门户网站，做镜像站点设计，灾备模式采用冷备模式；生产站点发生灾难时，两个系统均需要进行手工切换；生产站点和灾备站点的复制策略可以针对每台虚拟服务器（信息披露系统的web服务器、HFM服务器和数据管理服务器）进行自定义，并提供vmware虚拟化架构下定时复制和增量复制的功能，针对每次复制任务得执行结果要有日志记录功能，出现异常时具有报警提示；股份门户网站web服务器的内容通过网站后台进行统一发布；股份门户网站的CMS服务器在灾备站点处于开启状态，使用文件定时同步（4小时/次）的方式满足RPO的要求；针对信息披露系统的Oracle数据库，在灾备中心部署x86架构下的Oracle数据库，通过自动化脚本的方式实现灾备站点数据的定时更新；针对股份门户的SQLServer数据库，在灾备中心部署单机版SQLServer数据库服务器，通过自动化脚本的方式实现灾备站点数据的定时更新；针对TDS和DNS，在灾备站点的虚拟服务器中，部署TDS节点，通过MPLSVPN内网同步用户数据；在DNS服务器上对信息披露系统的域名进行A记录的设定；有不同的恢复方案应对不同的灾难场景灾备中心VM规划灾备中心规划图：灾备中心VM规划列表：灾备中心VM规划系统名称服务器名称操作系统应用程序生产站点IP负载均衡IP灾备站点IP启动顺序信息披露系统Web服务器windows2008R2（64位）Foundation172.20.17.65/

172.20.17.66172.20.16.26172.20.17.65HFM服务器windows2008R2（64位）HFMBivison172.20.17.55/

172.20.17.56172.20.17.55数据管理服务器windows2008R2（64位）Bivison172.20.17.58/

172.20.17.59172.20.17.58报表分析服务器windows2008R2（64位）BIEE172.20.17.60172.20.17.60Oracle服务器Oracle11g172.20.21.28/29

172.20.21.26/27/30172.20.21.30中信股份门户Web服务器windows2012R2（64位）IIS7.0172.20.2.8/

172.20.2.9CMS服务器windows2012R2（64位）CMS172.20.17.68/

172.20.17.69数据库服务器windows2012R2（64位）SQLServer2012172.20.21.32/35、172.20.21.33/36、

172.20.21.34TDS身份验证系统TDS服务器windows2008R2（64位）IBMTivoli待规划域名解析系统DNS服务器windows2008R2（64位）MSDNS10.200.1.1vmware虚拟化管理平台vCenter服务器windows2008R2（64位）vCenter待规划veeam备份控制台veeam备份控制台服务器windows2008R2（64位）veeambackupmanager待规划信息披露系统灾备设计方案设计拓扑图虚拟服务器层面针对WEB服务器、HFM服务器和数据管理服务器，实现方式如下：复制类型复制步骤阶段任务初次复制建立复制任务•通过灾备站点的VeeamServer建立复制任务•选择需要复制的VM，复制的时段，vLAN/IP设置等•复制任务的配置（Metadata）将存储于VeeamServer上的文件夹中对生产站点的VM进行快照•Veeam通过VMware的快照功能对生产站点的VM执行快照•快照存放于VM自身的数据卷中（Datastore）将生产站点的VM复制到灾备站点•将VM的快照全部复制（Full）到灾备站点•灾备站点的VM将存储于指定的数据卷中，并处于随时可开机状态•当复制完成后，生产站点的VM快照将自动删除后续复制对生产站点的VM进行快照•Veeam通过VMware的快照功能对生产站点的VM执行快照•快照存放于VM自身的数据卷中（Datastore）将生产站点的数据增量复制到灾备站点•将VM的快照和灾备站点现有的VM数据进行比对•将数据的增量复制到灾备站点，更新现有的VM并形成一个新的还原点•当复制完成后，生产站点的VM快照将自动删除根据集团管理信息部对本次项目RTO/RPO的要求，veeam的复制频率设定为4小时/次，并且保留24小时以内的还原点快照；针对身份验证系统和域名解析系统，中企会在灾备站点部署一套处于开机状态的TDS系统和DNS系统，其中，TDS系统作为集团身份验证系统的一个Slave节点定期从TDS的Master节点获取更新数据；DNS系统的IP地址和生产站点DNS系统的IP地址保持一致，并将信息披露系统的域名解析到172.20.17.65，以此确保灾备站点启用后，身份验证功能和域名解析功能处于可用状态。Oracle数据库设计针对生产站点的Oracle服务器集群，设计如下：在灾备中心部署x86架构下的单机Oracle数据库，通过自动化脚本的方式实现生产站点Oracle数据的定时导出并定时传输到灾备站点Oracle服务器，在灾备站点的Oracle服务器上执行定时导入；（中企通信会在此次项目中提供具备Oracle数据库的导出、远程传输、定时导入功能的脚本程序，检测脚本）根据披露系统的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的Oracle服务器端保留24小时以内的数据导出文件；股份门户网站灾备设计方案设计拓扑图虚拟服务器层面针对WEB服务器，实现方式如下：通过在股份门户网站的后台上传功能模块中增加灾备站点的地址，来达到WEB服务器数据同步的目的；针对CMS服务器，实现方式如下：在灾备站点单独的一台虚拟服务器上部署股份门户的CMS服务，配置不同于生产站点CMS的IP地址，通过自动化脚本的方式实现生产站点和灾备站点两端CMS服务器的数据每4小时同步一次；整体架构采用股份门户镜像站点的部署方式，正常状态下WEB服务器通过MPLSVPN内网调用生产站点SQLServer数据库的数据。SQLServer数据库设计针对生产站点的SQLServer服务器集群，设计如下：在灾备中心部署x86架构下的单机SQLServer数据库，首先在生产站点的SQLServer设定数据库定时备份策略，定时生成数据库备份文件并传输生产站点的SQLServer备份文件到灾备站点SQLServer服务器上，通过计划任务定时执行批处理文件的方式进行备份文件的定时恢复；（中企通信会在此次项目中提供具备SQLServer数据库的定时备份、远程传输、定时导入功能的批处理文件程序）数据库服务器IP地址方面，配置不同于生产站点SQLServer集群的地址；当生产站点发生灾难、SQLServer集群服务失效时，中企通信后台运维人员将手工更改灾备站点的SQLServer服务器IP地址为生产站点的SQLServer集群IP地址，完成数据库服务的切换。根据股份门户的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的SQLServer服务器端保留24小时以内的数据导出文件；灾备网络概要设计方案设计拓扑图方案描述：针对此次集团管理信息部的披露系统、中信股份门户网站灾备项目；集团管理信息部将采用现有网络设备完成。将灾备服务器部署在上海宝山机房，使其与集团管理信息部采用MPLSVPN（中信第二张网）互联，并在此网络上进行灾备数据的传输和生产站点恢复运营后数据的回传。中企在上海宝山机柜部署2台Cisco3945（根据带宽的需求选择其Cisco3945，并且可满足未来带宽升级等变化）连接MPLSVPN网络，在Cisco3945通过BGP从PE接收到达集团管理信息部内部网络的路由。集团管理信息部部署方式针对此次系统灾备项目，集团信息管理部将采用现有网络设备完成灾备数据的转发，不增加硬件设备。集团管理信息部访问上海宝山灾备中心的路由，由中企的PE路由器通过BGP协议向集团管理信息部的核心交换6509转发。集团管理信息部的核心交换机6509将通过BGP协议收到上海宝山灾备中心的路由，并将其转发到内网EIGRP网络在集团管理信息部内网部署Veeam代理服务器，此代理服务器将单独划分一个Vlan专用于数据备份，但此Vlan需要与vCenter通信上海宝山机房部署方式上海宝山机房采用2台Cisco3945路由器连接MPLSVPN网络，带宽为20M，路由器分别下联2台DELL交换机，2台路由器为内网提供高可用服务。同时部署UTM安全设备连接互联网，带宽为20M，用于中信股份门户网站的互联网接入。将部署2台物理服务器分别上联2台DELL交换机，将披露系统、中信股份门户网站、Veeam服务器部署在SmartCLOUDvONE私有云上，在交换机上为这3个系统分别创建3个独立Vlan，在Cisco3945路由器配置3个子接口用于对应不同的Vlan，并为每个Vlan提供网关功能。2台物理服务器分别下联DELL存储交换机，通过此存储交换机连接DELL存储设备。两台3945路由器上，需要部署少量静态NAT配置,原因是披露系统中Web服务器、HFM、数据管理服务器、Ocacle服务器要求IP地址不能变动，所以在做数据备份时需要在灾备中心CE路由器配置NAT转换，以使得完成路由可达性（详细说明见1.4.2），中信股份门户网站灾备IP地址可以改变，所以在备份过程中不需要针对此系统配置NAT。针对中信股份门户网站的灾备，上海灾备中心将重新部署IP网段为173.1.1.0/24，在UTM防火墙上将此内部IP映射到互联网，并在北龙中网负载均衡设备上添加上海灾备中心UTM的公网IP地址，当灾难发生时可通过北龙中网设备将流量重定向到灾备中心的门户网站系统。披露系统和TDS服务器属于同一个Vlan，中信股份门户网站属于另一个Vlan，Veeam服务器单独在另一个Vlan灾备数据业务流向Veeam灾备数据复制集团管理信息部的VM镜像可直接通过Veeam进行数据备份，Veeam的备份任务是通过上海灾备中心的Veeam服务器进行调度Veeam备份和调度示意图在上海宝山灾备中心建立一个Veeam管理服务器，在集团管理信息部建立一个Veeam代理服务器。在上海灾备中心的Veeam管理服务器中创建复制任务，任务通过MPLS网络调用北京Veeam

代理端协作复制任务（蓝色线路）；Veeam代理端与集团管理信息部的vCenter进行授权连接，将生产站点VMware虚拟服务器的快照文件通过MPLSVPN网络复制到上海的灾备中心（红色线路）；集团管理信息部为Veeam代理服务器单独划分一个Vlan（具体Vlan可在实施阶段协调）与现有生产网络隔离，Veeam代理服务器与生产网络vCenter服务器实现路由可达；复制到灾备站点的快照文件存储在SmartCLOUDvONE私有云的存储中，并处于随时可开机启动的状态；为灾备中心的Veeam管理服务器划分一个单独的vlan，该vlanID与灾备中心vCenter的VlanID一致，使之与披露系统、中信股份门户网站灾备服务器相互隔离，应用系统数据复制生产中心的oracle服务器和股份门户网站的web服务器、CMS服务器以及SQLServer数据库服务器不通过Veeam进行灾备复制，需要在应用系统层面进行定时的数据同步。由于信息披露的web服务器、HFM服务器、数据管理服务器以及Oracle数据库服务器不允许改变IP地址，因此需要在灾备中心的CE路由器（Cisco3945）上进行NAT（网络地址转换）的配置，以达到两端对应服务器之间数据同步的目的；股份门户网站的web服务器、CMS服务器和SQLServer服务器的IP地址允许变更，并且这三台服务器的数据定时同步模式基于应用层面来实现，因此，只需在MPLSVPN骨干网络上宣告对应服务器的路由信息即可达到两端数据同步的目的；北京生产中心的Oracle服务器以及披露系统和TDS（172.20.16.23）不能修改IP地址，因此在备份过程中需要在灾备中心的Cisco3945上配置NAT转换；在Cisco3945上将披露系统的Oracle服务器以及TDS服务器IP地址映射为WAN口网段IP地址，北京生产网络在备份时目的地址为NAT转换后的IP地址；股份门户网站的三台服务器（web服务器、CMS服务器和SQLServer服务器）可以变更IP地址，因此在备份过程中不使用NAT直接备份，只需保证路由可达即可；灾备中心的虚拟服务器之间的数据交互，可直接在局域网内进行，各个虚拟服务器的网关地址都是Cisco3945对应的子接口地址。灾备切换场景及业务数据流向分析正常情况下的路由及数据流 在生产中心正常工作的情况下，集团的两台6509核心交换机将通过BGP协议向中企的PE路由器宣告灾备系统的路由； 中企的PE路由器收到这些BGP路由后，会将这些路由信息通过BGP协议在MPLSVPN网内传播，最终将传达到各子公司的CE路由器（蓝色线路）； 各子公司将通过集团广播的核心区域路由进行寻址，经过中企的MPLSVPN骨干网后，访问位于集团核心区的信息披露系统（红色线路）中信股份门户网站通过互联网进行访问；灾备切换场景概述集团管理信息部整个业务系统故障集团生产站点发生灾难性故障，业务系统全部故障，且无法在短时间内恢复业务时，由集团工程师通过电话、邮件等方式向中企网络发起灾备切换需求。中企网络收到切换需求后，将第一时间安排云计算工程师协助集团启用灾备中心的虚拟服务器，并按要求修改系统设置（修改TDS系统的IP地址/修改股份门户网站web服务器中数据库的调用地址）。同时中企网络将安排网络工程师，修改灾备中心的PE路由器的配置，按计划将灾备系统相关业务系统的主机路由信息（披露系统、股份门户网站、TDS服务器和DNS服务器）通过BGP协议广播到集团的第二张MPLSVPN网内（紫色线路）。删除北京PE路由器关于生产电点业务系统网络路由集团及各子公司的CE路由器将通过BGP协议接收到灾备中心的网络路由，后续访问披露系统和股份门户网站的数据包全部传输到上海灾备中心。当生产中心恢复正常后，中企网络将按照客户要求，将VM数据反向同步到生产中心，并按约定时间删除相应的主机路由广播，路由收敛完成后，业务系统的访问流量将会引导回原有路径（红色线路）。集团管理信息部某一个业务系统故障集团生产中心的系统发生故障，且无法在短时间内恢复业务时，由集团工程师通过电话、邮件等方式向中企网络发起灾备切换需求。中企网络收到切换需求后，将第一时间安排云计算工程师协助集团启用灾备中心的虚拟服务器，并按要求修改系统设置（如需要）。同时中企网络将安排网络工程师，修改灾备中心的PE端配置，按计划将灾备系统相关的主机路由（Web、DNS、oracle、披露系统、数据管理服务器主机IP地址）通过BGP协议广播到集团的第二张MPLSVPN网内（紫色线路）。集团及各子公司的CE路由器等将通过BGP协议接收到灾备中心的主机路由，并把这些路由与现有的生产中心路由（/20、/24等大路由）同时放入路由表，如路由表中将同时存在172.20.16.0/20及172.20.17.65/32等主机路由。当用户需要访问已切换到灾备中心的系统时，数据包到达CE路由器后，将进行相应的路由查找，而根据路由最长匹配原则，灾备中心广播的主机路由（如172.20.17.65/32）将会作为优选路由，引导数据包流向上海灾备中心（绿色线路），如需要访问生产中心的其他系统，则会走原有路径（红色线路）。当生产中心恢复正常后，中企网络将按照客户要求，将VM数据反向同步到生产中心，并按约定时间删除相应的主机路由广播，路由收敛完成后，业务系统的访问流量将会引导回原有路径（红色线路）。集团总部外部互联网络故障基于集团信息披露系统和股份门户网站的访问要求，当集团外部的互联网发生中断故障时，信息披露系统的访问不受任何影响；北龙中网的智能DNS会自动检测北京和上海两地网站服务器的状态，当检测到集团总部互联网发生故障时，将自动切换所有访问流量到上海；灾备切换情况说明在发生灾备切换时，需要注意以下情况：如果生产中心发生网络故障，导致信息披露系统及中信股份门户网站无法访问，将需要同时切换两个系统及相关联的服务器到灾备中心；如某个业务系统故障，则只需要切换系统到灾备中心，另外一个系统无需切换。集团管理信息部智能DNS服务器增加上海灾备中心公网IP地址，用户股份门户网站双活访问。当某个业务系统故障或整个生产站点故障时，中企通信都会在网络中广播相应的主机或网络路由，以替换现存的核心区域大网段路由。业务系统切换到灾备中心后，原生产中心核心区域网段内（如172.20.16.0/20）的主机及服务器，将无法访问灾备中心的主机或系统，原因为核心区域的设备会认为灾备中心的设备还在同一个网段内，会进行ARP查询对应IP地址的MAC（结果为ARP查询超时，无法封包成功），而不会进行路由查找，将数据包发送到网关。当生产站点的互联网出现故障时，对于信息披露系统的访问没有任何影响；对于中信股份门户的访问，北龙中网的智能DNS服务将生效，将所有的访问流量全部切换到上海灾备中心，其余所有的网络结构和业务系统结构不需要做任何改变。数据灾备及数据回复的实现过程数据灾备过程当生产站点发生灾难，需要启动灾备中心的相应服务时：针对信息披露系统的web服务器、HFM服务器和数据管理服务器，故障切换过程如下：在灾备站点的veeamserver上选择“故障切换（Failover）”选项，启动故障切换任务；在veeam上选择还原点的快照文件，并启动；等待虚拟服务器启动；针对股份门户网站的web服务器和CMS服务器，处理过程如下：在灾难发生后，中企通信的运维人员需要手工将网站的数据库连接文件web.config中的数据库连接地址变更为灾备站点中SQLServer数据库的IP地址，北龙中网的智能DNS解析服务器检测到生产站点的服务器故障后，会自动将所有访问流量切换到上海灾备站点，以此保障股份门户网站在数分钟即可恢复；针对信息披露系统的Oracle数据库服务器和股份门户的SQLServer数据库服务器，故障切换过程如下：停止灾备站点上Oracle服务器的定时导入脚本的任务（信息披露系统）；停止灾备站点上SQLServer的定时导入脚本的任务（中信股份门户）；针对TDS服务器，处理过程如下：手工修改灾备站点TDS服务器的地址为172.20.16.23（与生产站点TDS系统的负载均衡地址相同）；以上系统的网络切换部分请参考4.5最后，虚拟服务器启动完毕，数据库连接文件修改完毕后，验证灾备站点中虚拟服务器的状态和数据。数据回复过程当生产站点的业务恢复，需要将灾备中心的数据进行回复时：针对生产站点中信息披露系统的web服务器、HFM服务器和数据管理服务器全部损坏的情况，故障切换过程如下：在灾备站点的veeamserver上选择“故障回复（Failback）”选项，启动数据回复任务；选择故障回复的类型；Veeam将关闭灾备站点的虚拟服务器，然后将灾备站点虚拟服务器的快照文件全量复制到生产站点，复制完成后，生产站点的虚拟服务器自动开启；针对生产站点中信息披露系统的web服务器、HFM服务器和数据管理服务器全部恢复正常的情况，仅需执行网络切换即可完成业务系统的切换；针对股份门户网站的web服务器和CMS服务器，采用数据反向复制的方式更新两台服务器的应用程序文件；针对信息披露系统的Oracle数据库服务器和股份门户的SQLServer数据库服务器，故障回复过程如下：Oralce数据库：将灾备站点中Oracle的数据导出一份到生产站点的Oracle服务器，在生产站点的Oracle服务器上执行数据的导入工作；SQLServer数据库：将灾备站点中的SQLServer数据备份传输一份到生产站点的SQLServer数据库，在生产站点的SQLServer服务器上执行数据的恢复工作；以上系统的网络切换部分请参考4.5最后，验证生产站点虚拟服务器的状态和数据后，确认数据回复完成，此时，veeam恢复到故障切换前的保护状态，仍然按照原有的灾备策略执行定时复制任务；灾备技术说明Veeam的实现过程本次灾备方案中针对集团总部的vmware虚拟化环境，我们采用veeambackup&replication实现虚拟服务器的异地复制。复制过程示意图：复制过程描述：在集团现有Vmware虚拟化环境中部署veeambackupproxy服务器负责数据的处理，并在传输过程中执行压缩操作，如图所示；在灾备站点安装部署VeeamServer（主控台），VeeamServer负责管理复制任务，执行Failover和Failback；集团Veeambackupproxy服务器(例如每4小时)将所有需要受保护的虚拟机通过vmware的快照功能执行快照处理，快照存在于虚拟服务器自身的数据卷中,然后定时复制快照至灾备中心的私有云存储阵列中，首次复制采用全量复制的方式；复制完成后，生产站点的虚拟服务器快照将自动删除；后续的复制任务开始前，veeam会将生产站点新产生的快照和灾备中心的快照进行对比，将数据的增量复制到灾备站点，更新现有的虚拟服务器并形成一个新的还原点；复制完成后，生产站点的虚拟服务器快照将自动删除；复制到灾备站点的虚拟服务器处于随时可开机的状态；在集团的生产站点失效时,所有的备用虚拟服务器可以手动顺序启动；一旦集团的的生产站点恢复运营,虚拟服务器将切换回生产站点，并将通过增量复制的方式更新生产站点的数据；Veeam的优势分析Veeambackup&replication是业内首屈一指的针对vmware/Hyper-V环境下的虚拟服务器备份灾备解决方案。迄今为止，它已经为25000多个客户提供了虚拟化环境下强大的数据保护和灾难恢复产品及服务。它具备以下优势：最大限度减少风险：每隔几分钟复制，更快更频繁地备份，以避免数据丢失。另外，通过测试每个备份以确认一切运行正常，来确保备份的可恢复性。降低成本：以一个低廉的价格提供强大的功能：备份、复制、压缩、去重、应用项恢复、恢复验证、多hypervisor支持等等。优化管理：对于大规模部署，Veeam提供自适应的分布式架构，该架构可动态分配任务，让您无需为工作耗费大量精力，或不断调整工作时间表。支持任何存储器：VeeamBackup&Replication对存储器无限制。没有代理程序：在任何的机器上都不需要安装代理程序，也不需要人工干预。映像级别的备份：允许客户恢复备份文件中某个单独的内容，也支持整个文件系统的整体恢复。安全的处理和存储：所有的备份数据都会通过SSL加密的方式转移到我们安全的存储网络中去。数据压缩和去重：数据备份的同时会在源端进行自动压缩和去重处理，保证以最小的数据进行传输，提高备份效率。快速的文件和虚拟机恢复：当备份完成时，备份文件立即可以用来恢复，客户可以向我们的服务平台请求单个文件或者多个文件恢复，甚至虚拟机整体恢复。可靠性验证：我们的备份系统会在备份后自动的验证每一个备份文件，保证备份的可用性。

灾备项目实施相关实施计划为了更好的帮助客户进行项目实施，中企通信将提供一流的一站式的项目管理服务，中企通信的工程师和项目经理将与客户在初始配置的细节方面进行沟通，确定各个环节的配置形式，完成配置表单。此过程是为了确保客户的要求能满足，并避免在安装和服务开通后的任何误解。中企通信的项目管理团队将安排与客户的项目会议，讨论项目计划并确定实施时间表；

灾备站点基础设施中企建议集团信息部门采用异地部署SmartCLOUD™vONE私有云的方式实现业务系统的异地灾备；中企通信SmartCLOUD™vONE服务提供了一个私有的,专用的和安全的，基于VMwarevSphere套件管理服务的虚拟私有基础设施。通过建立SmartCLOUD™vONE高可用云计算平台来减少服务器停机时间和增加业务敏捷性。中企通信根据客户的业务需求提供定制的私有云解决方案，由中企通信提供私有云解决方案设计、部署、持续管理和操作，它显著减少运维复杂性和运维成本，并能在更短的时间内完成客户业务系统灾备体系的建设；SmartCLOUD™vONE服务是一个成本可控和全面的一站式解决方案,提供了以下主要特点：私人和专用的基于云平台的高可用性的保护；独享的服务器、存储设备和网络设备；提供了一个双因素认证安全令牌；云平台的基础设施采用N+1的冗余架构,完全杜绝由硬件故障带来的业务系统瘫痪；简单扩展，资源量增加时，只需增加ESXi主机即可完成私有云资源的扩展；中企通信后台团队提供从硬件基础设施到云平台资源池的7x24小时运维监控服务；集成MPLSVPN网络和BGP互联网。

SmartCLOUD™vONE服务上海宝山数据中心的SmartCLOUD™vONE私有云架构采用两台高配置x86服务器和一台集中存储阵列，使用VmwarevSphere5.1进行服务器虚拟化；采用SAN集中存储方式，这样可以将每个虚拟机的文件系统创建在共享的SAN集中存储阵列上，VMwareVMFS虚拟机文件系统，是一种高性能的群集文件系统，允许多个ESXServer安装同时访问同一虚拟机存储。支持通过VMwareVirtualCenter、VMwareVMotion™技术、VMwareDRS和VMwareHA提供的基于虚拟化的分布式基础结构服务。由于VMware的虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在SAN存储阵列上的VMFS文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。该架构配置采用两台高配置DellPowerEdge服务器（Intel(R)Xeon(R)ProcessorE5-26502.0GHz,8Cx2/192GBMemory/300GBSASHardDiskx2），该服务器最大配置为（Intel(R)Xeon(R)ProcessorE5-26502.0GHz,8Cx2/1.5TBMemory/300GBSASHardDiskx2）；一台Dell存储阵列（1TBx127.2KNL-SAS,withDualController2U，RAID-10)，最大可用空间6TB；硬件连接示意图如下：SmartCLOUD™vONE私有云硬件架构软硬件选型硬件设备型号配置数量DellServerXeonE5-2609/256GB/1TB*42DellEqualLogic系列存储14个2.5英寸硬盘，采用6GbpsSAS后端；两个热插拔10GbE控制器，每个控制器配备4GB内存1Dell千兆交换机24口千兆交换机2Dell光纤交换机24x10GbESFP+port2TrustCSIUTMFG100UTM防火墙，支持VPN功能1Cisco3945RouterCE路由器2软件系统软件名称功能数量VmwarevSphereEnterpriseEdition虚拟化软件4个CPU授权VeeamBackup&ReplicationEnterprise第三方虚拟化备份软件16个CPU授权生产站点的CPU数量Windowsserver2012EnterpriseEdition操作系统SPLA灾备站点虚拟机配置两台台高配物理服务器安装VMware企业版，做成一个虚拟群，共虚拟约12台虚拟服务器；每台物理服务器本地硬盘安装VMware的ESXServer，ESXServer上创建的虚拟机VM则放在共享的iSCSI存储上；首次复制阶段100MbpsMPLSVPN带宽，后续20MbpsMPLSVPN带宽；20MbpsBGP互联网带宽；UTM防火墙（开启SSLVPN），支持500账号拨入项目交付开通京城大厦和上海宝山数据中心的MPLSVPNPort；开通BGP互联网连接；UTM安装，并配置SSLVPN，集成TDS身份验证；完成SmartCLOUD™vONE私有云的硬件安装和配置；完成生产站点和灾备站点veeamBackup&Replication的安装，并按照客户的要求配置完成复制任务策略；完成数据库层面各个功能脚本的功能测试；完成并通过在预先定义的UAT计划中所列的测试用例；安装过程中企通信公司将确保MPLSVPN网络、网络设备、UTM设备、服务器以及存储阵列在灾备服务实现之前准备完毕，同时完成生产站点和灾备站点veeam软件的安装配置；

veeam复制任务建设先决条件如下:

客户端：1台VM(2vCPU,8GBMemory)安装WindowsServer2008R2并提供Administrator权限；客户的vCenterAdministrator权限；开通两端的MPLSVPN专线连接；灾备端：1台VM(2vCPU,8GBMemory)安装WindowsServer2008R2并提供Administrator权限；灾备环境的vCenterAdministrator权限；灾备资源池的分配；UTM的安装，完成SSLVPN的配置；实施内容摘要：在上海宝山数据中心，中企通信的工程师将安装所有必要的服务器、网络设备和SAN存储，完成SmartCLOUD™vONE私有云的基础硬件架构；ESXi服务器的安装与配置,虚拟网络的配置,vCenter的安装调试以及SAN存储的安装和配置；调试两端的CE路由器，开通MPLSVPN网络连接；远程进行生产站点和灾备站点的VeeamBackup&Replication软件的安装配置和调试；生产站点虚拟机的首次复制；灾备站点中TDS服务器、DNS服务器的安装配置；Oracle服务器的安装以及数据导出/导入脚本的调试；SQLServer服务器的安装以及数据导出/导入脚本的调试；CMS服务器文件同步的调试；三灾备站点的业务测试，具体方式为，全部开机启用，客户通过SSLVPN拨入灾备中心内网，进行业务系统的可用性测试；项目支持团队项目进度项目进度是确保每个阶段的任务在项目中可控。中企通信将通过规划项目中的各个关键时间点，合理分配资源，完成项目的跟踪。更改日程安排只能由项目经理进行。这些变化应反映变化范围，完成百分比，以及任何事件的发生对该项目时间的影响。以下任务和日期代表项目中的关键时间点：关键步骤时间计划采购所有必要的硬件设备6-8周准备机柜、机柜内的布线以及机房内的连线1周设备上架、虚拟化环境安装配置1–2周Veeam的安装调试，复制任务的配置；数据库自动化脚本的调试和测试；文件同步脚本的调试和测试；4周整体验收测试1周UAT测试标准Veeam复制测试：一旦如下面符合验收标准的结果完成相关验收测试后，该服务供应被视为成功完成。Veeam的数据复制测试；验收标准：通过veeam建立复制任务，首次复制披露系统和股份门户的所有虚拟服务器，复制完成后，启动灾备中心的虚拟服务器，由客户验证数据完整性；当收到veeam的复制完成邮件，灾备中心的虚拟服务器可以正常启动，表明本项测试成功；MPLSVPN连通性和稳定性测试；验收标准：客户端PE发起ping测试，测试目的地址为灾备中心端PE设备，10000个数据包，抖动不超过10ms，丢包率不超过0.01%，可认为此次测试通过；Oracle自动化脚本的功能测试；验收标准：手工在生产站点Oracle服务器上执行数据导出脚本可以完成数据的导出和远程传输到灾备站点Oracle服务器的功能；在灾备站点Oracle服务器上执行数据导入脚本可以完成数据的导入工作；脚本执行完毕后，启用web服务器、HFM服务器和数据管理服务器，由最终用户验证业务系统数据的完整性，披露系统可以正常访问，数据与生产站点一致，可认为此次测试通过；SQLServer自动化脚本的功能测试；验收标准：手工在生产站点SQLServer服务器上执行数据导出脚本可以完成数据的导出和远程传输到灾备站点SQLServer服务器的功能；在灾备站点SQLServer服务器上执行数据导入脚本可以完成数据的导入工作；脚本执行完毕后，启用web服务器和CMS服务器，由最终用户验证业务系统数据的完整性，股份门户网站可以正常访问，数据与生产站点一致，可认为此次测试通过；灾备启动流程详细过程描述：客户呼叫中企通信客服热线或服务经理发起启动灾备站点的请求；中企通信的客服人员回拨到授权清单所列请求者的联系电话，以验证他/她的身份；中企通信的客服热线和服务管理人员共同协调后端工程师，执行故障切换任务，按照预先和客户约定好的顺序，启动灾备站点的虚拟服务器；中企通信的后台技术工程师进行在恢复虚拟服务器的同时，进行网络的切换；中企通信的后台技术工程师确认灾备站点的业务服务器启动成功，网络切换成功，业务系统可以正常访问；中企通信的客服热线人员或者服务管理人员通知客户所有业务已经全部切换至灾备站点；客户方对异地恢复的业务系统进行可用性测试，验证业务系统的状态；验证业务系统可用后，任务结束；灾备回复流程详细过程描述：客户生产站点业务恢复正常，决定启动数据回复流程；中企通信的客服人员回拨到授权清单所列请求者的联系电话，以验证他/她的身份；中企通信的客服热线或服务管理人员共同协调后端工程师，执行数据回复任务，将灾备站点的虚拟服务器增量复制到生产站点，完成虚拟服务器的Failback，同时进行网络切换的工作；针对Oracle数据库，将灾备站点产生的归档日志文件传输至生产站点的Oracle服务器进行手工恢复；中企通信的客服热线或服务管理人员通知客户数据回复完成；客户验证业务系统的可用性；验证成功后，任务结束。责任划分角色主要职责中企通信服务经理灾备站点启动任务的第一联系人；在整个灾备过程和数据回复过程中协调各部门人员和资源；提交客户的需求给后台技术工程师，并保持与客户的实时沟通；交付启动完毕的灾备中心的业务系统客户；中企通信的客服热线灾备站点启动任务的第二联系人；验证客户的身份，并与后台技术工程师确认客户的请求；通知客户的最新状态，并随时转发客户的要求给后台技术工程师.中企通信云计算运维中心-执行故障切换和客户虚拟机的故障恢复。-确保整个灾备恢复过程成功并在所承诺的RTO内完成；反馈最新的灾难恢复情况给客服热线和客户服务经理；在客户进行灾备站点可用性验证时提供必要的技术支持；中企通信网络运维中心确保灾备资源的网络配置正确，并在RTO要求的时间内完成生产站点网络到灾备站点网络的切换工作；反馈最新的灾难恢复情况给客服热线和客户服务经理；在客户进行灾备站点可用性验证时提供必要的技术支持；

客户服务客户服务理念中企通信的客户服务中心是对外服务及应急响应的统一接口。同时，客户服务中心对每次服务及客户申报事件都进行有效跟踪，建立客户信息库。在问题处理过程中保持与客户的联系及信息反馈，直至问题处理完毕。热线技术支持服务面向中企通信客户；对于合约客户，为其在数据库中建立客户档案，并提供热线技术支持服务、信息咨询服务、故障受理服务、网络远程诊断、备件保修服务、电话回访服务等等，而且还在不断创新，所有的服务均贯穿着以客户为中心的服务宗旨。各地线路故障统一申报热线电话：800-830-8315/400-884-1883（支持普通话、粤语、英文、日语、韩语），并提供“一站式”服务，线路、设备问题统一解