中信集团灾备中心建设方案.docx

中信集团灾备中心建设方案中信集团灾备中心建设方案v4.0中企网络通讯技术有限公司2015年5月14日目 录第1章集团应用系统灾备需求41.1灾备项目背景41.2集团生产站点总体现状41.3灾备项目需求9第2章集团灾备中心建设目标102.1灾备级别划分102.1.1第2级 备份介质异地存放+异地备份数据中心102.1.2第3级 网络传输+异地数据中心部分设备支持112.1.3第4级 网络传输+异地数据中心完整设备支持122.2灾备系统组成142.3灾备模式介绍152.4集团一期灾备项目关键指标要求15第3章业务系统灾备建设方案163.1方案设计思路163.2灾备中心vm规划173.3信息披露系统灾备设计183.3.1方案设计拓扑图183.3.2虚拟服务器层面183.3.3oracle数据库设计193.4股份门户网站灾备设计203.4.1方案设计拓扑图203.4.2虚拟服务器层面203.4.3sql server数据库设计20第4章灾备网络概要设计214.1方案设计拓扑图214.2集团管理信息部部署方式224.3上海宝山机房部署方式234.4灾备数据业务流向244.4.1veeam灾备数据复制244.4.2应用系统数据复制254.5灾备切换场景及业务数据流向分析274.5.1正常情况下的路由及数据流274.5.2灾备切换场景概述284.5.3灾备切换情况说明30第5章数据灾备及数据回复的实现过程315.1数据灾备过程315.2数据回复过程32第6章灾备技术说明336.1veeam的实现过程336.2veeam的优势分析34第7章灾备项目实施相关367.1实施计划367.2灾备站点基础设施377.2.1软硬件选型397.3灾备站点虚拟机配置407.4项目交付417.5安装过程417.6项目支持团队427.7项目进度427.8uat测试标准437.9灾备启动流程447.10灾备回复流程457.11责任划分46第8章客户服务488.1客户服务理念488.2一站式服务支持488.3客户满意度的措施488.4服务优势498.5中企通信服务质量承诺标准498.5.1mpls vpn专线承诺标准498.5.2中企通信云平台承诺标准50第9章中企通信灾备中心服务介绍519.1中企通信灾备中心服务综述519.2上海宝山数据中心概述529.3中企通信云计算服务（smartcloud）概述529.4中企通信灾备服务（brr）概述54第10章成功案例5657 / 57 中信集团灾备中心建设方案第1章 集团应用系统灾备需求1.1 灾备项目背景随着集团业务信息量增大，集团日常工作对信息化的依赖程度越来越高。业务系统一旦中断，将给集团带来巨大的经济损失和负面效应。业务连续性的保障工作成为集团管理信息部首要考虑的问题。因此要建设异地灾备中心，对核心业务系统进行容灾备份，在系统出问题时，能有相关的容灾系统及时接管业务，保证业务系统的连续、稳定运转。1.2 集团生产站点总体现状中国中信集团有限公司建设有it共享服务中心和数据中心，承载着集团的所有信息化系统及子公司的部分应用系统。it共享服务中心拥有2台ibm p710主机、6台ibm p730主机（112核cpu、448g内存）以及10台ibm x3850服务器、2台ibm x3650服务器（44颗6核cpu、1664g内存），利用powervm和vmware虚拟化技术，构建了小型机资源池和pc服务器资源池，同时利用2台ibm v7000存储（22t可用容量）、1台netapp v6210a存储（20t可用容量）构建了存储资源池；数据中心拥有2台ibm p730主机（32核cpu、128g内存）以及3台ibm x3850服务器（18颗6核cpu、160g内存），利用powervm和vmware虚拟化技术，构建了小型机资源池和pc服务器资源池，同时利用1台ibm v7000存储（11t可用容量）构建了存储资源池；小型机资源池和pc服务器资源池通过4台cisco 9148光纤交换机多路径连接到存储资源池。it共享服务中心和数据中心利用powervm、vmware技术部署了40余台小型机虚拟机以及140余台pc服务器虚拟机，承载着门户网站、内联网、集成化管理类应用、邮件系统、数据分析系统等应用系统及各应用系统的开发测试环境。虚拟机的操作系统包括aix（6.1为主）、windows（2000、2003、2008、2012）、linux（redhat、centos、suse），数据库包括oracle rac（10g、11g）、sql server双机、db2、mysql等，中间件包括websphere、weblogic、tomcat等，应用平台包括portal、domino、hfm等。it共享服务中心和数据中心的网络由2台cisco 4507r和一台huawei5700交换机组成，利用2台天融信tg61040、2台feitigate1000c防火墙划分出核心区、辅助区、安全区、测试区、web区等多个虚拟网络，防火墙具有访问控制、防攻击、防病毒的功能。it共享服务中心和数据中心还部署有2对美国优势网络公司的inchorus1240应用前端交换机，配置了部分应用系统的负载均衡。用户访问各应用系统时，大部分通过tds统一认证，有些应用系统有自己的认证系统。1.2.1一期生产站点现状集团的信息披露系统和中信股份门户网站的服务器架构基于双机热备份的架构部署。信息披露系统的现状如下：如图所示，目前信息披露系统由9台服务器组成，其中2台web服务器、2台hfm服务器、2台数据管理服务器以及及1台报表分析服务器共7台服务器运行在集团的vmware虚拟化平台上，操作系统为windows2008 r2，2台数据库服务器运行集团的powervm虚拟化平台上，操作系统为aix 6.1。7台vmware虚拟服务器部署着oracle公司的foundation、hfm、biee，以及景华天创公司的bivison；2台powervm虚拟化小型机部署着oracle rac。2台web服务器、2台数据管理服务器使用美国优势公司的inchorus配置了负载均衡，2台web服务器为双活模式，2台数据管理服务器为主备模式。信息披露系统数据分为两类：一类为随机上报的披露数据，每月约100条左右；一类为按季度上报的合并数据，目前有70家子公司上报，每家每次数据量为5m左右。股份门户的现状如下：如图所示，目前中信股份门户网站由6台服务器组成，2台web服务器、2台cms服务器、2台数据服务器共6台服务器运行在集团的vmware虚拟化平台上，操作系统为windows2012 r2。6台vmware虚拟服务器部署着windows iis、euroland公司的cms和windows sql server数据库集群。2台web服务器使用美国优势公司的inchorus配置了负载均衡，为双活模式。门户网站的数据更新是随机的，每月约15条左右。根据集团提供的信息系统调查表计算出，生产环境下，各信息系统的的资源用量为：服务器cpu内存存储vmdk文件大小ip地址负载均衡（服务）ip中信集团信息披露系统web服务器128gc:100g d:50g8g 12g172.20.17.65172.20.16.26web服务器228gc:100g d:50g8g 12g172.20.17.66hfm应用服务器1216gc:100g d:150g11g 24g172.20.17.55172.20.17.55hfm应用服务器2216gc:100g d:150g8g 14g172.20.17.56172.20.17.56数据管理服务器1216gc:100g d:150g10g 21g172.20.17.58172.20.16.25数据管理服务器2216gc:100g d:150g8g 12g172.20.17.59数据库集群172.20.21.30中信股份门户网站web服务器1412gc: 50g25g172.20.2.8172.20.2.18web服务器2412gc: 50g23g172.20.2.9cms服务器1（主服务器）412gc: 50g24g172.20.17.68172.20.17.68cms服务器2（备用服务器）412gc: 50g22g172.20.17.69172.20.17.69（备用地址）数据库服务器1416gc:150g500g29g2g172.20.21.32172.20.21.35172.20.21.341.3 灾备项目需求集团目前第一期计划针对信息披露系统和中信股份网站进行灾备项目的实施。目前信息披露系统的web服务器、hfm服务器、数据管理服务器以及报表分析服务器共7台服务器运行在集团的vmware虚拟化平台上，披露系统的oracle数据库系统运行在小型机上，该系统的主要功能是完成财务报表的合并，同时支持中信股份的信息披露业务；中信股份的官方网站的6台服务器也运行在集团的vmware虚拟化平台上，该网站属于中信股份的官方网站，是中信股份集团对外的信息发布和形象展示窗口；集团信息部门要求针对这两个系统提出可行性灾备方案，要求在生产站点业务中断后，灾备站点可以在一定时间内完全接管业务，保证数据在异地有冗余备份。 信息披露系统的要求：1. 灾备站点的web服务器、hfm服务器、数据管理服务器、oracle数据库服务器和dns服务器的ip地址均不能变更；2. 信息披露系统只针对中信集团本部和集团下属各个子公司提供服务，全部通过中信集团第二张网进行内网访问；3. 生产站点和灾备站点之间通过mpls vpn网络连通，实现数据的传输； 中信股份门户网站的要求：1. 灾备站点的web服务器、cms服务器和sql server数据库服务器的ip地址可以不和生产站点的web服务器、cms服务器以及sql server数据库服务器保持一致；2. 中信股份门户网站对外通过互联网提供访问服务；3. 生产站点和灾备站点之间通过mpls vpn网络连通，实现数据的传输和交互；第2章 集团灾备中心建设目标2.1 灾备级别划分根据国务院信息化工作办公室于2005年4月下发的重要信息系统灾难恢复指南中的定义，灾难恢复等级可以划分为6个不同的等级，根据不同的灾难恢复需求确定灾难恢复等级，不同的灾难恢复等级，其解决方案可根据灾难恢复登记以下主要方面所达到的程度分为七级，即从低到高有七种不同层次的灾难恢复解决方案。可以根据中信集团各业务的系统及数据的重要性以及恢复策略，来设计选择灾难恢复方案和计划。根据重要信息系统灾难恢复指南的定义，灾难恢复级别的选择，主要决定以下七个要素： 数据备份系统 备用数据处理系统 备用网络系统 备用基础设施 技术支持 运营维护管理 灾难恢复预案国信办在重要信息系统灾难恢复指南中定义了灾难恢复等级划分了六个标准，依据风险分析和业务影响分析，按照业务连续性要求，集团总部信息系统分为重要信息系统、次重要信息系统和非重要信息系统3类，每类信息系统适用不同的国家灾备等级标准：l 重要信息系统：4级l 次重要信息系统：3级l 非重要信息系统：2级具体内容如下：2.1.1 第2级 备份介质异地存放+异地备份数据中心第二级灾难恢复应具有技术和管理支持如表a2所示。表 a. 1 第2级灾难恢复的技术和管理支持要素要求a.2.1数据备份系统a) 完全数据备份至少每周一次；b) 备份介质场外存放。a.2.2备用数据处理系统a) 灾难发生时能在预定时间内调配所需的数据处理设备到场。a.2.3备用网络系统a) 灾难发生时能在预定时间内调配所需的通信线路和网络设备到位。a.2.4备用基础设施a) 有符合介质存放条件的场地；b) 有满足信息系统和关键业务功能恢复运作要求的备用场地。a.2.5技术支持a.2.6运行维护支持a) 有介质存取、验证和转储管理制度；b) 按介质特性对备份数据进行定期的有效性验证；c) 有备用场地管理制度；d) 与相关厂商有符合灾难恢复时间要求的紧急供货协议；e) 与相关运营商有符合灾难恢复时间要求的备用通信线路协议。a.2.7灾难恢复预案a) 有相应的经过完整测试和演练的灾难恢复预案。2.1.2 第3级 网络传输+异地数据中心部分设备支持第三级灾难恢复应具有技术和管理支持如表a3所示。表 a. 2 第3级灾难恢复的技术和管理支持要素要求a.3.1数据备份系统a) 完全数据备份至少每天一次；b) 备份介质场外存放；c) 每天多次利用通信网络将关键数据定时批量传送至备用场地。a.3.2备用数据处理系统a) 配备灾难恢复所需的部分数据处理设备。a.3.3备用网络系统a) 配备部分通信线路和相应的网络设备。a.3.4备用基础设施a) 有符合介质存放条件的场地； b) 有满足信息系统和关键业务功能恢复运作要求的场地。a.3.5技术支持a) 在备用场地有专职的计算机机房运行管理人员。a.3.6运行维护支持a) 按介质特性对备份数据进行定期的有效性验证；b) 有介质存取、验证和转储管理制度；c) 有备用计算机机房管理制度；d) 有备用数据处理设备硬件维护管理制度；e) 有电子传输数据备份系统运行管理制度。a.3.7灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案。2.1.3 第4级 网络传输+异地数据中心完整设备支持第四级灾难恢复应具有技术和管理支持如表a4所示。表 a. 3 第4级灾难恢复的技术和管理支持要素要求a.4.1数据备份系统a) 完全数据备份至少每天一次；b) 备份介质场外存放；c) 每天多次利用通信网络将关键数据定时批量传送至备用场地。 a.4.2备用数据处理系统a) 配备灾难恢复所需的全部数据处理设备，并处于就绪状态或运行状态。a.4.3备用网络系统a) 配备灾难恢复所需的通信线路；b) 配备灾难恢复所需的网络设备，并处于就绪状态。 a.4.4备用基础设施a) 有符合介质存放条件的备用场地；b) 有符合备用数据处理系统和备用网络设备运行要求的场地；c) 有满足关键业务功能恢复运作要求的场地；d) 以上场地应保持7 x 24运作。a.4.5技术支持在备用场地有：a) 7 x 24专职计算机机房管理人员；b) 专职数据备份技术支持人员；c) 专职硬件、网络技术支持人员。a.4.6运行维护支持a) 有介质存取、验证和转储管理制度；b) 按介质特性对备份数据进行定期的有效性验证；c) 有备用计算机机房运行管理制度；d) 有硬件和网络运行管理制度；e) 有电子传输数据备份系统运行管理制度。a.4.7灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案。2.2 灾备系统组成一个典型的灾备系统由灾备中心基础环境设施、数据备份系统、备份处理系统、网络通信系统和灾难恢复计划等组成。在集团第一期的灾备项目中，灾备系统的组成如下： 基础设施环境：由中企通信位于上海宝山的云计算数据中心（t3+级别）提供异地灾备数据中心的基础设施环境，以保障数据备份系统和备份处理系统的正常工作；采用dell高性能x86架构服务器、san存储以及光纤交换机作为底层硬件资源； 数据备份系统：依托集团总部数据中心和上海宝山数据中心之间高速、稳定的mpls vpn骨干网络，通过中企通信smartcloud vone私有云和虚拟化灾备软件veeam backup & replication来构建此次项目的数据备份系统； 备份处理系统：veeam server控制台系统、oracle数据库、sql server数据库、tds身份验证系统以及dns系统，构成灾备中心的整个备份处理系统；灾难恢复计划主要基于以下两个阶段考虑：系统切换阶段：业务系统的故障切换主要针对灾备中心的业务系统虚拟服务器进行快速、有效地恢复，按照预先制定的业务系统恢复流程和启动顺序进行操作；网络切换阶段：网络层面的切换主要针对灾难发生后的业务访问进行快速、有效的网络切换，确保用户可以正常访问到灾备中心的业务系统；2.3 灾备模式介绍灾备模式主要分为双活模式和主备模式2类，其中主备模式又可分为热备模式、暖备模式和冷备模式。双活模式：主中心和灾备中心负载均衡，用户可同时访问主中心或灾备中心，主中心和灾备中心之间双向同步复制数据（要求距离小于100公里），数据零丢失，适用同城灾备，该模式对应国家标准6级。热备模式：当主中心发生灾难时，自动切换到灾备中心，主中心数据向灾备中心同步复制数据（要求距离小于100公里），数据零丢失，适用同城灾备，该模式对应国家标准6级。暖备模式：当主中心发生灾难时，手动切换到灾备中心，主中心向灾备中心实时复制数据，数据丢失小，适用同城或异地灾备，该模式对应国家标准5级。冷备模式：当主中心发生灾难时，手动切换到灾备中心；主中心向灾备中心定时复制或备份数据，数据丢失较大，适用同城或异地灾备，该模式对应国家标准4或3级。2.4 集团一期灾备项目关键指标要求集团目前一期计划针对中信股份信息披露系统和中信股份网站进行灾备项目的实施，通过项目的实施，形成一种灾备的模式，下一步对更多的核心应用进行灾备。根据应用系统的访问需求，对灾备中心提出如下需求：要求信息披露系统在2小时内实现业务系统的全面接管，包括系统的启动、内部网络ip的接管、应用的启动，以及辅助的域名解析服务、tds身份认证服务、vpn访问的切换；同时要求信息披露系统的数据丢失量小于4个小时；（rt02小时、rpo4小时）要求中信股份网站在半小时内恢复可访问，包括系统的启动、域名的切换；同时要求中信股份网站的数据丢失量小于4个小时；（rt00.5小时、rpo4小时）以上两个业务系统的灾备需求适用4级的国家灾备等级标准，采用冷备模式。第3章 业务系统灾备建设方案中企通信提供一个完整的异地灾备解决方案：使用异地数据中心的smartcloudvone私有云服务以及生产站点和灾备站点之间mpls vpn网络连接的服务来解决由于人为错误、技术故障、自然灾害、病毒木马以及其他不可预知因素导致的数据丢失和业务中断的问题，同时提供一个快速恢复客户的关键任务和业务数据的方案。该方案的目的是为了保护集团的数据免受灾难和虚拟服务器故障所带来的丢失和损坏风险，在业务系统因灾难或故障引起生产站点不可用或者数据丢失损坏时，灾备中心可以完全接管业务，并且灾备中心的数据具有可恢复性和即时性。3.1 方案设计思路1. 信息披露系统和股份门户网站采用主备模式来实现异地灾备；基于两个业务系统的rto/rpo要求，针对信息披露系统，采用冷备模式；针对股份门户网站，做镜像站点设计，灾备模式采用冷备模式；生产站点发生灾难时，两个系统均需要进行手工切换；2. 生产站点和灾备站点的复制策略可以针对每台虚拟服务器（信息披露系统的web服务器、hfm服务器和数据管理服务器）进行自定义，并提供vmware虚拟化架构下定时复制和增量复制的功能，针对每次复制任务得执行结果要有日志记录功能，出现异常时具有报警提示；3. 股份门户网站web服务器的内容通过网站后台进行统一发布；4. 股份门户网站的cms服务器在灾备站点处于开启状态，使用文件定时同步（4小时/次）的方式满足rpo的要求；5. 针对信息披露系统的oracle数据库，在灾备中心部署x86架构下的oracle数据库，通过自动化脚本的方式实现灾备站点数据的定时更新；6. 针对股份门户的sql server数据库，在灾备中心部署单机版sql server数据库服务器，通过自动化脚本的方式实现灾备站点数据的定时更新；7. 针对tds和dns，在灾备站点的虚拟服务器中，部署tds节点，通过mpls vpn内网同步用户数据；在dns服务器上对信息披露系统的域名进行a记录的设定；8. 有不同的恢复方案应对不同的灾难场景3.2 灾备中心vm规划灾备中心规划图：灾备中心vm规划列表：灾备中心vm规划系统名称服务器名称操作系统应用程序生产站点ip负载均衡ip灾备站点ip启动顺序信息披露系统 web服务器windows 2008 r2 （64位）foundation172.20.17.65/172.20.17.66172.20.16.26172.20.17.65hfm服务器windows 2008 r2 （64位）hfm bivison172.20.17.55/172.20.17.56172.20.17.55数据管理服务器windows 2008 r2 （64位）bivison172.20.17.58/172.20.17.59172.20.17.58报表分析服务器windows 2008 r2 （64位）biee172.20.17.60172.20.17.60oracle服务器oracle 11g172.20.21.28/29172.20.21.26/27/30172.20.21.30中信股份门户web服务器windows 2012 r2 （64位）iis 7.0172.20.2.8/172.20.2.9cms服务器 windows 2012 r2 （64位）cms172.20.17.68/172.20.17.69数据库服务器windows 2012 r2 （64位）sql server 2012172.20.21.32/35、172.20.21.33/36、172.20.21.34tds身份验证系统tds服务器windows 2008 r2 （64位）ibm tivoli待规划域名解析系统dns服务器windows 2008 r2 （64位）ms dns10.200.1.1vmware虚拟化管理平台vcenter服务器 windows 2008 r2 （64位）vcenter待规划veeam备份控制台veeam备份控制台服务器windows 2008 r2 （64位）veeam backup manager待规划3.3 信息披露系统灾备设计3.3.1 方案设计拓扑图3.3.2 虚拟服务器层面 针对web服务器、hfm服务器和数据管理服务器，实现方式如下：复制类型复制步骤阶段任务初次复制建立复制任务通过灾备站点的veeam server建立复制任务选择需要复制的vm，复制的时段，vlan/ip设置等复制任务的配置（metadata）将存储于veeam server上的文件夹中对生产站点的vm进行快照veeam通过vmware的快照功能对生产站点的vm执行快照快照存放于vm自身的数据卷中（datastore）将生产站点的vm复制到灾备站点将vm的快照全部复制（full）到灾备站点灾备站点的vm将存储于指定的数据卷中，并处于随时可开机状态当复制完成后，生产站点的vm快照将自动删除后续复制对生产站点的vm进行快照veeam通过vmware的快照功能对生产站点的vm执行快照快照存放于vm自身的数据卷中（datastore）将生产站点的数据增量复制到灾备站点将vm的快照和灾备站点现有的vm数据进行比对将数据的增量复制到灾备站点，更新现有的vm并形成一个新的还原点当复制完成后，生产站点的vm快照将自动删除根据集团管理信息部对本次项目rto/rpo的要求，veeam的复制频率设定为4小时/次，并且保留24小时以内的还原点快照； 针对身份验证系统和域名解析系统，中企会在灾备站点部署一套处于开机状态的tds系统和dns系统，其中，tds系统作为集团身份验证系统的一个slave节点定期从tds的master节点获取更新数据；dns系统的ip地址和生产站点dns系统的ip地址保持一致，并将信息披露系统的域名解析到172.20.17.65，以此确保灾备站点启用后，身份验证功能和域名解析功能处于可用状态。3.3.3 oracle数据库设计针对生产站点的oracle服务器集群，设计如下：在灾备中心部署x86架构下的单机oracle数据库，通过自动化脚本的方式实现生产站点oracle数据的定时导出并定时传输到灾备站点oracle服务器，在灾备站点的oracle服务器上执行定时导入；（中企通信会在此次项目中提供具备oracle数据库的导出、远程传输、定时导入功能的脚本程序，检测脚本）根据披露系统的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的oracle服务器端保留24小时以内的数据导出文件；3.4 股份门户网站灾备设计3.4.1 方案设计拓扑图3.4.2 虚拟服务器层面1. 针对web服务器，实现方式如下：通过在股份门户网站的后台上传功能模块中增加灾备站点的地址，来达到web服务器数据同步的目的；2. 针对cms服务器，实现方式如下：在灾备站点单独的一台虚拟服务器上部署股份门户的cms服务，配置不同于生产站点cms的ip地址，通过自动化脚本的方式实现生产站点和灾备站点两端cms服务器的数据每4小时同步一次；3. 整体架构采用股份门户镜像站点的部署方式，正常状态下web服务器通过mpls vpn内网调用生产站点sql server数据库的数据。3.4.3 sql server数据库设计针对生产站点的sql server服务器集群，设计如下：在灾备中心部署x86架构下的单机sql server数据库，首先在生产站点的sql server设定数据库定时备份策略，定时生成数据库备份文件并传输生产站点的sql server备份文件到灾备站点sql server服务器上，通过计划任务定时执行批处理文件的方式进行备份文件的定时恢复；（中企通信会在此次项目中提供具备sql server数据库的定时备份、远程传输、定时导入功能的批处理文件程序）数据库服务器ip地址方面，配置不同于生产站点sql server集群的地址；当生产站点发生灾难、sql server集群服务失效时，中企通信后台运维人员将手工更改灾备站点的sql server服务器ip地址为生产站点的sql server集群ip地址，完成数据库服务的切换。根据股份门户的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的sql server服务器端保留24小时以内的数据导出文件；第4章 灾备网络概要设计4.1 方案设计拓扑图方案描述：1. 针对此次集团管理信息部的披露系统、中信股份门户网站灾备项目；集团管理信息部将采用现有网络设备完成。2. 将灾备服务器部署在上海宝山机房，使其与集团管理信息部采用mpls vpn（中信第二张网）互联，并在此网络上进行灾备数据的传输和生产站点恢复运营后数据的回传。3. 中企在上海宝山机柜部署2台cisco3945（根据带宽的需求选择其cisco3945，并且可满足未来带宽升级等变化）连接mpls vpn网络，在cisco3945通过bgp从pe接收到达集团管理信息部内部网络的路由。4.2 集团管理信息部部署方式1 针对此次系统灾备项目，集团信息管理部将采用现有网络设备完成灾备数据的转发，不增加硬件设备。2 集团管理信息部访问上海宝山灾备中心的路由，由中企的pe路由器通过bgp协议向集团管理信息部的核心交换6509转发。3 集团管理信息部的核心交换机6509将通过bgp协议收到上海宝山灾备中心的路由，并将其转发到内网eigrp网络4 在集团管理信息部内网部署veeam代理服务器，此代理服务器将单独划分一个vlan专用于数据备份，但此vlan需要与vcenter通信4.3 上海宝山机房部署方式1 上海宝山机房采用2台cisco3945路由器连接mpls vpn网络，带宽为20m，路由器分别下联2台dell交换机，2台路由器为内网提供高可用服务。2 同时部署utm安全设备连接互联网，带宽为20m，用于中信股份门户网站的互联网接入。3 将部署2台物理服务器分别上联2台dell交换机，将披露系统、中信股份门户网站、veeam服务器部署在smartcloud vone私有云上，在交换机上为这3个系统分别创建3个独立vlan，在cisco3945路由器配置3个子接口用于对应不同的vlan，并为每个vlan提供网关功能。 4 2台物理服务器分别下联dell存储交换机，通过此存储交换机连接dell存储设备。5 两台3945路由器上，需要部署少量静态nat配置,原因是披露系统中web服务器、hfm、数据管理服务器、ocacle服务器要求ip地址不能变动，所以在做数据备份时需要在灾备中心ce路由器配置nat转换，以使得完成路由可达性（详细说明见1.4.2），中信股份门户网站灾备ip地址可以改变，所以在备份过程中不需要针对此系统配置nat。6 针对中信股份门户网站的灾备，上海灾备中心将重新部署ip网段为173.1.1.0/24，在utm防火墙上将此内部ip映射到互联网，并在北龙中网负载均衡设备上添加上海灾备中心utm的公网ip地址，当灾难发生时可通过北龙中网设备将流量重定向到灾备中心的门户网站系统。7 披露系统和tds服务器属于同一个vlan，中信股份门户网站属于另一个vlan，veeam服务器单独在另一个vlan4.4 灾备数据业务流向4.4.1 veeam灾备数据复制集团管理信息部的vm镜像可直接通过veeam进行数据备份，veeam的备份任务是通过上海灾备中心的veeam服务器进行调度 veeam备份和调度示意图1. 在上海宝山灾备中心建立一个veeam管理服务器，在集团管理信息部建立一个veeam代理服务器。2. 在上海灾备中心的veeam管理服务器中创建复制任务，任务通过mpls网络调用北京veeam代理端协作复制任务 （蓝色线路）；3. veeam代理端与集团管理信息部的vcenter进行授权连接，将生产站点vmware虚拟服务器的快照文件通过mpls vpn网络复制到上海的灾备中心（红色线路）；4. 集团管理信息部为veeam代理服务器单独划分一个vlan（具体vlan可在实施阶段协调）与现有生产网络隔离，veeam代理服务器与生产网络vcenter服务器实现路由可达；5. 复制到灾备站点的快照文件存储在smartcloud vone私有云的存储中，并处于随时可开机启动的状态；6. 为灾备中心的veeam管理服务器划分一个单独的vlan，该vlan id与灾备中心vcenter的vlan id一致，使之与披露系统、中信股份门户网站灾备服务器相互隔离，4.4.2 应用系统数据复制生产中心的oracle服务器和股份门户网站的web服务器、cms服务器以及sql server数据库服务器不通过veeam进行灾备复制，需要在应用系统层面进行定时的数据同步。由于信息披露的web服务器、hfm服务器、数据管理服务器以及oracle数据库服务器不允许改变ip地址，因此需要在灾备中心的ce路由器（cisco 3945）上进行nat（网络地址转换）的配置，以达到两端对应服务器之间数据同步的目的；股份门户网站的web服务器、cms服务器和sql server服务器的ip地址允许变更，并且这三台服务器的数据定时同步模式基于应用层面来实现，因此，只需在mpls vpn骨干网络上宣告对应服务器的路由信息即可达到两端数据同步的目的；1. 北京生产中心的oracle服务器以及披露系统和tds（172.20.16.23）不能修改ip地址，因此在备份过程中需要在灾备中心的cisco3945上配置nat转换；2. 在cisco3945上将披露系统的oracle服务器以及tds服务器ip地址映射为wan口网段ip地址，北京生产网络在备份时目的地址为nat转换后的ip地址；3. 股份门户网站的三台服务器（web服务器、cms服务器和sql server服务器）可以变更ip地址，因此在备份过程中不使用nat直接备份，只需保证路由可达即可；4. 灾备中心的虚拟服务器之间的数据交互，可直接在局域网内进行，各个虚拟服务器的网关地址都是cisco3945对应的子接口地址。4.5 灾备切换场景及业务数据流向分析4.5.1 正常情况下的路由及数据流1. 在生产中心正常工作的情况下，集团的两台6509核心交换机将通过bgp协议向中企的pe路由器宣告灾备系统的路由；2. 中企的pe路由器收到这些bgp路由后，会将这些路由信息通过bgp协议在mpls vpn网内传播，最终将传达到各子公司的ce路由器（蓝色线路）；3. 各子公司将通过集团广播的核心区域路由进行寻址，经过中企的mpls vpn骨干网后，访问位于集团核心区的信息披露系统（红色线路）4. 中信股份门户网站通过互联网进行访问；4.5.2 灾备切换场景概述 4.5.2.1. 集团管理信息部整个业务系统故障1. 集团生产站点发生灾难性故障，业务系统全部故障，且无法在短时间内恢复业务时，由集团工程师通过电话、邮件等方式向中企网络发起灾备切换需求。2. 中企网络收到切换需求后，将第一时间安排云计算工程师协助集团启用灾备中心的虚拟服务器，并按要求修改系统设置（修改tds系统的ip地址/修改股份门户网站web服务器中数据库的调用地址）。3. 同时中企网络将安排网络工程师，修改灾备中心的pe路由器的配置，按计划将灾备系统相关业务系统的主机路由信息（披露系统、股份门户网站、tds服务器和dns服务器）通过bgp协议广播到集团的第二张mpls vpn网内（紫色线路）。删除北京pe路由器关于生产电点业务系统网络路由4. 集团及各子公司的ce路由器将通过bgp协议接收到灾备中心的网络路由，后续访问披露系统和股份门户网站的数据包全部传输到上海灾备中心。5. 当生产中心恢复正常后，中企网络将按照客户要求，将vm数据反向同步到生产中心，并按约定时间删除相应的主机路由广播，路由收敛完成后，业务系统的访问流量将会引导回原有路径（红色线路）。4.5.2.2. 集团管理信息部某一个业务系统故障6. 集团生产中心的系统发生故障，且无法在短时间内恢复业务时，由集团工程师通过电话、邮件等方式向中企网络发起灾备切换需求。7. 中企网络收到切换需求后，将第一时间安排云计算工程师协助集团启用灾备中心的虚拟服务器，并按要求修改系统设置（如需要）。8. 同时中企网络将安排网络工程师，修改灾备中心的pe端配置，按计划将灾备系统相关的主机路由（web、dns、oracle、披露系统、数据管理服务器主机ip地址）通过bgp协议广播到集团的第二张mpls vpn网内（紫色线路）。9. 集团及各子公司的ce路由器等将通过bgp协议接收到灾备中心的主机路由，并把这些路由与现有的生产中心路由（/20、/24等大路由）同时放入路由表，如路由表中将同时存在172.20.16.0/20及172.20.17.65/32等主机路由。10. 当用户需要访问已切换到灾备中心的系统时，数据包到达ce路由器后，将进行相应的路由查找，而根据路由最长匹配原则，灾备中心广播的主机路由（如172.20.17.65/32）将会作为优选路由，引导数据包流向上海灾备中心（绿色线路），如需要访问生产中心的其他系统，则会走原有路径（红色线路）。11. 当生产中心恢复正常后，中企网络将按照客户要求，将vm数据反向同步到生产中心，并按约定时间删除相应的主机路由广播，路由收敛完成后，业务系统的访问流量将会引导回原有路径（红色线路）。4.5.2.3. 集团总部外部互联网络故障1. 基于集团信息披露系统和股份门户网站的访问要求，当集团外部的互联网发生中断故障时，信息披露系统的访问不受任何影响；2. 北龙中网的智能dns会自动检测北京和上海两地网站服务器的状态，当检测到集团总部互联网发生故障时，将自动切换所有访问流量到上海；4.5.3 灾备切换情况说明在发生灾备切换时，需要注意以下情况：3. 如果生产中心发生网络故障，导致信息披露系统及中信股份门户网站无法访问，将需要同时切换两个系统及相关联的服务器到灾备中心；4. 如某个业务系统故障，则只需要切换系统到灾备中心，另外一个系统无需切换。5. 集团管理信息部智能dns服务器增加上海灾备中心公网ip地址，用户股份门户网站双活访问。6. 当某个业务系统故障或整个生产站点故障时，中企通信都会在网络中广播相应的主机或网络路由，以替换现存的核心区域大网段路由。7. 业务系统切换到灾备中心后，原生产中心核心区域网段内（如172.20.16.0/20）的主机及服务器，将无法访问灾备中心的主机或系统，原因为核心区域的设备会认为灾备中心的设备还在同一个网段内，会进行arp查询对应ip地址的mac（结果为arp查询超时，无法封包成功），而不会进行路由查找，将数据包发送到网关。8. 当生产站点的互联网出现故障时，对于信息披露系统的访问没有任何影响；对于中信股份门户的访问，北龙中网的智能dns服务将生效，将所有的访问流量全部切换到上海灾备中心，其余所有的网络结构和业务系统结构不需要做任何改变。第5章 数据灾备及数据回复的实现过程5.1 数据灾备过程当生产站点发生灾难，需要启动灾备中心的相应服务时： 针对信息披露系统的web服务器、hfm服务器和数据管理服务器，故障切换过程如下：1. 在灾备站点的veeam server上选择“故障切换（failover）”选项，启动故障切换任务；2. 在veeam上选择还原点的快照文件，并启动；3. 等待虚拟服务器启动； 针对股份门户网站的web服务器和cms服务器，处理过程如下：在灾难发生后，中企通信的运维人员需要手工将网站的数据库连接文件web.config中的数据库连接地址变更为灾备站点中sql server数据库的ip地址，北龙中网的智能dns解析服务器检测到生产站点的服务器故障后，会自动将所有访问流量切换到上海灾备站点，以此保障股份门户网站在数分钟即可恢复； 针对信息披露系统的oracle数据库服务器和股份门户的sql server数据库服务器，故障切换过程如下：停止灾备站点上oracle服务器的定时导入脚本的任务（信息披露系统）；停止灾备站点上sql server的定时导入脚本的任务（中信股份门户）； 针对tds服务器，处理过程如下：手工修改灾备站点tds服务器的地址为172.20.16.23（与生产站点tds系统的负载均衡地址相同）； 以上系统的网络切换部分请参考4.5 最后，虚拟服务器启动完毕，数据库连接文件修改完毕后，验证灾备站点中虚拟服务器的状态和数据。5.2 数据回复过程当生产站点的业务恢复，需要将灾备中心的数据进行回复时： 针对生产站点中信息披露系统的web服务器、hfm服务器和数据管理服务器全部损坏的情况，故障切换过程如下： 在灾备站点的veeam server上选择“故障回复（failback）”选项，启动数据回复任务； 选择故障回复的类型； veeam将关闭灾备站点的虚拟服务器，然后将灾备站点虚拟服务器的快照文件全量复制到生产站点，复制完成后，生产站点的虚拟服务器自动开启； 针对生产站点中信息披露系统的web服务器、hfm服务器和数据管理服务器全部恢复正常的情况，仅需执行网络切换即可完成业务系统的切换； 针对股份门户网站的web服务器和cms服务器，采用数据反向复制的方式更新两台服务器的应用程序文件； 针对信息披露系统的oracle数据库服务器和股份门户的sql server数据库服务器，故障回复过程如下：oralce数据库：将灾备站点中oracle的数据导出一份到生产站点的oracle服务器，在生产站点的oracle服务器上执行数据的导入工作；sql server数据库：将灾备站点中的sql server数据备份传输一份到生产站点的sql server数