西南交通大学数据中心扩容及容灾中心建设规划方案V6.3

1、 西南交通大学数据中心扩容及容灾中心建设规划方案PAGE 第 PAGE 45页 共 NUMPAGES 45页西南交通大学数据中心扩容及容灾中心建设规划方案江苏金智教育信息技术有限公司2014年 3月目 录 TOC o 1-3 h z u 1数据中心一期建设描述 PAGEREF _Toc258171944 h 31.1拓扑描述 PAGEREF _Toc258171945 h 32数据中心建设扩容 PAGEREF _Toc258171946 h 52.1拓扑描述 PAGEREF _Toc258171947 h 52.2建设方案 PAGEREF _Toc258171948 h 62.3弹性应用部署方

2、案 PAGEREF _Toc258171949 h 113云计算服务建设规划 PAGEREF _Toc258171950 h 143.1什么是云计算服务 PAGEREF _Toc258171951 h 143.2为什么建设云计算服务 PAGEREF _Toc258171952 h 153.3云主机服务建设拓扑描述 PAGEREF _Toc258171953 h 173.4云计算服务建设规划方案 PAGEREF _Toc258171954 h 173.4.1云主机服务建设方案 PAGEREF _Toc258171955 h 173.5云计算服务系统监控 PAGEREF _Toc258171956

3、 h 193.5.1需求分析 PAGEREF _Toc258171957 h 193.5.2建设方案 PAGEREF _Toc258171958 h 194容灾中心建设规划 PAGEREF _Toc258171959 h 214.1容灾建设必要性 PAGEREF _Toc258171960 h 214.2拓扑描述 PAGEREF _Toc258171961 h 224.3容灾中心基础建设规划 PAGEREF _Toc258171962 h 234.4容灾中心网络架构 PAGEREF _Toc258171963 h 244.5负载均衡容灾架构 PAGEREF _Toc258171964 h 25

4、4.6存储架构 PAGEREF _Toc258171965 h 284.7链路容灾方案 PAGEREF _Toc258171966 h 304.8虚拟化应用级容灾 PAGEREF _Toc258171967 h 364.9数据库应用级容灾 PAGEREF _Toc258171968 h 364.10身份认证平台应用级容灾 PAGEREF _Toc258171969 h 375配置及预算 PAGEREF _Toc258171970 h 395.1数据中心建设扩容投资预算 PAGEREF _Toc258171971 h 395.2容灾中心建设投资预算 PAGEREF _Toc258171972 h

5、 41数据中心一期建设描述拓扑描述 西南交通大学一期项目建设中已经初步完成从网络、计算、存储、虚拟化及安全等基础平台的建设。目前采用一台思科Nexus 7009作为数据中心核心交换机，并通过虚拟交换机技术划分为2台逻辑核心交换机，实现双机的部署方式；安全方面采用思科ASA5585防火墙及IPS入侵检测设备，部署在校园网与数据中心之间，Web应用安全使用Radware Appwall 1008旁路在数据中心核心交换机上，形成数据中心通道安全屏障；Radware Alteon 5224负载均衡作为网关设备旁路的方式部署在数据中心核心交换机中，通过轮询的方式为数据中心集群应用提供负载。在计算/存储环

6、境中， 采用思科UCS统一计算系统，并配置了24片刀片服务器，用于构建虚拟化系统；数据库使用RAC的方式部署在Oracle T4-4小型机当中，存储方面通过两台VNX5500存储分别承载不同的业务数据，使用mirror的方式将业务系统互为镜像备份，提高数据层可靠性，并采用DataDomain虚拟带库设备将数据精简后进行归档备份。数据中心建设扩容拓扑描述在一期项目建设主要围绕数据中心基础架构为中心，重点满足数据中心基本架构，对于高可用和安全上作为本次扩容来增补。本次建设扩容规划中增加一台数据中心核心交换机，与原有的交换机形成物理双机环境，安全方面新增一台防火墙与原有的防火墙形成双活系统；增加数据

7、库防火墙、虚拟化安全防护系统、漏洞扫描系统和安全审计系统来完善整个数据中心的安全指数；计算资源方面，一期项目中还剩余8个槽位，本次将扩容2台B420全刀服务器和4台B200半刀服务器用于一卡通业务。建设方案数据中心核心交换机新增加一台与一期相同的数据中心核心交换机，用于加强原有数据中心交换机的硬件可靠性；一期项目方案中，将一台交换机分出两台虚拟交换来满足核心交换机之间的软负载及可靠性，现将两台虚拟交换机分布在两台物理设备当中，提供硬件级别的可靠性。（新增数据中心核心交换机，思科Nexus7009一台）部署方式上，根据上图所示，充分利用交换机虚拟化技术，可以按照数据中心应用类型的区分，将数据中心

8、分两个区域，即数字化校园服务和云服务，从而可以更精细化的对两套网络环境进行控制。数据中心防火墙新增加一台与一期相同的数据中心防火墙，用于加强原有数据中心防火墙的可靠性；一期项目方案中，通过虚拟防火墙的方式将单台防火墙虚拟化出两台虚拟防火墙部署在出口上，但这对于单台防火墙来说存在物理结构上的单点；通过新采用相同配置的防火墙可以加强硬件的可靠性，同时可以通过虚拟防火墙的方式同样可以同时为数字化校园和云服务做安全防护工作。（新增防火墙与IPS，思科ASA5585-S20P20X防火墙一台）刀片服务器扩容在一期建设中刀片服务器系统配置了4个刀箱总共配置24片半刀服务器，在本次扩容中，考虑采购4台半刀服

9、务器、2台全刀服务器用于一卡通应用及数据库,并使用UCS统一管理平台中统一管理。（新增4台B200 M3两路刀片服务器和2台B420 M3四路刀片服务器）数据库防火墙 数据库作为数字化校园的数据核心，除了要确保数据高可靠的情况下还需要确保整个数据的安全性。Oracle数据库防火墙基于网络的安全软件监控信息流，使Oracle和非Oracle数据库免于攻击。它围绕数据库建立了一个外围防御圈，实时监控应用的各种活动，允许正常的应用活动，同时帮助防止SQL注入式攻击，以及对敏感信息的无授权访问。 防火墙主要在网络层次之间设置、用于加强访问控制的软硬件保护设备，而数据库防火墙是应用和数据库之间设置的、用

10、于加强数据库访问控制的软硬件保护设施。所以为了避免数据库遭受恶意攻击、访问后，不能追踪到足够的证据；以及来自内部的威胁，特权用户修改配置、改变或偷窃数据，通过建立数据库防火墙使得数据库更加安全稳定的运行。（新增一套Oracle DBFW）虚拟化安全需求分析越来越多的应用使用虚拟化的方式部署，并且随着云服务平台的推动，会有更多的非网络中心直接管理的应用存在，我们无法对每个应用内容单独管控，一旦云服务平台中托管应用中毒，则直接对数据中心及内部的应用造成直接影响。建设方案结合西南交通大学大私有云数据中心规划当中，从底层系统病毒至外部的防火墙，到主动式的入侵检测和防护，系统晚成型监控和日志管理等，对于

11、虚拟化服务器的安全的高级保护内容如下： 深度包检查与过滤入侵检测和阻止 (IDS/IPS) Web 应用程序防护 应用程序控制 双向状态防火墙DPI 规则通过保护漏洞不受已知和未知攻击来提供入侵检测和阻止 (IDS/IPS) 防护。此类防护也称为虚拟补丁，实现方式是每个规则定义预期的应用程序数据并根据其内容阻止恶意数据。 此外，DPI 规则通过一组 Web 应用程序防护规则来保护 Web 应用程序中的漏洞（如跨站点脚本 (XSS) 和 SQL 注入）。 通过检测已知的应用程序流量（在企业环境中可能需要限制），DPI 规则还可以用于向计算机提供应用程序控制。 持续的WEB安全管理系统规则更新会自

12、动提供最新的全面防护，以抵御已知和未知攻击。根据权威机构统计“34%的数据攻击都是和Web应用相关 ” ，“75%的攻击都发生在应用层 ” 传统的外围防护如：防火墙等无法保护，识别和弥补这些Web应用漏洞需要花费时间和资源，WEB应用保护可以在漏洞被修补前防护针对这些漏洞的攻击行为， 避免高昂的遗留程序重写或服务中断费用；OA服务器主要对外访问的80端口也将是被攻击的其中一种方式，并且这种防护对于传统的硬件防火墙所无法识别。完善的双向状态防火墙为所有网络通讯协议（包括 TCP、UDP 和 ICMP）提供全面支持。防火墙规则是完全可配置的，以每个网络接口为基础允许或拒绝网络通信，以及限制对允许的

13、 IP 或 MAC 地址的通信。 (新增一套趋势DS虚拟化防护)漏洞扫描系统任何操作系统和应用都不可避免的存在bug，并且新安全漏洞不断的被发现，因此系统本身的脆弱性是不可能完全避免的。来自Internet的恶意入侵者可以通过发起恶意扫描和远程溢出等攻击，渗透或绕过防火墙，进入数据中心网络，获取、篡改甚至破坏敏感的数据，乃至破坏整个网络的正常运行。漏洞管理设备主要功能如下：全方位系统脆弱性发现：全面发现信息系统存在的安全漏洞、安全配置问题、应用系统安全漏洞，检查系统存在的弱口令，收集系统不必要开放的账号、服务、端口，形成整体安全风险报告。从海量数据中快速定位风险：提供仪表盘报告和分析方式，在大

14、规模安全检查后，快速定位风险类型、区域、严重程度，根据资产重要性进行排序，可以从仪表盘报告直接定位到具体主机具体漏洞。融入并促进安全管理流程：安全管理不只是技术，更重要的是通过流程制度对安全脆弱性风险进行控制，产品结合安全管理制度，支持安全风险预警、检查、分级管理、修复、审计流程，并监督流程的执行。灵活的部署方案：支持单机单网络、单机多网络、分布式部署、扫描代理等多种接入方式，灵活适应各种网络拓扑环境，降低成本，便于扩展。支持通过虚拟化镜像方式在虚拟化环境下直接部署，支持IPv6网络环境下的部署和漏洞扫描。（新增绿盟管理设备一台）安全审计系统安全审计根据对高校网络系统的威胁与风险分析，高校的信

15、息安全需求主要在以下方面：对业务运维操作进行细粒度的审计监控；数据库操作访问进行全面审计；对邮件、论坛等外发信息行为进行有效的监控；可对邮件、论坛等外发信息行为进行监控管理，防止高校敏感机密信息外泄、非法反动言论传播；对上网行为进行全面监控，对违反安全策略的事件，实时告警、记录；因此在高校网络中部署安全审计系统，可有效监控业务系统访问行为和敏感信息传播，准确掌握网络系统的安全状态，及时发现违反安全策略的事件并实时告警、记录，同时进行安全事件定位分析，事后追查取证，满足合规性审计要求。安全审计系统具有对网络通信内容、网络行为的实时监测、报警、记录等功能。是否能够很好地帮助网络管理员完成对网络状态

16、的把握和安全的评价是安全审计系统的基本标准。一个完善的安全审计系统（SAS）应该从四个方面评价：细粒度的操作内容审计与精准的网络行为实时监控；全面详细的审计信息，丰富可定制的报表系统；支持分级部署、集中管理，满足不同规模网络的使用和管理需求；自身的安全性高，不易遭受攻击。本次方案当中通过旁挂的方式新增一台安全审计系统，主要对数据中心内的流量、行为和内容做审计，防止在维护人员、黑客等对系统进行非法的操作及操作日志进行审计工作，确保系统的安全。（新增绿盟安全审计系统一台）弹性应用部署方案在数字化校园中，以教务系统为例，在选课的时候对系统的压力非常大，通常会提前两天部署多台教务系统用于缓解系统的压力

17、；但长期部署多台教务系统对于一年爆发两次的频率来说会对系统造成过多的资源浪费。虚拟化的部署方式会让资源上能够得到很好的控制，根据上述拓扑来看，影响负载压力的往往在于教务系统等，通过虚拟化的方式部署5台甚至更多的服务器，按照实际能够负载+1台的弹性负载为准，部署完成后通过应用负载均衡将5台教务系统进行负载，选择轮询的方式（权重只有当性能不均衡的情况下使用），能够实现5台教务系统之间的负载，足以满足选课时的要求。在平时负载小的情况下使用双机的方式运行，一旦VMware判断负载过大时，将通过从集群中打开一台另一台教务系统，负载均衡会通过健康检查自动发现这台机器，并负载。选课结束后，将关闭教务3-5的

18、三台服务器，这时虚拟化平台会将CPU资源和内存资源释放，负载均衡通过健康检查发现教务3-5的服务器停止服务时，会自动的将负载轮询至教务1和教务2后，从而能够达到弹性的部署方式。总结：所有虚拟化主机和思科UCS内使用SAN BOOT的部署方式的物理服务器均可以通过这种方案部署，前提需要有空余的可用计算资源。云计算服务建设规划什么是云计算服务云计算服务，即云服务。是指可以拿来作为服务提供使用的云计算产品。包括云主机，云存储等产品等本次主要涉及云主机服务。云计算服务是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。用户通过网络以按需、易扩展的方式获得所需资源和服务。从建设

19、流程上来看，传统的仓筒式的架构逐步到软硬件的资源整合，包括数据库、门户、身份认证、存储资源等，再通过虚拟化的方式提供更高效的服务器利用率，最后在虚拟化平台内提供自动、高效灵活的部署方式，从而提供云计算服务。通过私有云的建设与教育信息化的结合，本次云计算服务的建设中，主要以云主机为主，详细描述如下： HYPERLINK /view/2482016.htm t _blank 云主机是 HYPERLINK /view/1316082.htm t _blank 云计算在基础设施应用上的重要组成部分，位于云计算产业链金字塔底层，产品源自 HYPERLINK /view/2729362.htm t _bl

20、ank 云计算平台。该平台整合了互联网应用三大核心要素：计算、 HYPERLINK /view/87682.htm t _blank 存储、 HYPERLINK /view/3487.htm t _blank 网络，面向用户提供公用化的 HYPERLINK /view/6825.htm t _blank 互联网基础设施服务。 HYPERLINK /view/1316082.htm t _blank 云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、 HYPERLINK /view/37.htm t _blank 软件)。“云计算”将所有的计算资源

21、集中起来，通过网络提供给用户。这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。 HYPERLINK /view/2482016.htm t _blank 云主机是在一组集群主机上虚拟出多个类似独立主机的部分，集群中每个主机上都有云主机的一个 HYPERLINK /view/3555.htm t _blank 镜像，从而大大提高了 HYPERLINK /view/7383.htm t _blank 虚拟主机的安全稳定性，除非所有的集群内主机全部出现问题，云主机才会无法访问。云主机服务是 HYPERLINK /subview/57967/8058655.ht

22、m t _blank 整合了计算、存储与网络资源的 HYPERLINK /view/30.htm t _blank IT基础设施能力 HYPERLINK /view/1416032.htm t _blank 租用服务，能提供基于云计算模式的按需使用和按需付费能力的 HYPERLINK /view/899.htm t _blank 服务器租用服务。客户可以通过web界面的自助服务平台，申请和部署所需的服务器环境。为什么建设云计算服务西南交通大学一期建设中以满足虚拟化平台为目标，实现从传统的架构到虚拟化，并且通过二期建设的增补对私有云数据中心性能、可靠性和安全多方面强化，为云计算服务提供更高效、稳

23、定和安全的底层环境。为提高办公效率和管理的便捷性，建立云计算服务是必然的趋势，详细如下：西南交通大学各业务部门及院系建设了大量的应用系统来支撑学校和各个院系日常的教学、科研、管理、协作交流等各种IT应用，这些应用部署于各个院系的相应机房中的服务器和存储和学校网络中心的机房中。这种部署和运维体系带来以下一些严重的问题：1、服务器和存储分散于各个院系和学校网络中心，对于运维和管理的难度是难以想象的；无法统一进行运维和管理，对学校各个院系和学校网络中心的服务器和存储的利用情况、健康情况无法进行统一的了解和做更好的管理和控制。2、由于各种原因，运行相应应用的服务器和存储的利用率极其低下特别对服务器来说

24、一般的服务器的利用率仅仅在10%左右；所带来的主要的问题就是服务器、存储资源的浪费从而就是金钱和人力资源的浪费间接地带来了机房占地面积的浪费；电力资源的浪费（因为由于芯片技术、服务器技术、存储技术的限制，满负荷运行应用和低负荷运行应用的电力的损耗是相差不大的）。3、服务器和存储分散于各个院系和学校网络中心，从而应用也是部署于各个院系和学校网络中心；对各种应用进行统一的安全控制、备份和恢复控制、监控从而让各种应用可靠、稳定、高效地运行是一件不可能完成的任务/非常难以完成的任务。4、各个院系的科研人员、教师、学生都会有自己相应的创新需求，而完成他们的创新需求需要开发相应的应用软件系统来进行支撑，例

25、如某个院系的科研人员、教师、学生要开发一个类似微博、Wiki等这种WEB 2.0应用来支撑他们的科研活动或者日常交流的协同工作平台或者开发一个数字图书馆（包括各种的图像、PDF、音频、视频等）来方便学校内部用户和学校外部用来来搜索他们所需要的科研资料、教学资料等；然而要运行他们的应用软件系统如按照传统的方式必然会需要重新采购服务器、存储等IT设备和一些系统软件（例如J2EE应用服务器、数据库系统），这样就是带来几个严重的问题就是：采购周期过长、采购受经费限制无法采购所需要的设备和系统软件、新一轮的服务器和存储资源浪费、采购过来的硬件资源和软件资源无法适应应用大量并发用户使用的需要等等。所以为了

26、大部分解决这些问题，学校将利用本次数据中心的建设机会，建设一个云计算服务管理平台，为学校各业务部门及院系集中提供云主机租用服务。云主机服务建设拓扑描述在据中心建设和规划中，主要以硬件架构为基础，打造一个安全、靠可用、效率的一个数据中心；通过一期建设和本次扩容的规划中，保证了底层的环境，为云计算服务提供了很好的平台，在云计算服务建设规划中，通过建立云主机来提高对计算资源的自动化、流程化管理等；云存储部分为解决大数据时代的数据存放、相互分享等。云计算服务建设规划方案在整个云计算服务平台中，云主机是通过虚拟机的方式运行在现有的虚拟化平台当中，云存储通过分布式的方式单独运行。云主机服务建设方案本期云主

27、机服务建设先考虑利用数据中心一期建设采购的4台服务器和存储设备等硬件资源，采购8个CPU许可的云计算服务管理平台软件，搭建一个小规模的云主机服务实验环境，本期优先满足业务部门的云主机租用服务，后续再进一步扩容软硬件资源后扩展到为院系甚至师生个体提供云主机租用服务。本期建设的云计算平台需要具有以下几个重要的功能：1.学校内各个部门不再具有相应的小机房即各种运用不再会运行在各个部门的硬件上，让这些应用集中运行于云主机服务管理平台上，即达到如下图所示的从传统计算模式（专用设备）到云计算模式的迁移和过渡。从而达到以下的目标：数据中心的建设必须实行统筹规划，打破项目之间的界限应用程序与硬件解耦 - 硬件

28、资源可以动态地在应用系统间调拨采用开放的互连性好的硬件和软件产品建立各种管理的规范：操作系统版本、软件版本、升级管理、资源命名等2.根据学校各部门及院系通过浏览器递交相应的WEB申请需求，然后相应的管理员通过浏览器在云计算平台中批准他们的申请请求并让云计算平台自动的分配出和增加他们所需要的硬件资源（例如CPU、内存、存储等资源）并且此硬件资源上安装好了他们所需要的一些系统软件（例如相应LINUX操作系统、WINDOWS操作系统、Apache HTTP Server、MySQL数据库）给它们使用来运行他们所需要的应用和其它需求；并且可以统一它们的使用情况和根据需要回收相应的硬件资源。3.对云计算

29、平台整体进行相应的备份和恢复、监控、安全防护、管理；能让我们通过浏览器很容易就看到云计算平台中各个硬件资源的使用情况（例如CPU、内存、存储的利用率）、运行于云计算平台中的应用的运行情况（例如应用的对硬件资源的消耗情况）从而能让我们知道对哪个应用增加/减少相应的硬件资源以让我们的应用更加健康、可靠、稳定高效地运行；并且当硬件资源或者操作系统出现相应的问题的时候能够发送相应的邮件/短信来通知我们等等。从而让我们的运维压力下降。云计算服务系统监控需求分析由于数据中心越来越庞大，所有的应用及设备都以双机的方式运行，人为监控方式的效率越来越低，并且云服务管理平台的推动使用降低了对系统的管理复杂度，申请

30、服务器的工作都交由云服务管理平台来执行，但这面临一个问题，越来越多的系统进来后，管理员无法通过认为的方式收集和观察系统运行情况，更多的部门托管业务无法直接管理，无法检查数据中心内部的运行状态以及日志记录。建设方案本次监控管理平台主要采用开源应用cacti和nagios，cacti主要用于网络的监控和动态拓扑图的管理（气象图），而nagios主要用于监控系统、数据库等服务。从上述拓扑上可以看出，通过监控软件可以收集数据中心内网络、物理主机、虚拟机、数据库等。网络：网络方面主要是使用SNMP的协议收集核心交换机上每个端口以及互联设备端口的上行和下行带宽，实时监控链路的负载，并且可以通过气象图实时定

31、期刷新观察每一条链路上负载的情况。物理主机：这方面主要监控所有支持SNMP的主机状态，监控CPU、内存等使用情况；虚拟机：主要是收集操作系统层的使用情况，相同于物理主机，对虚拟机内部的连通性、资源使用等进行监控和信息收集。数据库：数据库方面通过Negios收集数据库的运行信息，包括表空间、共享池、会话数及进程等。容灾中心建设规划容灾建设必要性随着高校信息化建设的不断深入，校园网建设日趋完善，应用系统也随之日益增多，眼下，高校信息化建设已经进入高速发展阶段，平台、数据库、硬件设施已经开始集中化管理，通过集中化的管理能够提供更集中的机房环境、网络资源和服务器资源，简化管理。西南交通大学在数据中心一

32、期建设及扩容项目中已经实现完整的架构，数字化校园应用、部门应用等全部统一部署在新校区数据中心当中。但面临一个问题，当该数据中心因意外（如火灾、地震、大面积停电等）停止工作时，所有的业务将无法对外提供服务，甚至严重的会造成程序和数据的丢失，集中化管理是必然的趋势，但不能因为集中化管理而中断业务连续性甚至导致数据丢失，所以我们通过部署容灾中心来解决这些问题。所谓容灾中心是指在相隔一定距离的异地，建立两套或多套功能相同的IT系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外（如火灾、地震等）停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。拓扑描述上述设备的部署和

33、连接结构如图所示，采用一台数据中心交换机作为容灾中心的核心交换机，并通过虚拟交换机的方式分成两台逻辑独立交换机，通过裸光纤直连的方式与数据中心核心交换机互联；每一个虚拟交换机使用一条万兆多模光纤链路分别上联数据中心万兆防火墙及IPS设备的一个虚拟防火墙，服务器负载均衡设备通过万兆端口汇聚的方式分别连接至两台虚拟交换机当中，并与新校区数据中心负载均衡之间形成热备份协议。数据库容灾服务器选择一台数据库一体机，并运行异构的数据库容灾工具进行容灾；应用服务器上选择两路10核心CPU 256GB内存建立虚拟化服务器集群，每个控制器分别使用万兆多模的方式连接至核心交换机之间。容灾中心内配置一台存储，可以通

34、过MirrorView的方式将新校区数据中心中的数据镜像备份到容灾中心存储中，同时也将容灾中心内的生产应用备份至两台现有的VNX5500当中。容灾中心基础建设规划容灾中心基础建设规划中，同样采用新校区数据中心架构的方式；从网络、服务器、存储等方面，构建一个完整的数据中心，详细设备如下：核心网络交换机核心网络方面，数据中心的网络流量跟校园网流量有所区别，数据中心侧重于横向端口数据流量并且对延迟要求较高，而网络的流量更多的是纵向流量，我们采用一台Nexus7009交换机来作为整个容灾中心核心交换机，并且与新校区数据中心通过裸光纤直连，形成数据中心以太网链路，校园网以太网链路作为备份链路使用。（新增

35、思科Nexus7009交换机一台）万兆防火墙（入侵检测）容灾中心和新校区数据中心都需要有独立的应用出口，并且容灾中心防火墙部署的模式与结构上与新校区数据中心一致，通过在容灾中心添加一台万兆的防火墙并虚拟出两台透明防火墙，分别与两台校园网络交换机互联,同时连接一台容灾核心交换机；当新校区数据中心节点发生故障时，容灾中心内防火墙依然能够提供安全的防护。（新增思科ASA5585-S10P10X防火墙一台）WEB应用防火墙容灾中心同样也需要web应用防护，本次方案中新增一台web应用防火墙，旁挂在思科Nexus7009交换机之上，并且使用ACL的方式剥离web流量，通过web应用防火墙来访问，一般拥有

36、4万人的高校的web流量大约在400-600M左右，本次方案中选择的web应用防火墙能够满足；Web安全规则上与数据中心保持一致，一旦开始容灾切换时，也要及时提供web安全防护。（新增Radawre1008 WAF一台）服务器负载均衡设备容灾中心部署一台硬件负载均衡旁路在核心交换机上，通过Radware alteon VADC虚拟化功能划分两台负载均衡，其中一台VADC为容灾中心的应用提供负载，另一台作为数据中心冷备份设备，一旦数据中心发生灾难故障时，可以直接启冷备份VADC来直接提供服务。(新增Radware alteon5224一台)数据库服务器数据库服务器采用数据库一体机的方式，从服务器

37、节点、风扇、电源、集群心跳网络、SAS磁盘控制器等，均采用冗余的硬件高可用设计，并且能够使用设备管理软件实现一键式安装、部署、配置、打补丁等，实现快速部署RAC，为应用级容灾提供易于部署、稳定的数据库环境。（新增Oracle ODA数据库一体机一套）刀片服务器在容灾数据中心部署一套两机箱刀片服务器系统，配置上采用两颗10核心CPU和256GB内存，除了能够为虚拟化容灾提供可靠的环境之外，还需要为容灾机房内部署的应用提供计算资源。（新增思科UCS一套）统一存储在容灾中心部署一台存储、两台光纤通道交换机，光纤通道交换机通过长距离单模FC模块与新校区的交换机级联，打通现有的存储网络环境；配置一台存储

38、用于本地应用使用和新校区数据中心的数据镜像，在新校区数据中心的任意一台存储中，通过存储系统自带的镜像功能将数据异步到容灾存储当中，从而实现数据级容灾的初步效果。对于容灾存储的磁盘选择上，除了作为同步镜像复制外，还需要承载本地的应用。（新增EMC VNX5400存储一套）容灾中心网络架构容灾中心网络架构上要考虑交换机、安全和负载均衡这几个部分，以及与老校区之间的互联，容灾中心网络方面依然采用扁平化技术，使用一台数据中心交换机作为容灾中心核心交换，并使用一条40KM的单模链路将容灾中心和数据中心打通，形成一个两中心交集的2层区域，从而可以实现两中心业务负载均衡以及vMotion等特性。负载均衡容灾

39、架构根据目前的网络容灾结构来看，新校区和老校区中间通过一根裸光纤来传输，通过trunk的方式将需要运行在两个数据中心之间的vlan打通，形成一套2层的环境，在中间链路带宽和延迟能够保障的情况下，可以将负载均衡分布在两个数据中心之间，形成Active-Standby的方式。根据上述拓扑所示，一旦两个负载均衡设备通过Active-Standby的方式运行，就意味着所有需要做负载均衡的应用都必须通过Active设备来进行转发，负载均衡可以使用网关和反向代理的方式，但对于本次方案当中，只能使用网关的方式部署，否则使用反向代理的方式会直接从校园网传输。当数据中心负载均衡处于Active时，用户在访问容灾

40、中心应用时，通过域名解析到VIP的地址，这时VIP的地址通过VRRP的权重选择数据中心中的Active地址，使用负载均衡轮询的策略寻找Farm中存活的应用1-1，这时流量会由数据中心经过容灾中心后，请求到应用1-1当中，并回传响应报文。同样请求到数据中心本地则不需要经过容灾中心，直接在数据中心本地转发。当Active故障后，原先Backup设备通过心跳感知不到对端后迅速将升级到Active设备，上层的路由设备会迅速向全网通告，用户再去访问域名时，会通过容灾中心的负载均衡设备访问，再由容灾中心交换机传送至数据中心交换机中访问应用。容灾中心本地应用则直接由容灾中心交换机进行转发。存储架构 从上述拓

41、扑中可以看出，在容灾中心部署一台VNX5400统一存储，并且分别通过ISCSI/NAS的方式连接至校园网络当中，从而能够使得三台存储能够横跨校园网之间进行三层通讯。数据是整个信息化的财富，也是作为重点保护对象，容灾首先是保证基础的数据不丢失的情况下同时确保应用的快速恢复。上述拓扑当中，将身份认证、数据库、虚拟化等分别部署在两台存储当中，并通过MirrorView复制数据卷的方式将应用复制到容灾存储当中，同时容灾存储当中也会运行一部分的应用，同样也可以通过MirrorView的方式将数据镜像到数据中心当中，相互备份。数据中心内的两台VNX5500同样也可以采用MirrorView的方式互为备份。

42、本地高可用方案在数据中心中涉及到四类应用，虚拟化集群、身份认证、数据库和虚拟化非集群系统，根据应用的特点中，除了虚拟化非集群系统以外，都是双机的工作方式，详细部署如下：虚拟化集群/非集群虚拟化服务器方面部署一套双机的vCenter环境，通过Windows集群的方式将vCenter服务器、SQL数据库部署在两套存储当中，并通过vCenter根据存储的分布建立两个集群，分别将数字化校园应用部署在两台存储当中，并且可以通过MirrorView的方式在两台VNX5500存储之间形成互备。对于非集群的应用，只能运行在一台存储当中，通过MirrorView的方式将存储1中的数据直接同步复制到存储2中。身份

43、认证服务器身份认证方面主要是以双机的方式运行，前面的认证服务器部署在两台存储当中，LDAP数据库则分别部署在本地存储和容灾存储当中，通过中间的TRUNK链路将其打通，实现跨区域的方式运行。数据库服务器数据库使用RAC的方式部署在两台小型机当中，在磁盘上面使用ARM默认冗余的镜像技术，实现两台存储之间的冗余性，要求在两个存储当中划分同样属性和大小的卷，以保证性能一致性。容灾存储容灾存储不完全作为容灾使用，还会用于容灾中心的部分生产应用，所以在磁盘上要选择15K SAS硬盘和7200转的低速硬盘；存储容灾上主要通过远程镜像复制的方式将数据中心存储1和存储2当中的重点应用复制到容灾存储上，同时也将容

44、灾存储中的应用复制到数据中心的存储当中，形成双向的复制备份，根据性能实际测试结果选择同步或者异步的方式。另一部分容灾数据是使用应用容灾的方式而存放的，实现数据的双重保护。对于MIS系统的容灾，可以利用中间的2层链路部署成双机的形式，通过负载均衡其中一个VDC做成双机的形式对其进行负载，window的系统可以通过window集群的方式部署在两个数据中心内，然后在底层的磁盘中跨数据中心做软Raid1负载。链路容灾方案基础网络和存储架构是整个容灾的必要条件，所有的方案都是依赖于中间的链路，一旦链路环境被破坏后，容灾工作无法正常使用，从而造成无法正常备份和恢复。在互联链路上，由于城市建设不断扩大，地铁

45、、房产的施工对光缆的影响，一旦发生光缆挖断，会对两个中心的通讯受阻，为解决这一问题，我们通过多种类型的链路逐一实现容灾备份，从本次方案中主要分为以下三类：数据中心以太网链路：通过trunk的方式将两个数据中心之间打通，其避免了多协议之间的转换，独享的裸光纤方式效率比较高，延迟、丢包等比较可观。校园以太网链路（容灾一期）：校园以太网链路中还包含有普通用户的流量、视频流量等，利用校园以太网链路可以对上述数据中心以太网链路做备份。数据中心存储链路（容灾二期）：在数据中心和容灾中心之间通过一条裸光线打通FC链路，方案上分为两部分，1.存储远程复制、2.使用存储虚拟化设备实现存储统一；FC光纤交换机直连

46、是利用交换机的级联功能将容灾交换机作为本地交换机使用，由于两校区之间距离较远，需要使用超长距单模模块来互联；这种方式可以使用存储远程复制的方式。存储虚拟化是通过两台存储虚拟化设备整合数据中心存储和容灾中心存储，形成统一存储资源池，从而能够实现应用的双活，两中心数据一致性，如下图。对于上述三条链路来说都是必不可少的，数据中心以太网链路方面由于容灾的需要，各类应用、数据库在容灾时需要保证有足够的贷款和可靠性；校园以太网链路方面只要涉及到多校区就必然会有校园网，一般用于备用链路使用；存储链路方面区别于网络链路，主要用于在SAN环境下，存储直接使用同步镜像的方式，直接对磁盘卷上的原始数据进行复制，可靠

47、性上要强于应用级容灾，但RTO的时间较高。从上述的链接上，要考虑所有链路的故障状态，详细如下：数据中心以太网链路故障现象描述当中间直连的2层通道故障时，两中心之间的数据中心以太网传输中断，基于双机工作的负载均衡就会中断，二层内的应用将只能在数据中心中工作，包括VM迁移、容灾等业务均停止工作。 切换描述中间链路故障后，首先在业务上不会有任何的影响，所有使用负载均衡分布在两个校区内的集群应用将自动通过单机的方式提供服务。届时，存储镜像部分不受影响，而VM迁移无法工作；异构数据库容灾、SRM容灾系统通过手工的方式配置成三层地址，并确认配置后进行异步备份工作。校园以太网链路故障现象描述当校园以太网链路

48、中断时，从访问方式来看，两个校区用户访问有所局限，这时，两个校区如果没有独立出口的情况下，有一个校区无法连接至外网，假设外部出口在新校区。核心应用都运行在数据中心当中，一旦两校区之间的校园以太网链路中断时，从业务角度上看，核心应用不受影响，并且VM漂移、SRM容灾、数据库容灾、存储复制均不受任何影响，两校区之间的应用也不受影响，并且不影响应用负载均衡的使用；从用户访问角度上看，新校区用户可以正常访问系统，而老校区则无法访问。切换描述校园网中断对于内部应用来说的确有所影响，在校园网中断期间，在中间两层通道中建立互联的SVI结构，并允许经过trunk链路，再将该SVI接口添加到进程当中，让老校区的

49、用户能够发现前往负载均衡的地址，这时老校区用户就能访问应用门户。校园以太网链路和数据中心以太网链路故障现象描述在上述两条网络路径都断开后，新校区在和数据中心内通讯的所有应用均不受影响，老校区除了能够上外网的宿舍区域以外，其余内网统一出口的用户无法访问，应用容灾瘫痪，存储容灾可以继续复制。切换描述两校区完全孤立后，可以将应用级容灾开放使用，并在容灾交换机上配置网关，并添加到OSPF动态路由进程中，宣告给老校区核心交换机，应用方面可以通过修改老校区DNS的方式将重新映射新的HTTP、身份认证的域名映射，数据库方面通过手工的方式切换到容灾环境，从而能够恢复整个应用的使用。存储直连链路故障现象描述当存

50、储链路直接断开后，应用访问和应用级容灾都不会收到影响，主要影响在于存储无法将数据同步镜像到容灾存储当中。切换描述在两个存储上可以预先启用ISCSI接口，通过中间二层的trunk链路将单独建立一个点对点地址， 当FC链路中断导致同步失败时，可以切换至ISCSI的方式进行同步复制，如果二层链路也中断时，可以使用三层校园网的链路在1点-5点之间选择对应的卷按照计划任务的时间异步复制。虚拟化应用级容灾虚拟化应用级容灾主要是防止在原有环境当中，由于整个虚拟化平台中包含虚拟机管理平台在内的所有节点故障而造成虚拟化业务数据丢失和瘫痪。根据上图所示，虚拟化应用级容灾使用计划任务的方式将现有虚拟化环境当中所有服

51、务器进行备份，当出灾难恢复时，数据中心受保护站点和容灾中心恢复站点之间的心跳失效后，停止应用复制，通过容灾管理平台开始恢复容灾中心的虚拟机。数据库应用级容灾随着数据中心信息化应用的不断深入发展，应用系统的可靠性，连续性等方面将越来越重要，特别是应用到所有应用系统的全局数据库系统尤其显得重要，为了确保数据库服务器的高可靠性以及数据库数据的安全性，在容灾中心建设独立的备份数据库服务器系统。数据库采Glodengate用于远程数据中心容灾，所选备份数据库服务器需要与原有的数据库服务器处于异构的平台下，容灾级别上选择物理备用的方式，备份数据库在物理上与生产数据库保持一致。物理备用数据库可有效降低灾难和

52、数据错误的风险。在发生错误或灾难时，物理备用数据库将被打开，并用来为应用和用户继续提供服务。身份认证平台应用级容灾身份认证平台从结构上分为两个部分，LDAP用户数据存储和认证服务器，每一次身份认证请求时，应用程序向身份认证服务器发送认证请求，然后通过读取LDAP用户信息并返回请求确认。身份认证平台容灾部署中，mac on ip的方式可以将LDAP分别放在两个数据中心当中，确保底层LDAP数据的同步，而应用层方面主要使用负载均衡的方式来实现认证服务器，并通过负载均衡进行负载，LDAP底层保持同步，当一个会话请求过来时，会通过负载均衡轮询或者权重等进行认证并读取LDAP信息，底层LDAP用户数据会

53、保持同步工作。当核心数据中心宕机切换时，负载均衡切换至容灾中心中，同时依然能够对容灾中心两台认证服务器和一台LDAP服务器保持认证工作。配置及预算数据中心建设扩容投资预算序号系统类别设备名称描述数量投资预算（万元）1数据中心网络数据中心核心交换机9插槽模块化数据中心以太网交换机，8.8TB整机交换能力和5040Mpps三层包转发率；配置1块SUP2引擎和3块冗余FAB2交换板；最大支持336口万兆端口和336个千兆端口，配置1块48口1G/10G接口板，16个万兆多模模块、2个40公里以万兆单模模块以及16个千兆多模模块；4vDC许可；三层路由许可；配置冗余电源及风扇模块；五年原厂硬件质保服务

54、162数据中心安全防护防火墙与IPS10Gbps防火墙吞吐量；3Gbps IPS吞吐能力；2Gbps VPN吞吐能力；200万并发处理能力；配置2个万兆以太网SFP接口，2个万兆光纤多模模块，最大可支持10个；16个千兆电口，最大可支持28个；配置5个虚拟防火墙，最大可支持250个；配置冗余电源；三年原厂硬件质保和特征库更新服务163数据库防火墙拥有强大的SQL识别技术，能100%基于语言，并使用语法分析，实现零误判的目标。2CPU授权许可，一年原厂技术服务1252刀片服务器扩容（一卡通）一卡通应用服务器2颗Intel Xeon 2.8GHz 10C以上CPU；256GB以上 DDR3内存；2

55、块300GB 10K RPM 6Gb SAS 磁盘；双端口万兆VIC卡（可根据需求灵活定义出多个以太网口或FC口），三年硬件质保服务430一卡通数据库服务器4颗Intel Xeon 2.2GHz 8C以上CPU；256GB以上 DDR3内存；4块300GB 10K RPM 6Gb SAS 磁盘；双端口万兆VIC卡（可根据需求灵活定义出多个以太网口或FC口），三年硬件质保服务2285数据中心安全检测漏洞扫描系统4个10M/100M/1000M自适应以太网电口扫描口，4个千兆SFP插槽（不含SFP模块），标准配置提供1路授权扫描端口；授权可扫描总数量不多于256个无限制范围的IP地址或域名；3年原厂技术服务186安全审计系统2U，含交流冗余电源模块，2*USB接口，1*RJ45串口，1*GE管理口，6*GE电口，1个接口扩展槽位；标准配置提供一路监听；提供包含网络审计和数据库审计功能模块及主动审计模块,包含不良敏感信息扫描和网站挂马扫描功能，不限制可扫描的网站IP/域名数量；3年原厂技术服务114合计：230