校园数据中心高可靠性网络的研究与实现

1、校园数据中心高可靠性网络的研究与实现沈立强 吴海燕 戚丽（清华大学计算机与信息管理中心，北京 100084）mail:slq摘要：校园数据中心是数字校园的核心，无单点故障的、高可用性网络的建设至关重要。本文以清华大学校园数据中心的网络建设为实例，探讨如何设计数据中心的网络设计方案以保证网络的高可靠性，做到任何单个交换机或单条链路的故障都不会影响网络的连通性，更不会导致整个网络的瘫痪，从根本上解决数据中心面临的风险。关键词：校园数据中心 高可靠性网络 单点故障 AFT VRRPthe research and implementation of a high available network

2、of university data centerShen Liqiang Wu Haiyan Qi Li(Tsinghua University, Beijing 100084)mail:slqAbstract：University data center (UDC) is the heart of digital university, so the building of single failure free, high available network is of the top importance. Based on Tsinghua University UDC networ

3、k building practice, this paper discusses how to design UDCs network building plan to achieve networks high availability, to ensure that any failure of single switch or link will not impact network connectivity, not saying result in the paralysis of the whole network. By this way, totally reduce UDC

4、s network risk.keyword：university data center high available network single failure AFT VRRP1. 前言清华大学在教育信息化建设方面经过十余年艰苦努力，尤其在启动“211工程”之后，逐步建成了综合信息服务系统、办公自动化系统、综合教务系统、网络教学系统、财务工资管理系统和开放实验室综合管理系统等多个应用系统，数据中心为上述应用系统提供了完善的网络和运行环境，并承担了所有应用系统的运行和维护任务。目前数据中心内有各类服务器80余台，几乎所有应用系统的关键数据都存放在数据中心，数据中心与各个业务部门之间的保持

5、着频繁的重要通讯。为了保证数据中心的高可用性，达到7*24小时不间断服务的目标，一个全冗余、无单点故障的网络就成了数据中心的基础。为实现路由冗余，可以采用VRRP协议；为实现交换机的冗余，可以采用SPT协议；为实现链路冗余，可采用link-aggregation技术等。本文以清华大学数据中心的网络建设为实例，探讨如何设计数据中心的网络设计方案以保证网络的高可靠性，做到任何单个交换机或单条链路的故障都不会影响网络的连通性，更不会导致整个网络的瘫痪，从根本上解决数据中心面临的风险。2. 清华大学校园数据中心结构目前，清华大学校园数据中心的交换机有华为Quidway S8016、神州数码DCRS75

6、04、Extreme Alpine 3808、Extreme Summit 48，Quidway S3050，S3026等。通过采用硬件上的冗余，包括交换机的冗余、交换机之间链路的冗余和服务器网卡的冗余等，基本实现了网络的高可靠性，消除或部分消除了网络的单点故障。数据中心的网络拓朴结构如图1所示。图 1 数据中心网络拓扑结构3. 清华大学校园数据中心网络可靠性分析一个高可靠的网络应该是全冗余、无任何单点故障的。下面我们根据图1的网络拓扑，从网络设备、通信链路两方面来分析清华大学校园数据中心网络的单点故障情况。3.1 网络设备的可靠性分析(1) 中心路由交换机中心路由交换机采用的是华为公司高端千

7、兆路由交换机Quidway S8016。S8016的主控板、交换网板、路由处理系统、电源系统等所有关键部件都采用了冗余热备份设计，其路由转发处理引擎采用分布式结构，因此，S8016本身不存在单点故障。数据中心采用了两台三层交换机作为中心路由交换机，同时，通过在两台中心路由交换机上运行VRRP（虚拟冗余路由协议）协议来为服务器提供一个唯一的默认网关。当任何一台中心路由交换机发生故障时，通过VRRP协议，另一台中心路由交换机立即接管所有的工作，同时更新路由表，并通过动态路由协议通知校园网端的路由器更新相应的路由表。我们先介绍VRRP相关的部分术语：VRRP路由器 任何运行VRRP协议的路由器或设备

8、；虚拟路由器 一个运行VRRP协议的逻辑路由器，用来给一个网络的主机提供路由服务。一个虚拟路由器包括一个虚拟路由标识符VRID和一组IP地址，在物理上至少由两台或两台以上的VRRP路由器构成；主虚拟路由器 给虚拟路由器提供IP包转发和进行相应ARP应答的VRRP路由器；备份虚拟路由器 当主虚拟路由器失败时，能自动代替主虚拟路由器工作的VRRP路由器；虚拟路由器的MAC地址 虚拟路由器的MAC地址格式为：00-00-5E-00-01-VRID，其中： 00-00-5E 是生产厂家的唯一标识号； 00-01 是一个常量，该地址块保留给VRRP协议； VRID 是VRRP虚拟路由器标识。在一个网络中

9、最多可以有255个虚拟路由器。在清华大学校园数据中心有多个子网接入校园网，图1中仅画出了两个子网Net1和Net2。图1中SW1到RTA的实线表示RTA作为Net1的主虚拟路由器，SW4到RTB的实线表示RTB作为Net2的主虚拟路由器；SW3到RTA的虚线表示RTA作为Net2的备份虚拟路由器，SW2到RTB的虚线表示RTB作为Net1的备份虚拟路由器。这样，一方面既实现了冗余的路由备份，另一方面又实现了负载的分担，避免了所有的负载集中于一个VRRP路由器。下面我们以Net1为例来分析一下VRRP的工作过程。简化后的网络拓扑见图2，图2中的IP地址配置仅为示例，不代表目前清华大学校园数据中心

10、实际使用的IP地址。图 2 Net1的VRRP协议配置通过在RTA和RTB上启用VRRP协议，使RTA和RTB都成为VRRP路由器，正常情况下RTA和RTB通过Net1定期交换Hello报文以确定主虚拟路由器和备份虚拟路由器。一旦备份虚拟路由器在规定的时间内没有从Net1收到主虚拟路由器发送的Hello报文，将自动变为主虚拟路由器，接管原主虚拟路由器的所有工作。这个时间很短，一般小于3秒，因此，用户基本上感觉不到该切换。当然，在切换过程中可能会发生短时间内网络路由不正确和少量IP报文丢失，通过TCP的重传机制将保证端到端数据的正确性。当Net1中的主机要向Net1以外的网络发送IP报文时，先进

11、行ARP广播，请求网关（10.0.1.1）的MAC地址。RTA和RTB都收到了该请求，但只有主虚拟路由器响应该ARP请求，并以虚拟路由器MAC地址00-00-5E-00-01-11进行应答。主机将IP报文以00-00-5E-00-01-11为目的MAC地址封装在以太网的帧中进行发送，主虚拟路由器接收该帧并基于IP进行报文转发。这样，就通过VRRP协议实现了对中心路由交换机的动态冗余备份。(2) 接入交换机为了消除由接入交换机引起的单点故障，必须设置冗余的交换机。我们可以将两个交换机级联（或堆叠）在一起，从逻辑上组成一个交换机。为提高级联的可靠性，可采用端口聚合的方式进行双链路级联。对于Extr

12、eme的交换机，还可以用Dual-home技术进行双链路级联。然后从每个物理交换机分别连接到不同的中心路由交换机上，同时，服务器利用AFT技术通过两块网卡分别连接到不同的接入交换机。这样，当某一接入交换机发生故障时，如果有必要的话，服务器会自动切换到备用网卡，从而连到另一个接入交换机，VRRP虚拟路由器根据当前的状态，还有可能发生主备虚拟路由器的切换，当然，这个切换对服务器是透明的。3.2 链路的可靠性分析(1) 从中心路由交换机到校园网的出口链路任何一条出口链路出现故障时，相应的中心路由交换机通过动态路由协议更新路由表，将默认的出口路由指向另外一台中心路由交换机，然后经另一个出口到校园网。由

13、于数据包回来的路由也发生了变化，因此要求校园网端也运行动态路由协议，实现动态路由调整。(2) 两个中心路由交换机之间的路由链路链路发生故障时，将导致Net1和Net2的互访要经过校园网端的路由器。由于两台中心路由交换机都支持端口聚合功能，因此，可在两台中心路由交换机之间建立多条链路，通过link-aggregation将多个端口聚合为一个逻辑端口。聚合端口通过流量配置算法支持端口流量自动均衡保护，使所属物理通道流量基本均衡；通过聚合端口发送的报文会从该聚合端口中任意一个且只有一个物理链路上发送，物理端口上的调度策略保证业务质量和报文顺序。当聚合端口中一条或多条物理链路故障时，能自动将流量转移到

14、其他链路上去。当端口重新恢复后，流量自动重新分配。(3) 从接入交换机到中心路由交换机的链路从接入交换机到中心路由交换机的链路发生故障时，根据VRRP虚拟路由器的状态，有可能发生VRRP主备虚拟路由器的切换。不过，该切换对服务器是透明的。为了增强该链路的可靠性，可采用端口聚合的方式通过双链路将接入交换机上联到中心路由交换机。对于Extreme的Summit48交换机，还可以采用Dual-home技术进行双链路上联。(4) 从服务器到接入交换机的链路链路故障或网卡故障都将导致服务器不能连到相应的接入交换机。服务器可采用双网卡接到不同的接入交换机。在服务器上安装2块网卡，分别连接到2台不同的接入交换机，利用AFT（Adapter Fault Tolerance）技术实现网卡间的容错，当主网卡或该网卡到所连的交换机链路发生故障时，服务器会立刻将该网卡上的流量转移到备份网卡上，这一过程不超过2秒。4. 结束语通过对路由器、交换机以及通信链路的冗余设置，配合VRRP、AFT、Link-Aggregation、SPT等技术，消除网络中的单点故障，最终建立一个安全、可靠、高效的校园数据中心网络系统。由于全部采用冗余设置，因此投资成本较高，对于条件不允许的校园数据中心，可以对部分重要的服务器所在的网络采用全冗余的设计，而其它服务器还是采