银行网络数据中心设计方案

银行网络数据中心设计方案2、系统设计总体方案XX银行全国数据集中工程 目录第1章前言 5第2章概述 6第3章网络设计原则 7第4章总体架构设计 84.1结构设计 8结构设计策略 8分区模块设计 8分层设计 9物理部署设计 104.2上海全国数据中心局域网拓朴 104.3网络核心层 114.4生产区 124.5运行管理区 134.6MIS区 144.7广域接入区 154.8OA接入控制区 154.9生产外联 164.10设备选型推荐 17S8500简介 19AR28-80简介 24第5章服务器接入设计 28第6章VLAN和SpanningTree设计 296.1VLAN简述 296.2VLAN注册协议（GVRP） 296.3VLAN设计 316.4STP设计 316.5VRRP 33第7章IP地址设计 34第8章路由选择和设计 358.1路由协议选择 358.2路由边界 358.3路由协议设计（OSPF） 36OSPFArea设计 36OSPFProcessID 37OSPFRouterID 38OSPF链路Metric 38OSPFMD5认证 38选路规划 388.4静态路由 39第9章QoS设计 399.1QoS服务模型 40Best-Effortservice 40Integratedservice 40Differentiatedservice 41服务模型选择 419.2QoS实现技术 42报文分类 42拥塞管理 42拥塞避免 43流量监管和整形 449.3农行数据中心QoS设计 44第10章可靠性设计 4610.1可靠性概述 4610.2设备级可靠性设计 48引擎（含主控及交换网） 48电源 50模块和端口 51系统软件 5410.3链路级可靠性设计 5510.4网络级可靠性设计 56拓扑冗余 56网关冗余 59路由冗余 6010.5应用级可靠性设计 61第11章网络安全 6111.1安全设计概述 6111.2安全管理中心设计 6211.3安全认证中心设计 6511.4模块化的安全构架设计 67核心交换区 69生产区 69OA接入控制区 70运维管理区 73MIS服务区 74生产外联区 7511.5统一的安全联动设计 7611.6其他安全防护考虑 7811.7网络病毒控制 79第12章网络管理 81第13章数据中心切换 89前言上海数据中心工程是XX银行数据大集中项目的重要组成部分，将作为全国生产中心投入运行。生产数据中心的建成将为提高XX银行的经营管理决策水平和风险控制能力打下坚实的基础，并支持提升中国XX银行整体的服务水平和信息化服务质量。 华为3Com公司深刻认识到数据中心建设对于大集中项目以及中国XX银行发展的重要性，针对数据中心承载多种业务应用的特点，按照高可靠、高安全和先进性的原则对网络整体结构和各个功能分区进行了详细的网络方案设计。 为用户提供最完善的服务是华为3Com技术的一贯宗旨，有关本方案的一切问题，欢迎用户在随时垂询。

概述 针对上海数据生产中心稳定、可靠、高效运行的要求，本方案以高可靠性，高安全性和先进性为原则进行了重点设计。整体结构上，根据上海数据中心承载多种业务功能的特点，依据统一性，开放性，易扩展和可管理的特性要求，通过模块化层次化的构筑方法，以高可靠、高速率的交换结构为中心，连接生产区，外联区，接入区和MIS区等功能分区，并针对各个功能不同的业务应用需求和安全要求进行了针对性设计。在本项目设备建议中，我们推荐了先进的QuidwayS8500系列万兆核心路由交换机作为平台构架的主要设备，通过高效的万兆交换技术实现骨干网络的高性能互联，同时，其安全联动、全面的业务支持以及电信级的高可靠特性，更保障本网络具备了有强大的业务支撑和性能扩展能力，可以满足上海数据中心未来3－5年的发展需要。

网络设计原则高可用性网络架构和设备均支持业务系统对服务级别高可靠性的要求，在网络分层部署的架构和设备体系选择以及相关配置上均充分按照高可用的系统设计。高安全性按照立体的安全体系进行设计，分布式部署，使网络具有统一的安全，支持全网的安全联动。先进性 网络设备支持先进的高性能体系架构，支持高带宽的数据传输。统一性数据中心局域网是基于大集中“一个整体”基础上考虑。全网采用统一的架构、策略部署，QoS分类和设备形态，保证全网的可维护性。开放性本方案网络建设全面遵循业界标准，所推荐采用的设备、技术在互通性和互操作性上，可以支持本网络系统的快速布署。总体架构设计 结构设计结构设计策略按照数据中心的结构，本方案采用以下策略设计高可靠的设计思想融合在结构设计、路由设计、应用服务设计的各个层面；针对业务网络应用需求实施全模块化分区设计；依照工作重点和结构分工的整网三层体系结构；分区模块设计网络按照业务应用需求，划分以下主要功能区：生产区MIS区生产外联区广域接入区运行管理区OA接入控制区各个区以扩展模块的形式分别连接到数据中心高可靠的核心交换网络。分层设计按照网络核心，汇聚和接入的模型对数据中心以及之内的每一个功能区域按照层次化结构模型进行划分：核心层构成整个数据中心生产局域网的高速交换核心，为各个功能分区提供高可靠高稳定和支持快速愈合的第三层接入服务。在核心层设计以高可靠，高速交换为主要原则；汇聚层各个功能分区的交换核心是组成整个生产中心局域网的汇聚层。汇聚层提供各个分区内部接入层的汇聚，作为各个分区的对外接入，集中实现接入控制和安全控制；接入层在各个分区主机和服务器的接入，具有高密度的接入能力。支持基于主机端口的访问控制，并针对接入的数据流进行标记工作，便于传输过程中逐级实现针对流量的QoS控制策略。物理部署设计上海数据中心的核心网络主要分布在上海园区的E2楼的各层，因此网络将按照就近接入的原则将各个功能区网络设备与应用主机就近放置分布在各个楼层。网络的交换核心、广域接入区等没有主机接入的功能区域放置于网络机房。上海全国数据中心局域网拓朴在数据中心的实际部署中，针对数据中心模型进一步细分各个功能分区。生产区涉及到的应用系统较多包括核心业务以及各种总行级的业务系统。核心业务系统放置于IBMS/390上，通过在S/390上划分多个分区来实现核心业务相关的不同功能。考虑到核心业务系统属于银行全部业务核心，属于数据中心的重中之重，同时S/390的操作方式与其他开放平台不一致，因此物理上将生产区设置为核心业务生产区和开放平台生产区2个分区接入到核心层。测试区根据测试需要尽量与生产网络实现完全分离，根据实际需求确定是否需接入到核心层。生产外联区包括网上银行的Internet外联以及和合作伙伴的Extranet外联两种方式，在网络结构上和安全部署上有很大不同，因此在实际部署中分别设置2个接入区域连接到核心交换区。广域接入区设置一个单独的物理分区，提供各个一级分行的流量接入和汇聚。灾备接入区设置一个单独的物理分区，部署与北京灾备中心的连接和灾备策略的部署。MIS服务区设置一个单独的物理分区，提供MIS业务应用的服务。运行管理区设置一个单独的物理分区，提供数据中心和全网的管理和监控。网络核心层网络核心层由4台万兆交换机构成，通过万兆实现各个功能分区的接入，同时4台交换机之间采用双万兆捆绑的方式实现高速互联。为了保证通过核心网络的流量和路径可控，并提高故障切换的效率，对各个功能分区实现三层接入的方式。为了保证各个功能分区的高可靠性，与各个功能分区的汇聚交换机采用双星型的结构连接。生产区生产区将接入数据中心核心生产系统和部分生产系统前置生产区由2台汇聚层交换机和台接入层交换机构成，接入层交接机连接系统。生产区开放平台：由2台汇聚层交换机和台接入层交换机构成，接入层交接机连接开放平台。

运行管理区运行管理区由2台层交换机和2台接入层交换机构成，接入层交接机连接

MIS区MIS区将接入数据中心由2台层交换机和台接入层交换机构成，接入层交接机连接广域接入提供各个下联一级分行的接入，同时支持在接入边界部署安全控制策略。广域接入平台：由2台汇聚层交换机构成，。由2台汇聚层交换机构成。采用万兆技术，支持高密度万兆连接支持安全联动有效抵御网络资源消耗型病毒攻击（例如DOS/REDCODE等） 设备配置情况 1、核心交换区 核心层：4台S8512 2、主机生产区 汇聚：2台S8512，接入：2台S8512 3、开放生产区 汇聚：2台S8512，接入：4台S8512 4、MIS服务区 汇聚：2台S8512，接入：2台S8512 5、运维管理区 汇聚：2台S8512，接入：10台S8512 6、外联区仅合作伙伴接入区 汇聚：2台S8512，接入：2台S8512 7、广域网接入区 汇聚：2台S8512，接入：4台S8512 8、OA接入控制区 汇聚：2台S8512 9、网元管理 QuidviewDMG，CAMSAAA，SUN/NT服务器 10、基金国债业务接入路由器 两台AR46-80 S8500简介Quidway?S8500系列万兆核心路由交换机Quidway?S8500系列万兆核心交换机是由华为3Com公司自主开发的新一代高性能万兆核心路由交换机产品，可广泛应用于运营商IP城域网核心层、汇聚层。Quidway?S8500系列基于Quidway?S8500系列支持新一代高性能万兆接口，能够为城域网、园区网、数据中心提供超高速链路，构建端到端以太网，打造低成本、高性能、具有丰富业务支持能力的高性能网络。Quidway?S8500提供大容量、高密度、模块化的二、三层线速转发性能，，的QoS保障安全管理机制，满足对多业务、高可靠、大容量、模块化的需求。产品特点Quidway?S8500系列产品采用全分布式体系结构设计，采用功能强大的ASIC芯片进行高速路由查找，并通过Crossbar技术进行高速报文交换，从而大大提升了路由交换机的转发性能和扩充能力。Crossbar交换网芯片内置于主控板，不单独占用设备槽位，可提供高达720Gbps的交换容量，并可平滑升级到1.44Tbps的交换容量。接口板通过多条高速总线分别连到两块主控板上的Crossbar交换网，从而实现真正的双主控、双交换网的热备份，极大的提高了系统的可靠性。Quidway?S8500系列产品采用高性能的最长匹配、逐包转发的方式，在保持线速性能和低成本的基础上，革命性的解决了传统交换机流Cache精确匹配转发的致命缺陷，能够有效的抗击网络“红色代码”、“冲击波”等病毒的攻击，更加适合大规模、多业务，复杂流量访问的网络。大容量、高密度线速交换Quidway?S8500系列产品目前最高可以提供720Gbps交换容量/428Mpps包转发能力，并可平滑升级到1.44Tbps交换容量、857Mpps转发能力。支持各种高密度业务板和组合业务板，整机可支持高达576个千兆端口的同时线速转发，满足核心层设备大容量、高密度的要求。强大的业务支撑能力Quidway?S8500支持MPLSVPN业务；支持丰富的组播协议（IGMP、IGMPSNOOPING，PIM-SM、PIM-DM和MSDP/MBGP等）；支持WebSwitch（硬件支持）、NAT（硬件支持），内置防火墙（硬件支持）、IDS；支持POS/ATM、RPR等接口。新一代万兆接口支持Quidway?S8500系列产品提供的新一代万兆以太网克服了早期万兆以太网的诸多局限，在线速转发的基础上能够提供强大的QoS保障，并支持丰富的ACL、策略路由、安全等特性。Quidway?S8500的新一代万兆以太网不仅在接口密度上达到2端口/线卡（后续可扩展至4端口/线卡），并且可以支持线速的MPLS转发，可以提供更好的IPVPN业务和透明的LAN服务，真正实现性能与功能的完美统一。Quidway?S8500系列产品除了提供标准的LAN接口，还可以提供使用波分复用技术的10GBASE-LX4接口，从而大大提高了用户组网的灵活性。MPLS/IPv6分布式线速支持Quidway?S8500系列产品遵循业务与性能并重的设计理念。一方面带宽和网络规模的增长推动核心路由交换机的性能容量不断提升，另一方面业务的发展要求核心交换机更加智能化并具备更强的业务提供能力。Quidway?S8500系列产品采用功能强大的ASIC芯片实现MPLS、IPv6的分布式线速转发，并能够基于高性能NP实现线速NAT、WebSwitch等增值业务，在为用户提供全面的有保障业务的同时，也做到根据需求业务可裁减。完善的QoS机制Quidway?S8500系列产品提供了灵活的队列调度算法，可以同时基于端口和队列进行设置，支持SP、WRR、SP+WRR三种模式；支持8个优先级队列，3个丢弃优先级；支持WRED拥塞避免算法和端口流量整形。支持带宽控制功能，流量限速的粒度为8Kbit/s，满足精品宽带网络的要求。电信级可靠性设计：Quidway?S8500系列产品系统采用分布式结构，支持双主控交换板，无源背板设计，所有单板支持热插拔；电源系统交流/直流可选，采用1+1冗余热备份，并支持双路电源输入；支持STP/RSTP/MSTP协议和VRRP协议，能够满足苛刻的电信级网络可靠性要求，系统可靠性达到：99.999％。完善的安全机制：Quidway?S8500系列产品的先进的逐包转发机制确保其在各种数据流状况下的设备安全，支持OSPF、RIPv2及BGPv4报文的明文及MD5密文认证；支持URPF（单播反向路径检查）；采用802.1x方式对接入用户进行认证，支持安全的SNMPv3的网管协议、支持配置安全，对登录用户进行认证，不同级别的用户有不同的配置权限，并提供两种用户认证方式：本地认证和RADIUS认证。Quidway?S8500系列产品通过灵活的MAC、IP、VLAN、PORT任意组合绑定，有效的防止非法用户访问网络。支持多种ACL访问控制策略，能够对用户访问网络资源的权限进行设置，保证网络的受控访问。Quidway?S8500系列产品还支持标准Radius协议，同时提供Radius+功能，以及HCBM?（华为可控组播管理协议）功能支持。基于硬件支持的内置防火墙/IDS功能为核心交换设备安全组网提供了多样化的选择，简化了网络层次，提高了整网性能。产品规格属性 S8505 S85S8512 体系结构 一体化机箱，可安装于19英寸机架内 外形尺寸（MM）宽×深×高 436x40x486 436x450x619 436x450x753 满配置重量 65 80 100 交换容量 XRCoreEngine?I300GXRCoreEngine?II600G XRCoreEngine?I480GXRCoreEngine?II960GXRCoreEngine?I720GXRCoreEngine?II1.44T 背板容量 750Gbps.5T） 1.2Tbps（可扩展至2.4T） 1.8Tbps（可扩展至3.6T） 包转发XRCoreEngine?I178MppsXRCoreEngine?II357Mpps XRCoreEngine?I285MppsXRCoreEngine?II571Mpps XRCoreEngine?I428MppsXRCoreEngine?II857Mpps 槽位数量 7 114 业务单板槽位数量 5 12 二层功能 4KVLANSTP/RSTP/MSTP支持动态VLAN注册协议（GVRP）MDI/MDI-X自适应 三层功能 提供丰富的路由协议：RIP、OSPF、IS-IS、BGP4K最长匹配路由转发表路由负载分担策略路由支持VRRP支持DHCP-RELAY 组播 GMRP、IGMPSnooping三层组播协议：IGMP、PIM-DM、PIM-SM、MSDP/MBGP支持可控组播业务 NAT NAT中NAPT模式支持公有地址和私有地址的混合组网NAT转换支持ICMP、FTP的等ALG安全功能，防止DOS攻击对NAT模块资源的过度使用支持NAT板间的负荷分担和备份功能 WebSwitch 具有L3/L4层的线速交换基于L4层的PBR及其他功能：如服务器负载均衡、防火墙负载均衡、WebCache高速缓存重定向等功能 MPLSVPN 支持二层MPLSVPN支持三层MPLSVPN支持QinQ支持PE和P功能MPLS标签空间：KMPLS标签栈深度：4级 QoS 可基于物理端口、VLAN、源MAC地址、目的MAC地址、源IP地址、目的IP地址、IP端口、协议号等进行报文分类和过滤支持带宽控制，带宽控制粒度为1Kbit/s优先级队列调度：每端口支持8个优先级队列，3个丢弃优先级，支持SP、WRR、SP+WRR三种队列调度算法支持WRED拥塞避免算法支持流量整形支持802.1P，DSCP/TOS优先级和重新标记能力支持基于时间段的流分类和QoS控制能力 网络安全特性 支持IP+MAC+PORT任意组合的绑定支持非法帧报文过滤用户分级管理和口令保护支持端口隔离支持SSH支持SNMPv3网管 可靠性 MTBF:小时双主控双路供电热插拔 环境要求 温度范围：040℃相对湿度：10%%（非凝结） 电源要求 DC：输入电压：V～－60VAC：输入电压：240V最大功率：W（S8505）、2000W（S8508/S8512） AR28-80简介Quidway?AR28-40、AR28-80模块化中心路由器是华为3Com公司Quidway?AR系列路由器中面向企业用户的网络产品，采用32位的微处理器技术，使用VRP（通用路由平台），提供了极其丰富的软件特性，支持哑终端接入服务器和金融POS接入功能，支持SNA/DLSw、VoIP特性等，提供丰富的备份方案及QoS特性；硬件采用模块化结构，具有更高的处理能力和更大的接入密度，具备MPLSVPN功能、DVPN功能、可平滑升级支持IPv6符合未来IP技术的发展潮流。Quidway?AR28-40、AR28-80既适合于在中小型企业网中担当核心路由器，也可以在大型网络中担当汇聚层路由器。Quidway?AR28-40路由器外观图Quidway?AR28-80路由器外观图产品功能特性：VRP操作平台：华为3Com在成熟的VRP软件平台的基础上，结合AR28系列的硬件体系结构和软件业务要求，度身定做的的AR28系列的软件体系，完全继承了VRP平台的稳定性、成熟性和可靠性，所提供的软件业务均为VRP平台的成熟特性，同时可以随着VRP平台的不断发展同步提供新的特性。VPN解决方案：支持L2TPVPN、GREVPN、IPSecVPN、SSLVPN、MPLSL3VPN，MPLSL2VPNHTACACS认证/计费、IPSEC、IKE、硬件加密卡、防火墙支持（对接口/时间段/MAC地址的过滤）、CA认证（数字证书）、高性能NAT。互连协议：以太网、桥、帧中继、X.25、HDLC、SDLC、LAPB、SLIP、PPP、PPP头压缩、MP、ISDN、PPPoEClient、按需拨号、拨号串循环备份、PPP/ISDN回呼、L2TP建立二层隧道、GRE建立三层隧道、IPSEC建立三层隧道、xDSL宽带接入。网络协议：DHCP、VLAN、IPX、DLSw、RIP-1/RIP-2、OSPF、BGP、策略路由、组播、路由负载分担、地址借用、TCP报文头压缩、路由策略。应用层协议及业务特性：Telnet、SSH、Rlogin、dumbterminal、增强安全特性的终端接入服务器、金融POS接入服务，RTC、LPD、FTP、Ping及NTP应用层协议或业务特性。QOS：流量分类和流量监管CAR/LR、流量整形GTS、拥塞管理PQ/CQ/WFQ/CBQ、拥塞避免WRED。网络可靠性：接口/子接口间的物理层备份，虚链路/虚模板/拨号接口/逻辑接口间的链路层备份，动态路由实现网络层备份、VRRP实现设备层备份。系统可靠性：支持dualimage，能对image文件进行合法性判别，支持启动成功性自探测，支持装载image文件引导系统，支持从主image文件启动，支持从备份image文件启动。语音特性：静音压缩、舒适噪音、语音防抖动、音量调节、PBX交换机功能模拟、主叫号码识别、自动忙音检测、灵活VOIP选路与备份策略、IP、语音RADIUS、GKClient、IPHC、语音QoS。IPV6：从目前的硬件体系结构和软件平台的基础上能够平滑升级到IPV6的软件版本,全面支持IPv4和IPv6双协议栈，提供丰富的IPV6协议，支持多种IPv4向IPv6的过渡技术：手工配置隧道、自动配置隧道、6to4隧道、GRE隧道、实现NAT-PT等；支持IPv6静态路由，支持BGP4/BGP4+、RIPng、OSPF3、ISISv6等动态路由协议；支持ICMPv6MIB、UDP6MIB、TCP6MIB、IPv6MIB等。配置管理：中英文双语、命令分级保护、tracert/ping/debugging故障诊断功能、RMON、SNMPv1/v2c/v3、系统日志、可通过FTP或TFTP进行系统升级、可通过Console/AUX/X.25PAD/Telnet/反向Telnet等方式进行配置。通过Quidview网管软件，能够对路由器进行远程配置，并且能够对主机程序通过Quidview进行在线升级。产品规格项目 AR28-40描述 AR28-80描述 插槽 4 8 功能模块 LAN接口模块 1FE/2FE（10/100Base-TX快速以太网接口模块）1SFX（100Base-FX以太网单模光接口模块）1MFX（100Base-FX以太网多模光接口模块）1GBE（1000Base-T千兆以太网模块）1GEF（1000Base-SFP千兆以太网光模块） WAN接口模块 2/4SA（高速同异步串口模块）8/16AS（异步串口模块）1/2/4E1（通道化cE1/PRI模块）1/2/4E1-F（非通道化E1模块）1/2/4T1（通道化的cT1/PRI模块）1/2/4T1F（非通道化T1模块）E3（通道化E3模块）T3（通道化T3模块）6/12AM（模拟调制解调器模块）4BSISDNBRIS/T接口模块）155M1ATM（ASM/AMM/ASL，155M单模/多模/单模长距离光接口模块）ATME3/T3（ATME3/T3传输模块）1/2ADSL（ADSL通信模块）1/2ADSL-I（ADSL通信模块） 语音模块 2FXS/4FXS（FXS接口语音模块）2FXO/4FXO（FXO接口语音模块）2E&M/4E&M（E&M接口语音模块）E1VI（E1语音模块）T1VI（T1语音模块） POS接入模块 2/4/6FCM（快速连接MODEM模块） 其他模块 NDEC（网络数据加密模块） 处理器 MPC8245300MHz MPC8245300MHz 转发性能 110-120KPPS 110-120KPPS/130-150KPPS NVRAM 128KB FLASH 32MB SDRAM 缺省：128MB，最大：256MB 外型尺寸（mm）宽×深×高 440×400×43 440×400×86 重量 8kg 14kg 输入电压 AC 额定电压范围：100-240V；50/60Hz最大电压范围：90-264V；50/60Hz DC 额定电压范围：-48--60V最大电压范围：-36--72V 最大功率 67W 114W 工作环境温度 0～40℃ 环境湿度 5～90%不结露 服务器接入设计数据中心的服务器对可靠性要求较高，会有多种高可靠的接入方式，根据对主机接入的分类，主要分为三类：多主机群集，双机HA应用，单机多网卡。这三种方式均涉及到多网卡与交换机连接。因此针对群集和HA应用还有多VLAN的方式和同一VLAN的方式。针对多主机多VLAN的方式这类主机部署的应用属于重要应用，以核心业务应用为主。为保证可靠性至少选择在2台接入交换机上均做相同的VLAN和端口配置，实现端口1+1冗余，即保证单一接入设备可以承载全部主机连接，在工作时并将多主机同一业务对应端口接入相同VLAN中（根据切换方式不同可选择同一交换机或不同交换机）。针对多主机共享VLAN的方式，为保证可靠性至少选择在2台接入交换机上均做相同的VLAN和端口配置，实现端口1+1冗余，即保证单一接入设备可以承载全部主机连接，在工作时并将多主机对应业务端口分布到2台交换机。针对HA主机多VLAN的方式这类应用也属于重要应用，以各类基于开放平台的业务为主。为保证可靠性选择在2台接入交换机上做相同的VLAN和端口配置，实现端口1+1冗余，即保证单一接入设备可以承载全部主机连接，在工作时将双机对应端口部接入到不同交换机的对应VLAN中。针对HA主机单VLAN的方式这类应用也属于重要应用，以各类基于开放平台的业务为主。为保证可靠性选择在2台接入交换机上做相同的VLAN和端口配置，实现端口1+1冗余，即保证单一接入设备可以承载全部主机连接，在工作时将双机对应端口部接入到不同交换机的同一VLAN端口中。针对单机多VLAN方式单机应用一般数据次关键应用，以部分业务的前置服务器为主。针对单机多网卡多VLAN方式，也考虑将多VLAN在2台接入交换机上部署，实现VLAN端口1+1冗余。工作时将主机不同端口分别连接到不同交换机的对应VLAN端口。针对单机单VLAN方式这种方式是实现单机的网卡和链路备份，以部分业务的前置服务器为主。此种方式本身即是端口和链路备份，在2个交换机上均部署相同VLAN和对应端口，将这单机的2个端口分别连接到2个交换机的对应端口。VLAN和SpanningTree设计VLAN简述VLAN（VirtualLocalAreaNetwork－虚拟局域网）逻辑上把网络资源和网络用户按照一定的原则进行划分，把一个物理上实际的网络划分成多个小的逻辑的网络。这些小的逻辑的网络形成各自的广播域，也就是虚拟局域网VLAN。VLAN在功能和操作上与传统LAN基本相同，可以提供一定范围内终端系统的互联。IEEE802.1Q是虚拟局域网的正式标准，定义了同一个物理链路上承载多个子网的数据流的方法。IEEE802.1Q定义了VLAN帧格式，为识别帧属于哪个VLAN提供了一个标准的方法。这个格式是统一标识VLAN的方法，有利于保证不同厂家设备配置的VLAN可以互通。VLAN注册协议（GVRP）GVRP（GARPVLANRegistrationProtocol）是VLAN注册协议。GVRP基于GARP的工作机制，是GARP的一种应用，维护交换机中的VLAN动态注册信息并传播该信息到其它的交换机中。所有支持GVRP特性的交换机能够接收来自其它交换机的VLAN注册信息，并动态更新本地的VLAN注册信息，包括当前的VLAN成员，这些VLAN成员可以通过哪个端口到达等。而且所有支持GVRP特性的交换机能够将本地VLAN注册信息向其它交换机传播，以便使同一交换网内所有支持GVRP特性的设备的VLAN信息达成一致。GVRP传播的VLAN注册信息包括本地手工配置的静态注册信息和来自其它交换机的动态注册信息。对GVRP特性的支持使得不同交换机上的VLAN信息可以由协议动态维护和更新，只需要对少数交换机进行VLAN配置，就可以应用到整个交换网络，无需耗费大量时间进行拓扑分析和配置管理，协议会自动根据网络中VLAN的配置情况，动态地传播VLAN信息并配置在相应的端口上。根据VLAN注册信息，交换机了解到干道链路对端有哪些VLAN，自动配置干道链路，只允许对端交换机需要的VLAN在干道链路上传输。GVRP注册类型 功能 Normal 允许在该端口手工或动态创建、注册和注销VLAN； Fixed 允许手工创建和注册VLAN，并且防止VLAN的注销和在其它Trunk端口注册此端口所知的动态VLAN。这种情况下，GVRP就不会自动配置Trunk端口允许哪些VLAN报文可以通过； Forbidden 将注销VLAN1以外的所有VLAN，并且禁止在该端口上创建和注销任何其它VLAN； 注：VLAN1的注册类型必须是Fixed，且不可以更改。 为了减少交换机之间的相互影响，中国XX银行上海数据中心的GVRP类型设计为Fixed。根据前文所述，农行上海数据中心网络分为多个功能分区，每个网络功能分区的接入层交换机将定义为Layer2交换机，Layer2和Layer3的边界位于每个网络功能分区的汇聚层交换机上。接入层交换机通过VLAN连接接入设备；接入层和汇聚层交换机之间通过Trunk连接；汇聚层交换机之间通过Trunk连接。如下图：VLAN根据，数据中心生产相关VLAN定义：办公相关VLAN的VLANID可以复用生产相关VLAN的VLANID数据中心网络设备互连VLAN不包括生产外联区内部设备互连VLAN从低到高分配从高到低分配上海数据中心通过在汇聚层交换机上手工配置根网桥的主、备策略，确保生成树在二层链路形成最佳的树型拓扑。根网桥设置还可以通过调节路径开销、端口优先级、端口ID等方式实现。根据经验，推荐将汇聚层交换机设置成根网桥，图示如下：VRRPVRRP（VirtualRouterRedundancyProtocol）是一种容错协议，其目的是利用备份机制来提高路由器与外界连接的可靠性。VRRP确保当主机的下一跳三层设备坏掉时可以及时的由另一台三层设备来代替，从而保持通讯的连续性和可靠性。VRRP中只定义了一种报文――VRRP报文，这是一种多播报文，由主设备定时发出来通告它的存在，使用这些报文可以检测虚拟设备各种参数，还可以用于主设备的选举。VRRP中定义了三种状态模型初始状态Initialize，活动状态Master，备份状态Backup，其中只有活动状态可以发送报文，而且报文也只有一种。VRRP报文是封装在IP报文上的，支持各种上层协议。同时VRRP还支持将真实接口IP地址设置为虚拟IP地址的做法。1. 汇聚层设备在连接普通接入时采用VRRP；2. VRRP优先级策略与STP的根网桥主备设置一致；下图是VRRP拓扑设置的示意图：IP地址设计IP地址的合理设计是数据中心网络设计中的重要一环，大型计算机网络必须对ＩＰ地址进行统一规划并得到实施。IP地址规划的好坏，影响到网络路由协议算法的效率，影响到网络的性能，影响到网络的扩展，影响到网络的管理，也必将直接影响到网络应用的进一步发展。IP地址采用RFC1918规定的地址段（不包括外联区域IP地址）。根据选择的IP地址段和数据中心的业务功能模块进行映射，建议如下：网段分配功能分区类型 IP地址范围 生产区主机、开放平台 备用 测试区主机、开放平台 备用 运行管理区 备用 生产外联区 扩展DMZ和DMZ区域 外连区域 另一个RFC1918网段地址 使用公有地址 备用 MIS管理区 备用 上海中心网络设备互连不包括生产外联区内部设备互连 备用 设备和网关地址分配原则在单个子网地址范围内，为了减少干扰，网关通常使用最高位地址，用户地址由低到高依次分配。设备地址 子网位置 分配顺序 网关 最高位 / VRRP地址 次高位 由高到低 … / 预留 … / 预留 普通接入设备 最低位 由低到高 路由选择和设计路由协议选择以下是对两种适合大型网络路由协议的比较： OSPF IS-IS 标准化 国际标准（IETF） 国际标准ISO、IETF 协议种类 链路状态 链路状态 协议算法 SPF SPF 适用性 专为IP设计 用于CLNS或CLNS+IP环境 灵活性 高 高 通用性 高 中 扩展性 中 高 建议上海数据中心内部将采用OSPF路由协议，生产外联区将采用静态路由协议。按照，网络核心和各功能分区的汇聚层交换机之间将构成数据中心的路由区域；而接入层交换机将定义为Layer2交换机，通过Trunk或VLAN连接汇聚层交换机；路由和交换的边界位于每个功能分区的汇聚层交换机。路由协议设计（OSPF）OSPFArea设计根据上海数据中心内部的网络设备数量和连接方式，为在可预见的时间内，单独一个OSPFArea可以满足需要。因此，对于上海数据中心，所有核心层交换机和各功能分区的汇聚层交换机机都运行在OSPFArea0中。根据业务需要，农行将构造个主机Sysplex环境：以上各主机Sysplex环境和所在功能分区的汇聚层交换机之间将运行OSPF路由协议，采用单独的OSPFArea。汇聚层设备作为路由域和交换域的边界；路由区域为OSPFArea0；OSPF在汇聚层交换机连接核心交换机的链路上通过Vlan建立点-点邻居关系；OSPF在汇聚层交换机互连Trunk上通过Vlan建立点-点邻居关系；汇聚层交换机连接服务器的端口配置为OSPF的PassiveInterface，没有邻居关系。OSPFSTUB接入设计如下：汇聚层设备作为OSPFArea0和STUB的边界，是ABR；OSPF在汇聚层交换机和核心交换机的链路上通过Vlan建立点-点邻居关系；汇聚层交换机互连Trunk的Vlan分别属于OSPFArea0和STUB；OSPF在汇聚层交换机互连链路上通过Trunk建立点-点邻居关系；OSPF在汇聚层交换机连接Sysplex的链路上通过Vlan与Sysplex建立BMA邻居关系，汇聚层交换机分别定义为DR和BDR；OSPF的DR和BDR分别向STUB区域发送默认路由，为实现“单边路由”的设计，需手工设置DefaultCost。OSPFProcessIDOSPFProcessID对网络设备而言，只具有本地的意义，两个建立邻接关系的网络设备可以使用不同的OSPFProcessID。出于统一管理考虑，建议农行上海数据中心运行OSPF路由协议的网络设备使用相同的OSPFProcessID：10。OSPFRouterIDOSPF需要使用唯一的RouterID标识每一台路由器，建议相关网络设备的Loopback地址作为其OSPFRouterID。OSPF链路Metric对OSPF协议，Interface的Metric为：108/InterfaceBandwidth，其中108为缺省的“OSPFAuto-costReferenceBandwidth”。对于农行上海数据中心，可能的网络链路的速度范围可从100Mbps到4Gbps（4PortsGEChannel），对于OSPF的链路的Metric设置必须能够区分链路速度和吞吐能力。对农行上海数据中心OSPF链路Metric规划如下：链路类型 链路带宽Mbps Metric值 GigabitEthernet 10,000 10 4portsGEChannel 4,000 25 2portsGEChannel 2,000 50 GigabitEthernet 1,000 100 VLANInterface 1,000 100 OSPFMD5认证考虑安全的因素，建议农行上海数据中心运行OSPF路由协议的网络设备采用MessageDigestMD5认证，以保证OSPFUpdate的可靠性。静态路由生产外联区的被多层防火墙隔离成不同安全级别的区域，其内部将采用静态路由协议，并通过汇聚层交换机重分发到OSPF路由协议中。QoS功能，目前有以下三种QoS服务模型：Best-Effortservice――尽力服务Integratedservice（Intserv）――综合服务Differentiatedservice（Diffserv）――区分服务 Best-Effortservice尽力服务是最简单的服务模型。应用程序可以在任何时候，发出任意数量的报文，而且不需要事先获得批准，也不需要通知网络。网络则尽最大的可能性来发送报文，但对时延、可靠性等不提供任何保证。尽力服务是互联网的缺省传输模式，由于它不区分具体的业务类型，采用先入先出的策略（FIFO）处理，对所有报文都无区别的等同对待，实现起来比较简单，但由于无法为高优先级的实时业务和关键业务提供额外保障，尽力服务模型并不适合用于农行上海数据中心的建网需求。IntegratedserviceIntserv是一个综合服务模型，它可以满足多种QoS需求。这种服务模型在发送报文前，需要向网络申请特定的服务。这个请求是通过信令（signal）来完成的，应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求，包括带宽、时延等，应用程序一般在收到网络的确认信息，即网络已经为这个应用程序的报文预留了资源后，发送报文。而应用程序发出的报文应该控制在流量参数描述的范围内。网络在收到应用程序的资源请求后，执行资源分配检查（Admissioncontrol），即基于应用程序的资源申请和网络现有的资源情况，判断是否为应用程序分配资源。一旦网络确认为应用程序的报文分配了资源，则只要应用程序的报文控制在流量参数描述的范围内，网络将承诺满足应用程序的QoS需求。而网络将为每个流（flow，由两端的IP地址、端口号、协议号确定）维护一个状态，并基于这个状态执行报文的分类、流量监管（policing）、排队及其调度，来满足对应用程序的承诺，具有面向连接的特性。因此对网络设备的处理能力有较高要求。传送QoS请求的信令是RSVP（资源预留协议），它通知路由器应用程序的QoS需求。DifferentiatedserviceDiffserv即区别服务模型，它可以满足不同的QoS需求。与Integratedservice不同，它不需要信令，即应用程序在发出报文前，不需要通知路由器。网络不需要为每个流维护状态，它根据每个报文指定的QoS，来提供特定的服务。可以用不同的方法来指定报文的QoS，如IP包的优先级位（IPPrecedence、报文的源地址和目的地址等。网络通过这些信息来进行报文的分类、流量整形、流量监管和排队。通常在配置Differentiatedservice时，在网络边界的路由器通过报文的源地址和目的地址等对报文进行分类，对不同的报文设置不同的IP优先级，而其他路由器只需要用IP优先级来进行报文的分类。服务模型选择这三种服务模型中，只有Intserv与Diffserv这两种能提供多服务的QoS保障。从技术上看，Intserv需要网络对每个流均维持一个软状态，因此会导致设备性能的下降，或实现相同的功能需要更高性能的设备，另外，还需要全网设备都能提供一致的技术才能实现QoS。而Diffserv则没有这方面的缺陷，且处理效率高，部署及实施可以分布进行，它只是在构建网络时，需要对网络中的路由器设置相应的规则，会使配置管理比较复杂。由于农行网络规模庞大，覆盖了省到市、市到县的全部区域，同时农行网络要承载IP、IP会议电视、银行传统业务、银行新业务、OA等多种流量，这对网络设备（路由器）是一个很大的考验。考虑到Diffserv模式具有处理效率高，部署和实时方便的特点，建议在农行网络中，选用Diffserv模式。不论是Diffserv，还是Intserv，在最终对服务进行保障时，都是通过以下一些成熟技术来实现的：CAR。它根据IP包的优先级或QoS组，来进行报文的分类、以及报文的度量和流量监管。队列技术。WRED、PQ、CQ、WFQ等队列技术进行拥塞避免及拥塞管理。QoS实现技术网络设备对转发报文进行QoS保障的处理，发生在报文从设备的一个接口进入，到从另一个接口出去的整个过程中。从技术上，这个过程按照处理顺序分为报文分类、拥塞管理、拥塞避免、流量监管与整形等部分。报文分类报文分类是QoS的基础，只有区分了不同的报文业务，才能进行分别处理及保障相应业务的服务质量。一般在网络边界，利用ACL等技术，根据物理接口、源地址、目的地址、MAC地址、IP协议或应用程序的端口号等依据对报文进行分类，并同时设置报文IP头的TOS字段作为报文的IP优先级；在网络的内部则可使用边缘设置好的IP优先级作为分类的标准，以提高网络的处理效率。拥塞管理网络资源总是有限的，当网上业务流量超过网络提供的能力时，即发生了拥塞。在发生拥塞时，如何进行管理和控制呢？处理的方法是使用队列技术。在一个接口没有发生拥塞的时候，报文在到达接口后立即就被发送出去；在报文到达的速度超过接口发送报文的速度时，接口就发生了拥塞。拥塞管理就会将这些报文进行分类，送入不同的队列；而队列调度对不同优先级的报文进行分别处理，优先级高的报文会得到优先处理。不同的队列算法用来解决不同的问题，并产生不同的效果。常用的队列有FIFO、PQ，CQ，WFQ等，下面简单介绍各种队列技术的特性。1）先进先出队列（FIFO）顾名思义，先进先出队列（简称FIFO）不对报文进行分类，按报文到达接口的先后顺序让报文进入队列，在队列的出口让报文按进队的顺序出队，先进的报文将先出队，后进的报文将后出队。2）优先队列（PQ）优先队列（简称PQ）对报文进行分类，将所有报文依据预先配置分成最多4类，按照先进先出的策略分别进入4个优先级不同的队列。在报文出队的时候，高优先级的队列相对于低优先级的队列具有绝对的优先权，只有高优先级队列报文发送完毕，较低优先级才得到发送，而且较低优先级的报文会在发生拥塞时被较高优先级的报文抢断。因此采用这种队列机制可以保证在网络发生拥塞的情况下，重要业务（高优先级）的数据传输得到绝对的优先传送。但在较高优先级的报文的速度总是大于接口的速度时，会使较低优先级的报文始终得不到发送的机会。3）定制队列（CQ）定制队列（简称CQ）根据设置将所有报文分成最多至17类，按照先进先出的策略分别进入1个系统队列和16个用户队列。在出队调度上，系统队列具有绝对的优先权，系统总是先处理完该队列后再用处理用户队列；16个用户队列占用出口带宽的比例可以设置，CQ按定义的比例使各队列之间在占用的接口带宽上满足管理员预先配置的比例关系。采用这种队列机制，当拥塞发生时，能保证不同业务根据比例获得相应的带宽占用，从而既保证关键业务能获得较多的带宽，又不至于使非关键业务得不到带宽，避免PQ的一些缺点。另外，没有拥塞时，各业务可以根据流量中业务的相对比例充分使用接口带宽，提高资源利用率。4）加权公平队列（WFQ）加权公平队列（简称WFQ）对报文按流进行分类（相同源IP地址，目的IP地址，源端口号，目的端口号，协议号，TOS相同的报文属于同一个流），每一个流被分配到一个队列。在出队发送的时候，WFQ根据报文分类时设置的流的优先级（precedence）来分配每个流应占有出口的带宽。优先级的数值越小，所得的带宽越少。优先级的数值越大，所得的带宽越多。在拥塞发生时，它能保证任何流量的流（业务），都能公平地得到一定的带宽占用，减少这个网络的时延，并当流（业务个数）的数目减少时，能自动增加现存流可占的带宽。5）RTP（Real-timeTransportProtocol）优先队列对实时要求高的数据流，例如语音，提供较高的优先级和预留带宽。拥塞避免据统计，互联网上发生70％的报文丢弃原因是由于拥塞造成的，对造成拥塞的原因进行分析，并制定避免拥塞的策略，将大大提高网络的可用性。当拥塞发生时，如果按照传统的队列尾丢弃处理方式，对于TCP报文，会引发TCP的慢启动和拥塞避免机制，使TCP减少报文的发送。当同时丢弃多个TCP连接的报文时，将造成多个TCP连接同时进入慢启动和拥塞避免，称之为：TCP全局同步。这使得发向网络的报文流量总是忽大忽小，线路上的流量总在极少和饱满之间波动，造成网络利用率降低。为了避免这种拥塞情况的发生，可以采用随机早期检测（RED）或加权随机早期检测（WRED）的丢弃策略。可避免使多个TCP连接同时降低发送速度，避免TCP的全局同步现象。这样，无论什么时候，总有TCP连接在进行较快的发送，提高了线路带宽的利用率，降低拥塞的发生。丢弃策略对网络中TCP方式的应用有比较好的效果，但对网络中UDP数据产生的拥塞则不会有很大的改善。流量监管和整形流量监管的作用是限制进入网络的某一连接流量与突发，在报文满足一定的条件下，如某个连接的报文流量过大，流量监管就可以选择丢弃报文，或重新设置报文的优先级。通常是使用CAR来限制某类报文的流量，如限制FTP报文不能占用超过50%的网络带宽。如果需要限制流出网络的某一连接流量报文，以比较均匀的速度向外发送，则使用流量整形。约定访问速率（CAR）――是一种带宽管理机制，利用令牌桶技术来实现带宽的分配和测量。网络管理员可以为不同的业务分配不同的带宽，定义业务占用的带宽超过分配额度时的处理策略，通过限制通过路由器某一端口的流量，很好地保证整个网络的QOS。CAR既可用于网络的入口也可用于网络的出口，可以报文分类完成的结果区分不同的业务流。另外，它还可以对报文的IP优先级根据需要加以重新标记。CAR技术是农行网络进行QoS管理的核心技术之一，通过CAR，我们可以保证在网络发生拥塞时，确保优先业务正常运行所需带宽，华为全系列NE路由器均支持CAR技术。通常的CAR技术由软件来实现，需要花费路由器较多的处理能力，由于集中式转发路由器处理能力有限，采用CAR将严重的影响整个路由器的转发效率。QuidWay系列高端路由交换机全部采用了分布式转发体系，每块业务板均有CPU负责本板的CAR功能，分布式CAR不会为路由交换机造成性能瓶颈。农行数据中心QoS设计目前，农行上海数据中心网络相关业务可分为以下几个类别：业务类别 具体业务 实时业务 生产实时、OA实时、用户认证、网络管理、设备管理、空调信号、语音、视频会议…… 普通交互业务 其他视频、OA非实时、生产非实时…… 批量业务 代理业务、FTP…… 其他业务 等不包含在以上分类的其他业务 业务对网络的QoS需求主要表现在对网络带宽、延迟、延迟抖动、包丢失等方面的要求。根据以上业务类别，可知农行上海数据中心的QoS需求列表如下：业务类别 带宽要求 延迟 延迟抖动 包丢失 实时业务 按需确保 低 低 低 普通交互业务 适量带宽 适量 适量 适量 批量业务 适量带宽 适量 适量 适量 其他业务 尽量服务 尽量服务 尽量服务 尽量服务 由于上海数据中心的局域网采用万兆端口互联，应该不会出现网络拥塞，所以在上海数据中心的局域网中将主要实现对不同数据流的分类和标记。即在接入层对不同业务的数据流进行分类，并采用DSCP进行标记。根据以上表格，把需要使用QOS的各种应用划分为5类：网络控制信令：关键的设备管理和控制信令传输。定义为最高优先级视频/语音：这类数据对延时也非常敏感，但属于多媒体业务，可以定义为最高优先级；业务类实时业务：这类数据的特点是交易包长度固定，交易时限要求实时，上下行数据流量基本对等，因为是网络中的关键应用，所以应定义为次优先级；业务类非实时业务：这类数据的特点是数据流量大，网络要求实时性不高，定时传输。所以应定义为比较高的优先级；管理类实时业务：这类业务对实时性要求高。定义为比较高的优先级。管理类非实时业务：这类数据通常对网络实时性要求不高，可定义为一般优先级业务；其它应用：其它应用包括大部分Internet访问，典型的应用是FTP或HTTP等，可以把这类应用定义为最低的优先级。由于DSCP向下兼容IPPrecedence，而DSCP提供了进一步细分不同类型数据流的能力，可以满足未来中国XX银行上海数据中心网络扩展的需求，因而在数据中心采用DSCP进行数据流分类、而在一级分行采用IPPrecedence进行数据流分类。DSCP与IPPrecedence值进行相互转换时有如下的对应关系：IPPrecedence DSCP 0000--- 0000000 1001--- 8001000 2010--- 16010000 3011--- 24011000 4100--- 32100000 5101--- 40101000 具体数据流分类如下：业务应用类型 DSCP/IPPrecedence值 其它应用（如FTP和HTTP） 0/0 非FTP/HTTP的OA应用 8/1 业务非实时，办公实时 16/2 业务类实时业务 24/3 视频/语音 32/4 网管,控制信令传输 40/5 可靠性设计可靠性概述网络的可靠性是一个从端到端的全程概念，单纯提高某一层面的可靠性并不能对网络整体的可靠性有很大改善。网络的可靠性最终要从设备级、链路级、网络级、业务级等各层次保证。设备级的可靠性：包括设备本身的健壮性及对周围环境的适应能力，可靠的设备应该对关键部件（如主控板，交换网板，电源等）进行冗余备份，并且可以在恶劣的环境下长时间稳定运行。设备级可靠性的另外一个重要方面就是设备在线升级能力及容错能力，容错能力体现在如设备发生故障时，可自动平滑的启动备份部件，不对业务造成影响。链路级的可靠性：包括链路本身的可靠性，包括良好的线路质量，及链路的备份技术，如采用一些物理线路捆绑技术提供线路的可靠性，也可以采用其它链路/线路保护技术，如环网技术。网络级的可靠性：设计合适的拓扑，如避免采用单星型结构以避免单点故障；网络设计模块化，各功能区域相独立，任一区域的故障不会扩散到其它区域；设备间的备份，如采用VRRP进行备份，当主用设备发生故障时，流量自动切换到备份设备上，该过程对业务透明；路由可靠性：首先根据网络特点选择合理的路由协议，避免路由环路，减少路由振荡，并且保护某个网络节点失效后网络快速自愈。业务可靠性：网络只是业务的承载平台，设备，链路及网络的可靠性设计归根到底都是为了保证业务的可靠性，从网络角度考虑业务可靠性，主要是通过各种网络技术时业务数据流满足业务的要去，如流量分布是不均衡的，特别是突发流量会引起网络的拥塞，导致业务的中断，需流量管理的引入能够使网络流量均衡，提高网络的利用率，进而对控制网络拥塞情况的发生。网络的可靠性设计并不是一个孤立的问题，受到网络的地理分布，规模，可用线路等多方面原因限制，但作为数据中心网络应具备以下可靠性设计特点：业务网络与后台管理层网络的分离网络关键设备之间互相备份网络关键设备重要部件备份业务网络的关键层次设备之间的冗余连接后台管理层的双平面网络设计网络结构模块化优化后的动态路由保护防火墙的冗余设计VRRP的冗余设计二层流量范围的控制在任何情况下，任何时间，任何地点的设备完全的管理维护手段下面从各层次详细描述农行上海数据中心网络的可靠性设计。设备级可靠性设计农行数据中心网络的设备级可靠性主要从设备自身可靠性，设备间热备份两个方面考虑。作为网络核心、汇聚层、高密度与关键业务接入层的关键设备必须具有电信级可靠性：可靠性指标必须达到99.999%；网络核心设备采用全分布式体系结构，路由与转发分离；所有关键器件，如主控板、交换网、电源等都采用冗余设计，业务模块支持热插拔；网络核心设备支持不间断转发，主控板热备份。主备倒换过程不影响业务转发，不丢包。网络核心设备支持软件在线升级，升级过程中业务不中断。网络核心设备支持软件热补丁，打补丁过程中主控板和接口板都不需要重启动，业务不中断。引擎（含主控及交换网）对高可靠性的支持必须是完备的，系统的。既要对硬件部件的备份，也需要对数据和系统的中间状态信息备份。硬件的备份技术是由硬件逻辑或者底层软件控制的，系统需要实时检测硬件的状态，如果发现异常，则启动倒换过程，将备用硬件升级为主用，而原主用部件相应的转换为备用，同时尝试对硬件部件复位，并给系统发出告警。对数据和系统状态的备份也需要相应的硬件配合，通过部件冗余备份实现来增强设备的可靠性，如对路由器的主控板进行冗余备份，备用板与主用板之间并不进行运行状态和与运行数据的同步。路由器启动时，主用板和备用板都要进行程序加载，并且开始相关模块的初始化，主用板正常执行启动过程，开始软件运行，备用板并不完成所有的初始化（包括配置文件的执行），而是在完成之前的最后一步暂时阻塞，保持等待运行的状态；一旦主用板出现故障，备用板重新启动所有的业务板并完成最后的初始化，接替主用板工作。这种备份方式称为冷备份。冷备份节省了加载以及启动的时间、备用板配置恢复时间，减少了故障恢复时间，从而增加系统可靠性。不过在这种备份方式下，1）由于主备之间不进行任何数据的备份，需要进行数据的搜集或恢复处理，需要花费一定的时间，2一些协议连接需要重新协商处理，如路由协议建立邻居、路由聚合需要花费一定的时间;3可能会导致业务板的重新启动，需要花费一定的时间。所有这些，都可能导致业务的短时间中断，但是，即使是瞬间的网络中断，也可能给用户造成巨大的损失，对银行系统这种敏感用户尤其如此。为了将网络中断时间减少至最短时间，甚至做到业务不中断，需要对系统运行时的动态数据或进程状态进行备份，这时备用板处于一个特殊的运行态，只接收和储存由主用板发送来的数据和状态，当主用板发生故障时，系统平滑的切换到备用板，切换过程对网络用户透明，业务不会因为网络的切换而中断。我们称这种备份方式为热备份。当系统的备用板启动之后，主用板和备用板之间的状态差异可以非常大，这时需要将主用系统的数据批量的备份到备用板上，这个过程就是批量备份。当批量备份结束后，随着系统的运行，主用系统的数据会发生变化，这些变化需要定时的备份到备用系统中，这个过程称作定时备份。一旦主用系统出现故障，备用系统和主用系统的角色需要交换，将备用系统升格为主用系统的过程称作主备倒换。备用系统升级为主用系统后，一些状态信息没有从原主用系统得到，或数据失效，新的主用系统需要与接口板对硬件状态、链路层状态和配置数据上确认这些数据，这个确认过程是数据平滑。热备份保证主备系统板之间的数据和状态始终一致，因而，业务板也感觉不到系统板发生倒换，再加上协议状态的一致，因此可以保证业务不会丢失。华为的VRPVirsatileRoutingPlatform在QuidwayS8512万兆核心路由交换机产品的各个业务板上保存FIB表（转发表），报文转发不需要系统板的参与。主备倒换发生时，业务板不发生变化，允许保文继续转发，从而保证业务不损失。本次项目的配置建议中，我们推荐农行上海数据中心的核心层、汇聚层和接入层网络设备都采用冗余引擎。每台核心层设备均采用HA特性实现系统的高可靠性，可以在主控板发生故障时，快速、准确恢复系统的正常运行，从而增强系统的MTBF（MeanTimeBetweenFailure），即平均故障间隔时间。HA特性是主控板单板的一个特性。交换机有两块主控板单板，工作在master-slave备份模式，即一块工作在master模式，为主控板，一块工作在slave模式，为备用板。当主控板发生故障时，主备倒换将自动进行。备用板将自动连接并控制系统的BUS，同时原来的主控板将断开和系统BUS的连接。主备倒换完成后，备用板将成为主控板，而原来的主控板将重新启动成为备用板。因此，即使主控板故障，备用板也能迅速取代它成为主控板，保证S8500系列路由交换机的正常运行。此外，在网络异常情况下（如CPU占用超过70％）华为设备可采取多种保护措施，提高整机可靠性：S8512设备设计特点之一是转发与控制相分离：转发层根据控制层下载的转发信息（如：转发表、STP状态）线速转发。控制层面繁忙不会影响已有流量/规则的线速转发；S8512设备设计特点之二是控制层面采用全分布式体系架构（转发层也是全分布式结构）：部分协议分布在接口板上实现（如：ARP）以减轻主控CPU负担；同时接口板还过滤所有送往主控板的报文流量，在主控CPU占有率/接口板CPU占有率较高时根据策略发现攻击、非法报文并切断非法报文送往主控CPU，以保证主控CPU安全，将攻击/危险控制在有限范围内。同时主控板也根据自身策略做防护；S8512设备特点三采用高性能的最长匹配、逐包转发的方式：在保持线速性能和低成本的基础上，革命性的解决了传统交换机流Cache精确匹配转发的致命缺陷，能够有效的抗击网络“红色代码”、“冲击波”等病毒的攻击，更加适合大规模、多业务，复杂流量访问的网络。另外，在QuidwayS8512设备发现自身CPU占用率异常情况下，比如超过70％，几乎可判定为受到攻击或网络拓扑不断发生新的变化。QuidwayS8512设备系统通过主控板/接口板协调配合实现系统自愈，有效较低CPU占有率，保障整机系统的稳定。电源本次为农行上海数据中心网络推荐的设备是全部采用QuidwayS8512万兆核心路由交换机。S8500系列路由交换机的电源系统支持交流和直流两种供电方式。供电系统位于机箱底部，电源占3U高度。直流供电和交流供电方面从结构设计上采取了空间复用方式，供电子系统可根据需求进行灵活配置，供电框和主功能框之间采用线缆连接，所有线缆在机箱后部走线。电源供电设计和主功能框采用相对独立腔体，电源散热采用电源模块内部风扇，为前后风道，前进风，后出风。S8500系列路由交换机只需1个电源模块即可保证系统的正常工作，但路由交换机提供有2个电源模块的槽位，实现了电源模块的1+1冗余备份，并可以实现负载均衡。且S8500系列路由交换机的电源模块均支持热插拔。此外，外置POE电源系统也支持2+1冗余备份，并且支持热插拔。建议在数据中心采用负载均衡方式工作。模块和端口模块和端口设计通用原则如下：区分上连、互连和下连链路，尽量保证彼此模块相对独立；同一机箱优先使用高编号槽位；同一模块优先使用高编号端口；确保Channel的所有端口使用相同模块；核心层QuidwayS8512核心层QuidwayS8512路由交换机槽位和端口使用策略：0槽和1槽配置主备用引擎模块；12、13各自对应一个2×10GE核心互连；从9槽开始连接汇聚层设备。区分不同区域的接入端口，尽量保证彼此模块相对独立；汇聚层QuidwayS8512汇聚层QuidwayS8512路由交换机槽位和端口使用策略：13、12、11槽连接2×GE汇聚互连和2/4×GE核心上连；从7槽开始连接接入层设备。接入层QuidwayS8512接入层QuidwayS8512交换机槽位和端口使用策略：13、12槽分别配置一个2×GE接入汇聚设备；从11槽开始连接接入设备。系统软件所有的软件系统均无尽善尽美，那么软件的补丁技术可靠性也是数据中心网络建设设备级可靠性设计考虑的重要环节。补丁技术主要目的是修正已经发现并解决的BUG，防止相同的问题在不同的网络上发生。在两种补丁技术中，冷补丁的软件升级技术是传统数据通信产品的主要方式，热补丁技术则是现有电信网络设备的常用方式，冷补丁技术能够不中断业务的转发，但对设备的正常运行有一定影响；热补丁的执行过程中业务处理流程可以正常进行，对设备没有任何影响。华为3Com公司本次项目推荐采用的是QuidwayS8512万兆核心路由器，该产品能够执行上述两种补丁方式。冷补丁技术的主要原理是使用更新的软件版本替换有问题的版本，在这个过程中，如果是在无备份的机制下，会中断转发业务；在有备份板的情况下，打补丁操作需要在备板中进行，通过手动倒换操作，能实现无业务损失的升级工作，但在接口处理板上的补丁操作会影响业务的正常运行。热补丁技术需要有操作系统和相应的编译工具的支持，它的原理是将所需要升级的那部分代码编译后形成一个补丁文件，在打补丁过程中，将这个补丁文件加载到系统的补丁区域，并修改原有软件的Bug区域，将新的特性跳转到补丁区域执行，整个过程不需要中断业务，可以在主用板执行，因此业务没有丝毫损失。另外热补丁技术并没有修改原有软件，因此在需要时可以回退，这也为补丁的更新提供了更便利的条件。建议在农行数据中心今后网络设备维护时采用热补丁技术。链路级可靠性设计链路级可靠性设计主要考虑在网络的关键处采用链路冗余备份设计，可适当采用交叉连接方式、链路捆绑等。农行上海数据中心的网络链路连接方式建议如下：农行上海数据中心的网络核心、汇聚层与接入层之间都有冗余连接；而对于汇聚层与接入层两个设备之间的连接采用了PortChannel的设计，如下：网络连接 冗余链路设计 核心设备之间互连 2×10GE 核心与汇聚设备互连 2/4GE 分布设备之间互连 2/4GE 分布与接入设备互连 2/4GE 网络级可靠性设计拓扑冗余根据前文所述，农行数据中心网络分为多个功能分区，每个网络功能分区的接入层交换机将定义为Layer2交换机，Layer2和Layer3的边界位于每个网络功能分区的汇聚层交换机上。 命令 配置交换机的BPDU保护 stpbpdu-protection 恢复配置交换机的BPDU保护 undostpbpdu-protection 配置交换机的Root保护功能（系统视图） stpinterfaceinterface-listroot-protection 恢复配置交换机的Root保护功能为缺省的关闭状态（系统视图） undostpinterfaceinterface-listroot-protection 配置交换机的Root保护功能（以太网端口视图） stproot-protection 恢复配置交换机的Root保护功能为缺省的关闭状态（以太网端口视图） undostproot-protection 配置交换机的环路保护功能（以太网端口视图） stploop-protection 恢复配置交换机的环路保护功能为缺省的关闭状态（以太网端口视图） undostploop-protection 启动防止TC-BPDU报文攻击的保护功能（系统视图） stptc-protectionenable 关闭防止TC-BPDU报文攻击的保护功能（系统视图） stptc-protectiondisable 缺省情况下，交换机只启动防止TC-BPDU报文攻击的保护功能，不启动BPDU保护功能、Root保护功能和环路保护功能。交换机上启动了BPDU保护功能以后，如果边缘端口收到了配置消息，系统就将这些端口关闭，同时通知网管这些端口被MSTP关闭。被关闭的端口只能由网络管理人员恢复。对于设置了Root保护功能的端口，其在所有实例上的端口角色只能保持为指定端口。一旦这种端口上收到了优先级高的配置消息，即其将被选择为非指定端口时，这些端口的状态将被设置为侦听状态，不再转发报文（相当于将此端口相连的链路断开）。当在足够长的时间内没有收到更优的配置消息时，端口会恢复原来的正常状态。在对一个端口进行配置的时候，在Loop保护功能，Root保护功能或者边缘端口设置三个配置中，同一时刻只能有一个配置生效。对于设置了loop保护功能的端口，其在所有实例上的端口状态只能迁移成discarding状态。一旦这种端口上长时间收不到配置消息，即其将发生状态角色迁移时，只发生角色的转换，但是仍然会维持discarding状态，不转发报文。这是为了防止对端由于错误操作导致BPDU报文发不出，而该端口由于长时间收不到配置消息直接进入forwarding转发状态所产生的环路。缺省情况下，交换机不启动BPDU保护功能、Root保护功能和环路保护功能。网关冗余VRRP（VirtualRouterRedundancyProtocol）是一种容错协议，其目的是利用备份机制来提高路由器与外界连接的可靠性。VRRP确保当主机的下一跳三层设备（本次推荐的QuidwayS8512）坏掉时可以及时的由另一台QuidwayS8512来代替，从而保持通讯的连续性和可靠性。为了使VRRP工作，要在设备上配置虚拟路由器号和虚拟IP地址，同时产生一个虚拟MAC地址，这样在这个网络中就加入了一个虚拟QuidwayS8512。而网络上的主机与虚拟QuidwayS8512通信无需了解这个网络上物理QuidwayS8512的任何信息，一个虚拟QuidwayS8512由一个主QuidwayS8512和若干个备份QuidwayS8512组成，主QuidwayS8512实现真正的转发功能。当主QuidwayS8512出现故障时一个备份QuidwayS8512将成为新的主QuidwayS8512接替它的工作。VRRP中只定义了一种报文――VRRP报文，这是一种多播报文，由主