大型企业数据中心建设方案(共96页)

1、目录目录第第 1 章章 总述总述.41.1 XXX 公司数据中心网络建设需求.41.1.1 传统架构存在的问题.41.1.2 XXX 公司数据中心目标架构.51.2 XXX 公司数据中心设计目标.61.3 XXX 公司数据中心技术需求.71.3.1 整合能力.71.3.2 虚拟化能力.71.3.3 自动化能力.81.3.4 绿色数据中心要求.8第第 2 章章 XXX 公司数据中心技术实现公司数据中心技术实现.92.1 整合能力.92.1.1 一体化交换技术.92.1.2 无丢弃以太网技术.102.1.3 性能支撑能力.112.1.4 智能服务的整合能力.112.2 虚拟化能力.122.2.1

2、虚拟交换技术.122.2.2 网络服务虚拟化.142.2.3 服务器虚拟化.142.3 自动化.152.4 绿色数据中心.16第第 3 章章 XXX 公司数据中心网络设计公司数据中心网络设计.173.1 总体网络结构.173.1.1 层次化结构的优势.173.1.2 标准的网络分层结构.173.1.3 XXX 公司的网络结构.183.2 全网核心层设计.193.3 数据中心分布层设计.203.3.1 数据中心分布层虚拟交换机.203.3.2 数据中心分布层智能服务机箱.203.4 数据中心接入层设计.223.5 数据中心地址路由设计.253.5.1 核心层.253.5.2 分布汇聚层和接入层.

3、253.5.3 VLAN/VSAN 和地址规划.26第第 4 章章 应用服务控制与负载均衡设计应用服务控制与负载均衡设计.274.1 功能介绍.274.1.1 基本功能.274.1.2 应用特点.284.2 数据中心的应用情况.324.2.1 XXXX 应用 1.324.2.2 XXXX 应用 n.334.3 应用优化和负载均衡需求.334.3.1 XXXX 应用的负载均衡要求.334.3.2 开放式系统应用的负载均衡要求.344.4 应用优化和负载均衡设计.344.4.1 智能服务机箱设计.344.4.2 应用负载均衡的设计.374.4.3 地址和路由.404.4.4 安全功能的设计.434

4、.4.5 SSL 分流设计 .444.4.6 扩展性设计.454.4.7 高可用性设计.46第第 5 章章 网络安全设计网络安全设计.495.1 网络安全部署思路.495.1.1 网络安全整体架构.495.1.2 网络平台建设所必须考虑的安全问题.505.2 网络设备级安全.515.2.1 防蠕虫病毒的等 Dos 攻击.515.2.2 防 VLAN 的脆弱性配置.525.2.3 防止 DHCP 相关攻击.535.3 网络级安全.535.3.1 安全域的划分.545.3.2 防火墙部署设计.545.3.3 防火墙策略设计.565.3.4 防火墙性能和扩展性设计.565.4 网络的智能主动防御.5

5、75.4.1 网络准入控制.585.4.2 桌面安全管理.595.4.3 智能的监控、分析和威胁响应系统.615.4.4 分布式威胁抑制系统.64第第 6 章章 服务质量保证设计服务质量保证设计.676.1 服务质量保证设计分类.676.2 数据中心服务质量设计.676.2.1 带宽及设备吞吐量设计.676.2.2 低延迟设计.696.2.3 无丢弃设计.706.3 非数据中心网络的服务质量设计.716.3.1 QoS 实施方案.726.3.2 分析业务需求.726.3.3 QoS 策略的制定和部署.756.3.4 评测和调整.796.4 QOS 策略管理 .806.4.1 QoS 自动配置.

6、806.4.2 QoS 策略管理器解决方案.80第第 7 章章 网络管理和业务调度自动化网络管理和业务调度自动化.837.1 MARS 安全管理自动化.837.2 VFRAME业务部署自动化.83第第 8 章章 两种数据中心技术方案的综合对比两种数据中心技术方案的综合对比.848.1 技术方案对比.848.1.1 传统技术领域对比.848.1.2 下一代数据中心技术能力比较.858.2 技术服务对比.878.3 商务对比.888.4 总结.88第第 9 章章 数据中心网络割接方案数据中心网络割接方案.89第第 10 章章 附录：新一代数据中心产品介绍附录：新一代数据中心产品介绍.9010.1

7、CISCO NEXUS 7000 系列 10 插槽交换机介绍.9010.2 CISCO NEXUS 5000 / 2000 系列交换机介绍.9110.3 CISCO NX-OS 数据中心级操作系统简介.93第第 1 章章 总述总述为进一步推进 XXX 公司信息化建设，以信息化推动 XXX 公司股份有限公司业务工作的改革与发展，需要在新建的办公大楼内建设 XXX 公司的新一代绿色高效能数据中心网络。1.1 XXX 公司数据中心网络建设需求公司数据中心网络建设需求1.1.1 传统架构存在的问题传统架构存在的问题XXX 公司现有数据中心网络采用传统以太网技术构建，随着各类业务应用对 IT需求的深入发

8、展，业务部门对资源的需求正以几何级数增长，传统的 IT 基础架构方式给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题：维护管理难：维护管理难：在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不同领域、不同服务方向，工作繁琐、维护困难，而且容易出现漏洞和差错。比如数据中心新增加一个业务类型，需要调整新的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、还是需要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应

9、的接口，如何跳线，以及随之而来的 VLAN、路由等等，如果网络中还有诸如地址转换、7 层交换等等服务与之相关联，那将是非常繁杂的任务。当这样的IT 资源需求在短期内累积，将极易在使得系统维护的质量和稳定性下降，同时反过来减慢新业务的部署，进而阻碍公司业务的推进和发展。资源利用率低：资源利用率低：传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比发展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储备过多，二者相互之间又无法借用和共用。这是由于对底层网络建设是以功能单元为中心进行建设的，并不考虑上层业务对底层资源调用的优化，这使得对网络的投入往往无法取得同样的业务应用效果的改善，反

10、而浪费了较多的资源和维护成本。服务策略不一致：服务策略不一致：传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法真正从整个系统角度制订统一的服务策略，比如安全策略、高可用性策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提供强大的服务支撑。因此，按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求，本次数据中心建设必须从根本上改变传统思路，遵照一种崭新的体系结构思路来构造新的数据中心 IT 基础架构。1.1.2 XXX 公司数据中心目标架构公司数据中心目标架构面向服务的设计思想已经成为 Web2.0 下解决来自业务

11、变更、业务急剧发展所带来的资源和成本压力的最佳途径。从业务层面上主流的 IT 厂商如 IBM、BEA 等就提出了摒弃传统的“面向组件（Component）”的开发方式，而转向“面向服务”的开发方式，即应用软件应当看起来是由相互独立、松耦合的服务构成，而不是对接口要求严格、变更复杂、复用性差的紧耦合组件构成，这样可以以最小的变动、最佳的需求沟通方式来适应不断变化的业务需求增长。鉴于此，XXX 公司数据中心业务应用正在朝“面向服务的架构 Service Oriented Architecture（SOA）”转型。与业务的SOA 相适应，XXX 公司提出支撑业务运行的底层基础设施也应当向“面向服务”

12、的设计思想转变，构造“面向服务的数据中心”（Service Oriented Data Center，SODC）。传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。SODC 就是要求当 SOA 架构下业务的变更，导致软件部分的服务模块的组合变化时，松耦合的网络服务也能根据应用的变化自动实现重组以适配业务变更所带来的资源要求的变化，而尽可能少

13、的减少复杂硬件的相关性，从运行维护、资源复用效率和策略一致性上彻底解决传统设计带来的顽疾。具体而言 SODC 应形成这样的资源调用方式：底层资源对于上层应用就象由服务构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现，管理员和业务用户不需要或几乎可以看不见物理设备的相互架构关系以及具体存在方式。SODC 的框架原型应如下所示：在图中，隔在物理架构和用户之间的“交互服务层”实现了向上提供服务、向下屏蔽复杂的物理结构的作用，使得网络使用者看到的网络不是由复杂的基础物理功能实体构成的，而是一个个智能服务安全服务、移动服务、计算服务、存储服务等等，至于这些服务是由哪些实际存在的物理资

14、源所提供，管理员和上层业务都无需关心，交互服务层解决了一切资源的调度和高效复用问题。SODC 和 SOA 构成的数据中心 IT 架构必将是整个数据中心未来发展的趋势，虽然实现真正理想的 SODC 和 SOA 融合的架构将是一个长期的历程，但在向该融合框架迈进的每一步实际上都将会形成对网络灵活性、网络维护、资源利用效率、投资效益等等方面的巨大改善。因此 XXX 公司本次数据中心的网络建设，要求尽可能的遵循如上所述的新一代面向服务的数据中心设计框架。1.2 XXX 公司数据中心设计目标公司数据中心设计目标在基于 SODC 的设计框架下，XXX 公司新一代数据中心应实现如下设计目标：简化管理：简化管

15、理：使上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。高效复用：高效复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，提高使用效率。即能够实现总硬件资源占用量降低了，而每个业务得到的服务反而更有充分的资源保证了。策略一致：策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象的服务，每一个被充分抽象的服务都按找上层调用的目标进行统一的规范和策略化，这样整个 IT 将可以达到理想的服务规则和策略的一致性。1.3 XXX 公司数据中心技术需求公司数据中心技术需求SODC 架构是一种资源

16、调度的全新方式，资源被调用方式是面向服务而非象以前一样面向复杂的物理底层设施进行设计的，而其中交互服务层是基于服务调用的关键环节。交互服务层的形成是由网络智能化进一步发展而实现的，它是底层的物理网络通过其内在的智能服务功能，使得其上的业务层面看不到底层复杂的结构，不用关心资源的物理调度，从而最大化的实现资源的共享和复用。要形成 SODC 要求的交互服务层，必须对网络提出以下要求：1.3.1 整合能力整合能力SODC 要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务能看到底层网络提供各类 SODC 服务的基础。整合的概念不是简单的功能增多，虽然整合化的一个体现是很多独立设备的功能

17、被以特殊硬件的方式整合到网络设备中，但其真正的核心思想是将资源尽可能集中化以便于跨平台的调用，而物理存在方式则可自由的根据需要而定。数据中心网络所必须提供的资源包括：智能业务网络所必须的智能功能，比如服务质量保证、安全访问控制、设备智能管理等等；数据中心的三大资源网络：高性能计算网络；存储交换网络；数据应用网络。这两类资源的整合将是检验新一代数据中心网络 SODC 能力的重要标准。1.3.2 虚拟化能力虚拟化能力虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关的方式进行调用，是从物理资源到服务形态的质变过程。虚拟化是实现物理资源复用、降低管理维护复杂度、提高设备利用率的关

18、键，同时也是为未来自动实现资源协调和配置打下基础。新一代数据中心网络要求能够提供多种方式的虚拟化能力，不仅仅是传统的网络虚拟化（比如 VLAN、VPN 等），还必须做到：交换虚拟化智能服务虚拟化服务器虚拟化1.3.3 自动化能力自动化能力自动化是 SODC 架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。这部分需要做到两方面的自动化：网络管理的自动化业务部署

19、的自动化1.3.4 绿色数据中心要求绿色数据中心要求当前的能源日趋紧张，能源的价格也飞扬直上；绿地（绿地（Green Field）是我们每个人都关心的议题。如何最大限度的利用能源、降低功耗，以最有效率方式实现高性能、高稳定性的服务是新一代的数据中心必须考虑的问题。第第 2 章章 XXX 公司数据中心技术实现公司数据中心技术实现 根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以太网技术进行革新，数据中心级以太网（Data Center Ethernet，简称 DCE）技术由此诞生。DCE 之前也被一些厂商称为汇聚型增强以太网技术（Converged Enhanced Eth

20、ernet，简称 CEE），是兼容传统以太网协议并按新一代数据中心的传输要求，对其进行全面革新的一系列标准和技术的总称。因此，为达到 XXX 公司的新一代数据中心的建设目标，必须摒弃传统以太网技术，而采用新一代的 DCE（CEE）技术进行组网。具体而言，本次 XXX 公司数据中心所采用的 DCE 技术，可以达到以下的技术目标。2.1 整合能力整合能力2.1.1 一体化交换技术一体化交换技术DCE 技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向服务的数据中心 SODC 的最终目标。在传统数据中心中存在三种网络：使用光纤存储交换机的存储交换网络（Fiber Channel SAN

21、），便于实现 CPU、内存资源并行化处理的高性能计算网络（多采用高带宽低延迟的 InfiniBand 技术），以及传统的数据局域网。DCE 技术将这三种网络实现在统一的传输平台上，即 DCE 将使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。XXX 公司业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统数据网络的双网合一，使用 DCE 技术实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是 Fiber Channel

22、 Over Ethernet 技术（FCoE），它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见 FCoE 的相关 Web Sites。 ( )本次数据中心建设将做好 FCoE 的基础设施准备，并将在下一阶段完成基于FCoE 技术的双网融合。2.1.2 无丢弃以太网技术无丢弃以太网技术为保证一体化交换的实现，DCE 改变了传统以太网无连接、无保障的 Best Effort传输行为，即保证主机在通过以太网进行磁盘读写等操作

23、、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”以太网目标。DCE 在网络中以硬件及软件的形式实现了以下技术：基于优先级类别的流控基于优先级类别的流控(Priority(Priority FlowFlow Control)Control)通过基于 IEEE 802.1p 类别通道的 PAUSE 功能来提供基于数据流类别的流量控制带宽管理带宽管理IEEE 802.1Qaz 标准定义基于 IEEE 802.1p 流量类别的带宽管理以及这些流量的优先级别定义拥塞管理拥塞管理IEEE 802.1Qau 标准定义如何管理网络中的拥塞(BCN/QCN)

24、基于优先级类别的流控基于优先级类别的流控在 DCE 的理念中是非常重要的一环，通过它和拥塞拥塞管理管理的相互合作，我们可以构造出“不丢包的以太网不丢包的以太网”架构；这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个 DCE 的数据平台。带宽管理带宽管理在以太网络中提供类似于类似帧中继(Frame Relay)的带宽控制能力，它可以确保一些重要的业务应用能获得必须的网络带宽；同时保证网络链路带宽利用的最大化。拥塞管理拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是

25、一个巨大的挑战；可以说在目前的所有非连接的网络中，这是一个崭新的应用；目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。2.1.3 性能支撑能力性能支撑能力为保证实现一体化交换和资源整合，DCE 还必须对传统以太网的性能和可扩展性的进行革新。首先为保证三网合一后的带宽资源，万兆以太网技术只是 DCE 核心层带宽的起点。而正在发展中的 40G/100G 以太网才是 DCE 技术将来的主流带宽。因此，要保证我们今天采购的设备能有 5 年以上的生命周期，就必须考虑硬件的可扩展能力。这也就是说从投资保护和工程维护的角度出发，我们需要一个我们需要一个 100G 平台的硬体

26、设备，平台的硬体设备，即每个设备的槽位至少要支持即每个设备的槽位至少要支持 100G 的流量（全双工每槽位的流量（全双工每槽位 200Gbps），），只有这样才能维持该设备 5 年的生命周期。同时从经济性的角度来考虑，如果能达到 400G 的平台是最理想的。另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，DCE 设备必须提供比传统以太网设备低几个数量级的端口间转发延迟。DCE 要求的核心层的三层转发延迟应可达到 30us 以下，接入层的二层转发延迟应可在 34us 以下。这都是传统以太网技术无法实现的性能指标要求。2.1.4 智能服务的整合能力智能服务的整合能力

27、众所周知，应用的复杂度是在不断的提升，同时伴随着网络的融合，应用对网络的交互可以预见的是网络的复杂度也将不断的提升。这也印证我们的判断：应用对网络的控制将逐步增强，网络同时也在为应用而优化。因此构建一个单业务的简单 L2 转发网络并不是网络设备的设计方向；全业务的全业务的设备和多业务融合的网络设备和多业务融合的网络才是我们所需要的环境。那么我们需要什么样的全业务呢，很明显 Data Center Ethernet 是一个必备的项目，同时我们至少还需要其它的基本业务属性来保障一个多业务网络的运行，如：服务质量保证QoS访问列表控制 ACL虚拟交换机的实现 Virtual Switch网络流量分析

28、 NetflowCPU 抗攻击保护CoPP远程无人值守管理 CMP嵌入式事件管理EEM当然，所有这些业务的实现都是在不影响转发性能的前提条件下的。失去这个大前提，多业务的实现就变得毫无意义。所以设计一个好的产品就必须顾全多业务、融合网络这个大前提多业务、融合网络这个大前提。如何使这些复杂的业务处理能够在高达 100G 甚至是 400G 的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术指标。最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台。2.2 虚拟化能力虚拟化能力DCE 对网络虚拟化不仅仅是传统意义上的 VLAN 和 VPN，为实现 SODC 的交互服务层资源调

29、度方式，DCE 还能够做到以下的虚拟化能力。2.2.1 虚拟交换技术虚拟交换技术虚拟交换技术可以实现当我们使用交换机资源时，我们可以不用关心交换服务的物理存在方式，它可能是由一台交换机提供，也可能是两台交换机设备，甚至可以是一个交换机中的几个虚拟交换机之一。思科的 DCE 技术就提供了将两个物理交换机虚拟为一台交换机的虚拟交换系统（VSS）技术，以及将一个交换机虚拟化为多个交换机的虚拟设备（VDC）技术。（一）虚拟交换系统（一）虚拟交换系统（VSS）VSS 技术可将网络的双核心虚拟化为单台设备，比如使用的 Cisco 6509 的 9 插槽设备将完全被虚拟化成为单台 18 槽机箱的虚拟交换机。

30、虚拟交换机性能倍增、管理复杂度反而减半。具体有如下优势：单一管理界面：单一管理界面：管理界面完全为单台设备管理方式，管理和维护工作量减轻一半；性能翻倍：性能翻倍：虚拟交换系统具备两台叠加的性能，与其它交换机通过跨物理机箱的双千兆以太网或双万兆以太网捆绑技术，远比依靠路由或生成树的负载均衡更均匀，带宽和核心吞吐量均做到真正的翻倍。协议简单：协议简单：虚拟交换系统与其它设备间的动态路由协议完全是单台设备与其它设备的协议关系，需维护的路由邻居关系数以二次方根下降，在本系统中可达 45 倍下降，工作量和部署难度大大降低；虚拟交换系统同时作为单台设备参与生成树计算关系，生成树计算和维护量以二次方根下降，

31、在本系统中可达 45 倍下降，工作量和部署难度大大降低。冗余可靠：冗余可靠：虚拟交换系统形成虚拟单机箱、物理双引擎的跨机箱冗余引擎系统，下连接入交换机原来需要用动态路由或生成树实现冗余切换的，在 VSS下全都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是引擎，冗余切换比传统方式更加迅捷平滑，保持上层业务稳定运行。以前两个单引擎机箱的其中一台更换引擎，一定会导致数据的丢失，而虚拟交换系统里任意一台更换引擎，数据可以保证 0 丢失。（二）虚拟设备系统（二）虚拟设备系统（VDC）VDC 技术则可以实现将一台交换机划分为多个虚拟的子交换机，每个交换机拥有独立的配置界面，独立的生成树、路由、SN

32、MP、VRRP 等协议进程，甚至独立的资源分配（内存、TCAM、转发表等等） 。它与 VSS 配合，将在实现更加灵活的、与物理设备无关的跨平台资源分配能力，为数据中心这种底层设施资源消耗型网络提供更经济高效的组网方式，也为管理和运营智能化自动化创造条件。物理设备虚拟成若干个逻辑上的独立设备的图示：2.2.2 网络服务虚拟化网络服务虚拟化在服务资源整合以及设备虚拟化的基础之上，DCE 要求每个虚拟化的网络应用区都有自己的业务服务设施，比如自己的防火墙、IDS、负载均衡器、SSL 加速、网络服务，这些如果都是物理上独占式分配的，将是高成本、低效率且难于维护管理的。DCE 网络在提供这些网络智能服务

33、时都可以以虚拟化的方式实现各类服务的资源调用，思科的 DCE 网络中就可以实现虚拟防火墙、虚拟 IDS、虚拟负载均衡器、虚拟SSL VPN 网络等等，从而实现网络智能服务的虚拟化。2.2.3 服务器虚拟化服务器虚拟化服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O 和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。当前商用化最为成功的服务器虚拟化解决方案是 VMWare 的 VMotion 系列，微软的 Virtual Server 和许多其它第三方厂商（如 Intel、AMD 等）也正在加入，使得服务器虚拟化的解决方案将越来越完善和普及。

34、然而人们越来越意识到服务器虚拟化的系统解决方案中除了应用、主机、操作系统的角色外，网络将是一个更为至关重要的角色。网络将把各个自由联系成为一个整体，网络将是实现自由虚拟化的桥梁。服务器虚拟化需要 DCE 能够提供以下能力：资源的整合：资源的整合：业务应用运行所依赖的物理计算环境都需要网络实现连接，然而在传统网络中，传输数据的数据网、互连 CPU 和内存的计算网、互连存储的存储网都是孤立的，这就无法真正实现与物理无关的服务器资源调度，因此实现真正意义上彻底的服务器虚拟化，前面提到的 DCE 三网一体化交换架构是必须的条件。网络的虚拟机意识：网络的虚拟机意识：传统网络是不具备虚拟机意识的，即在网络

35、上传递的信息是无法区别它是来自于哪个虚拟机，也无法在网络上根据虚拟机来提供相应的网络服务，当虚拟机迁移，也没有相应的网络跟踪手段保证服务的全局一致性。不过这些都是 DCE 正在解决的问题，一些 DCE 的领导厂商，比如思科，已经在推出的商用化 DCE 产品中提供了相应的虚拟机标识机制，并且思科已经联合 VMware 等厂商将这些协议提交 IEEE 实现标准化。虚拟机迁移的网络环境：虚拟机迁移的网络环境：服务器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的资源共享和复用的。虚拟机迁移需要一个二层环境，这导致迁移范围被局限在传统的 VLAN 内。我们知道 Web2.0、云计算等概念都需要无处不在

36、的数据中心，那么如何实现二层网络的跨地域延展呢？传统的 L2 MPLS技术太复杂，于是 IEEE 和 IETF 正在制定二层多路径（即二层延展）的新标准，DCE 的领导厂商思科公司也提出了一种新的协议标准 Cisco Over the Top Virtualization(OTV)来解决跨城域或广域网的二层延展性问题，从而为服务器虚拟化提供可扩展的网络支撑。2.3 自动化自动化自动化是 SODC 架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能

37、网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。现在商用的 DCE 自动化解决方案包括管理自动化和业务部署自动化。XXX 公司数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署，但需要在本期通过 DCE 技术的实施打下未来自动化部署的坚实基础。2.4 绿色数据中心绿色数据中心DCE 技术的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径，这本身也是绿色数据中心的必要条件。另外 DCE 产品必须在硬件实现上实现低功耗、高效率，包括利用最新半导体工艺（越小纳米的芯片要比大

38、纳米的芯片省电）降低逻辑电路的复杂度 （在接入层使用二层设备往往要比三层设备省电）减少通用集成电路的空转（使用定制化的专业设计的芯片往往比通用芯片省电）等等由此可见，对于一台网络设备，在业务能力相当的前提条件下，越小的功耗就代表越先进的技术。在 DCE 设备一般可以做到维持三层的全业务万兆吞吐功耗小于25W、二层的万兆吞吐功耗小于 13W。综上所述，在本次 XXX 公司新一代数据中心网络的建设中，将采用不同于传统以太网技术的 DCE 以太网技术，构建面向服务的高效能数据中心网络平台。第第 3 章章 XXX 公司数据中心网络设计公司数据中心网络设计3.1 总体网络结构总体网络结构本次 XXX 公

39、司数据中心网络的建设将采用新一代的 DCE 技术，并使用 DCE 技术的代表厂商 Cisco 公司的 Nexus 系列产品。网络结构将采用大型数据中心典型的层次化、模块化组网结构。3.1.1 层次化结构的优势层次化结构的优势采用层次化结构有如下好处：节约成本：园区网络意味着巨大的业务投资正确设计的园区网络可以提高业务效率和降低运营成本。便于扩展：一个模块化的或者层次化的网络由很多更加便于复制、改造和扩展的模块所构成，在添加或者移除一个模块时，并不需要重新设计整个网络。每个模块可以在不影响其他模块或者网络核心的情况下投入使用或者停止使用。加强故障隔离能力：通过将网络分为多个可管理的小型组件，企业

40、可以大幅度简化故障定位和排障处理时效。3.1.2 标准的网络分层结构标准的网络分层结构层次化结构包括三个功能部分，即接入层、分布层和核心层，各层次定位分别如下：核心层：是企业数据交换网络的骨干，本层的设计目的是实现快速的数据交换，并且提供高可靠性和快速的路由收敛。分布层：也称为汇聚层。主要汇聚来自接入层的流量和执行策略，当第三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。分布层还是网络智能服务的实施点，包括安全控制、应用优化等智能功能都在此实施。接入层：负责提供服务器、用户终端、存储设施等等的网络第一级接入功能，另外网络智能服务的初始分类，比如安全标识、QoS 分类将也是

41、这一层的基本功能。3.1.3 XXX 公司的网络结构公司的网络结构根据业界企业网络最佳设计实践参考，在边缘节点端口较少的小型网络中，可以考虑将核心层与分布层合并，小型网络的网络规模主要由接入层交换机决定。但对于XXX 公司而言，结合 XXX 公司的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性。所以 XXX公司企业内部核心网络层次结构必须具有以上严格清晰的划分，即具有清晰的核心层、会聚分布层、接入层等分层结构，才能保证网络的稳定性、健壮性和可扩展性，以适应业务的发展。XXX 公司的业务应用特点又决定了核心层将相对接入的网络模块较少，

42、只有楼层汇聚接入、数据中心汇聚接入、广域网接入等三块，如果采用单独的大容量物理核心设备将造成浪费，而如果采用低端核心设备则会对业务相对繁忙的数据中心汇聚形成瓶颈，也影响网络整体的稳定性。鉴于此，我们采用超大规模核心层设备 Cisco Nexus 7000 作为核心，但虚拟化为两套交换机，一套用于全网核心，一套用于数据中心汇聚。这样做的优势如下：逻辑上仍然是清晰的两套设备，完全保持了前述网络分层结构的优势。在性能上实现了网络核心和数据中心汇聚交换机资源的共享和复用，非常好的解决了核心层数据量和数据中心数据量可能存在较大差异的问题。以较低的投入升级了数据中心汇聚交换机的能力（相当于可以与核心层复用

43、4Tbps 以上的交换能力），适于下一阶段要进行的数据中心双网融合的资源需求。减少了设备数量，降低了设备投入成本、功耗开销和维护管理的复杂度。XXX 公司新一代数据中心整体网络结构如下图所示：3.2 全网核心层设计全网核心层设计本次我们采用能扩展到 15Tbps 以上的 Cisco Nexus 7000 系列大型 DCE 交换机，每台 Nexus7000 划分为两个 VDC（虚拟交换机），一个虚拟交换机作为 XXX 公司全网核心，另一个虚拟交换机作为数据中心的分布汇聚层交换机。我们选择的是 10 插槽 Nexus7010，以双机双冗余方式部署在网络核心。每台当前支持的最大交换容量为 4Tbps

44、，最大万兆端口容量为 256 个，每插槽交换能力为230Gbps（未来可扩展到 500Gbps 以上），可以在未来扩展 40G/100G 以太网。本次每台 N7010 实配 32 个万兆端口，48 个千兆端口，这些端口都可在物理上划分为属于全网核心的虚拟交换机和属于数据中心汇聚的虚拟交换机，每个虚拟交换机从软件进程到配置界面都各自独立，但可以共享和复用总的交换机资源。每个虚拟交换机都支持 vPC 技术（Virtual Port-Channel），即可以实现跨交换机的端口捆绑，这样在下级交换机上连属于不同机箱的虚拟交换机时，可以把分别连向不同机箱的万兆链路用与 IEEE 802.3ad 兼容的技

45、术实现以太网链路捆绑，提高冗余能力和链路互连带宽的同时，大大简化网络维护。核心层虚拟交换机与其它设备互连都采用路由端口和三层交换方式，因此采用vPC 进行链路捆绑时使用三层端口链路捆绑技术。如图所示：3.3 数据中心分布层设计数据中心分布层设计3.3.1 数据中心分布层虚拟交换机数据中心分布层虚拟交换机数据中心的分布汇聚层交换机是采用上述 Nexus 7010 内单独划分处理的虚拟交换机实现。虚拟交换机之间通过外部互连，并同样采用 vPC 的三层端口链路捆绑技术。分布汇聚层虚拟交换机与下面的接入层采用二层端口的 vPC 跨机箱捆绑技术互连，如下图所示。3.3.2 数据中心分布层智能服务机箱数据

46、中心分布层智能服务机箱数据中心的网络智能服务由设计在分布层的智能服务机箱提供（Multi-Services Chassis）。单独的服务机箱可以不破坏高性能的一体化交换架构形成的数据中心主干，有选择的对三网合一的数据中心流量提供按需的网络智能服务。比如本地存储流量没有必要在传输过程中经过数据应用类防火墙的检查（存储网内有自己的安全访问控制机制），这样的设计比较容易实现类似的 FCoE 流量的无干扰直达。智能服务机箱采用 Cisco Catalyst 6500 交换机，配置 720G 引擎和 18 个万兆端口，内置防火墙模块（FWSM）、应用控制模块（ACE）， 提供应用级安全访问控制和应用优化

47、、负载均衡功能。智能服务机箱采用双机冗余结构，利用 Catalyst 6500 的 VSS 虚拟交换机功能，两个独立的机箱完全可以看成为一个逻辑机箱，再通过共 4 个万兆上连至 2 个 N7000上的分布汇聚层虚拟交换机上。VSS 技术形成了一个具有 1.44Tbps 能力的智能服务机箱，再通过 N7000 的 vPC 技术，则形成了智能服务机箱和 N7000 之间全双工高达80Gbps 的互连带宽。由于 N7000 和 6500VSS 上都预留了足够的万兆端口，这个捆绑带宽值根据未来智能服务处理性能的需要还可以成倍的平滑升级。物理和逻辑的连接示意图如下面所示。 物理结构图 逻辑结构图在一期实

48、施中，智能服务机箱内智能服务器硬件模块的部署密度不高每个机箱内防火墙模块、负载均衡模块各一块，这样每个机箱内使用引擎加速技术的防火墙模块最大迸发吞吐量 32Gbps，负载均衡模块最大四层吞吐能力 16Gbps（而且不是所有都需要负载均衡），完全满足当前业务需求，因此可以在实施中简化配置，改双机箱 VSS 结构为一主一备机箱方式，在以后随业务需求上涨，业务模块增多，再完善为双机箱负载均衡的 VSS 模式。由于服务机箱内的防火墙模块和应用控制优化模块都支持虚拟化技术，因此还可以利用智能服务虚拟化实现基于每个数据中心业务组的定制服务策略和功能，使每个业务应用使用所需资源时不必过度关注其物理存在方式，

49、从而实现与物理无关的跨平台智能服务调用（SODC 的交互服务调用），极大的提高资源利用效率，减少了物理设施维护的复杂度。这部分将在后面智能服务的详细设计中加以阐明。3.4 数据中心接入层设计数据中心接入层设计使用 Cisco Nexus 5000 和 2000 系列 DCE 接入交换机，可以实现数据中心接入层的分级设计。本次建议 XXX 公司使用的是具有将近 1.2Tbps 交换能力、初始配置有 40 个万兆以太网端口的 Nexus 5020 交换机，以及具备 48 个 10/100/1000M 以太网端口、4 个万兆上连端口的 Nexus 2148T。Nexus 2000 是 5000 系列

50、的交换矩阵延展器，通过部署在柜顶（Top of the Rack，ToR）的 2148T，可以将本地接入的高密度服务器上连到 5020，4 个上连万兆端口可以提供 48 个千兆端口中至少 40 个端口的全线性转发能力，通过连接多台 2148T，5020 可以将 1.2T 的惊人交换能力延展到多个机柜，实现高性能、高密度、低延迟的 DCE 服务器群接入能力。而且作为 5020 的延展设备，2148T 无需自身进行复杂配置，所有管理和配置都可在其上游的 5020 上完成，大大简化了多机柜、高密度服务器接入设备的管理复杂度。Nexus 5000 和 2000 都是按柜顶（Top of the Rac

51、k，ToR）交换机的尺寸设计，12U 的高度内紧凑的集成了高密度的 DCE 端口，但同时提供可热插拔的冗余风扇组和冗余电源系统，其可靠性远非其它传统以太网中固定接口小交换机所可比。Nexus 5000 是业界第一款商用化 FCoE 交换机，其所有万兆以太网端口都支持FCoE。同时 Nexus 5000 支持扩展 16 个 14G Fiber Channel 端口或 8 个 18G Fiber Channel 端口，完全支持 Fiber Channel SAN 交换机的完整功能特性。也即传统需要以太网卡、FC 存储卡（HBA）、InfiniBand 卡的主机，只需要一张 FCoE 的以太网卡（C

52、NA）就可以实现三种网络的接入，用户在操作系统上也可以看见虚拟化的以太网卡、HBA 卡和 InfiniBand 卡，而它们共享万兆的高带宽，Nexus 5000 还可通过 Fiber Channel 接口连接传统的 SAN 网络，实现 SAN/LAN 的整合，通过这种整合和虚拟化实现资源的自由调度和最大化利用，同时成倍减少的网卡数节约了功耗，提高了可靠性，降低了维护成本。XXX 公司的 20 个主机、服务器机柜将分为两列，每列选两个列中柜（Middle of the Row），柜内部署 Nexus 5020，而每列其它 8 个普通机柜在柜顶（ToR）放置Nexus 2148T。物理部署类似下图

53、所示：普通的机柜内放置千兆端口服务器，每机柜可容纳具有冗余网卡的千兆服务器高达 20 个。每列的两个列中柜（MoR）内可放置具备万兆以太网卡的高性能服务器、万兆 FCoE 卡的新型服务器、具备 Fiber Channel 卡（HBA）的服务器和 SAN 交换机，甚至将来可以扩展具备 FCoE 接口的盘阵。提供两种实际物理接线的方法：方法 1：交叉冗余链接每两个普通机柜的设备都与另一个机柜的 Nexus 2148T 冗余交叉上连，每个普通机柜柜顶（ToR）的 Nexus 2148T 又通过 4 个万兆交叉上连至本列的两个列中柜（MoR）内的 Nexus 5020，每列两个列中柜（MoR）内的 N

54、exus 5020 冗余互连，并且再交叉上连至 Nexus 7000 的虚拟交换机上。物理连接类似下图所示：方法 2：以 Nexus 5000 为单位的冗余和负载均衡这种方法保证对于每个 Nexus 2000 而言只连接一个 Nexus 5000，避免跨越Nexus 5000 的负载均衡，也即避免负载均衡时偶发的在两个 Nexus 5000 互连的链路上产生流量。这种方法的优点是负载均衡效果更好，避免两个 Nexus 5000 之间可能产生的拥塞（虽然可能性比较小），而且网络结构简单，易于管理。但缺点是冗余能力不如方法 1，由于方法 1 让每一个 Nexus 2000 交错连接，所以可以容忍2

55、000、5000 同时出现故障。由于 2000、5000 同出故障的概率极低，而方案 2 更容易实施，管理复杂度更小，所以一期施工推荐使用方法 2。在服务器的分配应尽量遵循相互业务紧密、访问量大或需要相互进行虚拟机迁移和调度的物理服务器应放置在同一柜列（Row）的原则，即共用一对 Nexus 5000。上图每个机柜的 20 台服务器可以完全实现双网卡的 Load Balance Teaming 方式下的线性网络接入，即每台服务器 2G 带宽（4G 吞吐量）的网络接入能力。在一期实施中，为简化服务器端设计，可以服务器网卡可以先采用 Active/Standby 的 Teaming方式。3.5 数

56、据中心地址路由设计数据中心地址路由设计3.5.1 核心层核心层XXX 公司数据中心核心层与分布汇聚层之间采用路由端口，实现三层交换，建议使用 OSPF 路由协议。3.5.2 分布汇聚层和接入层分布汇聚层和接入层分布汇聚层和接入层之间使用交换端口，实现二层交换。如前所述，当前的主流虚拟机软件，如 VMware、Virtual Server 等都需要在二层交换下实现虚拟机迁移，因此在数据中心接入层使用二层交换将方便虚拟机的迁移和调度。当前由于 Cisco 独特的 VSS 虚拟交换机技术和 vPC 跨设备端口捆绑技术的使用，可以实现在二层结构下完全没有环路，从根本上解决了生成树算法收敛慢、不稳定、故

57、障多的问题，也使得在一个数据中心内二层结构下的可扩展性与三层结构没有根本的区别。如下图所示，只要经过适当设计，本项目接入层的二层部分将没有环路，快速生成树算法将只用于在误操作等极端情况下的防范手段。当 IEEE 的改进生成树协议或者 IETF 的二层路由协议技术成熟，或者直接使用思科当前就可以提供的 OTV 技术，二层结构还可以扩展到城域和广域网中去，扩大服务器虚拟化的调度范围，向云计算的理想迈进。分布汇聚层的智能服务机箱相关的地址和逻辑设计将在后面专项的智能服务介绍中详细阐述。3.5.3 VLAN/VSAN 和地址规划和地址规划接入层内的 Nexus 5000 和 2000 将可以把主机服务

58、器和存储设备一并接入统一交换，其中数据网络部分实现传统的 VLAN 设计，而存储网络则支持 VSAN。在 DCE 的一体化交换架构下，数据网络部分的逻辑结构设计（地址和路由）与分层设计的传统网络完全兼容，因此用户现有的主机、服务器在割接到新数据中心时无需变更地址，实现平滑过度。第第 4 章章 应用服务控制与负载均衡设计应用服务控制与负载均衡设计4.1 功能介绍功能介绍4.1.1 基本功能基本功能本项目我们在数据中心的分布汇聚层的智能服务机箱内配置了 Cisco 应用控制模块 (Application Control Engine, ACE)，作为数据中心的重要网络智能服务，该模块可为后台应用服

59、务器提供高性能表现和最高级别的体系控制和安全保护。ACE 主要针对大型企业和电信用户的服务器集群环境，可以有效地对重要应用数据的传送进行优化和简化，同时具备良好的性价比。 ACE 提供了如下的性能和功能：ACE 提供四到七层数据包的内容交换和负载均衡功能，为服务器机群提供虚提供四到七层数据包的内容交换和负载均衡功能，为服务器机群提供虚拟地址和端口。拟地址和端口。ACE 在插入 Catalyst 6500 后，交换机上的所有端口即可成为四层交换端口。ACE 与 Catalyst 6509 数据总线和交换矩阵都有连接，最高带宽为 16Gbps,每秒连接数为 345000 个。ACE 不仅为服务器提

60、供负载均衡，还可为外部的防火墙、VPN 集中器等等网络服务设施提供负载均衡。ACE 具备资源分配和隔离功能，是服务器虚拟化的重要手段之一。具备资源分配和隔离功能，是服务器虚拟化的重要手段之一。在一个物理模块中，ACE 可以划分为多个独立的分区，每一个分区都可以分配给一个应用或者一个用户使用。另外，每一个分区都支持层次化的管理模式，提供了资源管理的灵活性和安全性。ACE 支持基于角色的访问控制(role-based access control), 所有的用户都被分配了相应的角色(role),每个角色在分区内被允许执行相关的命令集。例如系统管理员角色(system admin role)可以执行