大型云数据中心建设方案

1、 PAGE 122大型云数据中心建设方案目 录 TOC o 1-3 h z u HYPERLINK l _Toc517715389 第1章 总述 PAGEREF _Toc517715389 h 4 HYPERLINK l _Toc517715390 1.1 数据中心网络建设需求 PAGEREF _Toc517715390 h 4 HYPERLINK l _Toc517715391 1.1.1 传统架构存在的问题 PAGEREF _Toc517715391 h 4 HYPERLINK l _Toc517715392 1.1.2 数据中心目标架构 PAGEREF _Toc517715392 h 5

2、 HYPERLINK l _Toc517715393 1.2 数据中心设计目标 PAGEREF _Toc517715393 h 7 HYPERLINK l _Toc517715394 1.3 数据中心技术需求 PAGEREF _Toc517715394 h 7 HYPERLINK l _Toc517715395 1.3.1 整合能力 PAGEREF _Toc517715395 h 8 HYPERLINK l _Toc517715396 1.3.2 虚拟化能力 PAGEREF _Toc517715396 h 8 HYPERLINK l _Toc517715397 1.3.3 自动化能力 PAGE

3、REF _Toc517715397 h 9 HYPERLINK l _Toc517715398 1.3.4 绿色数据中心要求 PAGEREF _Toc517715398 h 9 HYPERLINK l _Toc517715399 第2章 数据中心技术实现 PAGEREF _Toc517715399 h 10 HYPERLINK l _Toc517715400 2.1 整合能力 PAGEREF _Toc517715400 h 10 HYPERLINK l _Toc517715401 2.1.1 一体化交换技术 PAGEREF _Toc517715401 h 10 HYPERLINK l _Toc

4、517715402 2.1.2 无丢弃以太网技术 PAGEREF _Toc517715402 h 11 HYPERLINK l _Toc517715403 2.1.3 性能支撑能力 PAGEREF _Toc517715403 h 12 HYPERLINK l _Toc517715404 2.1.4 智能服务的整合能力 PAGEREF _Toc517715404 h 13 HYPERLINK l _Toc517715405 2.2 虚拟化能力 PAGEREF _Toc517715405 h 14 HYPERLINK l _Toc517715406 2.2.1 虚拟交换技术 PAGEREF _To

5、c517715406 h 14 HYPERLINK l _Toc517715407 网络服务虚拟化 PAGEREF _Toc517715407 h 16 HYPERLINK l _Toc517715408 2.2.2 服务器虚拟化 PAGEREF _Toc517715408 h 17 HYPERLINK l _Toc517715409 2.3 自动化 PAGEREF _Toc517715409 h 18 HYPERLINK l _Toc517715410 2.4 绿色数据中心 PAGEREF _Toc517715410 h 18 HYPERLINK l _Toc517715411 第3章 数据

6、中心网络设计 PAGEREF _Toc517715411 h 20 HYPERLINK l _Toc517715412 3.1 总体网络结构 PAGEREF _Toc517715412 h 20 HYPERLINK l _Toc517715413 3.1.1 层次化结构的优势 PAGEREF _Toc517715413 h 20 HYPERLINK l _Toc517715414 3.1.2 标准的网络分层结构 PAGEREF _Toc517715414 h 20 HYPERLINK l _Toc517715415 3.1.3 的网络结构 PAGEREF _Toc517715415 h 21

7、HYPERLINK l _Toc517715416 3.2 全网核心层设计 PAGEREF _Toc517715416 h 23 HYPERLINK l _Toc517715417 3.3 数据中心分布层设计 PAGEREF _Toc517715417 h 24 HYPERLINK l _Toc517715418 3.3.1 数据中心分布层虚拟交换机 PAGEREF _Toc517715418 h 24 HYPERLINK l _Toc517715419 3.3.2 数据中心分布层智能服务机箱 PAGEREF _Toc517715419 h 25 HYPERLINK l _Toc5177154

8、20 3.4 数据中心接入层设计 PAGEREF _Toc517715420 h 26 HYPERLINK l _Toc517715421 3.5 数据中心地址路由设计 PAGEREF _Toc517715421 h 30 HYPERLINK l _Toc517715422 3.5.1 核心层 PAGEREF _Toc517715422 h 30 HYPERLINK l _Toc517715423 3.5.2 分布汇聚层和接入层 PAGEREF _Toc517715423 h 30 HYPERLINK l _Toc517715424 3.5.3 VLAN/VSAN和地址规划 PAGEREF _

9、Toc517715424 h 31 HYPERLINK l _Toc517715425 第4章 应用服务控制与负载均衡设计 PAGEREF _Toc517715425 h 32 HYPERLINK l _Toc517715426 4.1 功能介绍 PAGEREF _Toc517715426 h 32 HYPERLINK l _Toc517715427 4.1.1 基本功能 PAGEREF _Toc517715427 h 32 HYPERLINK l _Toc517715428 4.1.2 应用特点 PAGEREF _Toc517715428 h 33 HYPERLINK l _Toc51771

10、5429 4.2 数据中心的应用情况 PAGEREF _Toc517715429 h 38 HYPERLINK l _Toc517715430 4.2.1 XXXX应用1 PAGEREF _Toc517715430 h 38 HYPERLINK l _Toc517715431 4.2.2 XXXX应用n PAGEREF _Toc517715431 h 39 HYPERLINK l _Toc517715432 4.3 应用优化和负载均衡需求 PAGEREF _Toc517715432 h 39 HYPERLINK l _Toc517715433 4.3.1 XXXX应用的负载均衡要求 PAGER

11、EF _Toc517715433 h 39 HYPERLINK l _Toc517715434 4.3.2 开放式系统应用的负载均衡要求 PAGEREF _Toc517715434 h 40 HYPERLINK l _Toc517715435 4.4 应用优化和负载均衡设计 PAGEREF _Toc517715435 h 41 HYPERLINK l _Toc517715436 4.4.1 智能服务机箱设计 PAGEREF _Toc517715436 h 41 HYPERLINK l _Toc517715437 4.4.2 应用负载均衡的设计 PAGEREF _Toc517715437 h 4

12、3 HYPERLINK l _Toc517715438 4.4.3 地址和路由 PAGEREF _Toc517715438 h 47 HYPERLINK l _Toc517715439 4.4.4 安全功能的设计 PAGEREF _Toc517715439 h 50 HYPERLINK l _Toc517715440 4.4.5 SSL分流设计 PAGEREF _Toc517715440 h 52 HYPERLINK l _Toc517715441 4.4.6 扩展性设计 PAGEREF _Toc517715441 h 53 HYPERLINK l _Toc517715442 4.4.7 高可

13、用性设计 PAGEREF _Toc517715442 h 54 HYPERLINK l _Toc517715443 第5章 网络安全设计 PAGEREF _Toc517715443 h 59 HYPERLINK l _Toc517715444 5.1 网络安全部署思路 PAGEREF _Toc517715444 h 59 HYPERLINK l _Toc517715445 5.1.1 网络安全整体架构 PAGEREF _Toc517715445 h 59 HYPERLINK l _Toc517715446 5.1.2 网络平台建设所必须考虑的安全问题 PAGEREF _Toc517715446

14、 h 61 HYPERLINK l _Toc517715447 5.2 网络设备级安全 PAGEREF _Toc517715447 h 61 HYPERLINK l _Toc517715448 5.2.1 防蠕虫病毒的等Dos攻击 PAGEREF _Toc517715448 h 61 HYPERLINK l _Toc517715449 5.2.2 防VLAN的脆弱性配置 PAGEREF _Toc517715449 h 63 HYPERLINK l _Toc517715450 5.2.3 防止DHCP相关攻击 PAGEREF _Toc517715450 h 64 HYPERLINK l _Toc

15、517715451 5.3 网络级安全 PAGEREF _Toc517715451 h 65 HYPERLINK l _Toc517715452 5.3.1 安全域的划分 PAGEREF _Toc517715452 h 65 HYPERLINK l _Toc517715453 5.3.2 防火墙部署设计 PAGEREF _Toc517715453 h 66 HYPERLINK l _Toc517715454 5.3.3 防火墙策略设计 PAGEREF _Toc517715454 h 67 HYPERLINK l _Toc517715455 5.3.4 防火墙性能和扩展性设计 PAGEREF _

16、Toc517715455 h 68 HYPERLINK l _Toc517715456 5.4 网络的智能主动防御 PAGEREF _Toc517715456 h 70 HYPERLINK l _Toc517715457 5.4.1 网络准入控制 PAGEREF _Toc517715457 h 70 HYPERLINK l _Toc517715458 5.4.2 桌面安全管理 PAGEREF _Toc517715458 h 72 HYPERLINK l _Toc517715459 5.4.3 智能的监控、分析和威胁响应系统 PAGEREF _Toc517715459 h 74 HYPERLIN

17、K l _Toc517715460 5.4.4 分布式威胁抑制系统 PAGEREF _Toc517715460 h 78 HYPERLINK l _Toc517715461 第6章 服务质量保证设计 PAGEREF _Toc517715461 h 81 HYPERLINK l _Toc517715462 6.1 服务质量保证设计分类 PAGEREF _Toc517715462 h 81 HYPERLINK l _Toc517715463 6.2 数据中心服务质量设计 PAGEREF _Toc517715463 h 81 HYPERLINK l _Toc517715464 6.2.1 带宽及设备

18、吞吐量设计 PAGEREF _Toc517715464 h 81 HYPERLINK l _Toc517715465 6.2.2 低延迟设计 PAGEREF _Toc517715465 h 84 HYPERLINK l _Toc517715466 6.2.3 无丢弃设计 PAGEREF _Toc517715466 h 85 HYPERLINK l _Toc517715467 6.3 非数据中心网络的服务质量设计 PAGEREF _Toc517715467 h 87 HYPERLINK l _Toc517715468 6.3.1 QoS实施方案 PAGEREF _Toc517715468 h 8

19、9 HYPERLINK l _Toc517715469 6.3.2 分析业务需求 PAGEREF _Toc517715469 h 89 HYPERLINK l _Toc517715470 6.3.3 QoS策略的制定和部署 PAGEREF _Toc517715470 h 91 HYPERLINK l _Toc517715471 6.3.4 评测和调整 PAGEREF _Toc517715471 h 97 HYPERLINK l _Toc517715472 6.4 QOS策略管理 PAGEREF _Toc517715472 h 98 HYPERLINK l _Toc517715473 6.4.1

20、 QoS自动配置 PAGEREF _Toc517715473 h 98 HYPERLINK l _Toc517715474 6.4.2 QoS策略管理器解决方案 PAGEREF _Toc517715474 h 98 HYPERLINK l _Toc517715475 第7章 网络管理和业务调度自动化 PAGEREF _Toc517715475 h 102 HYPERLINK l _Toc517715476 7.1 MARS安全管理自动化 PAGEREF _Toc517715476 h 102 HYPERLINK l _Toc517715477 7.2 VFrame业务部署自动化 PAGEREF

21、 _Toc517715477 h 102 HYPERLINK l _Toc517715478 第8章 两种数据中心技术方案的综合对比 PAGEREF _Toc517715478 h 104 HYPERLINK l _Toc517715479 8.1 技术方案对比 PAGEREF _Toc517715479 h 104 HYPERLINK l _Toc517715480 8.1.1 传统技术领域对比 PAGEREF _Toc517715480 h 104 HYPERLINK l _Toc517715481 8.1.2 下一代数据中心技术能力比较 PAGEREF _Toc517715481 h 1

22、05 HYPERLINK l _Toc517715482 8.2 技术服务对比 PAGEREF _Toc517715482 h 107 HYPERLINK l _Toc517715483 8.3 商务对比 PAGEREF _Toc517715483 h 108 HYPERLINK l _Toc517715484 8.4 总结 PAGEREF _Toc517715484 h 109 HYPERLINK l _Toc517715485 第9章 数据中心网络割接方案 PAGEREF _Toc517715485 h 110 HYPERLINK l _Toc517715486 第10章 附录：新一代数据

23、中心产品介绍 PAGEREF _Toc517715486 h 111 HYPERLINK l _Toc517715487 10.1 Cisco Nexus 7000 系列10插槽交换机介绍 PAGEREF _Toc517715487 h 111 HYPERLINK l _Toc517715488 10.2 Cisco Nexus 5000 / 2000系列交换机介绍 PAGEREF _Toc517715488 h 112 HYPERLINK l _Toc517715489 10.3 Cisco NX-OS 数据中心级操作系统简介 PAGEREF _Toc517715489 h 114 总述为进

24、一步推进信息化建设，以信息化推动股份有限公司业务工作的改革与发展，需要在新建的办公大楼内建设的新一代绿色高效能数据中心网络。 数据中心网络建设需求传统架构存在的问题现有数据中心网络采用传统以太网技术构建，随着各类业务应用对IT需求的深入发展，业务部门对资源的需求正以几何级数增长，传统的IT基础架构方式给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题：维护管理难：在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不同领域、不同服务方向，工作繁琐、维护困难，而且容易出现漏洞和差错。比如数据中心新增

25、加一个业务类型，需要调整新的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、还是需要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应的接口，如何跳线，以及随之而来的VLAN、路由等等，如果网络中还有诸如地址转换、7层交换等等服务与之相关联，那将是非常繁杂的任务。当这样的IT资源需求在短期内累积，将极易在使得系统维护的质量和稳定性下降，同时反过来减慢新业务的部署，进而阻碍公司业务的推进和发展。资源利用率低：传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比发展，最普遍的现象就是忙的设备不堪重负

26、，闲的设备资源储备过多，二者相互之间又无法借用和共用。这是由于对底层网络建设是以功能单元为中心进行建设的，并不考虑上层业务对底层资源调用的优化，这使得对网络的投入往往无法取得同样的业务应用效果的改善，反而浪费了较多的资源和维护成本。服务策略不一致：传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法真正从整个系统角度制订统一的服务策略，比如安全策略、高可用性策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提供强大的服务支撑。因此，按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求，本次数据中心建设必须从根本上改变传

27、统思路，遵照一种崭新的体系结构思路来构造新的数据中心IT基础架构。 数据中心目标架构面向服务的设计思想已经成为Web2.0下解决来自业务变更、业务急剧发展所带来的资源和成本压力的最佳途径。从业务层面上主流的IT厂商如IBM、BEA等就提出了摒弃传统的“面向组件（Component）”的开发方式，而转向“面向服务”的开发方式，即应用软件应当看起来是由相互独立、松耦合的服务构成，而不是对接口要求严格、变更复杂、复用性差的紧耦合组件构成，这样可以以最小的变动、最佳的需求沟通方式来适应不断变化的业务需求增长。鉴于此，数据中心业务应用正在朝“面向服务的架构Service Oriented Archite

28、cture（SOA）”转型。与业务的SOA相适应，提出支撑业务运行的底层基础设施也应当向“面向服务”的设计思想转变，构造“面向服务的数据中心”（Service Oriented Data Center，SODC）。传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。SODC就是要求当SOA架构下业务的变更，导致软件部分的服务模块的组合变化时，

29、松耦合的网络服务也能根据应用的变化自动实现重组以适配业务变更所带来的资源要求的变化，而尽可能少的减少复杂硬件的相关性，从运行维护、资源复用效率和策略一致性上彻底解决传统设计带来的顽疾。具体而言SODC应形成这样的资源调用方式：底层资源对于上层应用就象由服务构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现，管理员和业务用户不需要或几乎可以看不见物理设备的相互架构关系以及具体存在方式。SODC的框架原型应如下所示：在图中，隔在物理架构和用户之间的“交互服务层”实现了向上提供服务、向下屏蔽复杂的物理结构的作用，使得网络使用者看到的网络不是由复杂的基础物理功能实体构成的，而是一个个

30、智能服务安全服务、移动服务、计算服务、存储服务等等，至于这些服务是由哪些实际存在的物理资源所提供，管理员和上层业务都无需关心，交互服务层解决了一切资源的调度和高效复用问题。SODC和SOA构成的数据中心IT架构必将是整个数据中心未来发展的趋势，虽然实现真正理想的SODC和SOA融合的架构将是一个长期的历程，但在向该融合框架迈进的每一步实际上都将会形成对网络灵活性、网络维护、资源利用效率、投资效益等等方面的巨大改善。因此本次数据中心的网络建设，要求尽可能的遵循如上所述的新一代面向服务的数据中心设计框架。 数据中心设计目标在基于SODC的设计框架下，新一代数据中心应实现如下设计目标：简化管理：使上

31、层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。高效复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，提高使用效率。即能够实现总硬件资源占用量降低了，而每个业务得到的服务反而更有充分的资源保证了。策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象的服务，每一个被充分抽象的服务都按找上层调用的目标进行统一的规范和策略化，这样整个IT将可以达到理想的服务规则和策略的一致性。 数据中心技术需求SODC架构是一种资源调度的全新方式，资源被调用方式是面向服务而非象以前一样面向复杂的物理底层

32、设施进行设计的，而其中交互服务层是基于服务调用的关键环节。交互服务层的形成是由网络智能化进一步发展而实现的，它是底层的物理网络通过其内在的智能服务功能，使得其上的业务层面看不到底层复杂的结构，不用关心资源的物理调度，从而最大化的实现资源的共享和复用。要形成SODC要求的交互服务层，必须对网络提出以下要求：整合能力SODC要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务能看到底层网络提供各类SODC服务的基础。整合的概念不是简单的功能增多，虽然整合化的一个体现是很多独立设备的功能被以特殊硬件的方式整合到网络设备中，但其真正的核心思想是将资源尽可能集中化以便于跨平台的调用，而物理存

33、在方式则可自由的根据需要而定。数据中心网络所必须提供的资源包括：智能业务网络所必须的智能功能，比如服务质量保证、安全访问控制、设备智能管理等等；数据中心的三大资源网络：高性能计算网络；存储交换网络；数据应用网络。这两类资源的整合将是检验新一代数据中心网络SODC能力的重要标准。虚拟化能力虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关的方式进行调用，是从物理资源到服务形态的质变过程。虚拟化是实现物理资源复用、降低管理维护复杂度、提高设备利用率的关键，同时也是为未来自动实现资源协调和配置打下基础。新一代数据中心网络要求能够提供多种方式的虚拟化能力，不仅仅是传统的网络虚拟化（

34、比如VLAN、VPN等），还必须做到：交换虚拟化智能服务虚拟化服务器虚拟化自动化能力自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。这部分需要做到两方面的自动化：网络管理的自动化业务部署的自动化绿色数据中心要求当前的能源日趋紧张，能源的价格也飞扬直上；绿地（Green Field）是我们每个人都关心的议题。如何最大限度的利用能源、降低功耗，以

35、最有效率方式实现高性能、高稳定性的服务是新一代的数据中心必须考虑的问题。 数据中心技术实现 根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以太网技术进行革新，数据中心级以太网（Data Center Ethernet，简称DCE）技术由此诞生。DCE之前也被一些厂商称为汇聚型增强以太网技术（Converged Enhanced Ethernet，简称CEE），是兼容传统以太网协议并按新一代数据中心的传输要求，对其进行全面革新的一系列标准和技术的总称。因此，为达到的新一代数据中心的建设目标，必须摒弃传统以太网技术，而采用新一代的DCE（CEE）技术进行组网。具体而言，本次数

36、据中心所采用的DCE技术，可以达到以下的技术目标。 整合能力一体化交换技术DCE技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向服务的数据中心SODC的最终目标。在传统数据中心中存在三种网络：使用光纤存储交换机的存储交换网络（Fiber Channel SAN），便于实现CPU、内存资源并行化处理的高性能计算网络（多采用高带宽低延迟的InfiniBand技术），以及传统的数据局域网。DCE技术将这三种网络实现在统一的传输平台上，即DCE将使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化

37、服务，提高投资的有效性，同时还降低了管理成本。业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统数据网络的双网合一，使用DCE技术实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是Fiber Channel Over Ethernet技术（FCoE），它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见 FCoE 的相关Web Sites。 ( HYPERLINK HYPERLINK

38、/fcoe /fcoe )本次数据中心建设将做好FCoE的基础设施准备，并将在下一阶段完成基于FCoE技术的双网融合。 无丢弃以太网技术为保证一体化交换的实现，DCE改变了传统以太网无连接、无保障的Best Effort传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”以太网目标。DCE在网络中以硬件及软件的形式实现了以下技术：基于优先级类别的流控(Priority Flow Control)通过基于IEEE 802.1p类别通道的PAUSE功能来提供基于数据流类别的流量控制带宽管理IEEE

39、802.1Qaz 标准定义基于IEEE 802.1p 流量类别的带宽管理以及这些流量的优先级别定义拥塞管理IEEE 802.1Qau 标准定义如何管理网络中的拥塞(BCN/QCN)基于优先级类别的流控在DCE 的理念中是非常重要的一环，通过它和拥塞管理的相互合作，我们可以构造出“不丢包的以太网”架构；这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCE的数据平台。带宽管理在以太网络中提供类似于类似帧中继(Frame Relay)的带宽控制能力，它可以确保一些重要的业务应用能获得必须的网络带

40、宽；同时保证网络链路带宽利用的最大化。拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是一个巨大的挑战；可以说在目前的所有非连接的网络中，这是一个崭新的应用；目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。 性能支撑能力为保证实现一体化交换和资源整合，DCE还必须对传统以太网的性能和可扩展性的进行革新。首先为保证三网合一后的带宽资源，万兆以太网技术只是DCE核心层带宽的起点。而正在发展中的40G/100G以太网才是DCE技术将来的主流带宽。因此，要保证我们今天采购的设备能有5年以上的生命周期，就必须考虑硬件的可扩展能力。这也就是说从

41、投资保护和工程维护的角度出发，我们需要一个100G平台的硬体设备，即每个设备的槽位至少要支持100G的流量（全双工每槽位200Gbps），只有这样才能维持该设备5年的生命周期。同时从经济性的角度来考虑，如果能达到400G的平台是最理想的。另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，DCE设备必须提供比传统以太网设备低几个数量级的端口间转发延迟。DCE要求的核心层的三层转发延迟应可达到30us以下，接入层的二层转发延迟应可在34us以下。这都是传统以太网技术无法实现的性能指标要求。智能服务的整合能力众所周知，应用的复杂度是在不断的提升，同时伴随着网络的融合，应

42、用对网络的交互可以预见的是网络的复杂度也将不断的提升。这也印证我们的判断：应用对网络的控制将逐步增强，网络同时也在为应用而优化。因此构建一个单业务的简单L2转发网络并不是网络设备的设计方向；全业务的设备和多业务融合的网络才是我们所需要的环境。那么我们需要什么样的全业务呢，很明显Data Center Ethernet 是一个必备的项目，同时我们至少还需要其它的基本业务属性来保障一个多业务网络的运行，如：服务质量保证QoS访问列表控制 ACL虚拟交换机的实现 Virtual Switch网络流量分析 NetflowCPU抗攻击保护CoPP远程无人值守管理CMP嵌入式事件管理EEM当然，所有这些业

43、务的实现都是在不影响转发性能的前提条件下的。失去这个大前提，多业务的实现就变得毫无意义。所以设计一个好的产品就必须顾全多业务、融合网络这个大前提。如何使这些复杂的业务处理能够在高达100G甚至是400G的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术指标。最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台。 虚拟化能力DCE对网络虚拟化不仅仅是传统意义上的VLAN和VPN，为实现SODC的交互服务层资源调度方式，DCE还能够做到以下的虚拟化能力。虚拟交换技术虚拟交换技术可以实现当我们使用交换机资源时，我们可以不用关心交换服务的物理存在方式，它可能是由一台交换机提供，

44、也可能是两台交换机设备，甚至可以是一个交换机中的几个虚拟交换机之一。思科的DCE技术就提供了将两个物理交换机虚拟为一台交换机的虚拟交换系统（VSS）技术，以及将一个交换机虚拟化为多个交换机的虚拟设备（VDC）技术。（一）虚拟交换系统（VSS）VSS技术可将网络的双核心虚拟化为单台设备，比如使用的Cisco 6509的9插槽设备将完全被虚拟化成为单台18槽机箱的虚拟交换机。虚拟交换机性能倍增、管理复杂度反而减半。具体有如下优势：单一管理界面：管理界面完全为单台设备管理方式，管理和维护工作量减轻一半；性能翻倍：虚拟交换系统具备两台叠加的性能，与其它交换机通过跨物理机箱的双千兆以太网或双万兆以太网捆

45、绑技术，远比依靠路由或生成树的负载均衡更均匀，带宽和核心吞吐量均做到真正的翻倍。协议简单：虚拟交换系统与其它设备间的动态路由协议完全是单台设备与其它设备的协议关系，需维护的路由邻居关系数以二次方根下降，在本系统中可达45倍下降，工作量和部署难度大大降低；虚拟交换系统同时作为单台设备参与生成树计算关系，生成树计算和维护量以二次方根下降，在本系统中可达45倍下降，工作量和部署难度大大降低。冗余可靠：虚拟交换系统形成虚拟单机箱、物理双引擎的跨机箱冗余引擎系统，下连接入交换机原来需要用动态路由或生成树实现冗余切换的，在VSS下全都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是引擎，冗余切换比传

46、统方式更加迅捷平滑，保持上层业务稳定运行。以前两个单引擎机箱的其中一台更换引擎，一定会导致数据的丢失，而虚拟交换系统里任意一台更换引擎，数据可以保证0丢失。（二）虚拟设备系统（VDC）VDC技术则可以实现将一台交换机划分为多个虚拟的子交换机，每个交换机拥有独立的配置界面，独立的生成树、路由、SNMP、VRRP等协议进程，甚至独立的资源分配（内存、TCAM、转发表等等）。它与VSS配合，将在实现更加灵活的、与物理设备无关的跨平台资源分配能力，为数据中心这种底层设施资源消耗型网络提供更经济高效的组网方式，也为管理和运营智能化自动化创造条件。物理设备虚拟成若干个逻辑上的独立设备的图示：网络服务虚拟化

47、在服务资源整合以及设备虚拟化的基础之上，DCE要求每个虚拟化的网络应用区都有自己的业务服务设施，比如自己的防火墙、IDS、负载均衡器、SSL加速、网络服务，这些如果都是物理上独占式分配的，将是高成本、低效率且难于维护管理的。DCE网络在提供这些网络智能服务时都可以以虚拟化的方式实现各类服务的资源调用，思科的DCE网络中就可以实现虚拟防火墙、虚拟IDS、虚拟负载均衡器、虚拟SSL VPN网络等等，从而实现网络智能服务的虚拟化。服务器虚拟化服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。当前商用

48、化最为成功的服务器虚拟化解决方案是VMWare的VMotion系列，微软的Virtual Server和许多其它第三方厂商（如Intel、AMD等）也正在加入，使得服务器虚拟化的解决方案将越来越完善和普及。然而人们越来越意识到服务器虚拟化的系统解决方案中除了应用、主机、操作系统的角色外，网络将是一个更为至关重要的角色。网络将把各个自由联系成为一个整体，网络将是实现自由虚拟化的桥梁。服务器虚拟化需要DCE能够提供以下能力：资源的整合：业务应用运行所依赖的物理计算环境都需要网络实现连接，然而在传统网络中，传输数据的数据网、互连CPU和内存的计算网、互连存储的存储网都是孤立的，这就无法真正实现与物理

49、无关的服务器资源调度，因此实现真正意义上彻底的服务器虚拟化，前面提到的DCE三网一体化交换架构是必须的条件。网络的虚拟机意识：传统网络是不具备虚拟机意识的，即在网络上传递的信息是无法区别它是来自于哪个虚拟机，也无法在网络上根据虚拟机来提供相应的网络服务，当虚拟机迁移，也没有相应的网络跟踪手段保证服务的全局一致性。不过这些都是DCE正在解决的问题，一些DCE的领导厂商，比如思科，已经在推出的商用化DCE产品中提供了相应的虚拟机标识机制，并且思科已经联合VMware等厂商将这些协议提交IEEE实现标准化。虚拟机迁移的网络环境：服务器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的资源共享和复用的。

50、虚拟机迁移需要一个二层环境，这导致迁移范围被局限在传统的VLAN内。我们知道Web2.0、云计算等概念都需要无处不在的数据中心，那么如何实现二层网络的跨地域延展呢？传统的L2 MPLS技术太复杂，于是IEEE和IETF正在制定二层多路径（即二层延展）的新标准，DCE的领导厂商思科公司也提出了一种新的协议标准Cisco Over the Top Virtualization(OTV)来解决跨城域或广域网的二层延展性问题，从而为服务器虚拟化提供可扩展的网络支撑。 自动化自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚

51、拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。现在商用的DCE自动化解决方案包括管理自动化和业务部署自动化。数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署，但需要在本期通过DCE技术的实施打下未来自动化部署的坚实基础。 绿色数据中心DCE技术的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径，这本身也是绿色数据中心的必要条件。另外DCE产品必须在硬件实现上实现低功耗、高效率，包

52、括利用最新半导体工艺（越小纳米的芯片要比大纳米的芯片省电）降低逻辑电路的复杂度 （在接入层使用二层设备往往要比三层设备省电）减少通用集成电路的空转（使用定制化的专业设计的芯片往往比通用芯片省电）等等由此可见，对于一台网络设备，在业务能力相当的前提条件下，越小的功耗就代表越先进的技术。在DCE设备一般可以做到维持三层的全业务万兆吞吐功耗小于25W、二层的万兆吞吐功耗小于13W。综上所述，在本次新一代数据中心网络的建设中，将采用不同于传统以太网技术的DCE以太网技术，构建面向服务的高效能数据中心网络平台。 数据中心网络设计 总体网络结构本次数据中心网络的建设将采用新一代的DCE技术，并使用DCE技

53、术的代表厂商Cisco公司的Nexus系列产品。网络结构将采用大型数据中心典型的层次化、模块化组网结构。层次化结构的优势采用层次化结构有如下好处：节约成本：园区网络意味着巨大的业务投资正确设计的园区网络可以提高业务效率和降低运营成本。便于扩展：一个模块化的或者层次化的网络由很多更加便于复制、改造和扩展的模块所构成，在添加或者移除一个模块时，并不需要重新设计整个网络。每个模块可以在不影响其他模块或者网络核心的情况下投入使用或者停止使用。加强故障隔离能力：通过将网络分为多个可管理的小型组件，企业可以大幅度简化故障定位和排障处理时效。标准的网络分层结构层次化结构包括三个功能部分，即接入层、分布层和核

54、心层，各层次定位分别如下：核心层：是企业数据交换网络的骨干，本层的设计目的是实现快速的数据交换，并且提供高可靠性和快速的路由收敛。分布层：也称为汇聚层。主要汇聚来自接入层的流量和执行策略，当第三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。分布层还是网络智能服务的实施点，包括安全控制、应用优化等智能功能都在此实施。接入层：负责提供服务器、用户终端、存储设施等等的网络第一级接入功能，另外网络智能服务的初始分类，比如安全标识、QoS分类将也是这一层的基本功能。的网络结构根据业界企业网络最佳设计实践参考，在边缘节点端口较少的小型网络中，可以考虑将核心层与分布层合并，小型网络的网

55、络规模主要由接入层交换机决定。但对于而言，结合的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性。所以企业内部核心网络层次结构必须具有以上严格清晰的划分，即具有清晰的核心层、会聚分布层、接入层等分层结构，才能保证网络的稳定性、健壮性和可扩展性，以适应业务的发展。的业务应用特点又决定了核心层将相对接入的网络模块较少，只有楼层汇聚接入、数据中心汇聚接入、广域网接入等三块，如果采用单独的大容量物理核心设备将造成浪费，而如果采用低端核心设备则会对业务相对繁忙的数据中心汇聚形成瓶颈，也影响网络整体的稳定性。鉴于此，我们采用超大规模核心层设备Ci

56、sco Nexus 7000作为核心，但虚拟化为两套交换机，一套用于全网核心，一套用于数据中心汇聚。这样做的优势如下：逻辑上仍然是清晰的两套设备，完全保持了前述网络分层结构的优势。在性能上实现了网络核心和数据中心汇聚交换机资源的共享和复用，非常好的解决了核心层数据量和数据中心数据量可能存在较大差异的问题。以较低的投入升级了数据中心汇聚交换机的能力（相当于可以与核心层复用4Tbps以上的交换能力），适于下一阶段要进行的数据中心双网融合的资源需求。减少了设备数量，降低了设备投入成本、功耗开销和维护管理的复杂度。新一代数据中心整体网络结构如下图所示： 全网核心层设计本次我们采用能扩展到15Tbps以

57、上的Cisco Nexus 7000系列大型DCE交换机，每台Nexus7000划分为两个VDC（虚拟交换机），一个虚拟交换机作为全网核心，另一个虚拟交换机作为数据中心的分布汇聚层交换机。我们选择的是10插槽Nexus7010，以双机双冗余方式部署在网络核心。每台当前支持的最大交换容量为4Tbps，最大万兆端口容量为256个，每插槽交换能力为230Gbps（未来可扩展到500Gbps以上），可以在未来扩展40G/100G以太网。本次每台N7010实配32个万兆端口，48个千兆端口，这些端口都可在物理上划分为属于全网核心的虚拟交换机和属于数据中心汇聚的虚拟交换机，每个虚拟交换机从软件进程到配置界

58、面都各自独立，但可以共享和复用总的交换机资源。每个虚拟交换机都支持vPC技术（Virtual Port-Channel），即可以实现跨交换机的端口捆绑，这样在下级交换机上连属于不同机箱的虚拟交换机时，可以把分别连向不同机箱的万兆链路用与IEEE 802.3ad兼容的技术实现以太网链路捆绑，提高冗余能力和链路互连带宽的同时，大大简化网络维护。核心层虚拟交换机与其它设备互连都采用路由端口和三层交换方式，因此采用vPC进行链路捆绑时使用三层端口链路捆绑技术。如图所示： 数据中心分布层设计数据中心分布层虚拟交换机数据中心的分布汇聚层交换机是采用上述Nexus 7010内单独划分处理的虚拟交换机实现。虚

59、拟交换机之间通过外部互连，并同样采用vPC的三层端口链路捆绑技术。分布汇聚层虚拟交换机与下面的接入层采用二层端口的vPC跨机箱捆绑技术互连，如下图所示。数据中心分布层智能服务机箱数据中心的网络智能服务由设计在分布层的智能服务机箱提供（Multi-Services Chassis）。单独的服务机箱可以不破坏高性能的一体化交换架构形成的数据中心主干，有选择的对三网合一的数据中心流量提供按需的网络智能服务。比如本地存储流量没有必要在传输过程中经过数据应用类防火墙的检查（存储网内有自己的安全访问控制机制），这样的设计比较容易实现类似的FCoE流量的无干扰直达。智能服务机箱采用Cisco Catalys

60、t 6500交换机，配置720G引擎和18个万兆端口，内置防火墙模块（FWSM）、应用控制模块（ACE）， 提供应用级安全访问控制和应用优化、负载均衡功能。智能服务机箱采用双机冗余结构，利用Catalyst 6500的VSS虚拟交换机功能，两个独立的机箱完全可以看成为一个逻辑机箱，再通过共4个万兆上连至2个N7000上的分布汇聚层虚拟交换机上。VSS技术形成了一个具有1.44Tbps能力的智能服务机箱，再通过N7000的vPC技术，则形成了智能服务机箱和N7000之间全双工高达80Gbps的互连带宽。由于N7000和6500VSS上都预留了足够的万兆端口，这个捆绑带宽值根据未来智能服务处理性能