大型企业数据中心建设方案

目录第1章总述41.1XXX公司数据中心网络建设需求4传统架构存在的问题4XXX公司数据中心目标架构51.2XXX公司数据中心设计目标61.3XXX公司数据中心技术需求7整合能力7虚拟化能力7自动化能力8绿色数据中心要求8第2章XXX公司数据中心技术实现92.1整合能力9一体化交换技术9无丢弃以太网技术10性能支撑能力11智能效劳的整合能力112.2虚拟化能力12虚拟交换技术12网络效劳虚拟化14效劳器虚拟化142.3自动化152.4绿色数据中心16第3章XXX公司数据中心网络设计173.1总体网络结构17层次化结构的优势17标准的网络分层结构17XXX公司的网络结构183.2全网核心层设计193.3数据中心分布层设计20数据中心分布层虚拟交换机20数据中心分布层智能效劳机箱203.4数据中心接入层设计223.5数据中心地址路由设计25核心层25分布会聚层和接入层253.5.3VLAN/VSAN和地址规划26第4章应用效劳控制与负载均衡设计274.1功能介绍27根本功能27应用特点284.2数据中心的应用情况324.2.1XXXX应用1324.2.2XXXX应用n334.3应用优化和负载均衡需求334.3.1XXXX应用的负载均衡要求33开放式系统应用的负载均衡要求344.4应用优化和负载均衡设计34智能效劳机箱设计34应用负载均衡的设计37地址和路由40平安功能的设计434.4.5SSL分流设计44扩展性设计45高可用性设计46第5章网络平安设计495.1网络平安部署思路49网络平安整体架构49网络平台建设所必须考虑的平安问题505.2网络设备级平安51防蠕虫病毒的等Dos攻击51防VLAN的脆弱性配置52防止DHCP相关攻击535.3网络级平安53平安域的划分54防火墙部署设计54防火墙策略设计56防火墙性能和扩展性设计565.4网络的智能主动防御57网络准入控制58桌面平安管理59智能的监控、分析和威胁响应系统61分布式威胁抑制系统64第6章效劳质量保证设计676.1效劳质量保证设计分类676.2数据中心效劳质量设计67带宽及设备吞吐量设计67低延迟设计69无丢弃设计706.3非数据中心网络的效劳质量设计716.3.1QoS实施方案72分析业务需求726.3.3QoS策略的制定和部署75评测和调整796.4QOS策略管理806.4.1QoS自动配置806.4.2QoS策略管理器解决方案80第7章网络管理和业务调度自动化837.1MARS平安管理自动化837.2VFrame业务部署自动化83第8章两种数据中心技术方案的综合比照848.1技术方案比照84传统技术领域比照84下一代数据中心技术能力比拟858.2技术效劳比照878.3商务比照888.4总结88第9章数据中心网络割接方案89第10章附录：新一代数据中心产品介绍9010.1CiscoNexus7000系列10插槽交换机介绍9010.2CiscoNexus5000/2000系列交换机介绍9110.3CiscoNX-OS数据中心级操作系统简介93总述为进一步推进XXX公司信息化建设，以信息化推动XXX公司股份业务工作的改革与开展，需要在新建的办公大楼内建设XXX公司的新一代绿色高效能数据中心网络。XXX公司数据中心网络建设需求传统架构存在的问题XXX公司现有数据中心网络采用传统以太网技术构建，随着各类业务应用对IT需求的深入开展，业务部门对资源的需求正以几何级数增长，传统的IT根底架构方式给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题：维护管理难：在传统构架的网络中进行业务扩容、迁移或增加新的效劳功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不同领域、不同效劳方向，工作繁琐、维护困难，而且容易出现漏洞和过失。比方数据中心新增加一个业务类型，需要调整新的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、还是需要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应的接口，如何跳线，以及随之而来的VLAN、路由等等，如果网络中还有诸如地址转换、7层交换等等效劳与之相关联，那将是非常繁杂的任务。当这样的IT资源需求在短期内累积，将极易在使得系统维护的质量和稳定性下降，同时反过来减慢新业务的部署，进而阻碍公司业务的推进和开展。资源利用率低：传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比开展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储藏过多，二者相互之间又无法借用和共用。这是由于对底层网络建设是以功能单元为中心进行建设的，并不考虑上层业务对底层资源调用的优化，这使得对网络的投入往往无法取得同样的业务应用效果的改善，反而浪费了较多的资源和维护本钱。效劳策略不一致：传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法真正从整个系统角度制订统一的效劳策略，比方平安策略、高可用性策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提供强大的效劳支撑。因此，按传统底层根底设施所提供的效劳能力已无法适应当前业务急剧扩展所需的资源要求，本次数据中心建设必须从根本上改变传统思路，遵照一种崭新的体系结构思路来构造新的数据中心IT根底架构。XXX公司数据中心目标架构面向效劳的设计思想已经成为Web2.0下解决来自业务变更、业务急剧开展所带来的资源和本钱压力的最正确途径。从业务层面上主流的IT厂商如IBM、BEA等就提出了摒弃传统的“面向组件〔Component〕〞的开发方式，而转向“面向效劳〞的开发方式，即应用软件应当看起来是由相互独立、松耦合的效劳构成，而不是对接口要求严格、变更复杂、复用性差的紧耦合组件构成，这样可以以最小的变动、最正确的需求沟通方式来适应不断变化的业务需求增长。鉴于此，XXX公司数据中心业务应用正在朝“面向效劳的架构ServiceOrientedArchitecture〔SOA〕〞转型。与业务的SOA相适应，XXX公司提出支撑业务运行的底层根底设施也应当向“面向效劳〞的设计思想转变，构造“面向效劳的数据中心〞〔ServiceOrientedDataCenter，SODC〕。传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“效劳〞组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。SODC就是要求当SOA架构下业务的变更，导致软件局部的效劳模块的组合变化时，松耦合的网络效劳也能根据应用的变化自动实现重组以适配业务变更所带来的资源要求的变化，而尽可能少的减少复杂硬件的相关性，从运行维护、资源复用效率和策略一致性上彻底解决传统设计带来的顽疾。具体而言SODC应形成这样的资源调用方式：底层资源对于上层应用就象由效劳构成的“资源池〞，需要什么效劳就自动的会由网络调用相关物理资源来实现，管理员和业务用户不需要或几乎可以看不见物理设备的相互架构关系以及具体存在方式。SODC的框架原型应如下所示：在图中，隔在物理架构和用户之间的“交互效劳层〞实现了向上提供效劳、向下屏蔽复杂的物理结构的作用，使得网络使用者看到的网络不是由复杂的根底物理功能实体构成的，而是一个个智能效劳——平安效劳、移动效劳、计算效劳、存储效劳……等等，至于这些效劳是由哪些实际存在的物理资源所提供，管理员和上层业务都无需关心，交互效劳层解决了一切资源的调度和高效复用问题。SODC和SOA构成的数据中心IT架构必将是整个数据中心未来开展的趋势，虽然实现真正理想的SODC和SOA融合的架构将是一个长期的历程，但在向该融合框架迈进的每一步实际上都将会形成对网络灵活性、网络维护、资源利用效率、投资效益等等方面的巨大改善。因此XXX公司本次数据中心的网络建设，要求尽可能的遵循如上所述的新一代面向效劳的数据中心设计框架。XXX公司数据中心设计目标在基于SODC的设计框架下，XXX公司新一代数据中心应实现如下设计目标：简化管理：使上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和本钱大大降低。高效复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设本钱，提高使用效率。即能够实现总硬件资源占用量降低了，而每个业务得到的效劳反而更有充分的资源保证了。策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象的效劳，每一个被充分抽象的效劳都按找上层调用的目标进行统一的标准和策略化，这样整个IT将可以到达理想的效劳规那么和策略的一致性。XXX公司数据中心技术需求SODC架构是一种资源调度的全新方式，资源被调用方式是面向效劳而非象以前一样面向复杂的物理底层设施进行设计的，而其中交互效劳层是基于效劳调用的关键环节。交互效劳层的形成是由网络智能化进一步开展而实现的，它是底层的物理网络通过其内在的智能效劳功能，使得其上的业务层面看不到底层复杂的结构，不用关心资源的物理调度，从而最大化的实现资源的共享和复用。要形成SODC要求的交互效劳层，必须对网络提出以下要求：整合能力SODC要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务能看到底层网络提供各类SODC效劳的根底。整合的概念不是简单的功能增多，虽然整合化的一个表达是很多独立设备的功能被以特殊硬件的方式整合到网络设备中，但其真正的核心思想是将资源尽可能集中化以便于跨平台的调用，而物理存在方式那么可自由的根据需要而定。数据中心网络所必须提供的资源包括：智能业务网络所必须的智能功能，比方效劳质量保证、平安访问控制、设备智能管理等等；数据中心的三大资源网络：高性能计算网络；存储交换网络；数据应用网络。这两类资源的整合将是检验新一代数据中心网络SODC能力的重要标准。虚拟化能力虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关的方式进行调用，是从物理资源到效劳形态的质变过程。虚拟化是实现物理资源复用、降低管理维护复杂度、提高设备利用率的关键，同时也是为未来自动实现资源协调和配置打下根底。新一代数据中心网络要求能够提供多种方式的虚拟化能力，不仅仅是传统的网络虚拟化〔比方VLAN、VPN等〕，还必须做到：交换虚拟化智能效劳虚拟化效劳器虚拟化自动化能力自动化是SODC架构中上层自动优化的实现效劳调用必须条件。在高度整合化和虚拟化的根底上，效劳的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略效劳器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。这局部需要做到两方面的自动化：网络管理的自动化业务部署的自动化绿色数据中心要求当前的能源日趋紧张，能源的价格也飞扬直上；绿地〔GreenField〕是我们每个人都关心的议题。如何最大限度的利用能源、降低功耗，以最有效率方式实现高性能、高稳定性的效劳是新一代的数据中心必须考虑的问题。XXX公司数据中心技术实现根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以太网技术进行革新，数据中心级以太网〔DataCenterEthernet，简称DCE〕技术由此诞生。DCE之前也被一些厂商称为会聚型增强以太网技术〔ConvergedEnhancedEthernet，简称CEE〕，是兼容传统以太网协议并按新一代数据中心的传输要求，对其进行全面革新的一系列标准和技术的总称。因此，为到达XXX公司的新一代数据中心的建设目标，必须摒弃传统以太网技术，而采用新一代的DCE〔CEE〕技术进行组网。具体而言，本次XXX公司数据中心所采用的DCE技术，可以到达以下的技术目标。整合能力一体化交换技术DCE技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向效劳的数据中心SODC的最终目标。在传统数据中心中存在三种网络：使用光纤存储交换机的存储交换网络〔FiberChannelSAN〕，便于实现CPU、内存资源并行化处理的高性能计算网络〔多采用高带宽低延迟的InfiniBand技术〕，以及传统的数据局域网。DCE技术将这三种网络实现在统一的传输平台上，即DCE将使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化效劳，提高投资的有效性，同时还降低了管理本钱。XXX公司业务的特点不需要超级计算功能，因此本次工程要实现存储网络和传统数据网络的双网合一，使用DCE技术实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是FiberChannelOverEthernet技术〔FCoE〕，它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见FCoE的相关WebSites。()本次数据中心建设将做好FCoE的根底设施准备，并将在下一阶段完成基于FCoE技术的双网融合。无丢弃以太网技术为保证一体化交换的实现，DCE改变了传统以太网无连接、无保障的BestEffort传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，到达真正的“无丢包〞以太网目标。DCE在网络中以硬件及软件的形式实现了以下技术：基于优先级类别的流控(PriorityFlowControl)通过基于IEEE802.1p类别通道的PAUSE功能来提供基于数据流类别的流量控制带宽管理IEEE802.1Qaz标准定义基于IEEE802.1p流量类别的带宽管理以及这些流量的优先级别定义拥塞管理IEEE802.1Qau标准定义如何管理网络中的拥塞(BCN/QCN)基于优先级类别的流控在DCE的理念中是非常重要的一环，通过它和拥塞管理的相互合作，我们可以构造出“不丢包的以太网〞架构；这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个平安的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCE的数据平台。带宽管理在以太网络中提供类似于类似帧中继(FrameRelay)的带宽控制能力，它可以确保一些重要的业务应用能获得必须的网络带宽；同时保证网络链路带宽利用的最大化。拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是一个巨大的挑战；可以说在目前的所有非连接的网络中，这是一个崭新的应用；目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。性能支撑能力为保证实现一体化交换和资源整合，DCE还必须对传统以太网的性能和可扩展性的进行革新。首先为保证三网合一后的带宽资源，万兆以太网技术只是DCE核心层带宽的起点。而正在开展中的40G/100G以太网才是DCE技术将来的主流带宽。因此，要保证我们今天采购的设备能有5年以上的生命周期，就必须考虑硬件的可扩展能力。这也就是说从投资保护和工程维护的角度出发，我们需要一个100G平台的硬体设备，即每个设备的槽位至少要支持100G的流量〔全双工每槽位200Gbps〕，只有这样才能维持该设备5年的生命周期。同时从经济性的角度来考虑，如果能到达400G的平台是最理想的。另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，DCE设备必须提供比传统以太网设备低几个数量级的端口间转发延迟。DCE要求的核心层的三层转发延迟应可到达30us以下，接入层的二层转发延迟应可在3～4us以下。这都是传统以太网技术无法实现的性能指标要求。智能效劳的整合能力众所周知，应用的复杂度是在不断的提升，同时伴随着网络的融合，应用对网络的交互…可以预见的是网络的复杂度也将不断的提升。这也印证我们的判断：应用对网络的控制将逐步增强，网络同时也在为应用而优化。因此构建一个单业务的简单L2转发网络并不是网络设备的设计方向；全业务的设备和多业务融合的网络才是我们所需要的环境。那么我们需要什么样的全业务呢，很明显DataCenterEthernet是一个必备的工程，同时我们至少还需要其它的根本业务属性来保障一个多业务网络的运行，如：效劳质量保证 QoS访问列表控制 ACL虚拟交换机的实现 VirtualSwitch网络流量分析 NetflowCPU抗攻击保护 CoPP远程无人值守管理 CMP嵌入式事件管理 EEM当然，所有这些业务的实现都是在不影响转发性能的前提条件下的。失去这个大前提，多业务的实现就变得毫无意义。所以设计一个好的产品就必须顾全多业务、融合网络这个大前提。如何使这些复杂的业务处理能够在高达100G甚至是400G的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术指标。最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台。虚拟化能力DCE对网络虚拟化不仅仅是传统意义上的VLAN和VPN，为实现SODC的交互效劳层资源调度方式，DCE还能够做到以下的虚拟化能力。虚拟交换技术虚拟交换技术可以实现当我们使用交换机资源时，我们可以不用关心交换效劳的物理存在方式，它可能是由一台交换机提供，也可能是两台交换机设备，甚至可以是一个交换机中的几个虚拟交换机之一。思科的DCE技术就提供了将两个物理交换机虚拟为一台交换机的虚拟交换系统〔VSS〕技术，以及将一个交换机虚拟化为多个交换机的虚拟设备〔VDC〕技术。〔一〕虚拟交换系统〔VSS〕VSS技术可将网络的双核心虚拟化为单台设备，比方使用的Cisco6509的9插槽设备将完全被虚拟化成为单台18槽机箱的虚拟交换机。虚拟交换机性能倍增、管理复杂度反而减半。具体有如下优势：单一管理界面：管理界面完全为单台设备管理方式，管理和维护工作量减轻一半；性能翻倍：虚拟交换系统具备两台叠加的性能，与其它交换机通过跨物理机箱的双千兆以太网或双万兆以太网捆绑技术，远比依靠路由或生成树的负载均衡更均匀，带宽和核心吞吐量均做到真正的翻倍。协议简单：虚拟交换系统与其它设备间的动态路由协议完全是单台设备与其它设备的协议关系，需维护的路由邻居关系数以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低；虚拟交换系统同时作为单台设备参与生成树计算关系，生成树计算和维护量以二次方根下降，在本系统中可达4～5倍下降，工作量和部署难度大大降低。冗余可靠：虚拟交换系统形成虚拟单机箱、物理双引擎的跨机箱冗余引擎系统，下连接入交换机原来需要用动态路由或生成树实现冗余切换的，在VSS下全都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是引擎，冗余切换比传统方式更加迅捷平滑，保持上层业务稳定运行。以前两个单引擎机箱的其中一台更换引擎，一定会导致数据的丧失，而虚拟交换系统里任意一台更换引擎，数据可以保证0丧失。〔二〕虚拟设备系统〔VDC〕VDC技术那么可以实现将一台交换机划分为多个虚拟的子交换机，每个交换机拥有独立的配置界面，独立的生成树、路由、SNMP、VRRP等协议进程，甚至独立的资源分配〔内存、TCAM、转发表等等〕。它与VSS配合，将在实现更加灵活的、与物理设备无关的跨平台资源分配能力，为数据中心这种底层设施资源消耗型网络提供更经济高效的组网方式，也为管理和运营智能化自动化创造条件。物理设备虚拟成假设干个逻辑上的独立设备的图示：网络效劳虚拟化在效劳资源整合以及设备虚拟化的根底之上，DCE要求每个虚拟化的网络应用区都有自己的业务效劳设施，比方自己的防火墙、IDS、负载均衡器、SSL加速、……网络效劳，这些如果都是物理上独占式分配的，将是高本钱、低效率且难于维护管理的。DCE网络在提供这些网络智能效劳时都可以以虚拟化的方式实现各类效劳的资源调用，思科的DCE网络中就可以实现虚拟防火墙、虚拟IDS、虚拟负载均衡器、虚拟SSLVPN网络……等等，从而实现网络智能效劳的虚拟化。效劳器虚拟化效劳器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。当前商用化最为成功的效劳器虚拟化解决方案是VMWare的VMotion系列，微软的VirtualServer和许多其它第三方厂商〔如Intel、AMD等〕也正在参加，使得效劳器虚拟化的解决方案将越来越完善和普及。然而人们越来越意识到效劳器虚拟化的系统解决方案中除了应用、主机、操作系统的角色外，网络将是一个更为至关重要的角色。网络将把各个自由联系成为一个整体，网络将是实现自由虚拟化的桥梁。效劳器虚拟化需要DCE能够提供以下能力：资源的整合：业务应用运行所依赖的物理计算环境都需要网络实现连接，然而在传统网络中，传输数据的数据网、互连CPU和内存的计算网、互连存储的存储网都是孤立的，这就无法真正实现与物理无关的效劳器资源调度，因此实现真正意义上彻底的效劳器虚拟化，前面提到的DCE三网一体化交换架构是必须的条件。网络的虚拟机意识：传统网络是不具备虚拟机意识的，即在网络上传递的信息是无法区别它是来自于哪个虚拟机，也无法在网络上根据虚拟机来提供相应的网络效劳，当虚拟机迁移，也没有相应的网络跟踪手段保证效劳的全局一致性。不过这些都是DCE正在解决的问题，一些DCE的领导厂商，比方思科，已经在推出的商用化DCE产品中提供了相应的虚拟机标识机制，并且思科已经联合VMware等厂商将这些协议提交IEEE实现标准化。虚拟机迁移的网络环境：效劳器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的资源共享和复用的。虚拟机迁移需要一个二层环境，这导致迁移范围被局限在传统的VLAN内。我们知道Web2.0、云计算等概念都需要无处不在的数据中心，那么如何实现二层网络的跨地域延展呢？传统的L2MPLS技术太复杂，于是IEEE和IETF正在制定二层多路径〔即二层延展〕的新标准，DCE的领导厂商思科公司也提出了一种新的协议标准CiscoOvertheTopVirtualization(OTV)来解决跨城域或广域网的二层延展性问题，从而为效劳器虚拟化提供可扩展的网络支撑。自动化自动化是SODC架构中上层自动优化的实现效劳调用必须条件。在高度整合化和虚拟化的根底上，效劳的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略效劳器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。现在商用的DCE自动化解决方案包括管理自动化和业务部署自动化。XXX公司数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署，但需要在本期通过DCE技术的实施打下未来自动化部署的坚实根底。绿色数据中心DCE技术的整合化、虚拟化和自动化本身就是在到达同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理本钱等方面的最正确途径，这本身也是绿色数据中心的必要条件。另外DCE产品必须在硬件实现上实现低功耗、高效率，包括利用最新半导体工艺 〔越小纳米的芯片要比大纳米的芯片省电〕降低逻辑电路的复杂度 〔在接入层使用二层设备往往要比三层设备省电〕减少通用集成电路的空转 〔使用定制化的专业设计的芯片往往比通用芯片省电〕等等……由此可见，对于一台网络设备，在业务能力相当的前提条件下，越小的功耗就代表越先进的技术。在DCE设备一般可以做到维持三层的全业务万兆吞吐功耗小于25W、二层的万兆吞吐功耗小于13W。综上所述，在本次XXX公司新一代数据中心网络的建设中，将采用不同于传统以太网技术的DCE以太网技术，构建面向效劳的高效能数据中心网络平台。XXX公司数据中心网络设计总体网络结构本次XXX公司数据中心网络的建设将采用新一代的DCE技术，并使用DCE技术的代表厂商Cisco公司的Nexus系列产品。网络结构将采用大型数据中心典型的层次化、模块化组网结构。层次化结构的优势采用层次化结构有如下好处：节约本钱：园区网络意味着巨大的业务投资正确设计的园区网络可以提高业务效率和降低运营本钱。便于扩展：一个模块化的或者层次化的网络由很多更加便于复制、改造和扩展的模块所构成，在添加或者移除一个模块时，并不需要重新设计整个网络。每个模块可以在不影响其他模块或者网络核心的情况下投入使用或者停止使用。加强故障隔离能力：通过将网络分为多个可管理的小型组件，企业可以大幅度简化故障定位和排障处理时效。标准的网络分层结构层次化结构包括三个功能局部，即接入层、分布层和核心层，各层次定位分别如下：核心层：是企业数据交换网络的骨干，本层的设计目的是实现快速的数据交换，并且提供高可靠性和快速的路由收敛。分布层：也称为会聚层。主要会聚来自接入层的流量和执行策略，当第三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。分布层还是网络智能效劳的实施点，包括平安控制、应用优化等智能功能都在此实施。接入层：负责提供效劳器、用户终端、存储设施等等的网络第一级接入功能，另外网络智能效劳的初始分类，比方平安标识、QoS分类将也是这一层的根本功能。XXX公司的网络结构根据业界企业网络最正确设计实践参考，在边缘节点端口较少的小型网络中，可以考虑将核心层与分布层合并，小型网络的网络规模主要由接入层交换机决定。但对于XXX公司而言，结合XXX公司的业务现状及开展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性。所以XXX公司企业内部核心网络层次结构必须具有以上严格清晰的划分，即具有清晰的核心层、会聚分布层、接入层等分层结构，才能保证网络的稳定性、健壮性和可扩展性，以适应业务的开展。XXX公司的业务应用特点又决定了核心层将相对接入的网络模块较少，只有楼层会聚接入、数据中心会聚接入、广域网接入等三块，如果采用单独的大容量物理核心设备将造成浪费，而如果采用低端核心设备那么会对业务相对繁忙的数据中心会聚形成瓶颈，也影响网络整体的稳定性。鉴于此，我们采用超大规模核心层设备CiscoNexus7000作为核心，但虚拟化为两套交换机，一套用于全网核心，一套用于数据中心会聚。这样做的优势如下：逻辑上仍然是清晰的两套设备，完全保持了前述网络分层结构的优势。在性能上实现了网络核心和数据中心会聚交换机资源的共享和复用，非常好的解决了核心层数据量和数据中心数据量可能存在较大差异的问题。以较低的投入升级了数据中心会聚交换机的能力〔相当于可以与核心层复用4Tbps以上的交换能力〕，适于下一阶段要进行的数据中心双网融合的资源需求。减少了设备数量，降低了设备投入本钱、功耗开销和维护管理的复杂度。XXX公司新一代数据中心整体网络结构如下列图所示：全网核心层设计本次我们采用能扩展到15Tbps以上的CiscoNexus7000系列大型DCE交换机，每台Nexus7000划分为两个VDC〔虚拟交换机〕，一个虚拟交换机作为XXX公司全网核心，另一个虚拟交换机作为数据中心的分布会聚层交换机。我们选择的是10插槽Nexus7010，以双机双冗余方式部署在网络核心。每台当前支持的最大交换容量为4Tbps，最大万兆端口容量为256个，每插槽交换能力为230Gbps〔未来可扩展到500Gbps以上〕，可以在未来扩展40G/100G以太网。本次每台N7010实配32个万兆端口，48个千兆端口，这些端口都可在物理上划分为属于全网核心的虚拟交换机和属于数据中心会聚的虚拟交换机，每个虚拟交换机从软件进程到配置界面都各自独立，但可以共享和复用总的交换机资源。每个虚拟交换机都支持vPC技术〔VirtualPort-Channel〕，即可以实现跨交换机的端口捆绑，这样在下级交换机上连属于不同机箱的虚拟交换机时，可以把分别连向不同机箱的万兆链路用与IEEE802.3ad兼容的技术实现以太网链路捆绑，提高冗余能力和链路互连带宽的同时，大大简化网络维护。核心层虚拟交换机与其它设备互连都采用路由端口和三层交换方式，因此采用vPC进行链路捆绑时使用三层端口链路捆绑技术。如下图：数据中心分布层设计数据中心分布层虚拟交换机数据中心的分布会聚层交换机是采用上述Nexus7010内单独划分处理的虚拟交换机实现。虚拟交换机之间通过外部互连，并同样采用vPC的三层端口链路捆绑技术。分布会聚层虚拟交换机与下面的接入层采用二层端口的vPC跨机箱捆绑技术互连，如下列图所示。数据中心分布层智能效劳机箱数据中心的网络智能效劳由设计在分布层的智能效劳机箱提供〔Multi-ServicesChassis〕。单独的效劳机箱可以不破坏高性能的一体化交换架构形成的数据中心主干，有选择的对三网合一的数据中心流量提供按需的网络智能效劳。比方本地存储流量没有必要在传输过程中经过数据应用类防火墙的检查〔存储网内有自己的平安访问控制机制〕，这样的设计比拟容易实现类似的FCoE流量的无干扰直达。智能效劳机箱采用CiscoCatalyst6500交换机，配置720G引擎和18个万兆端口，内置防火墙模块〔FWSM〕、应用控制模块〔ACE〕，提供给用级平安访问控制和应用优化、负载均衡功能。智能效劳机箱采用双机冗余结构，利用Catalyst6500的VSS虚拟交换机功能，两个独立的机箱完全可以看成为一个逻辑机箱，再通过共4个万兆上连至2个N7000上的分布会聚层虚拟交换机上。VSS技术形成了一个具有1.44Tbps能力的智能效劳机箱，再通过N7000的vPC技术，那么形成了智能效劳机箱和N7000之间全双工高达80Gbps的互连带宽。由于N7000和6500VSS上都预留了足够的万兆端口，这个捆绑带宽值根据未来智能效劳处理性能的需要还可以成倍的平滑升级。物理和逻辑的连接示意图如下面所示。物理结构图逻辑结构图在一期实施中，智能效劳机箱内智能效劳器硬件模块的部署密度不高——每个机箱内防火墙模块、负载均衡模块各一块，这样每个机箱内使用引擎加速技术的防火墙模块最大迸发吞吐量32Gbps，负载均衡模块最大四层吞吐能力16Gbps〔而且不是所有都需要负载均衡〕，完全满足当前业务需求，因此可以在实施中简化配置，改双机箱VSS结构为一主一备机箱方式，在以后随业务需求上涨，业务模块增多，再完善为双机箱负载均衡的VSS模式。由于效劳机箱内的防火墙模块和应用控制优化模块都支持虚拟化技术，因此还可以利用智能效劳虚拟化实现基于每个数据中心业务组的定制效劳策略和功能，使每个业务应用使用所需资源时不必过度关注其物理存在方式，从而实现与物理无关的跨平台智能效劳调用〔SODC的交互效劳调用〕，极大的提高资源利用效率，减少了物理设施维护的复杂度。这局部将在后面智能效劳的详细设计中加以说明。数据中心接入层设计使用CiscoNexus5000和2000系列DCE接入交换机，可以实现数据中心接入层的分级设计。本次建议XXX公司使用的是具有将近1.2Tbps交换能力、初始配置有40个万兆以太网端口的Nexus5020交换机，以及具备48个10/100/1000M以太网端口、4个万兆上连端口的Nexus2148T。Nexus2000是5000系列的交换矩阵延展器，通过部署在柜顶〔TopoftheRack，ToR〕的2148T，可以将本地接入的高密度效劳器上连到5020，4个上连万兆端口可以提供48个千兆端口中至少40个端口的全线性转发能力，通过连接多台2148T，5020可以将1.2T的惊人交换能力延展到多个机柜，实现高性能、高密度、低延迟的DCE效劳器群接入能力。而且作为5020的延展设备，2148T无需自身进行复杂配置，所有管理和配置都可在其上游的5020上完成，大大简化了多机柜、高密度效劳器接入设备的管理复杂度。Nexus5000和2000都是按柜顶〔TopoftheRack，ToR〕交换机的尺寸设计，1～2U的高度内紧凑的集成了高密度的DCE端口，但同时提供可热插拔的冗余风扇组和冗余电源系统，其可靠性远非其它传统以太网中固定接口小交换机所可比。Nexus5000是业界第一款商用化FCoE交换机，其所有万兆以太网端口都支持FCoE。同时Nexus5000支持扩展16个1~4GFiberChannel端口或8个1~8GFiberChannel端口，完全支持FiberChannelSAN交换机的完整功能特性。也即传统需要以太网卡、FC存储卡〔HBA〕、InfiniBand卡的主机，只需要一张FCoE的以太网卡〔CNA〕就可以实现三种网络的接入，用户在操作系统上也可以看见虚拟化的以太网卡、HBA卡和InfiniBand卡，而它们共享万兆的高带宽，Nexus5000还可通过FiberChannel接口连接传统的SAN网络，实现SAN/LAN的整合，通过这种整合和虚拟化实现资源的自由调度和最大化利用，同时成倍减少的网卡数节约了功耗，提高了可靠性，降低了维护本钱。XXX公司的20个主机、效劳器机柜将分为两列，每列选两个列中柜〔MiddleoftheRow〕，柜内部署Nexus5020，而每列其它8个普通机柜在柜顶〔ToR〕放置Nexus2148T。物理部署类似下列图所示：普通的机柜内放置千兆端口效劳器，每机柜可容纳具有冗余网卡的千兆效劳器高达20个。每列的两个列中柜〔MoR〕内可放置具备万兆以太网卡的高性能效劳器、万兆FCoE卡的新型效劳器、具备FiberChannel卡〔HBA〕的效劳器和SAN交换机，甚至将来可以扩展具备FCoE接口的盘阵。提供两种实际物理接线的方法：方法1：交叉冗余链接每两个普通机柜的设备都与另一个机柜的Nexus2148T冗余交叉上连，每个普通机柜柜顶〔ToR〕的Nexus2148T又通过4个万兆交叉上连至本列的两个列中柜〔MoR〕内的Nexus5020，每列两个列中柜〔MoR〕内的Nexus5020冗余互连，并且再交叉上连至Nexus7000的虚拟交换机上。物理连接类似下列图所示：方法2：以Nexus5000为单位的冗余和负载均衡这种方法保证对于每个Nexus2000而言只连接一个Nexus5000，防止跨越Nexus5000的负载均衡，也即防止负载均衡时偶发的在两个Nexus5000互连的链路上产生流量。这种方法的优点是负载均衡效果更好，防止两个Nexus5000之间可能产生的拥塞〔虽然可能性比拟小〕，而且网络结构简单，易于管理。但缺点是冗余能力不如方法1，由于方法1让每一个Nexus2000交错连接，所以可以容忍2000、5000同时出现故障。由于2000、5000同出故障的概率极低，而方案2更容易实施，管理复杂度更小，所以一期施工推荐使用方法2。在效劳器的分配应尽量遵循相互业务紧密、访问量大或需要相互进行虚拟机迁移和调度的物理效劳器应放置在同一柜列〔Row〕的原那么，即共用一对Nexus5000。上图每个机柜的20台效劳器可以完全实现双网卡的LoadBalanceTeaming方式下的线性网络接入，即每台效劳器2G带宽〔4G吞吐量〕的网络接入能力。在一期实施中，为简化效劳器端设计，可以效劳器网卡可以先采用Active/Standby的Teaming方式。数据中心地址路由设计核心层XXX公司数据中心核心层与分布会聚层之间采用路由端口，实现三层交换，建议使用OSPF路由协议。分布会聚层和接入层分布会聚层和接入层之间使用交换端口，实现二层交换。如前所述，当前的主流虚拟机软件，如VMware、VirtualServer等都需要在二层交换下实现虚拟机迁移，因此在数据中心接入层使用二层交换将方便虚拟机的迁移和调度。当前由于Cisco独特的VSS虚拟交换机技术和vPC跨设备端口捆绑技术的使用，可以实现在二层结构下完全没有环路，从根本上解决了生成树算法收敛慢、不稳定、故障多的问题，也使得在一个数据中心内二层结构下的可扩展性与三层结构没有根本的区别。如下列图所示，只要经过适当设计，本工程接入层的二层局部将没有环路，快速生成树算法将只用于在误操作等极端情况下的防范手段。当IEEE的改良生成树协议或者IETF的二层路由协议技术成熟，或者直接使用思科当前就可以提供的OTV技术，二层结构还可以扩展到城域和广域网中去，扩大效劳器虚拟化的调度范围，向云计算的理想迈进。分布会聚层的智能效劳机箱相关的地址和逻辑设计将在后面专项的智能效劳介绍中详细阐述。VLAN/VSAN和地址规划接入层内的Nexus5000和2000将可以把主机效劳器和存储设备一并接入统一交换，其中数据网络局部实现传统的VLAN设计，而存储网络那么支持VSAN。在DCE的一体化交换架构下，数据网络局部的逻辑结构设计〔地址和路由〕与分层设计的传统网络完全兼容，因此用户现有的主机、效劳器在割接到新数据中心时无需变更地址，实现平滑过度。应用效劳控制与负载均衡设计功能介绍根本功能本工程我们在数据中心的分布会聚层的智能效劳机箱内配置了Cisco应用控制模块(ApplicationControlEngine,ACE)，作为数据中心的重要网络智能效劳，该模块可为后台应用效劳器提供高性能表现和最高级别的体系控制和平安保护。ACE主要针对大型企业和电信用户的效劳器集群环境，可以有效地对重要应用数据的传送进行优化和简化，同时具备良好的性价比。ACE提供了如下的性能和功能：ACE提供四到七层数据包的内容交换和负载均衡功能，为效劳器机群提供虚拟地址和端口。ACE在插入Catalyst6500后，交换机上的所有端口即可成为四层交换端口。ACE与Catalyst6509数据总线和交换矩阵都有连接，最高带宽为16Gbps,每秒连接数为345000个。ACE不仅为效劳器提供负载均衡，还可为外部的防火墙、VPN集中器……等等网络效劳设施提供负载均衡。ACE具备资源分配和隔离功能，是效劳器虚拟化的重要手段之一。在一个物理模块中，ACE可以划分为多个独立的分区，每一个分区都可以分配给一个应用或者一个用户使用。另外，每一个分区都支持层次化的管理模式，提供了资源管理的灵活性和平安性。ACE支持基于角色的访问控制(role-basedaccesscontrol),所有的用户都被分配了相应的角色(role),每个角色在分区内被允许执行相关的命令集。例如系统管理员角色(systemadminrole)可以执行ACE所有的命令而应用程序管理员角色(applicationadminrole)只能执行和后台应用及内容交换的命令等。ACE具有强大的平安功能，可以有效地保护后台的应用程序免受恶意攻击。主要的技术包括：HTTP深层包检测、双向动态、静态和基于策略的地址转换(NAT/PAT)，访问控制列表、TCP包头验证、TCP连接状态监控等。ACE支持多层次的冗余性，对关键业务提供最高等级的可用性保护。ACE是目前业界唯一可以实现以下三种高可用性保护的四层交换机机箱间冗余两台机箱间的ACE板卡可互为冗余保护板卡间冗余同一机箱内的多个ACE板卡可互为冗余保护虚拟分区前冗余–同一ACE板卡内的不同虚拟分区之前可互为保护ACE的冗余保护对动态的连接进行保护，保证当主业务板卡故障时业务连接仍然得以保持。硬件加速方式的协议控制，对常见协议提供有效的检查、过滤和绑定。这些协议包括HTTP,RTSP,DNS,FTP,ICMP等。硬件方式实现ACL和NAT功能，最多支持一百万个NAT转换表项。应用特点虚拟化分区虚拟分区实现了资源分段和隔离，使思科ACE可作为一个物理模块中的多个独立虚拟模块运行。凭借这个解决方案，企业能够利用一个思科ACE模块，为多达250个不同的企业机构、应用、或客户和合作伙伴提供事先定义的效劳水平。虚拟分区使应用根底设施能更好地用于业务运营，同时减少设备并实现出色的控制。另外，每个虚拟分区还包括分级管理域，既能确保应用的性能水平，又可使ACE模块中的可用资源得到最大限度的利用。思科ACE为分散的管理提供集中的控制，从而为每个虚拟分区提供了基于模板的或可自定义的用户访问权限。基于角色的访问控制(RoleBasedAccessControl,RBAC)特性允许企业对管理角色进行定义，限定管理员对模块或虚拟分区内特定功能的使用权。由于一个机构中可能有多位管理员需要以不同级别〔例如，应用管理、效劳器管理、网络管理、平安管理等〕与思科ACE模块互动，因此，对这些管理角色进行准确定义，使每个管理员群组都能够在不影响其他群组的情况下顺利地执行任务，无疑是一项重要工作。通过与CiscoCatalyst6500的虚拟路由转发(VRF)、防火墙模块的虚拟化相集成，可支持从路由功能、防火墙到应用控制负载均衡的端到端的智能效劳虚拟化〔如下列图所示〕。性能和扩展性思科ACE提供了业界最高水平的应用供给能力。每个思科ACE模块的吞吐率可高达16Gbps，每秒支持345,000个持续连接，可以轻松地处理大量数据文件、多媒体应用和庞大的用户群体。ACE系列模块配备了“随增长而投资〞的付费许可证，提供了最高16Gbps的可扩展吞吐率，客户无需为扩充容量而全面升级系统。在设计上，ACE也为未来的增值效劳和扩展功能预留了空间。实际上，通过在单一CiscoCatalyst6500机箱中安装四个ACE模块，它提供了业界最高水平的可扩展性。思科ACE还提供了多层冗余性、可用性和可扩展性，为您的关键业务提供最大限度的保护。它还是业内唯一提供三种高可用性模式的产品：机箱间高可用性：一台CiscoCatalyst6500中的ACE由对等CiscoCatalyst6500中的ACE保护。机箱内高可用性：CiscoCatalyst6500中的一个ACE由同一CiscoCatalyst6500中的另一个ACE保护(CiscoCatalyst6500内置了强大的冗余性)。分区之间高可用性：思科ACE支持在两个模块上配置的虚拟分区之间的高可用性，使特定分区能够在不影响模块中其他分区和应用的根底上执行故障切换。所有这些可用性模式均通过复制连接状态和连接表，提供了快速的状态化应用冗余性。平安功能思科自防御网络提供了多个级别的防御功能，使客户可以高枕无忧。思科ACE可通过以下特性，保护数据中心和关键应用免受恶意流量的影响：HTTP深度包检测——HTTP报头、URL和净负荷双向网络地址转换(NAT)和端口地址转换(PAT)支持静态、动态和基于策略的NAT/PAT访问控制列表(ACL)可选择地允许端口间的哪些流量通过TCP连接状态跟踪用于UDP的虚拟连接状态序列号随机生成TCP报头验证TCP窗口尺寸检查在建立会话时检查单播反向路径转发(URPF)集成硬件加速协议控制功能在应用供给领域尚属首次面世，为许多常用数据中心协议，如HTTP、实时流协议(RTSP)、域名系统(DNS)、FTP和互联网控制消息协议(ICMP)，提供了有效的检测、过滤和修复功能。拥有多达256,000个条目的大型可扩展ACL能够同时支持应用希望获得的前端可扩展性〔用户/客户端应用数量〕和后端可扩展性〔效劳器/效劳器群数量〕。此外，多达1,000,000个条目的高性能、可扩展NAT事件处理功能也支持许多大型数据中心的整合和应用更快速的面世。虚拟分区那么可以使所有重叠的IP子网保持独立，无需为保护数据中心而进行费用高昂的网络重新设计、重新配置，或添加额外的设备。思科ACE也支持对于协议符合性的检查，且可为平安分析提供事件记录和报告。根底设施简化第二至七层网络集成——作为CiscoCatalyst6500机箱的一个模块，思科ACE可以轻松地插入任何新型或现有的网络，提供了一个第二至七层全面而丰富的解决方案。该解决方案支持Catalyst6500所支持的所有端口类型和数量，支持高达720Gbps的机箱吞吐率，可以轻松扩展，来满足最大型网络的要求，此外，该集成解决方案也节省了所占空间。利用路由状态注入(RHI)和自动状态集成，可支持应用和数据中心高可用性，而ACE虚拟分区通过开启或关闭网络中的物理接口可强制进行故障切换。功能整合通过在一台设备上整合内容交换、SSL加速、数据中心平安等功能，思科ACE获得了从bps到pps的性能显著提升，缩短了应用延迟。利用功能整合，TCP信息流只需终结一次，而无需在网络上的四个或四个以上的位置进行终结，既节省了时间，又减少了处理工作和内存占用。加密和解密、负载均衡决策、平安性检查和业务策略分配及验证均在网络中的单一地点完成，以较少的设备、简化的网络设计和更方便的管理，实现了更理想的应用性能。管理功能思科ANM可对多个ACE模块上的虚拟分区和层次化管理域进行管理。这个基于效劳器的管理套件能对多个ACE模块上的大量虚拟分区进行发现、配置、监控和报告，使部署完全透明化。基于模板的配置和审计与效劳激活/中止功能相配合，可快速实施应用。通过匹配效劳API，可配置任务的RBAC组，允许多位管理员群组在多个ACE模块和虚拟分区上同时进行操作。SSL加速思科ACE解决方案集成了SSL加速技术，可卸载外部设备〔效劳器、设备等〕的SSL流量加密和解密工作，允许思科ACE对加密数据进行更深入的检查，并应用平安和内容交换策略。这一设置不仅使思科ACE可以作出更明智的策略决策，还可确保您的应用供给平台遵守内部和外部法规。利用重加密功能，思科ACE解决方案在确保敏感数据端到端加密的同时，还可执行智能策略。事务处理可视性凭借每秒处理350,000个系统日志的业界领先速度，思科ACE解决方案可记录大量连接设置和断接，它提供了事务处理级可视性，且不会影响数据传输性能。开放的硬件平台利用两个可现场升级的子卡插槽，未来的需要硬件化处理的新功能都可作为子卡插入ACE模块，思科ACE模块能支持未来的功能和更高可扩展性。这种灵活性确保了思科ACE解决方案在今后的假设干年中，都可以随着需求的开展而扩展，无需实施全面的模块升级，且几乎或完全不会造成业务中断。数据中心的应用情况在XXX公司相关部门的明确指导和大力协助下，我们在设计前期信息收集过程中，充分了解了XXX公司数据中心各应用的根本情况及其对网络层次的要求。目前XXX公司的数据中心效劳的应用系统中有如下核心应用：……其中需要特殊对待的主要是XXXX等几种应用应用和开放式系统应用，随着工程向前推进，应用需求也可能会略有增加或发生变化，本设计文档也会相应地更新，确保达XXX公司数据中心网络良好地效劳于各种业务应用系统。XXXX应用1目前，XXX公司数据中心共部署有X套XXXX实例，每套XXXX实例负责托管共有来自不同地理位置的X名最终用户访问的XXXX应用，各套XXXX实例间相互独立。XXXX客户使用HTTP/HTTPS接入XXXX的WEB主页，根据客户在菜单中的选择，XXXXWEB效劳器可建立到开放式系统或XXXX的连接。见图“XXXX方框图〞。图：……每套XXXX实例包括以下内容：……XXXX应用n……应用优化和负载均衡需求XXX公司系统应用中，XXXX应用和开放式系统应用需要提供基于网络的效劳器负载均衡：XXXX环境中的HTTP和HTTPS流量XXXXWEB效劳器和开放式系统效劳器之间的后台流量〔效劳器到效劳器的流量〕。XXXX应用的负载均衡要求最终用户将HTTPS〔TCP端口443〕流量发送至AD/LDAP管理效劳器进行认证。SSL会话在AD效劳器上终接，且不需要效劳器负载均衡。最终用户向VIP〔VirtualIP〕发出HTTP/HTTPSGET请求，ACE将对这些请求进行负载均衡处理并转发到WEB效劳器。在翻开XXXXweb主页之后，根据应用要求，最终用户的HTTP流量可能会被重定向到一台SSL效劳器上进行数据加密。需要更多数据的时候，WEB效劳器可以建立与以下系统的直接连接：DB效劳器〔通过SQLRPC〕XXXX效劳器〔Unix，通过TCP套接字〕XXXX效劳器〔Unix，通过TCP套接字〕XXXX主机〔主机，通过TCP套接字〕OpenSystems〔Unix/Windows，通过信道接口〕XXXXDB效劳器以工作/备用模式运行，不需要负载均衡。通常，客户端的源IP保存在通往真实效劳器的流量路径中，用于应用记账和管理目的。开放式系统应用的负载均衡要求每台开放式系统效劳器由16个LPAR组成，每个LPAR可以运行多个应用程序，如WEB、APP和DB。在一期建设中，30个开放式系统中只有局部应用明确需要网络层提供效劳器负载均衡。XXXXWeb效劳器到开放式系统的流量〔效劳器到效劳器或效劳器发起的流量〕将被负载均衡。应用优化和负载均衡设计智能效劳机箱设计物理连接ACE模块和防火墙模块是一期数据中心实施中效劳机箱提供的两个主要网络智能功能设备。在未来理想的设计蓝图中，两个效劳机箱将通过VSS技术合并为虚拟的单一机箱，并同时实现内部效劳模块的冗余和负载均衡。而在本期中，由于效劳机箱内智能效劳器硬件模块的部署密度不高——每个机箱内防火墙模块、负载均衡模块各一块，这样每个机箱内使用引擎加速技术的防火墙模块最大迸发吞吐量32Gbps，负载均衡模块最大四层吞吐能力16Gbps〔而且不是所有都需要负载均衡〕，完全满足当前业务需求，因此可以在实施中简化配置，改双机箱VSS结构为一主一备机箱方式，在以后随业务需求上涨，业务模块增多，再完善为双机箱负载均衡的VSS模式。如下列图所示：每个机箱双万兆上连到两台Nexus7000，建议如果有充裕万兆端口可以每台使用4个万兆端口、双双上连到Nexus7000，这样在Nexus7000使用vPC跨机箱捆绑技术后，整个拓扑将可用看成是一个三角形结构——每个智能效劳机箱上连带宽40G〔双工80G〕，效劳机箱之间带宽20G〔双工40G〕。逻辑结构根据前面分析的数据中心业务特点，可以将数据中心划分为n个业务区，每个业务区将有自己独立的智能网络效劳策略，比方对应独立的虚拟防火墙，对应独立的虚拟ACE，对应独立的虚拟路由VRF和虚拟局域网组VLANGroup。每个业务区在管理员给定的许可资源范围内充分共享和复用底层资源，以最低的管理和本钱代价实现高效复用。如下列图所示：虚拟效劳区划分的原那么如下：建议一个平安域对应一个虚拟效劳区，这样每个虚拟防火墙的策略将可用简单化为入策略和出策略〔平安设计章节将详细介绍〕虚拟防火墙、虚拟ACE、VRF、VLAN组一一对应是最理想化的虚拟化模式，这样将最大程度的实现与特定业务相关的从路由到应用、再到平安的一整套虚拟化资源划分策略同一业务一定要在一个虚拟效劳区中需要进行虚拟机迁移的虚拟主机要在一个虚拟效劳区中划分不宜过细，分区不宜过多，建议一期不超过5个分区效劳机箱相互之间、与Nexus7000之间的链路都采用二层交换方式，万兆在捆绑后使用IEEE802.1Q封装，通过VLAN标记使不同的VLANGroup对应到机箱内不同的虚拟化效劳上去。上面的逻辑结构对应到前述的三角形拓扑中会看到一个冗余的环路，在二层结构中将会导致生成树算法而关闭冗余链路，我们建议将IEEE802.1Q的VLANTrunking链路上进行VLAN范围设置，使效劳机箱互连的捆绑链路上的VLAN和每个效劳机箱上连Nexus7000的VLAN不同，前者的VLAN只用于效劳模块相互间状态、配置同步和故障时的临时通道，这样所有链路都会被充分利用，而也不会形成环路并需要生成树算法收敛计算路径。应用负载均衡的设计ACE的核心功能是负载均衡效劳，在一般设计中有两种提供负载均衡效劳的方式：串联模式和单臂模式。以下为简单起见，只对Active局部进行描述，Standby局部的设计与Active局部完全相同，只有在Active局部或全部失效，才会由Standby来局部或全部接管，在后面“高可用性设计〞局部有详细讨论。方案一：串联模式的应用负载均衡模块ACE应用负载均衡模块ACE和防火墙模块FWSM均以串连方式在网络中部署。在桥接模式下串联部署的ACE非常简单，因为VIP〔VirtualIP〕直接位于客户端和效劳器间的路径上。在串联模式ACE设计方案中，发往VIP的客户端流量到达MSFC，MSFC执行IP路由查询，然后将流量转发至FWSM。FWSM做平安控制策略后再将其转发给ACE以作出负载均衡决策。选择真实效劳器后，ACE执行L2重写〔效劳器NAT〕并将流量转发至真实效劳器。真实效劳器发出的返回流量通过相同的路径回到客户端。如下列图所示。串联模式ACE的方案的特点：比拟容易做到虚拟防火墙、虚拟负载均衡理想的一一对应〔如上图〕FWSM放置在ACE和MSFC之间，不能利用ACE的路由动态插入RHI功能〔RHI后面将有介绍〕要在不同子网上实现新效劳器群的负载均衡，要在ACE上添加新的效劳器VLAN和客户端VLAN效劳器备份等发往WEB效劳器的非负载均衡流量也都必须桥接通过ACE。其它没有负载均衡必要的效劳器通信都必须通过ACE进行方案二：单臂模式的应用负载均衡模块ACE在单臂模式ACE设计方案中，ACE仅通过一个VLAN连接到MSFC，并处于防火墙保护之外。从客户端发往VIP地址的流量即需要负载均衡的流量从MSFC路由到ACE，ACE进行负载均衡后，选择真实效劳器后，执行L3重写〔效劳器NAT〕，并将流量转发到FWSM进行包检查，然后再转发到真实效劳器。在MSFC上配置PBR时，FWSM将发自真实效劳器的返回流量转发到MSFC。PBR对流量进行分类，随后将其发回ACE。ACE为效劳器NAT执行反向L3重写，将流量发回MSFC，MSFC再将其转发回客户端。ACE单臂VLAN的默认网关是MSFC接口IP，真实效劳器的默认网关那么是FWSM上的接口IP。FWSM上定义了默认路由来将效劳器流量转发到MSFC。ACE单臂模式下，为了确保返回的流量能够回到ACE，需要NAT或策略路由〔PBR〕，源NAT比拟简单，但不适合使用源IP地址追踪客户端使用模式来进行记账和计费的客户。PBR防止了这一问题，但又带来了其他问题，如路由复杂性、非负载均衡流量的非对称路由和VRF支持等问题。单臂模式ACE方案的特点：最大的优势是可以对需要负载均衡的流量才经过ACE，这样大大提高了数据中心的可扩展性可以配置RHI来动态地将VIP作为主机路由发布给MSFC，简化配置，实现动态学习没有FWSM的保护，但对于内网而言并不关键，特别是ACE本身有极强的平安保护能力MSFC上需要源NAT或PBR，以确保由真实效劳器发送的返回流量可转发回ACE比拟难实现虚拟化ACE与虚拟化防火墙的理想一一对应模式，因为为实现该方式必须把ACE连到VRF上，而当前在Cat6500上基于VRF的PBR还有一些限制应用负载均衡设计方案比拟根据详细的方案比拟，结合XXX公司数据中心网络特点和各应用要求，我们认为当前业务对使用虚拟化ACE的迫切程度远不及防火墙的虚拟化，而相对不需要使用ACE的数据中心业务流量还比拟多，因此我们推荐采用单臂模式ACE的方案。在将来业务开展，业务端到端虚拟化要求迫切，并且未来基于VRF的PBR比拟完善后，我们还可用比拟容易的切换到基于虚拟化ACE的单臂模式。地址和路由ACE的路由设计在以上设计中的虚拟防火墙和ACE模块都将采用路由模式。路由实现如下列图所示：〔一〕Inbound流量的路由设计效劳机箱Catalyst6500的MSFC将在Global路由上运行与核心一致的OSPF协议。ACE和MSFC之间将使用路由动态插入〔RouteHealthInjection，RHI〕。RHI允许ACE将VIP作为主机路由插入到MSFC的IP路由表中，从而可以在整个网络中公布该VIP地址的可用性。使用RHI有如下好处：易于管理维护：没有RHI，要将流量转发至新的VIP，MSFC上就可能需要手动定义的静态路由。有了RHI，VIP可以作为主机路由自动公布，并插入到MSFCIP路由表中。动态自动更新维护：创立一个新的VIP时，仅当效劳器群中至少有一个工作的真实效劳器时才会将主机路由插入到MSFCIP路由表中。如果效劳器群中的所有真实效劳器均处于非运行状态，主机路由便会从MSFCIP路由表中删除。在虚拟防火墙和MSFC之间也可以采用RHI特性，同理每个虚拟防火墙都把自己的内网口直连路由、自己指向内网的静态路由、NATPool等报告给MSFC，并在MSFC的OSPF中动态发布，无需人工在MSFC上配置大量指向内网的静态路由和繁琐的日常静态路由表维护工作。虚拟防火墙上将配置指向内网的静态路由、做NAT等，这些路由信息都将使用RHI特性报告给MSFC，并由MSFC发布出去。建议在地址设计时将每个虚拟防火墙内部的各个VLAN的地址设计为连续且易于汇总的地址块，这样在每个虚拟防火墙上做的静态路由工作将会降至最低。在虚拟防火墙内还有VRF〔虚拟路由转发〕，它直连并终结接入层的VLAN，有可能是一个VLAN，也可以是多个VLAN。数据中心接入层的效劳器将默认网关设在VRF的对应VLAN接口上〔VRRP或HSRP的虚拟IP地址〕。同一个平安域内的VLAN之间的路由直接由VRF通过直连路由完成三层交换，让防火墙解脱同平安等级流量转发的负担。这些VLAN对VRF都是直连网段，在VRF上无需设置任何指向内部的静态路由。〔二〕Outbound流量的路由设计向外流量的路由那么非常简单，主机通过默认网关指向Active的VRFVLAN接口，VRF通过默认路由指向Active的虚拟防火墙内网口，虚拟防火墙通过默认路由指向Active的MSFC内部接口，ACE通过默认路由指向Active的MSFC。其中VRF、MSFC将使用VRRP/HSRP，防火墙模块、ACE模块将运行Active/Standby方式的冗余热备协议。VIP地址变更的流程设计对于XXX公司数据中心的各个业务应用中，可能一些应用在工程初始阶段不需要流量负载均衡，为了适应未来的增长并提供给用系统冗余，可以使用以下两种方法之一来将非负载均衡流量迁移至负载均衡环境中。方法一：新的VIP－在ACE等负载均衡器上，以及包括现有真实效劳器和新增效劳器的新效劳器群上定义一个新的VIP。现有真实效劳器IP地址保持不变，而新的效劳器会分配到一个新的IP地址。〔注意：必要时更新新的VIP的DNS效劳器的记录〕。方法二：现有VIP－将现有真实效劳器IP移到ACE上作为新的VIP，为现有的真实效劳器和新增的真实效劳器分配新的IP地址。〔注意：不需要更新DNS效劳器的记录〕平安功能的设计除了效劳器负载均衡功能之外，ACE在3.0及以后的版本中还提供强大的应用平安特性，使得单臂模式ACE方案中非处于防火墙保护之内的ACE模块的平安性得到了强有力的保障，这些功能包括：访问控制列表ACL：ACL包括一系列语句，定义网络流量的概况。每个条目允许或拒绝网络流量〔入和出〕到达条目中规定的网络各局部。除了一个执行单元〔允许或禁止〕外，每个条目还包括一个基于源地址、目的地址、协议、协议特定参数等标准的过滤器单元。在每个ACL的最后都有一个隐式的拒绝全部的条目，因此在希望允许连接的每个接口上都必须配置一个ACL。否那么ACE将拒绝该接口上的全部流量。AAA：ACE模块可执行用户身份认证和记账〔AAA〕效劳，为访问ACE的用户提供更高的平安性。AAA效劳使得可以使用多个AAA效劳器来控制哪些人可以访问ACE，并跟踪访问ACE的每个用户的操作。根据所提供的用户名和口令组合，ACE可使用本地数据库执行本地用户身份认证，或者使用外部AAA效劳器来实现远程身份认证和记账。应用协议检查：在数据包通过ACE的时候，某些应用需要对数据包的数据局部进行特别处理。应用协议探测有助于验证协议的行为并识别流经ACE的有害的或恶意的流量。根据通信流量策略的规定，ACE可接受或拒绝数据包，从而确保应用和效劳的平安使用。可能需要ACE执行HTTP、FTP、DNS、ICMP和RTSP协议的应用检测，作为将数据包转发到目的效劳器前的第一步。对于HTTP，ACE将执行深层数据包检查来监控HTTP协议的状态并根据用户定义的流量策略来允许或拒绝流量通过。HTTP深层数据包检查主要关注HTTP属性，如HTTP报头、URL以及有效负载等。对于FTP，ACE将执行针对FTP会话的FTP明令检查，从而允许您根据ACE限制特定命令。应用检测有助于识别TCP或UDP流中嵌入的IP地址信息的位置。这些检测使ACE可以转换嵌入的IP地址并更新受转换影响的校验和或者其他字段。TCP标准化：TCP标准化是一种第4层特性，包括ACE在数据流传输不同阶段〔从最初的连接建立到连接关闭〕执行的一系列检查。可以通过配置一个或多个高级TCP连接设置来控制很多分段检查。ACE使用这些TCP连接设置来确定执行哪些检查，并根据检查结果确定是否丢弃一个TCP分段。ACE会丢弃那些显得异常和畸形的分段。这种特性可检查发现非法或可疑〔如从效劳器发送到客户端的一条SYN，或从客户端发送到效劳器的一条SYN/ACK〕的分段，并根据配置的参数设置采取恰当的措施。ACE可使用TCP标准化来阻塞某种类型的网络攻击，如插入〔insertion〕攻击和躲避〔evasion〕攻击。插入攻击是指设计一种机制，使检查模块接收终端系统拒绝的数据包。躲避攻击是指设计一种机制，使检查模块拒绝被终端系统接受的数据包。ACE总是自动丢弃坏分段校验和的数据包、坏TCP报头或错误的有效负载长度的数据包、带有可疑的TCP标记〔如NULL、SYN/FIN或FIN/URG〕的数据包。网络地址转换：为了给效劳器提供平安性，还可以将效劳器的专用IP地址映射到一个全局可路由的IP地址。客户端可使用该地址来连接到效劳器。在这种情况下，从客户端发送数据到效劳器时，ACE将把全局IP地址转换为效劳器专用IP地址。相反，当效劳器响应客户端的时候，ACE将把本地效劳器IP地址转换为一个全局IP地址，以到达平安目的，这个过程称为DNAT。我们建议在一期建设中由于本工程的数据中心处于内网，来自外部的攻击相对少，可以局部的使用ACE的这些平安特性作为自身保护和对防火墙的功能补充、负担卸载〔比方对特定协议的检查〕，不建议作为主要的平安手段使用。SSL分流设计ACE可以实现在网络上协助完成SSL的分流，以减轻后台效劳器操作SSL的压力。平安套接层〔SSL〕是一种应用层协议，为互联网提供加密技术，依赖证书和私钥/公钥交换来实现这一层次的平安性，从而确保平安交易，如为电子商务网站传输信用卡号。通过结合私密性、身份认证以及SSL数据完整性，SSL可在客户端和效劳器之间提供平安的数据交易。ACE模块通过一组特殊的SSL命令组来在客户端和效劳器之间执行加密功能。SSL功能包括效劳器认证、私钥公钥生成、证书管理以及数据包加密和解密。ACE支持SSL第3.0版以及传输层平安〔TLS〕第1.0版。ACE可以理解并接受SSL2.0版的ClientHello消息〔该消息也称为混合2/3hello消息〕，从而允许两种版本的客户端同ACE通信。在客户在ClientHello第2.0版中指明SSL第3.0版时，ACE了解该客户端可以支持SSL3.0版并返回一条3.0版的ServerHello消息。如果客户端仅支持SSL第2.0版，那么ACE不能让网络流量通过。建议根据不同的应用要求，可以有选择的配置SSL分流〔off-loading〕功能来为效劳器提供数据加密/解密。在SSLOff-loading的情况下，客户端发送HTTPS流量到ACEVIP，ACE将SSL流量转发到板上〔on－board〕SSL模块进行加密。明文流量将发回到ACE以做出负载均衡决策，然后再转发到真实效劳器。从真实效劳器发出的返回流量被转发到ACE，ACE再将明文流量发送到SSL模块进行重新加密。然后，加密的流量就发送回ACE，ACE再将其转发回客户端。从而最终解脱效劳器繁重的SSL处理负担。扩展性设计XXX公司数据中心网络设计中采用了业务功能模块化和网络拓扑层次化的设计架构，使用了核心