超融合数据中心建设部署方案

1、 超融合数据中心建设部署方案目 录 TOC o 1-3 h z u HYPERLINK l _Toc535442475 1.概述 PAGEREF _Toc535442475 h 4 HYPERLINK l _Toc535442476 2.数据中心的发展趋势 PAGEREF _Toc535442476 h 5 HYPERLINK l _Toc535442477 2.1数据中心集中化和使用者的分散化 PAGEREF _Toc535442477 h 5 HYPERLINK l _Toc535442478 2.2服务器的分析 PAGEREF _Toc535442478 h 6 HYPERLINK l

2、_Toc535442479 2.3虚拟化 PAGEREF _Toc535442479 h 6 HYPERLINK l _Toc535442480 2.4SoA基于业务的数据中心架构 PAGEREF _Toc535442480 h 7 HYPERLINK l _Toc535442481 2.5绿色数据中心 PAGEREF _Toc535442481 h 7 HYPERLINK l _Toc535442482 2.6安全 PAGEREF _Toc535442482 h 7 HYPERLINK l _Toc535442483 3.数据中心的建设策略 PAGEREF _Toc535442483 h 8

3、 HYPERLINK l _Toc535442484 4.网络架构的简化 PAGEREF _Toc535442484 h 9 HYPERLINK l _Toc535442485 4.1传统网络架构的问题 PAGEREF _Toc535442485 h 9 HYPERLINK l _Toc535442486 4.2Gartner的调研报告 PAGEREF _Toc535442486 h 11 HYPERLINK l _Toc535442487 5.超融合数据中心解决方案 PAGEREF _Toc535442487 h 13 HYPERLINK l _Toc535442488 5.1云数据中心整体

4、架构 PAGEREF _Toc535442488 h 13 HYPERLINK l _Toc535442489 5.2简化数据中心矩阵 PAGEREF _Toc535442489 h 13 HYPERLINK l _Toc535442490 5.2.1虚拟集群交换技术VCS PAGEREF _Toc535442490 h 14 HYPERLINK l _Toc535442491 5.2.2通过TRILL构建无缝扩展数据中心 PAGEREF _Toc535442491 h 18 HYPERLINK l _Toc535442492 5.2.3分布式智能架构 PAGEREF _Toc53544249

5、2 h 20 HYPERLINK l _Toc535442493 5.2.4简化的管理 PAGEREF _Toc535442493 h 22 HYPERLINK l _Toc535442494 5.2.5高效的多路径带宽利用 PAGEREF _Toc535442494 h 23 HYPERLINK l _Toc535442495 5.2.6虚拟链路聚合 PAGEREF _Toc535442495 h 24 HYPERLINK l _Toc535442496 5.2.7与云管理平台的整合 PAGEREF _Toc535442496 h 25 HYPERLINK l _Toc535442497 5

6、.2.8多种类型的融合方案 PAGEREF _Toc535442497 h 27 HYPERLINK l _Toc535442498 5.3融合数据中心的部署方案 PAGEREF _Toc535442498 h 35 HYPERLINK l _Toc535442499 5.3.13号楼与4号楼互联方案 PAGEREF _Toc535442499 h 36 HYPERLINK l _Toc535442500 5.3.2出口互联方案 PAGEREF _Toc535442500 h 36 HYPERLINK l _Toc535442501 5.3.33号楼互联方案 PAGEREF _Toc53544

7、2501 h 37 HYPERLINK l _Toc535442502 5.3.4传统交换机互联方案 PAGEREF _Toc535442502 h 37 HYPERLINK l _Toc535442503 5.3.5SAN网络互联方案 PAGEREF _Toc535442503 h 38 HYPERLINK l _Toc535442504 5.3.6LAN互联互联方案 PAGEREF _Toc535442504 h 38 HYPERLINK l _Toc535442505 5.3.7未来南校区规划方案 PAGEREF _Toc535442505 h 39 HYPERLINK l _Toc53

8、5442506 5.4融合数据中心的实施方案 PAGEREF _Toc535442506 h 39 HYPERLINK l _Toc535442507 5.4.1 固件升级 PAGEREF _Toc535442507 h 39 HYPERLINK l _Toc535442508 5.4.2 基础配置 PAGEREF _Toc535442508 h 40 HYPERLINK l _Toc535442509 5.4.3 License添加 PAGEREF _Toc535442509 h 40 HYPERLINK l _Toc535442510 5.4.4码和矩阵设置 PAGEREF _Toc535

9、442510 h 40 HYPERLINK l _Toc535442511 5.4.5创建VLAN PAGEREF _Toc535442511 h 41 HYPERLINK l _Toc535442512 5.4.6 vLAG配置 PAGEREF _Toc535442512 h 41 HYPERLINK l _Toc535442513 5.4.7 AMPP配置 PAGEREF _Toc535442513 h 42 HYPERLINK l _Toc535442514 5.4.8 OSPF配置 PAGEREF _Toc535442514 h 42 HYPERLINK l _Toc535442515

10、 5.4.9 VRRP配置 PAGEREF _Toc535442515 h 43 HYPERLINK l _Toc535442516 5.4.10 Flex port配置 PAGEREF _Toc535442516 h 43 HYPERLINK l _Toc535442517 5.4.11 日志配置 PAGEREF _Toc535442517 h 44 HYPERLINK l _Toc535442518 6产品简介 PAGEREF _Toc535442518 h 44概述对于任何机构而言，数据中心都好比是它的心脏。员工、合作伙伴和客户都需要依赖数据中心里的数据和资源才能有效交流与合作。过去十年

11、来，随着互联网和Web技术的兴起，数据中心的战略地位变得越来越重要，因为它不但能提高生产率，改善业务流程，还能加快变革的进程。总之，数据中心已经成为IT 部门保护、优化和发展业务的战略重点。要实现这些目标，数据中心建设面临着很多挑战。过去几十年来，为适应经济的迅猛增长，多数企业数据中心都经历了一个快速发展期。数据中心运行的应用越来越多，但很多应用都相互独立，而且在使用率低下、相关隔绝的不同环境中运行。每个应用都追求性能的不断提高，一般情况下，数据中心必须支持多种操作系统、计算平台和存储系统。这种需要支持多个应用“孤岛”的分立式基础设施不仅难以变化和扩展，而且管理、集成、安全和备份成本很高。传统

12、的数据中心正变得过于复杂，成本高昂并且效率低下，逐步成为了企业业务进一步发展的最大的瓶颈。传统数据中心的体系架构已经有超过10年没有变化：部署了过多的交换节点，设计及实际运行中的大部分的是低性能、低密度的设备。而用户和应用的增长几乎一直都伴随着机柜和设备的增长。更为严重的是，这些升级在生产环境中引入了新的未经测试的操作系统，紧接着的是额外的投资开销、机架空间、电源消耗及管理费用，这些都直接导致了数据中心运维的整体复杂性以及成本的大量增加。根据行业预测，70% 的IT 预算都花费在了现有应用环境的维护上。因此，IT 机构必须提高运行效率，优化数据中心资源的利用率，才能将节省出来的资金用于开展新的

13、盈利型IT 项目。另外，数据中心建设需要建立永续基础设施，才能保护各种应用和服务免受各种安全攻击和干扰的危害。与此同时，数据中心领域也在不断涌现出大量的创新，包括服务器虚拟化、以太网存储、新的业务应用交付模式等。这些创新能够推进企业数据中心效益的进一步提升。数据中心的融合和虚拟化趋势加速了资源的优化及成本的下降。融合、虚拟化及存储对网络性能和安全都提出了更高的要求。而服务器虚拟化不仅大幅提高了服务器资源的使用率，也大幅增加了网络内部的数据业务量。运行在虚拟服务器环境下的应用，要求更低的延迟、更高的吞吐量、更加强壮的服务质量 (服务质量 (QoS) 和极高的可靠性HA (HIGH AVAILAB

14、ILITY)。传统的数据中心已经不能满足每端口增加的业务量及性能要求。更进一步，数据存储的高带宽和低延迟要求，以及更多的采用iSCSI和NAS，则更增加了对网络架构的要求。而随着未来FCoE (Fiber Channel over Ethernet以太网光纤隧道) 的标准化，该技术必将对网络架构提出更高的带宽和性能要求。此外，如SOA (Service Oriented Architecture面向服务的架构) 和WOA(Web Oriented Architecture面向Web的架构) 等新的应用架构，以及如云计算、桌面虚拟化和软件既服务 (SaaSSoftware as a Servic

15、e) 等新的业务，也对数据中心网络架构产生更高的性能和带宽要求。这些更高的需求要求数据中心部署全新的高性能的网络平台，以提高数据中心的生产率，同时降低了数据中心的新应用进入市场的时间和运维成本。数据中心的发展趋势数据中心集中化和使用者的分散化为了降低运行维护和数据整合的成本，简化操作，并符合法律法规的监管要求，越来越多的企业在考虑整合合并其数据中心。据Nemertes研究公司的报告称，超过50%的公司在过去的12个月之内，合并其分散的数据中心为整合的集中的大型数据中心，而这一趋势在今后的12个月内更加显著。整合的大型数据中心除了能够满足高可靠性的要求，确保不间断的业务，同时还能够降低数据中心的

16、处理时延，并提供更高的安全保障。同时，企业数据中心的设计还必须满足越来越分散的使用者（分支机构、门店或个人）的趋势，据Nemertes的研究报告，企业中约89%的员工是工作在总部以外的区域，如远程的分支机构。此外，虚拟化的趋势已进一步扩展了企业数据中心的使用者范围，包括企业的承建商，咨询顾问，业务伙伴和客户等等，这些用户需要在世界任何地方、任意时间接入并使用数据中心的应用。因此，企业必须提供7X24小时的高可靠的用户的安全连接和使用，同时确保所有企业资源和应用的安全性。服务器的分析Gartner公司称，数据中心平均每年服务器保持了11%的增长率，而存储则是22%。这些快速的增长带来对数据中心的

17、电力供应和冷却能力的巨大压力。 2014年的Forrester的报告也指出，51%的企业将集中部署服务器作为一个关键优先考虑事项。Gartner还报道指出，大多数企业的服务器都只运行了其能力20%，因此，通过虚拟化新技术，能够更好地利用这些闲置浪费的资源。此外，集中式部署的数据中心的备份和安全问题必须得到解决，集中的数据中心也要求能够具备统一、集中的管理解决方案，从而减少时间和资源投入，以保持数据中心的可靠性和可用性。虚拟化虚拟化是一种用于共享资源，使单一的物理资源划分为许多个别独立的资源的技术手段。反过来虚拟化也可以使得多个独立的物理资源整合为一个统一的资源。虚拟化的好处是在以最小的成本，创

18、造更灵活的系统，可以轻松地提供灵活的部署，先进的自动化，安全和易于管理的优势。虚拟化主要应用在四个主要资源类别：服务器，存储，网络和最终用户桌面。 服务器虚拟化让一台服务器通过如VMware 或Microsoft Virtual Server软件，虚拟化为多台机器。服务器虚拟化使IT管理人员能够灵活地管理Server上的工作负荷，并提供相应的HA和灾难恢复服务。 存储虚拟化有助于使许多存储阵列、池和系统显示为一个单一的资源，提供这些资源的无缝缩放，从而实现更加方便的数据迁移，提高资源利用率和简化的管理规定。 虚拟化的网络是通过不同的虚拟化技术，实现数据平面的虚拟化、控制平面的虚拟化和管理平面虚

19、拟化。客户端虚拟化使IT管理人员能够提供快速的、无所不在的托管桌面访问，以实现完全的安全、易于管理和升级。SoA基于业务的数据中心架构新兴企业正在越来越多地采用面向服务的架构（SOA）的业务流程，通过各个不同的独立的业务功能模块，构建大型的集成的应用系统。虚拟化技术在SOA的环境中得到了广泛的使用，通过虚拟化技术，能够增加服务的可靠性，实现无缝的扩展。在这种方式下，IT部门可以在不同的应用程序进程之间整合各种关键的技术。在一个基于SOA的环境中，各个业务功能模块之间进行大量的，密集的信息交换和互通，这对数据中心的网络带宽会带来新的影响和冲击。绿色数据中心随着业务和终端用户利用越来越多的网上资源

20、，企业必须建立他们的IT架构去支持这些网上应用，但很多企业都面临着数据中心运行维护的成本问题。据权威统计，一个企业的平均存储需求每年都以20-150%的速度增长。其中，服务器增长11%，应用程序增长10%。因此，承担众多业务应用的企业数据中心消耗了翻倍的能源，并产生成倍的热量。美国环保局的一个调查发现，2006年服务器设备电力消耗占美国全部电力消耗的1.5%。企业在电力上的花费比在硬件设备上的花费还要多。对于新建的数据中心而言，重要的是要确保数据中心网络基础设施能够实现最大的能源利用和空间利用效率，从而实现最低的运行维护成本。绿色倡议，跟踪。在设计一个数据中心时，必须考虑到电力和冷却资源的使用

21、，二氧化碳排放量等这些关键因素。安全联邦调查局的统计显示，2006年至少72%的公司遭遇过安全事故。2006年Forrester研究公司的调查发现， 57%的企业将“升级安全环境”列为公司IT方面的首要任务。由于数据中心业务系统的的集中化和使用者份额分散化，远程用户被授予的网络接入范围日益广泛，因此必须在企业的数据中心提供有效的安全保障，如提供分支机构用户以安全的远程接入通信方式接入到数据中心，或者提供远程机构到核心网络之间的站点到站点通信。另外，还必须考虑到数据中心内部不同应用系统、不同虚拟机之间的安全，多个数据中心之间的连接的安全性，如主备数据中心之间的流量安全等问题。数据中心的建设策略博

22、科通讯数据中心架构解决方案简化了数据中心的安全与网络设计。通过消除传统架构中的多个交换节点，全新的简化网络设计需要更少的设备和互联链路带来空间、电源、制冷以及管理的更高效率。设备的减少、性能的提高以及高可用性，是通过具有线速性能的虚拟集群交换 (Virtual Cluster Switching) 技术获得的。通过将传统的“杂乱式安全/负载均衡”等网络功能设计整和到网络功能虚拟化（NFV）部署，解决方案简化并提高了L3-L7等网络功能的部署效率。这些NFV产品基于动态服务架构并提供真正服务集成，使得新增网络功能的部署速度的大幅提升成为可能。另外，通过提高跨越多个数据中心的汇聚核心网络的扩展性，

23、高级路由技术和平台实现了业务操作的灵活性。数据中心也能在更低的复杂性下快速部署新的应用和支持新的服务，从而以更高的性能和更低的成本实现业务发展目标。新一代数据中心的整体建设思路：1。可扩展性：成长的提供可扩展的网络架构和数据中心处理能力。 2。快速：能够支持任何通信应用程序或服务，提供高带宽，降低处理延迟。 3。可靠性：满足数据中心集中化后的高可靠性要求。 4。安全：对数据中心的各类应用和网络平台本身提供安全保障。 5。简单：降低管理维护复杂性，降低成本。网络架构的简化传统网络架构的问题传统的数据中心网络架构采用了核心汇聚接入的三层网络架构模型，这一方面是受到了传统的园区网络三层架构的建网模式

24、的影响，同时早期的设备也无法满足核心接入这样的二层架构所需要的端口密度和性能要求。在三层网络架构发展的时期，这种模式是必不可少的，因为局域网交换技术力求满足大多数企业的交换性能需求，而功能分层是提高性能的一种行之有效的方法。例如，骨干交换机的速度恰好能够支持大多数核心应用，如果再让它去执行复杂的路由或过滤任务 (通常在软件中执行)，运行速度定会急剧下降。因此，这些功能被分配给了多个汇聚交换机，以便核心交换机能够专门执行简单的交换任务，从而最大限度地提高性能。采用这种设计方法，大型网络会需要多个核心交换层来进一步扩大规模，每层通常执行不同的任务。使用这种方法创建的一些参考设计至今仍被作为模板来使

25、用，交换层能多达五个，每层都由多个设备组成。这类配置中，用于连接交换机的以太网端口数量，通常与连接用户或服务器的端口数量相同。随着这种方法日益成熟，交换机供应商开始寻求通过汇聚层提供更加丰富的服务，不仅包括路由访问控制列表和其它低级别数据包处理功能，还包括防火墙和流量分析等其它功能这类功能通常由服务板卡提供，服务板卡可添加到所有的汇聚层交换机。在极端的情况下，供应商可能会将服务板卡添加到每一个网络层次，以期改进服务/提高安全性；事实上，在各层复制相同的功能，只会徒劳无功。而在当今的数据中心，如果继续采用这种网络架构将存在以下几个方面的问题：网络的层次较多，处理效率低；多增加了一个汇聚的层面，就

26、会额外增加汇聚设备的处理时延、线路时延等；同时由于网络节点数量增多，也增加了部署成本和设备故障的几率；由于汇聚层面设备一定存在处理性能和上行带宽的收敛比，在数据中心规模不断扩大的情况下，汇聚设备会成为整个网络的瓶颈，出现拥塞、丢包等问题；在网络扩容时，不仅仅需要增加接入层的设备，同时也必须考虑到汇聚设备的性能和端口密度能否满足要求，也需要进行相应的扩容，带来投资成本的增加。网络设备之间的STP、LAG、路由处理、安全等等相互之间的交互信息，随着设备数量的增加，会成几何级数激增。以10台交换机为例，设备之间的交互量为10 x(10-1)/2=45；而如果是100台交换机，交互量则上升至4950；

27、如果是1000台交换机，则交互量为499500，几乎无法正常管理和应用的地步。早期数据中心的流量模型是ClientServer流量占绝大多数，而随着数据中心虚拟化的部署，新的数据中心流量模型中，大多数的流量是在内部服务器之间进行通信，甚至能够达到整体流量的75%甚至更高，这种部署架构会导致服务器之间流量需要通过汇聚层甚至核心层设备转发，效率低下，且性能很差。Gartner的调研报告Gartner在最大限度减少网络交换层，显著降低成本并提高效率的调研报告中也指出，过去，针对交换机性能有限的环境，我们创建了现有的局域网设计方法。如今，大容量交换机采用全新的设计方法，从而降低园区及数据中心局域网的成

28、本和复杂性。过去三年来，局域网交换机市场发生了显著的变化。虽然企业的流量需求在不断增长，但局域网交换机容量的增长速度更快。此外，更复杂的功能不是在软件中执行，而是直接嵌入到芯片中，这样可以通过交换机的所有端口“线速”提供这些功能，同时不会影响交换性能。现在，最大型的企业级局域网交换机每秒可处理超过一个T的交换容量，能够支持近1,000个1 Gbps以太网端口或者200多个10 Gbps端口。与前几代产品相比，这些新型交换机中的服务板卡的数量呈下降趋势。以前，交换机性能有限，我们创建了传统的局域网设计方法。当前，许多企业在设计网络时，仍在沿用这种方法。在某些情况下，他们保留汇聚层只是为了提供防火

29、墙等服务模块，这与最初的设计理念完全背道而驰汇聚交换机的最初目的是便于企业提供更多功能。现在，您可以根据新的市场条件，采用新的方法来设计局域网。由于所有的交换机端口都能在不影响性能的情况下提供丰富的功能，因此您可以放弃三层设计方法，而选择更为精简的拓扑结构。例如，可以使用单层交换机来支持小规模配置；使用两层交换机来满足企业园区及数据中心的大多数需求；使用三层交换机来支持超大规模的网络部署（见图2）。减少交换层次的网络设计方法不会影响冗余功能，因为核心交换机通常作为完全冗余部署，具有永续特性，如冗余电源以及控制和交换矩阵等。在数据中心，接入层通常也采用双冗余配置的部署模式，将服务器同时连接到两个

30、交换机中。这种全新的精简方法设计局域网的主要优势在于，能够减少网络中的交换机和链路数量，从而降低前期购置成本和后期维护成本。此外，精简的配置还能降低电力和冷却需求，这对数据中心网络尤为重要。通过减少交换层数量，流量需要穿越的交换机数量也会减少，从而可以缩短延迟，提高应用性能。此外，简单的配置还有助于简化网络管理，减少需要配置的设备，以及需要排障的端口和线缆数量，并简化路由和虚拟局域网 (VLAN) 的配置。超融合数据中心解决方案云数据中心整体架构新的基于云的数据中心架构中，基础的物理设施，包括基础网络平台（路由器、交换机、防火墙、负载均衡设备等）、计算平台（PC服务器、小型机、刀片式服务器等）

31、以及存储平台，都应该能够通过一些虚拟化的方式，将其转变为虚拟化的资源池。这些虚拟资源池可以通过上层的业务控制层面，如云计算管理平台或者SDN控制器平台，通过灵活的南向接口（如openflow）实现资源灵活的按需调度、分配、回收和高效利用。另外，控制平面还能够提供开放的北向接口（如RESTful API），实现与各类应用系统以及上层的业务系统之间的对接，最终实现了底层硬件资源与顶层业务逻辑之间的无缝整合。简化数据中心矩阵在大量的数据中心环境中，需要部署大量的以太接入交换节点提供服务器连接到网络核心。为减少交换节点，Brocade数据中心架构解决方案采用虚拟集群交换(Virtual Cluster

32、 Switching) 技术，支持高达48台的VDX系列交换机互联，形成单一的逻辑设备，实现整个数据中心网络架构的最简化。虽然全部的交换机以单一平台运行，但在虚拟交换集群配置中的每台独立物理设备都有其自身的电源输入和风扇盘阵和转发ASIC，提供可靠的以太网交换能力。因此，由于采用了高性能的交换核心和网络边缘设备，同时通过VCS技术实现了网络架构的简化，因此新的数据中心的网络可以多台物理设备虚拟化为单台逻辑设备的一层架构，从而提升效率、减少故障点、降低管理维护工作量。博科新一代虚拟集群交换技术（VCS）产品 VDX产品作为新型用户和业务的云架构平台，VDX 系列交换机不仅能够自动识别虚拟化的服务

33、器，同时能够在虚拟机迁移时自动实现端口状态的迁移（AMPP）。与此同时 VDX 交换机具备以太网矩阵、分布式智能性、逻辑机箱的特点和支持数据中心以太网桥接 DCB和 FCoE 的网络融合技术、支持 TRILL 等新一代网络组网技术等特点，为构建新一代云计算架构的平台提供最佳的网络平台。虚拟集群交换技术VCS打造云计算架构的数据中心关键在于全面展开的服务器和应用虚拟化，在于建设一个真正意义上的可增长、不间断运行的平台，而目前市场上流行的数据中心交换机设备并不能实现这一目标，由于不能识别虚拟机的存在，当然也不能帮助实现虚拟机迁移过程中的自动端口状态迁移。目前的数据中心网络结构普遍采用生成树协议来实

34、现链路的冗余和备份，但是生成树的收敛时间过长，常常导致网络的短暂中断。博科公司正是为了解决上述种种问题，专门针对虚拟化架构下的数据中心开发了下一代虚拟交换技术 VCS。这种由博科开发的新技术旨在满足虚拟化数据中心的独特需求。通过将架构交换的可靠性、灵活性和可扩展性应用于数据中心架构，博科VCS克服了传统以太网网络的限制。通过VCS，博科将帮助客户把现有网络架构无缝过渡到融合数据中心架构。博科的VCS虚拟集群交换技术通过4项专为高度虚拟化服务器和存储环境而优化的基本技术创新来转化数据中心网络：博科VCS使企业机构能够构建业界首个融合数据中心架构。这些架构本身是多路径的，并具有弹性，有效减少了对生

35、成树协议（STP）的需求。博科VCS提供了一个完全无主机的分布式控制平面。这种系统可持续同步各个节点之间的状态、状况和配置信息如：虚拟机（VM）元数据、网络和存储政策，使融合架构得以自我形成、自动修复并自行配置。通过将集群当作单一的逻辑机架，博科VCS大大简化了管理。这种管理方式显著减少了架构中管理的网元数量，并降低了相关成本和复杂性。博科VCS还使服务能够动态插入融合架构中，并且无需中断网络或重新配置网络。在数据中心中，采用Brocade的VDX系列交换机，采用任意拓扑结构互联，无需额外的配置即可自动构建VCS虚拟交换集群矩阵，最多48台VDX交换机可以构建成VCS矩阵并作为一台独立的逻辑设

36、备进行统一的配置、管理、维护。可选择的交换机系列包括VDX8770系列、VDX6940系列和VDX6740系列。当数据中心规模较小、VDX设备节点数不多的情况下，可以采用设备之间直接互联的方式构建VCS矩阵。如采用五台VDX6740数据中心交换机通过40GE线路full-mesh互联的架构下，数据中心矩阵可以提供240个千兆/万兆自适应接口。但需要注意的是，采用这种架构时今后矩阵的扩展会导致矩阵拓扑结构的改变。而当数据中心规模逐渐扩展，需要更多的接入端口时，可以采用Spine + Leaf的网络架构，实现矩阵规模的按需平台扩展。在实际部署时，可以采用VDX6940作为Spine根节点设备，VD

37、X6740作为叶节点设备，通过40GE链路实现节点之间的互联，如下所示。在这种模式下，数据中心矩阵的规模可以平滑扩展到4台VDX6940 + 36台VDX6740。而当数据中心对Spine节点有双主控等冗余特性需求时，建议采用VDX8770作为Spine节点，提供更好的冗余特性和扩展能力。对于数据中心40GE的部署，Brocade提供了以下几种方案：光模块型号距离OM3/OM4光纤连接接头IEEE 标准40G-SR4100/150m12 fiberMTPYes40G-eSR4300/ 400m12 fiberMTPYes40G-LM4140/160mSMF: 2KM2 fiberLCNo对于采

38、用40G-SR4或者40G-eSR4的光模块而言，光纤布放需要采用12芯光缆，且需要定制MTP的连接接头，成本较高。而当采用40G-LM4光模块时，可以采用现有数据中心已经布放的OM3/OM4的光纤上，且只占用一对光纤，成本较低易于部署。另外，当采用单模光纤时，40G-LM4的距离可达2KM，能够用较低成本满足远距离数据中心40GE互联的需求。通过TRILL构建无缝扩展数据中心将VCS设计为构建大型、高性能、平面式2级数据中心架构所必需的核心技术，以便更好地支持更多客户采用服务器虚拟化。随着客户部署更多虚拟机，基于数据中心桥接（DCB）技术上的VCS在可以满足对网络可靠性和性能越来越高的要求。

39、博科帮助引领数据中心桥接技术通过行业标准机构的认证，确保该技术适用于要求苛刻的数据中心网络。作为支持融合架构数据中心的技术，VCS 实现了以太网矩阵架构，支持 DCB（数据中心桥接）和 FCoE 技术，这样原来各自独立的数据中心IP 网络、IP存储网络和FC光纤通道网络可以实现网络层面上的融合。而以太网矩阵结构则帮助实现了网络中任何节点、任何链路的变化不会造成网络运行的中断。博科VCS中另一个关键技术就是新兴IETF标准多链路透明互联（TRILL），它以更高效地方式在融合架构中迁移数据。TRILL是多链接透明互联的缩写，而且也是IETF（互联网工程任务组）推荐的连接层（L2）网络标准。TRIL

40、L具有很高的重要性，因为大型数据中心开始利用FCoE（以太网光纤通道）等新技术将存储传输和IP传输融合到以太网连接上，而标准的生成树协议（STP）将不再适合融合网络或超大型数据中心的扩展。随着FCoE采用率的提高，企业存储将开始加入IP网络上的其他协议。从存储的角度来看，随着时间的推移，TRILL可以代替L2网络上普遍使用的STP协议。STP的弱点是它是在超小型集线器年代设计的，其年代甚至在交换机之前。虽然STP有几种分类型，但是从设计上来说，它的设计是确保到一个特定点的连接只有一个路径。STP的目标是创建一个无环路的架构。当然，几乎所有网络都有冗余路径。通过STP，所有这些冗余路径都被阻止了

41、。随着环境的扩张，多个交换机和更多的路径被加入到架构中，但是STP仍然会阻止所有路径，只留下一个路径。当活跃路径发生故障的时候，网络必须在新路径上重新融合。在大型网络中，重融合过程需要花费几秒钟时间。虽然这看起来还可以为标准IP通信所接受，但是对于存储或融合网络来说就不可接受了，特别是那些有虚拟环境的络。STP的另一个弱点就是从网络带宽的角度来看STP并不是非常有效率。首先，所有被阻止的路径都代表着闲置的带宽。单位带宽的增加意味着有越来越多的带宽没有得到利用。其次，活跃路径可能并不是两个设备之间最有效或最短的通信路径。其实，STP上的数据经常采用的是网络上的优美路径而不是直接的或最短的可用路径

42、。这个缺点不仅会影响存储，对虚拟环境下实时虚拟机迁移也是不利的。将虚拟机或应用程序迁移到另一个服务器可能需要通过几个路径和交换机，而次优的路径选择只会使性能变得更差。虚拟机（VM）迁移也需要同主路径上的其他传输相竞争。实际上，许多大型虚拟环境会设置一个专用的VM迁移网络。如果利用好前述被阻止的路径，也就是说通过原先被STP闲置的路径来迁移虚拟机，那么事情将简单许多。TRILL的一个目标就是寻找最短可用路径并利用这个路径。要做到这一点需要了解整个拓扑以及当时当下的网络利用情况。在生成树设计的年代，集线器/交换机硬件不能存储整个网络的设置情况，其结果是，每个路径，无论是活跃的还是非活跃的，都必须可

43、以处理峰值负荷。TRILL知道整个架构并知晓如何有效利用这个架构，因此网络可以得到更有效的利用，不需要每个单元都可以处理峰值负荷。TRILL实际上将网络负荷分解到多个路径上，从而更有效地利用网络带宽。通过在L2网络上增加多路径功能，TRILL解放了网络带宽并使得L2网络更加具有弹性和更加适合虚拟化环境。由于以前没有TRILL，大多数网络受限于STP的限制，必须构建多层网络，也就是边缘或访问层的第二层架构以及聚合层的第三层网络。最后，再在网络架构的其他层设置核心路由协议。这是过去十多年来网络设计的主要方式。这种设计的想法是在STP的限制范围内将第二层网络分区到其他层。这样，在发生故障或需要重新融

44、合传输的时候，重计算过程可以保持在可以接受的时间范围内。这种方式的缺点就是这种类型的网络的成本比较高。首先，第三层或路由端口要比第二层交换端口更贵。你部署得越多，架构的成本就越高。在环境中引入第三层网络的第二个缺点就是它很复杂，需要持续的跟踪和管理。对于如今专业分工越来越细的IT人员来说，复杂性是应该避免的。最后，这种设计也使得动态数据中心难以实现随需服务的目标。在有第三层的情况下，将带宽从第二层网络迁移到其他层网络需要细致的规划，而且灵活性受到限制。由于这种因素，在部署实施第三层网络后，它只能适用于相对较小的规模，而且大部分情况下，数据中心需要面对STP的低效性。分布式智能架构通过可在网络内

45、部增强虚拟机可视性并支持虚拟机无缝迁移政策的技术，博科VCS还改进了服务器虚拟化。VCS通过其分布式服务架构来实现这一目标，后者可使架构了解其范围内的所有互联设备，并能够跨越这些设备共享信息。端口配置自动迁移（AMPP）是VCS的一个功能，可使虚拟机的网络配置如安全性或服务质量水平在迁移过程中跟随这台虚拟机，而无需人工干预。这种前所未有的虚拟机可视性水平以及自动化配置管理有助于智能消除实现虚拟机移动性的物理屏障，这种屏障存在于现有技术和网络架构中。以太网矩阵架构不要求特定的拓扑结构，不会限制过量使用率。因此，网络设计人员可以创建最适合满足他们特定虚拟化需求的拓扑结构。 与其它技术不同的是，VC

46、S允许定义不同的端到端过量使用率，或在应用需求发生变化时进行微调。 而且，与交换机堆栈技术不同的是，以太网矩阵架构是一种无主结构。这意味着没有一台交换机存储配置信息或控制矩阵架构的运行。任何交换机发生故障或被拆除时都不会导致矩阵架构的运行中断，或在选择新的主交换机时导致流量延迟。简化的管理通过将多个离散的交换机作为一个逻辑实体来管理，博科VCS还简化了博科融合架构的管理。这些VCS功能使客户能够将网络架构压缩到单一的二层结构内，以便作为单个交换机来管理。这降低了网络的复杂性以及运营成本，同时还让VCS用户能够将其虚拟机环境扩展为全球拓扑结构。以太网矩阵架构可以扩展到每逻辑机箱1000多个端口。

47、因此，Brocade VCS 技术消除了对独立汇聚交换机的需要，因为矩阵架构可以“自动汇聚 （ self-aggregating ）”。这样就可以实现更扁平的网络架构，进而大大降低成本和管理复杂性。网络设计人员将能够迁移核心/边缘架构，简化他们的设计，同时降低资本和运营支出。 逻辑机箱功能可以大大减轻小型边缘交换机的管理工作。企业不再需要分别管理每台架顶式交换机（或刀片服务器机箱中的交换机），相反可以将它们作为单一逻辑机箱进行管理，进而进一步优化虚拟化数据中心内的网络，在业务增长时轻松扩展他们的私有和公共云。高效的多路径带宽利用通过在VCS以太网集群中实现高效智能的多路径链路负载算法，网络将发

48、挥不同以往的带宽利用和流量的负载均衡。以太网矩阵架构实现了网络流量在第一层、第二层和三层流量的智能多路径分发，从而最大程度地发挥以太网矩阵集群的功效，使得企业数据中心网络完全承载和智能切换流量。以太网矩阵中任意二台交换机之间的链路称为ISL trunking，通过 ISL trunking 技术二台或者多台交换机自动耦合成单一逻辑交换机，并且无须任何手动配置。一旦二台之间存在多条互连链路，博科的 ISL trunking会自动汇聚成聚合链路，并且所有二台之间的流量利用博科ASIC芯片实现流量的逐包负载均衡，博科ASIC芯片支持乱序检测和按序传递的特性，以最短的延迟实现流量的负载均衡，这个也称为

49、网络流量第一层的多路径智能分发。如果网络流量途径以太网矩阵的多个节点，系统将采用传统的哈希算法实现等价多路径分发，实现数据流量逐流负载均衡，在二层网络中实现高效的流量负载和备份，这一特性也称为二层流量的多路径负载均衡。最后，一旦流量需要经过以太网矩阵的出口三层转发到集群之外的路由器上，博科的以太网矩阵还提供了多出口三层转发特性，最多提供4个出口的三层active-active转发，将集群中的流量引导到与之最近的出口快速转发，这一特性称之为以太网矩阵的三层多多口转发，可以大幅提高整个集群的扩展性和冗余性。通过以太网矩阵多层次、多路径的智能转发，极大地提升了企业用户的数据中心网络的带宽利用和可靠性

50、。虚拟链路聚合为了增加带宽和冗余性，网络设计的优选方案是透过不同设备、不同链路在增加带宽和吞吐的同时，不会因为单节点或者单链路的故障导致网络故障，传统网络解决方案仅能提供服务器网卡的捆绑和有限堆栈网络设备的方案，难以提供现代数据中心大二层、高密度、虚拟化应用上的真正跨节点、跨设备多链路捆绑，博科以太网矩阵考虑到这一需求，提供了灵活和冗余的虚拟链路聚合vLAG特性。在以太网矩阵中跨越多个物理交换机形成的链路捆绑称为虚拟LAG (vLAG)，对于以太网集群之外的服务器或者网络设备，整个以太网矩阵是一台单一的交换机，所以连接到矩阵中多台物理交换机的多条链路就好比连接到一台交换机的多条链路，这样既方便

51、了设备带宽扩容的需要，也避免了单一故障，增加了冗余性。目前vLAG支持最大8条万兆链路的聚合，支持静态或者动态LACP的协商。由于采用了行业标准的静态或者动态LACP协商处理，博科以太网矩阵提供的虚拟链路聚合特性可以与各种服务器或者网络设备无缝地集成，比如支持与采用服务器 NIC teaming方式的互连、支持链路聚合设备的互连、支持跨机箱链路捆绑设备的互连等。通过vLAG，以太网矩阵能够实现比传统二层方法更为灵活和冗余的设计。与云管理平台的整合Brocade VCS矩阵能够实现与云管理平台之间的对接。当采用VMware服务器虚拟化和云管理方案时，能够实现与VMware Vcenter之间的无

52、缝整合；而当采用Openstack云管理平台时，则可提供相应的Plugin插件，实现与Openstack之间的整合。以VMware云管理平台为例，VCS矩阵能够实现与VCenter之间的集成，通过与VCenter之间的对接，获取相应的信息，如VLAN、HOST、VM MAC、PORT等信息，并实现在物理矩阵上VLAN、QoS、安全、FCoE等端口属性的自动化配置。同时，VCS矩阵还提供了自动化的端口策略跟随（AMPP）功能，即能够获知VM的迁移信息，并随着VM的迁移，自动将相应的端口属性变更到新的端口上，实现基于VM-AWARE的自动化配置功能。同时，VCS矩阵还能够提供VXLAN的二层和三层

53、Gateway功能，能够实现基于VXLAN的多租户网络和传统网络之间的互通，并支持与VMware NSX控制器之间的对接。多种类型的融合方案采用Brocade VCS矩阵，能够将传统的数据中心LAN + SAN分离网络的架构整合为统一的、融合的数据中心一体化矩阵，从而实现网络架构的简化、统一的管理维护和更加平滑的扩容升级。博科以太网矩阵作为多功能多业务承载平台，可以支持FCoE，FC，NAS，iSCSI多种存储应用模式。VDX直连存储模式博科公司的VDX系列交换机均支持端到端的FCoE技术，通过将FCOE的帧封装进Trill包头里面从而实现端到端的FCoE技术。Brocade VDX 6740

54、可通过自带的32个万能端口支持多种存储连接选项，包括FC、FCoE、iSCSI和NAS存储。它们还采用了数据中心桥接（DCB）技术，允许通过LAN网络可靠地交换存储流量，在发生网络拥塞时避免丢包，并根据需要分配带宽，确保网络高效地运行。这些交换机可提供网络相连存储（NAS）Auto Priority智能功能，为Fabric架构中的延时敏感性IP存储流量分配高优先级，帮助确保一致的性能，同时缩短延时。对于广大的中小规模企业，业务出于起步阶段，网络和存储的规模不大，而且设备成本预算严格，采用以太网VDX交换机直接连接FCoE或者FC存储是非常合理的选择。服务器端安装CNA接口卡（10GE/CEE）

55、,同时承担以太网主机和FC SAN Initiator角色。服务器操作系统将CNA接口卡当做两个硬件设备（FC HBA和以太网NIC）进行配置管理。所以对操作系统而言，可以不考虑FCOE的存在。如果采用端到端的FCOE存储模式，VDX交换机的10GE接口将和后端的FCoE存储直接相连，FCoE报文将终结在后端的FCoE存储上。如果后端是传统的FC存储，VDX交换机将通过自带的万能端口开启FC模式，实现和后端的FC存储直接相连进行通信，FCoE报文将终结在博科VDX交换机上，以下简单介绍FCoE协议初始化流程。FCoE使用FIP（FCoE Initialization Protocol）进行初始

56、化连接，FIP运行于VF-Port和VN-Port之间， FIP在VDX交换机接口使能FCoE default命令后即开始：1.FIP VLAN Discovery 过程FIP VLAN Discovery 过程用于发现 FIP 协议以及后来的 FCoE 中使用的 FCoE VLAN 。ENode 首先向一个All-FCF-MACs的 MAC 地址发送 FIP VLAN Discovery Request 。本地 VLAN 上的所有的 FCFs (RFC术语，其实就是FCoE交换机) 都会监听这个 MAC 地址，并对该地址上的 FIP VLAN Discovery 进行响应， 向 ENode

57、发送 ENode 可以进行 VN_Port Login 的 FCoE VLAN 。FIP VLAN Discovery 是一个可选的步骤，它的作用仅仅是告诉 ENode 可用的 VLAN， 但并不会引发 ENode 对 VLAN 进行选择，VDX交换机缺省使用1002作为通信VLAN。2.FIP FCF DiscoveryFIP FCF Discovery 用于发现那些 FCFs 可以接受 ENodes 的 LOGIN。 FCFs 会定时地向 FCoE VLAN 上的 ALL-ENode-MACS 发送 FIP FCF Discovery Advertisement 。All-ENode-MA

58、Cs与前面的All_FCF-MACs对应，该地址被所有的 ENodes 监听。 这些 Advertisement 中包含了 FCF 的 MAC 地址，以及一些建立链接所需的其他参数。FCF 会定时的发送这些 Advertisement，然而对于新添加的 ENodes 来讲，ENode 可以向All-FCF-MACs发送 solicit unicast Advertisement 。FCFs 在接收到这个单播之后，会向发送的 ENode 发送一个 unicast FIP FCF Discovery Advertisement。ENode 在收集到了足够的信息之后，就可以决定和哪一个 FCF 建立

59、连接了。3.FIP FLOGI 以及 FDISCENode 在发现了所有的 FCFs 并选了了待 Login 的 FCF 之后， FIP 过程最后的一步就是通知所选择的 FCF： 我要和你的 VF_Port 建立虚拟连接了！ 这个过程中可能会涉及到多个 FIP 数据包，并最终为 N_Port 分配 FC_ID。直连存储模式的优点如下：用博科VDX6740的万能端口创建中小规模SAN网络，可以大大降低组网成本，并且提供优异的存储交换性能。采用支持多跳的FCoE存储，极大的简化布线与网卡数量可以方便的扩展到专有大规模SAN存储网络跨越4个独立交换机可聚合多达32条万兆端口的vLAG技术提供链路、节

60、点级别的高可靠性自动化的以太网矩阵成型与ISL链路聚合技术，Level 1，Lever2， Lever3 三个级别的多径转发技术逻辑机箱单一节点管理，全网感知和分发设备信息AMPP与Port-profile自动发现可预计的低延迟、全线速万兆端口VDX通过SAN交换机连接存储对于大中型规模的企业，由于业务已经非常成熟，而且已经构建了相当大规模的SAN网络，随著新业务的蓬勃发展，需要构建新的融合网络，建议采用NPV/AG模式进行组网。在传统的FC网络中，服务器节点的N端口需要用FC交换机进行FLOGI注册获取FC ID，如果一台应用服务器里面部署了很多应用服务，而且每个服务都希望拥有独立的FC I