CloudFabric云数据中心网解决方案-Underlay网络

1、 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name CloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（Underlay网络） DOCPROPERTY Product&Project NameCloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（Underlay网络） STYLEREF Contents 目 录文档版本 DOCPROPERTY Documen

2、tVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE iii DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE lxv DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCP

3、ROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司 STYLEREF 1 概述文档版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE 2概述随着行业数字化转型加速，企业数据中心云化的要求越来越迫切，云计算逐渐成为各行各业的基本能力，数据中心网络作为构建云数据中心的基石面临很大的挑

4、战。传统数据中心网络很难支撑云化的要求，SDN网络应运而生。相对于传统数据中心，SDN数据中心具有业务动态发放、业务分钟级上线、业务规模激增等新特征。华为CloudFabric解决方案针对SDN场景下Underlay网络进行了全新的设计，着力打造符合现代数据中心业务要求的高可靠网络。Underlay网络是Overlay业务的物理承载网络Overlay网络叠加网络，在现有物理网络上叠加一个软件定义的虚拟的逻辑网络。Overlay技术在对基础网络不进行大规模修改的条件下，实现应用在网络上的承载，从架构上对数据中心建设模式进行了颠覆，将对物理设备的要求降至最低，业务完全定义在叠加网络上。Underl

5、ay网络传统IT建设中，硬件服务器上运行的是虚拟层的计算，物理网络为了与虚拟服务器对接，需要网络进行调整，以便和新的计算层对接。通过Overlay技术，虚拟的网络对应虚拟计算（虚拟机的业务IP），传统网络不需要再做任何适配，物理层网络只需要做物理层对接和IP承载。物理承载网络，由各类物理设备构成，包括交换机设备、防火墙设备、负载均衡设备等。数据中心网络的物理基础层，实现数据中心内任意两点的路由可达。Underlay网络需满足快速部署，高可靠、低时延、易扩展等诉求。本文主要介绍华为CloudFabric解决方案Underlay网络（物理网络）设计方案。 DOCPROPERTY Product&P

6、roject NameCloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（Underlay网络） STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 概述文档版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE 59数据中心物理网络方案设计在华为CoudFabric解

7、决方案中，Underlay网络从Spine-Leaf组网结构、Server Leaf接入、Border Leaf接入、网络出口以及Underlay网络路由等多个方面进行了全新的考量和设计，力求满足数据中心云化场景要求，提升SDN Overlay场景下的网络可靠性，灵活性及可弹性扩缩等方面的能力。 HYPERLINK l _ZH-CN_TOPIC_0249351913 o 2.1 总体架构 HYPERLINK l _ZH-CN_TOPIC_0250966485 o 2.2 物理组网设计 HYPERLINK l _ZH-CN_TOPIC_0249351888 o 2.3 路由设计 HYPERLIN

8、K l _ZH-CN_TOPIC_0249351889 o 2.4 接入设计 HYPERLINK l _ZH-CN_TOPIC_0249351893 o 2.5 出口设计 HYPERLINK l _ZH-CN_TOPIC_0249770446 o 2.6 管理网络设计 HYPERLINK l _ZH-CN_TOPIC_0249351899 o 2.7 容量设计 HYPERLINK l _ZH-CN_TOPIC_0249351901 o 2.8 数据规划总体架构数据中心物理网络概述常见数据中心的网络的典型组网示意图如下所示。数据中心网络典型组网DC物理概念，Data Center，数据中心。数据

9、中心是指在一个物理空间（比如机房）内实现信息的集中处理、存储、传输、交换和管理，一整套包括建筑在内复杂的设施。计算设备、存储设备和网络设备是DC的关键设备。供电、制冷、消防、监控等基础设施是DC的关键配套。DCN物理概念，Data Center Network，数据中心网络。一个典型的数据中心组网包括，数据中心网络（DataCenter Network，DCN）、存储区域网络（Storage Area Network，SAN）、服务器。其中DCN提供数据中心内部互联，和数据中心内部和外部出口互联的网络。通常由一系列网络设备组成，根据业务功能分为不同区域，但是没有固定的区域划分，不同行业不同企业

10、有不同划分方式。PODPoint of Delivery，分发点。为了便于数据中心的资源池化操作和管理，可将一个数据中心划分为一或多个物理分区，每个物理分区就称为一个POD。因此，POD是数据中心业界通用的物理设计的概念，是网络、存储、计算一体模块化设计， 价值在于归一化硬件规格，便于模块化、标准化的部署IT基础架构。POD是DC的基本部署单元，每个DC可以部署多个POD，一台物理设备只能属于一个POD。POD可以是机房模块以POD为单位进行标准化建设，也可以根据实际业务需要定义POD：大型数据中心可以以整个机房模块为单位定义POD。中型数据中心可以两排或多排机柜为单位定义POD。小型数据中心

11、以数个机柜灵活组成一个POD。Spine-Leaf传统网络架构存在的问题：云计算和虚拟化的发展，分布式应用越来越广泛的部署，导致东西向流量激增。东西向流量需要被高效地处理，并且还要保证低的、可预测的时延。传统网络三层架构中带宽成为了瓶颈，同时三层架构的另一个问题是服务器到服务器时延随着流量路径的不同而不同，导致时延不可预测。基于Clos网络的Spine-Leaf架构是数据中心的新型网络架构，分为Spine节点和Leaf节点。Spine节点即骨干节点，提供高速IP转发功能。Leaf节点即叶子节点，提供网络接入功能。标准Spine-Leaf架构中，Leaf类似框式设备线卡，负责接入外部流量；Spi

12、ne类似框式设备的网板，负责Leaf之间的流量互通。每个Leaf节点会连接所有的Spine节点，形成full-mesh组网，构建高带宽、高可靠网络。每个Leaf节点与所有Spine节点之间实现三层全连接，通过IP ECMP构建非阻塞、高性能网络。任意2个服务器之间的流量经过相同跳数的设备（同一个Leaf下面的除外），实现可预测的低时延网络。具有极高的Scale-out能力，可按需扩展Spine 或者Leaf的数量。Spine节点支持扩展到4个，甚至更多。Spine的最大数量取决于Leaf节点的上行端口数。在两级Spine-Leaf基础上，可进一步扩展到级Spine-Leaf，实现更多数量的Le

13、af之间的数据高速交换。数据中心物理网络架构演进数据中心网络架构模型，根据不同的业务需求和技术发展驱动，基本分成了三个阶段。三种架构演进参见REF _fig71775619509 r h图2-2所示。数据中心网络架构演进DCN 1.0阶段DCN1.0阶段，也称模块化、层次化阶段。网络采用水平分区、垂直分层进行分区，逻辑结构与物理布局紧密耦合。DCN1.0网络关键特点如下：服务器网卡以千兆为主。功能分区和物理位置绑定，资源池不能灵活支持多个功能分区采用MSTP和VRRP技术，链路利用率只有50%。该方案解决了二三层交换的基础可靠性问题，但是随着DC规模、业务带宽的日益增长，如下问题日益凸显：网络

14、吞吐量低，无法满足日益增长的流量需求：STP阻断机制，导致网络链路利用率低。VRRP单活网关机制，导致设备转发性能无法充分利用。二层存在非最短路径转发。根桥存在带宽瓶颈，并导致转发时延大。STP网络规模受限，收敛性能较差。管理节点多，逻辑拓扑复杂，维护复杂。DCN 2.0阶段DCN2.0阶段，也称资源池阶段，支持虚拟化，逻辑结构与物理位置无关，物理网络技术与计算技术融合。网络关键特点如下：服务器网卡以千兆为主，网络采用千兆接入、万兆互联。接入资源池化，功能分区增减灵活。使用M-LAG或堆叠技术破环，二三层流量完全负载分担，100%的链路带宽利用率。支持跨设备链路聚合，支持物理节点的故障保护。相

15、比DCN1.0架构，传统STP二层转发路径短，时延低，可以组建更大的二层网络。DCN 3.0阶段DCN3.0阶段，也称云化阶段，采用Overlay（叠加）网络架构，SDN控制器对接云平台，实现端到端自动化。DCN3.0对于2.0极大提高了扩展性和业务网络的灵活性，网络关键特点如下：服务器网卡以万兆为主，网络采用10GE接入、40GE互联。支持数据中心内全网资源共享，接入资源池化。使用VXLAN和EVPN技术，100%的链路带宽利用率。Spine-Leaf（骨干-叶子）网络横向扩展性很强，Spine数量可大于2台。Full mesh连接形成L3 ECMP组网，实现无阻塞、高可靠、高性能、低时延的

16、网络。可以结合M-LAG技术，支持L3网关的负载分担。结合EVPN分布式网关功能，实现L3流量路径最优。外层采用通用的IP封装，网络的延伸性好，有利于资产、经验、工具的利旧。数据中心网络规划设计建议采用DCN3.0技术架构。CloudFabric物理网络总体架构CloudFabric解决方案中物理网络总体架构如下图所示。物理网络总体架构物理网络组成及功能网络组成功能描述Fabric网络Spine-Leaf架构的网络结构，用于提供数据中心内部高速互联。计算接入接入计算设备（物理机、虚拟机、裸金属、容器等），提供计算业务。VAS接入接入VAS设备（防火墙、负载均衡器等），提供L4-L7层服务。出口

17、网络连接出口路由器PE或者核心交换机，实现DCN与外部网络的互联。DCI网络实现DC之间L2/L3互联。管理网络接入管理设备（云平台、控制器、FabricInsight等），提供数据中心管理功能。存储网络接入存储设备，一般与计算业务独立部署。存储网络基线组网方案和基线配置详见 HYPERLINK /enterprise/zh/doc/EDOC1100117180?idPath=24030814%7C21782165%7C21782239%7C22318540%7C7597815 o CloudEngine交换机 数据中心网络存储场景基线配置指南。物理网络角色说明物理组网角色含义和功能说明Spi

18、ne骨干节点，VXLAN Fabric网络核心节点，提供高速IP转发功能，通过高速接口连接各个功能Leaf节点。Service LeafLeaf功能节点，提供Firewall和LoadBalance等L4L7增值服务接入VXLAN Fabric网络的功能。Server LeafLeaf功能节点，提供虚拟化服务器、非虚拟化服务器等计算资源接入VXLAN Fabric网络的功能。Border LeafLeaf功能节点，提供数据中心外部流量接入数据中心VXLAN Fabric网络的功能，用于连接外部路由器或者传输设备。DCI Leaf（Fabric Gateway）Leaf功能节点，提供跨Fabri

19、c三段式转发时，VXLAN Mapping的网络功能，用于DCI互联。不同角色，有不同的软硬件特性需求，会消耗对应的软硬件资源，设备选型请遵循厂商建议。物理组网设计CloudFabric标准组网设计架构一：标准Fabric架构，角色分设方案介绍：采用Spine-Leaf架构，所有角色均独立部署（不在同一个物理设备上部署两种角色）。Spine与Leaf之间交叉全连接，形成ECMP负载分担。使用OSPF或eBGP协议打通Underlay网络，VTEP地址可达，建立BGP EVPN邻居，指导VXLAN报文转发。Server leaf和Service Leaf部署M-LAG实现接入可靠性，Border

20、 Leaf部署双活网关实现可靠性。根据接入服务器数量、接口带宽和类型等，评估DC规模和收敛比，选择合适的交换机款型，灵活配置Spine/Leaf节点数量。本方案特点是设备各司其职，扩展性强，具备最强的业务叠加功能。标准架构，角色分设组网设计：Border Leaf（BL）：在VXLAN网络中承担NVE角色，作为南北网关。通常部署2台BL，配置DFS-Group同步表项形成双活网关（两台物理设备VTEP IP相同）。支持多组Border Leaf，满足网络扩展需求，也可根据带宽需求或者可靠性需求，横向扩展到4台BL。BL向上连接到PE或数据中心的交换核心Core，口字型或交叉三层组网；向下全连接

21、到Spine。BL与Core或PE之间运行动态路由协议（OSPF或eBGP）。Spine：只做Underlay IP转发，不承担NVE角色。通常部署2台Spine，作为独立的三层设备，和所有Leaf设备通过三层口全交叉连接，形成IP ECMP负载分担。可根据Fabric的规模，支持横向扩展多台Spine，只部署2个RR（减少Leaf的内存和处理EVPN路由的性能压力）或者增加一层Super spine，实现大型/超大型Fabric，满足POD、机房模块化建设诉求。Service Leaf：在VXLAN网络中承担NVE角色，接入FW和LB等VAS设备。通常部署2台，M-LAG组网，满足VAS设备

22、双归高可靠接入的需求。如有必要，可部署多组Service leaf，满足更大数量的FW和LB的接入需求。单组FW/LB内设备不支持跨Service Leaf。Server Leaf：在VXLAN网络中承担NVE角色，接入服务器。通常部署2台，M-LAG组网，满足服务器双归高可靠接入的需求。主备网卡时，Leaf本地L2互通经过Peer-Link，需要额外规划Peer-Link带宽。ARP广播抑制默认Fabric关闭，支持基于bridge-domain开启，中小型网络不建议开启，额外占用设备资源。Server Leaf收敛比为3:1满足一般业务需求，上行选用40G或者100G。适用场景：大中型Fa

23、bric，支持约100台server leaf，2000台物理服务器接入南北出口有很强扩展性，需要支持4活Border Leaf的场景行业云，对VAS有很强的扩容需求CloudFabric融合组网设计在中小型DC，且未来扩展性要求不高的场景，存在降低网络建设成本诉求。根据网络规模或成本考虑，可以在标准Fabric架构基础上，一个物理设备可以同时承担多个角色。但角色合设会消耗更多的软硬件资源，也可能会出现业务或资源冲突。因此在网络设计时明确网络规模、业务功能和设备规格。架构二：Border Leaf与Service Leaf二种角色融合部署这种部署方式参见下图。Border Leaf与Servi

24、ce Leaf角色融合部署组网设计：Border Leaf（BL）与Service Leaf（SVL）合设：在VXLAN网络中承担NVE角色，作为南北网关，同时接入VAS设备。部署双活网关，配置DFS-Group同步表项；支持VAS设备通过M-LAG接入。BL向上连接到PE或数据中心的交换核心Core，口字型或交叉三层组网；向下全连接到Spine。BL与Core或PE之间运行动态路由协议（OSPF或eBGP）。Spine：只做Underlay IP转发，不承担NVE角色。通常部署2台Spine，作为独立的三层设备，和所有Leaf设备通过三层口全交叉连接，形成IP ECMP负载分担。可根据Fab

25、ric的规模，支持横向扩展多台Spine，只部署2个RR（减少Leaf的内存和处理EVPN路由的性能压力）或者增加一层Super spine，实现大型/超大型Fabric，满足POD、机房模块化建设诉求。Server Leaf：在VXLAN网络中承担NVE角色，接入服务器。通常部署2台，M-LAG组网，满足服务器双归高可靠接入的需求。主备网卡时，Leaf本地L2互通经过Peer-Link，需要额外规划Peer-Link带宽。ARP广播抑制默认Fabric关闭，支持基于bridge-domain开启，中小型网络不建议开启，额外占用设备资源。Server Leaf收敛比为3:1满足一般业务需求，上

26、行选用40G或者100G。方案特点：节省投资。BL和SVL合设，需要部署多个设备角色所需的业务配置和对应的转发平面资源，设备选型要求较高，功能扩展性不强。该架构不支持4活Border Leaf。Spine分设，扩展性不受限制，可支持扩展到4台或更多，Fabric支持较大服务器接入规模。架构三：Border Leaf、Service Leaf、Spine三种角色融合这种部署方式参见下图。Border Leaf与Service Leaf、Spine角色融合部署组网设计：Border Leaf（BL）、Service Leaf（SVL）、Spine合设：在VXLAN网络中承担NVE角色，作为南北网关

27、，接入VAS设备，同时连接所有Leaf设备。部署双活网关，配置DFS-Group同步表项；支持VAS设备通过M-LAG接入。BL向上连接到PE或数据中心的交换核心Core，口字型或交叉三层组网；向下与所有Leaf设备全连接，形成IP ECMP组网。BL与Core或PE之间运行动态路由协议（OSPF或eBGP）；部署2个RR（减少Leaf的内存和处理EVPN路由的性能压力）。Server Leaf：在VXLAN网络中承担NVE角色，接入服务器。通常部署2台，M-LAG组网，满足服务器双归高可靠接入的需求。主备网卡时，Leaf本地L2互通经过Peer-Link，需要额外规划Peer-Link带宽。

28、ARP广播抑制默认Fabric关闭，支持基于bridge-domain开启，中小型网络不建议开启，额外占用设备资源。Server Leaf收敛比为3:1满足一般业务需求，上行选用40G或者100G。方案特点：节省投资。BL、SVL&Spine合设，需要部署多个设备角色所需的业务配置和对应的转发平面资源，设备选型要求高，功能扩展性受限。该架构不支持扩展到4台Spine，不支持4活Border Leaf，Fabric接入服务器规模和出口业务规模相对较小。架构四：Border Leaf、Service Leaf、Spine、Server Leaf四合一这种部署方式参见下图。Border Leaf、S

29、ervice Leaf、Spine、Server Leaf四种角色融合部署组网设计：Border Leaf（BL）、Service Leaf（SVL）、Spine和Server合设：在VXLAN网络中承担NVE角色，作为VXLAN网关，同时接入VAS设备，所有服务器接入到合设交换机设备上。部署双活网关，配置DFS-Group同步表项；支持VAS设备、服务器通过M-LAG接入。BL向上连接到PE或数据中心的交换核心Core，口字型或交叉三层组网；向下接入服务器和VAS设备。BL与Core或PE之间运行动态路由协议（OSPF或eBGP）。主备网卡时，Leaf本地L2互通经过Peer-Link，需要

30、额外规划Peer-Link带宽。ARP广播抑制默认Fabric关闭，支持基于bridge-domain开启，中小型网络不建议开启，额外占用设备资源。Server Leaf收敛比为3:1满足一般业务需求，上行选用40G或者100G。方案特点：节省投资，适用于服务器接入规模很小且不需要扩展的场景。Border Leaf、Service Leaf、Spine、Server Leaf合设，需要部署多个设备角色所需的业务配置和对应的转发平面资源，设备选型要求很高，功能扩展性和接入规模受限。该架构不支持扩展到4台设备，Fabric接入服务器规模取决于交换机设备的下行接入端口数量。架构五：Border Le

31、af、Service Leaf、Spine、Server Leaf和DCI Leaf五合一这种部署方式参见下图。Border Leaf、Service Leaf、Spine、Server Leaf和DCI Leaf五种角色融合部署组网设计：Border Leaf（BL）、Service Leaf（SVL）、Spine、Server和DCI Leaf合设：在VXLAN网络中承担NVE角色，作为VXLAN网关，接入VAS设备，所有服务器接入到合设交换机设备上，同时与远端DC连接。部署双活网关，配置DFS-Group同步表项；支持VAS设备、服务器通过M-LAG接入。BL向上连接到PE或数据中心的交

32、换核心Core，口字型或交叉三层组网；向下接入服务器和VAS设备。BL与Core或PE之间运行动态路由协议（OSPF或eBGP）。主备网卡时，Leaf本地L2互通经过Peer-Link，需要额外规划Peer-Link带宽。ARP广播抑制默认Fabric关闭，支持基于bridge-domain开启，中小型网络不建议开启，额外占用设备资源。Server Leaf收敛比为3:1满足一般业务需求，上行选用40G或者100G。支持与远端DC实现Segment VXLAN L2或L3互通。方案特点：节省投资，适用于服务器接入规模很小且不需要扩展的场景。Border Leaf、Service Leaf、Sp

33、ine、Server Leaf和DCI Leaf合设，需要部署多个设备角色所需的业务配置和对应的转发平面资源，设备选型要求很高，功能扩展性和接入规模受限。该架构不支持扩展到4台设备，Fabric接入服务器规模取决于交换机设备的下行接入端口数量。不同Fabric架构对比Fabric架构对比对比项架构一：标准架构【推荐】架构二：BL&SVL融合部署架构三：BL&SVL&Spine融合部署架构四：四合一融合部署架构五：五合一融合部署Fabric规模大大中小最小最小可扩展性高Border Leaf、Spine、VAS均具备独立扩展能力一般Border Leaf具备可扩展能力VAS资源扩展性略差差多角色

34、融合后扩展能力差， Border Leaf设备硬件能力是网络瓶颈网络规模受限于Spine端口数量和收敛比要求最差多角色融合后扩展能力差， Border Leaf设备硬件能力是网络瓶颈设备接入服务器数量受限于融合后的单设备组可用端口数最差多角色融合后扩展能力差， Border Leaf设备硬件能力是网络瓶颈设备接入服务器数量受限于融合后的单设备组可用端口数初期投资较高较低低最低最低设备选型要求中通过角色分离，设备硬件ACL、路由表等资源需求分散在各个角色的设备上Spine设备要求降低，IP路由转发线速即可较高角色融合后对设备硬件ACL、路由表等资源要求更高Spine设备要求降低，具备IP路由线速

35、转发能力即可较高角色融合后对设备硬件ACL、路由表等资源要求更高高角色融合后对设备硬件ACL、路由表等资源要求高最高角色融合后对设备硬件ACL、路由表等资源要求最高设备需同时支持多活网关、M-LAG接入和Segment VXLAN DCI互联适用场景大规模网络，支持灵活扩展单组Border Leaf/Service Leaf支持VM数量不超过6K，支持多组Border Leaf/Service Leaf扩展规模中小规模网络，VM数量不超过6K，不支持扩展适用于超小型网络，无扩展需求适用于边缘DC一层架构场景上述的四个架构，都是在标准架构模型基础上：多个角色合设到一台物理设备上，实现降低成本独立

36、的Spine层，通过扩展到4台，实现大规模的Fabric的物理部署；在实际Fabric架构设计中，可以灵活应用以上方法组合，满足多变的数据中心组网需求。CloudFabric扩展组网设计数据中心内Fabric网络的扩展模型主要有两种类型：小POD模式和大POD模式。小POD模式扩展小POD模式，每个POD由一组Spine-Leaf组成，成为可重复建设单元，可以分期单独建设部署。一个DC中包含多个POD，通过Super Spine使用高速的传统网络实现POD之间的全互联，组成大规模DC。如REF _fig16748182812912 r h图2-9所示。小POD模式扩展示意图小POD模式扩展的特

37、点：按需扩容，模块化扩展2层Spine，减少机房之间的光纤连接支持基于机房的模块化扩展，适用于超大规模数据中心和多机房组网典型场景：金融行业数据中心、ISP行业数据中心大POD模式扩展大POD模式，每个DC一般只有一个POD，当原网络中业务需要扩容时，通过增加POD中Spine和Leaf的数量来达到扩容目的。在增加Server Leaf的同时也可以增加Border Leaf，如REF _fig253519536222 r h图2-10所示。大POD模式扩展示意图大POD模式扩展的特点：按需扩容，扩展Leaf节点或Spine节点适用于中小规模数据中心典型场景：企业数据中心、政务云数据中心拉远模式

38、扩展当客户远程位置需要部署一部分业务，但是又不希望部署完整的PoD时（比如不希望在远程位置再部署一套iMaster NCE-Fabric控制器），则可以在主POD外，将其中某一组Leaf或者某个POD部署在其他位置，由部署在主POD的控制器通过IPN（IP network）统一拉远纳管。远程部署的可以是一组Leaf设备（Remote Leaf），也可以是一个Spine-Leaf架构（Remote POD）。拉远模式扩展示意图拉远模式扩展的特点：将主数据中心的服务通过IP网络扩展到远程站点，每个远程站点都可以部署自己的独立出口。1个控制器集中管理主POD和多个远程站点，整体作为一个Fabric管

39、理，管理更简单。可以跟multi-POD等方案叠加，进一步提升整体架构可靠性。适用于小型数据中心的解决方案，尤其在小型数据中心部署位置有限制的时候，部署更灵活。典型场景：部署在多个站点的小型DC；主DC扩展到多个小型边缘DC；原有DC机房空间受限，跨机房或跨站点扩展。CloudFabric基线组网选型（待版本规格确认后刷新）基线组网设备选型说明请参见下表。下表中带“*”的表示是新款型。基线组网设备推荐选型信息表描述选型说明架构一：标准架构，角色分设设备角色Spine推荐款型CE16800100G推荐：CEL36CQFD-G；CEL18CQFD-G板卡40G推荐：CEL36LQFD-G、CEL2

40、4LQFD-G板卡可选款型CE12800100G推荐：CE-L36CQ-SD、CE-L36CQ-FD1、CE-L36CQ-FD、CE-L12CQ-FD板卡40G推荐：CE-L36LQ-FD、CE-L24LQ-FD板卡CE8850-64CQ-EI只做纯Spine角色，必须与Border Leaf分设的场景CloudFabric Easy DCN方案推荐款型CE8861（4子卡2U设备）100G推荐：CE88-D8CQ（8端口40GE/100GE以太网光接口插卡（QSFP28）40G推荐：CE88-D16Q（16端口40GE以太网光接口插卡（QSFP+）设备角色Server Leaf推荐款型CE6

41、881-48S6CQ（10G光接入，100G上行)不支持Overlay组播CE6863-48S6CQ（10G/25G接入，100G上行）不支持Overlay组播第3、6 100G口作为M-LAG组网PeerLink口，第1、2、4、5 100G口上行CloudFabric Easy DCN方案推荐款型CE6881-48S6CQ-K（48*10G，6*100G）不支持Overlay组播CE6881E-48S6CQ（24*10G，24*25G，6*100G）不支持Overlay组播CE6863-48S6CQ-K （48*25G，6*100G）不支持Overlay组播第3、6 100G口作为M-LA

42、G组网PeerLink口，第1、2、4、5 100G口上行可选款型ICE16800（40G接入，100G接入)100G推荐：CEL36CQFD-G；CEL18CQFD-G板卡40G推荐：CEL36LQFD-G、CEL24LQFD-G板卡不支持Overlay组播可选款型IICE6857（10G接入，6*100G上行）不支持IPv6微分段CE6865（10G/25G接入，8*100G上行）不支持IPv6微分段CE6865-48S8CQ-EI是CloudFabric Easy DCN方案推荐款型CE8861（4子卡2U设备）不支持IPv6微分段CE8861（4子卡2U设备）作为ServerLeaf受

43、限使用，不支持ZTP自动化部署CE6856（10G接入，40G上行）仅限电口接入场景不支持微分段CE6856-48T6Q-HI是CloudFabric Easy DCN方案推荐款型设备角色Service Leaf推荐款型CE16800不支持Overlay组播CE6881-48S6CQ（10G光接入，100G上行)不支持Overlay组播CE6881-48S6CQ-K（48*10G，6*100G）不支持Overlay组播可选款型CE6863-48S6CQ（10G/25G接入，100G上行）不支持Overlay组播第3、6 100G口作为M-LAG组网PeerLink口，第1、2、4、5 100G

44、口上行CE6881E-48S6CQ（24*10G，24*25G，6*100G）不支持Overlay组播CE6863-48S6CQ-K （48*25G，6*100G）不支持Overlay组播第3、6 100G口作为M-LAG组网PeerLink口，第1、2、4、5 100G口上行CE6857（10G接入，6*100G上行）不支持IPv6微分段CE6865（10G/25G接入，8*100G上行）不支持IPv6微分段CE8861（4子卡2U设备）不支持IPv6微分段CE12800不支持挂接计算服务器（IPv6场景虚机无法迁移）不支持微分段IPv6场景不推荐12800作为Service LeafCE6

45、870不支持挂接计算服务器（IPv6场景虚机无法迁移）不支持微分段IPv6场景不推荐12800作为Service Leaf设备角色Border Leaf推荐款型CE16800不支持Overlay组播CE6881-48S6CQ（10G光接入，100G上行)不支持Overlay组播CE6881-48S6CQ-K（48*10G，6*100G）不支持Overlay组播可选款型CE6863-48S6CQ（10G/25G接入，100G上行）不支持Overlay组播第3、6 100G口作为M-LAG组网PeerLink口，第1、2、4、5 100G口上行CloudFabric Easy DCN方案推荐款型C

46、E6881E-48S6CQ（24*10G，24*25G，6*100G）不支持Overlay组播CE6863-48S6CQ-K （48*25G，6*100G）不支持Overlay组播CE6857（10G接入，6*100G上行）不支持IPv6微分段需要预留物理端口作为外部环回端口，环回端口带宽不小于上行带宽CE6865（10G/25G接入，8*100G上行）不支持IPv6微分段需要预留物理端口作为外部环回端口，环回端口带宽不小于上行带宽CE8861（4子卡2U设备）不支持IPv6微分段需要预留物理端口作为外部环回端口，环回端口带宽不小于上行带宽CE12800不支持微分段不支持挂接计算服务器（IPv

47、6场景虚机无法迁移）CE6870不支持微分段不支持挂接计算服务器（IPv6场景虚机无法迁移）设备角色Fabric Gateway （DCI Leaf）推荐款型CE16800100G推荐：CEL36CQFD-G；CEL18CQFD-G板卡40G推荐：CEL36LQFD-G、CEL24LQFD-G板卡不支持MACSec不支持Overlay组播CE6881-48S6CQ*（10G光接入，100G上行)不支持MACSec不支持Overlay组播可选款型CE6875100G接口支持MacSecCE12800100G推荐：CE-L36CQ-SD、CE-L36CQ-FD1、CE-L36CQ-FD、CE-L1

48、2CQ-FD板卡40G推荐：CE-L36LQ-FD、CE-L24LQ-FD板卡CE12800 F系列单板，增强模式架构二：二种角色融合设备选型如下，其他分设角色设备选型同标准架构设备角色Border Leaf/Service Leaf（合设）推荐款型CE16800不支持Overlay组播可选款型ICE6881-48S6CQ（10G光接入，100G上行)不支持Overlay组播CE6863-48S6CQ（10G/25G接入，100G上行）不支持Overlay组播第3、6 100G口作为M-LAG组网PeerLink口，第1、2、4、5 100G口上行CE6881-48S6CQ-K（48*10G，

49、6*100G）不支持Overlay组播CE6881E-48S6CQ（24*10G，24*25G，6*100G）不支持Overlay组播CE6863-48S6CQ-K （48*25G，6*100G）不支持Overlay组播第3、6 100G口作为M-LAG组网PeerLink口，第1、2、4、5 100G口上行可选款型IICE8861（4子卡2U设备）不支持IPv6微分段CE6857（10G接入，6*100G上行）不支持IPv6微分段CE6865（10G/25G接入，8*100G上行）不支持IPv6微分段CE12800100G单板推荐：CE-L36CQ-SD、CE-L36CQ-FD1、CE-L3

50、6CQ-FD、CE-L12CQ-FD板卡40G单板推荐：CE-L36LQ-FD、CE-L24LQ-FD板卡不支持挂接计算服务器（IPv6场景虚机无法迁移）不支持微分段CE6870100G单板推荐：CE-L36CQ-SD、CE-L36CQ-FD1、CE-L36CQ-FD、CE-L12CQ-FD板卡40G单板推荐：CE-L36LQ-FD、CE-L24LQ-FD板卡不支持挂接计算服务器（IPv6场景虚机无法迁移）不支持微分段架构三：三种角色融合部署设备选型如下，其他分设角色设备选型同标准架构设备角色Spine/Border Leaf/Service Leaf（合设）推荐款型CE16800100G推荐

51、：CEL36CQFD-G；CEL18CQFD-G板卡40G推荐：CEL36LQFD-G、CEL24LQFD-G板卡可选款型CE12800100G推荐：CE-L36CQ-SD、CE-L36CQ-FD1、CE-L36CQ-FD、CE-L12CQ-FD板卡40G推荐：CE-L36LQ-FD、CE-L24LQ-FD板卡CE8861（4子卡2U设备）100G推荐：CE88-D8CQ（8端口40GE/100GE以太网光接口插卡（QSFP28）40G推荐：CE88-D16Q（16端口40GE以太网光接口插卡（QSFP+）需要预留物理端口作为外部环回端口，环回端口带宽不小于上行带宽架构四：四种角色融合部署设备

52、选型如下，其他分设角色设备选型同标准架构设备角色Spine/Border Leaf/Service Leaf/Server Leaf(合设)推荐款型CE16800100G推荐：CEL36CQFD-G；CEL18CQFD-G板卡40G推荐：CEL36LQFD-G、CEL24LQFD-G板卡可选款型ICE6881-48S6CQ（10G接入，100G上行)-CE6863-48S6CQ（10G/25G接入，100G上行）第3、6 100G口作为M-LAG组网PeerLink口，第1、2、4、5 100G口上行CE6881-48S6CQ-K（48*10G，6*100G）-CE6863-48S6CQ-K

53、（48*25G，6*100G）第3、6 100G口作为M-LAG组网PeerLink口，第1、2、4、5 100G口上行可选款型IICE8861（4子卡2U设备）100G推荐：CE88-D8CQ（8端口40GE/100GE以太网光接口插卡（QSFP28）40G推荐：CE88-D16Q（16端口40GE以太网光接口插卡（QSFP+）需要预留物理端口作为外部环回端口，环回端口带宽不小于上行带宽架构五：五种角色融合部署设备选型如下设备角色Spine/Border Leaf/Service Leaf/Server Leaf/DCI Leaf(合设)推荐款型CE16800100G推荐：CEL36CQFD

54、-G；CEL18CQFD-G板卡40G推荐：CEL36LQFD-G、CEL24LQFD-G板卡不支持MACSec不支持Overlay组播可选款型ICE6881-48S6CQ（10G光接入，向下兼容GE；100G上行，向下兼容40GE)CE6881-48S6CQ-K（48*10G，6*100G）不支持MACSec不支持Overlay组播可选款型IICE6863-48S6CQ（25G光接入，向下兼容10G/GE，100G上行,向下兼容40G)CE6881E-48S6CQ（24*10G，24*25G，6*100G）CE6863-48S6CQ-K （48*25G，6*100G）不支持MACSec不支持

55、Overlay组播第3、6 100G口作为M-LAG组网PeerLink口，第1、2、4、5 100G口上行路由设计Underlay层面的路由协议，建议选用OSPF和EBGP。Underlay路由选用OSPF当TOR规模小于200台时，推荐Underlay路由选用OSPF，此时路由规划如下。单POD OSPF单POD OSPF推荐的规划方式如下图所示。单POD OSPF规划推荐单POD OSPF规划：Area划分：将所有设备规划在一个area 0。配置Loopback0地址：作为VETP IP地址，每组双活Leaf规划相同IP地址。配置Loopback1地址：每台设备规划全网唯一的Loopba

56、ck1地址，作为Router-ID。Spine和Leaf采用三层路由接口直接互联，network类型选择P2P。如果Spine和Server Leaf之间有多个物理接口互联，建议配置独立三层路由接口，形成ECMP hash（配置Eth-trunk可能会有hash极化情况）。通过Network方式将互联接口、Loopback加入OSPF中。配置OSPF与BFD联动，优化路由收敛时间。配置OSPF路由计算时间间隔、LSA更新和接收时间间隔，优化路由故障收敛性能。Spine与Leaf之间的互联接口配置端口从Down到Up恢复后保持最大开销值的时间，优化故障回切收敛性能。适用场景：常用于单POD DC

57、，或双POD DC，一般不超过3个POD，交换机总量约100台，简单可靠。多POD OSPF多POD OSPF推荐的规划方式如下图所示。多POD OSPF规划推荐多POD OSPF规划：整个DC Underlay网络部署在同一个OSPF进程。POD之间，Spine与Super Spine互联区域，部署在OSPF area 0中。POD内部Spine和Leaf互联区域，部署在OSPF非骨干区域中。适用场景：常用于多POD DC，一般用于超过3个POD的DC，交换机总量不超过200台。规划Spine和Super Spine之间的连线时，要确保OSPF aera 0内各节点完全可达，避免出现割裂的多

58、个area 0。Underlay路由选用EBGP适用场景：常用于多POD DC，一般用于超过3个POD DC，交换机总量超过200台，推荐Underlay路由选用EBGP，该场景路由规划如下。POD内采用EBGP路由的推荐规划方式如下图所示。POD内EBGP路由规划推荐POD内EBGP路由规划：AS划分：每组双活Leaf部署在一个AS，同层Spine部署在一个AS。Peer建立：通过互联的三层路由接口地址建立EBGP peer。如果Spine和Server Leaf之间有多个物理接口互联，建议配置独立三层路由接口，形成ECMP hash（配置Eth-trunk可能会有hash极化情况）。路由发

59、布：发布loopback地址。使能BGP负载分担功能，实现underlay ECMP。BGP邻居状态从Down到UP时，将BGP路由优先级调为最低，优化故障回切收敛性能。建议部署BGP与BFD联动，进一步加快路由收敛。多POD之间采用EBGP路由的推荐规划方式如下所示。多POD之间EBGP路由规划推荐多POD之间EBGP路由规划：AS划分：每组双活Leaf部署在一个AS，同层Spine部署在一个AS，Super Spine设备组部署在一个AS中。Peer建立：Spine与Super Spine物理全连接，通过互联接口地址建立EBGP peer。原则上同一个网段控制在POD内部，通过Spine进

60、行路由汇聚跨POD访问采用网段路由，减少跨POD路由规模。Underlay路由协议选择对比OSPF和BGP路由协议作为Underlay层面的路由协议时，两者之间的对比参见下表。BGP和OSPF优劣对比对比维度OSPFBGP收敛速度收敛速度较快收敛速度快可配置BGP关联接口或者与BFD联动优化收敛性能协议部署协议部署简单，但控制手段较少，依赖cost，需要全网调整配置相对复杂，路由控制手段丰富网络规模适用中小型网络OSPF计算消耗较大，扩展能力有限适用大中型网络BGP计算消耗低，可扩展性好故障域故障域较大每个分区路由域独立，故障域可控临时路由环路网络拓扑变化时，OSPF可能会计算出短暂的临时路由