CloudFabric云数据中心网解决方案-分布式Network Overlay网络设计指南

CloudFabric云数据中心网解决方案

设计指南（分布式NetworkOverlay网络）

,0

目录

1概述.........................................................................1

2Overlay网络简介............................................................2

2.1什么是Overlay网络.........................................................................2

2.2VXLAN简介..............................................................................4

2.3Overlay网络类型...........................................................................4

2.4Overlay网络对比...........................................................................7

3分布式NetworkOverlay网络方案设计........................................10

3.1Overlay网络架构设计......................................................................10

3.1.1方案架构................................................................................10

3.1.2组网设计................................................................................12

3.1.3接入设计................................................................................13

3.1.4出口设计................................................................................15

3.1.4.1出口网络业务模型.......................................................................15

3.1.4.2出口网络扩展设计......................................................................18

3.2Overlay网络业务模型......................................................................21

3.2」Overlay网络模型映射....................................................................22

3.2.2Overlay网络业务编排......................................................................26

3.2.2.1VPC内互通业务........................................................................26

3.2.2.2VPC与外部网络互通业务................................................................28

3.2.2.3VPC间互通业务........................................................................31

3.3Overlay网络路由设计......................................................................34

3.3.1BGPEVPN简介..........................................................................34

3.3.2BGPEVPN部署方案......................................................................34

3.3.2.1单PODEVPN部署方案..................................................................34

3.3.2.2多PODEVPN部署方案.................................................................35

3.4Overlay网络转发设计......................................................................38

3.4.1流量模型综述...........................................................................38

3.4.2VPC内互通.............................................................................40

3.4.3VPC与外部网络互通.....................................................................46

3.4.4VPC间互通.............................................................................47

3.5规格与约束（受限发布）49

A参考图片错误!未定义书签。

概述

随着行业数字化转型加速，企业数据中心云化的要求越来越迫切，云计算逐渐成为各

行各业的基本能力，数据中心网络作为构建云数据中心的基石面临很大的挑战。同

时，云计算要求业务能够实现快速部署，从传统的周、月部署周期，提升到天、小时

级的部署周期。

在上述背景下，网络的部署开始引入SDN,将业务上线需要的网络配置部署从传统人

工方式转为控制器自动部署，SDN结合云平台极大的提升了业务上线效率，让“业务

分钟级上线”成为了现实。另一方面，数据中心对资源池化的要求也让网络引入了

Overlay技术，Overlay技术使同一租户/业务的资源在更大范围上进行灵活分配成为可

能。华为CloudFabric解决方案针对SDN场景下采用overlay组网进行了全新的设计，

着力打造符合现代数据中心业务要求的灵活自动、弹性智能的数据中心网络。

本文主要介绍华为CloudFabric解决方案Overlay网络（逻辑网络）设计方案。

Overlay网络简介

2.1什么是Overlay网络

2.2VXLAN简介

2.3Overlay网络类型

2.4Overlay网络对比

2.1什么是Overlay网络

Overlay意为叠加，Overlay网络是指在现有物理网络上叠加一个软件定义的虚拟的逻

辑网络。在对基础网络不进行大规模修改的条件下，通过定义其上的逻辑网络来实现

应用在网络上的承载，解决传统数据中心诸如大规模虚拟机之间二层互通等问题。

Overlay本质上是一种L2overIP的隧道封装技术，主要有VXLAN、NVGRE等，基本

原理都是通过隧道封装的方式将二层报文进行封装后在现有网络中进行透明传输，到

达目的地之后再解封装得到原始报文，相当于一个大二层网络叠加（Overlay）在现有

的网络之上。

如下图所示，Underlay是一张物理承载网络，由各类物理设备构成，如交换机、负载

均衡设备与防火墙设备等，Overlay网络在Underlay网络基础上形成一张逻辑网络。

图2-1underlay与overlay网络分层模型

数据平面

Overlay网络（运期网络

Overlay

边壕设备

Overlay

边缘设备

承载网络

控制平面

nderlay两络（物理网络）

Overlay网络架构是物理网络向云和虚拟化的深度延伸，云的资源化能力可以摆脱物理

网络的多种限制。从架构上对数据中心建设模式进行了颠覆，将对物理设备的要求降

至最低，业务完全定义在叠加网络上，是实现云网融合的关键。

一个Overlay网络主要由三部分组成：

•边缘设备：是指与虚拟机直接相连的设备

•控制平面：主要负责虚拟隧道的建立维护以及主机可达性信息的通告

•转发平面：承载Overlay报文的物理网络

Overlay网络的主要特点：

•有独立的控制协议和转发平面，对于连接在NVE之外的设备（Server、VAS、外

部路由器）来说，underlay网络是透明的。

•与Underaly网络解耦，便于Underlay网络弹性扩展

•IP与位置信息分离，虚拟化构建出面向应用的自适应逻辑网络，满足业务资源池

化对网络的诉求。

•支持SDN控制器集中管理，实现业务的自动化快速布放。

Overlay网络的主要应用场景：

传统IDC业务中的机架出租业务

公有云服务（IaaS/PaaS/SaaS）

私有云（融合资源池新建、数据中心整合）

网络NFV云(网络云化、SDN+NFV)

2.2VXLAN简介

在华为CloudFabric解决方案中，选用VXLAN技术来构建Overlay网络，业务报文运

行在VXLANOverlay网络上，与物理承载网络解耦。

VXLAN是NV03中的一种网络虚拟化技术，通过将虚拟机发出的数据包封装在UDP

中，并使用物理网络的IP、MAC作为outer-header进行封装，然后在IP网络上传输，

到达目的地后由隧道终结点解封装并将数据发送给目标虚拟机。

随着数据中心在物理网络基础设施上实施服务器虚拟化的快速发展，作为NV03技术

之一的VXLAN具有以下优势：

•通过24比特的VNI可以支持多达16M的VXLAN段的网络隔离，对用户进行隔

离和标识不再受到限制，可满足海量租户。

•VNI可以分为二层VNI和三层VNI,既可以和广播域BD关联，也可以和VPN实

例关联。因此VXLAN可以支持L2VPN、L3VPN等复杂业务。

•除VXLAN网络边缘设备，网络中的其他设备不需要识别虚拟机的MAC地址，

减轻了设备的MAC地址学习压力，提升了设备性能。

•通过采用MACinUDP封装来延伸二层网络，实现了物理网络和虚拟网络解耦，

租户可以规划自己的虚拟网络，不需要考虑物理网络IP地址和广播域的限制，大

大降低了网络管理的难度。

•VXLAN封装的UDP源端口，由内层的流信息Hash而来，Underlay网络不需要解

析内层报文就可负载分担，实现网络高吞吐量。

关于华为VXLAN的技术原理、规划设计和配置部署详情，请参见VXLAN技术专

题。

2.3Overlay网络类型

在VXLAN网络中，根据承担Overlay边缘设备(VXLANNVE)属性的不同，又可以

分为NetworkOverlay、HostOverlay>HybridOverlay三种网络类型。CloudFabric解决

方案推荐使用NetworkOverlay类型的VXLAN网络。

•NetworkOverlay：所有NVE全部由物理交换机承担。

•HostOverlay：所有NVE全部由vSwitch承担。

•HybridOverlay：NVE一部分部署在物理交换机上，另一部分部署在vSwitch上。

NetworkOverlay

NetworkOverlay的特点是VXLAN隧道的两个端点全部是物理交换机。其中，Network

Overlay又分为集中式和分布式两类，，如下图所示。

•集中式NetworkOverlay中，Leaf作为VXLAN的L2网关、Spine或BorderLeaf

作为VXLAN的L3网关。

•分布式NetworkOverlay中,Leaf同时作为VXLAN的L2和L3网关，Spine仅作

为IP流量高速转发节点，不处理VXLAN报文。

图2-2集中式NetworkOverlay和分布式NetworkOverlay概念示意图

VXLANL2网关

VXLANL3网关

HostOverlay

HostOverlay的特点是VXLAN隧道的两个端点全部是虚拟交换机，而虚拟交换机部署

在服务器上，如下图所示。数据中心内部的东西向流量在虚拟交换机之间通过VXLAN

隧道转发；南北向流量在虚拟交换机与虚拟路由器之间转发，作为Leaf和Spine的物

理交换机仅作IP报文的高速转发，不处理VXLAN报文。

图2-3HostOverlay概念示意

VXLANL2/L3网关

•............•VXLAN睡

HybridOverlay

HybridOverlay的特点是VXLAN隧道的端点既可以是虚拟交换机也可以是物理交换

机，因此也称为混合Overlay,如下图所示，混合Overlay常见的业务网关部署方案是

分布式的。

数据中心内部的东西向流量在虚拟交换机和物理Leaf交换机之间通过VXLAN隧道转

发；南北向流量在虚拟交换机/Leaf物理交换机与Spine/Edge之间通过VXLAN隧道转

发。

图2・4HybridOverlay概念示意

r

|VXLAN网关

•..............•VXLAN隧道

2.4Overlay网络对比

NetworkOverlayxHostOverlay和HybridOverlay对比说明

下表中对NetworkOverlay>HostOverlay和HybridOverlay三种类型的网络特点进行了

对比。

表2-1NetworkOverlay%HostOverlay和HybridOverlay对比说明

对比项NetworkOverlayHostOverlayHybridOverlay（支

（推荐）持）

NVE硬件交换机vSwitch•硬件交换机

•vSwitch

VXLAN硬件交换机（分布式vSwitch（分布式部署，•硬件交换机

L3GW

部署，根据VM上线根据VM上线位置相应,和vSwitch（分布

位置相应的部署）

的部署）式部署，根据VM

上线位置相应的部

署）

接入服虚拟化服务器、物理虚拟化服务器虚拟化服务器、物理

务器类服务器服务器

型

接入•硬件L4~L7软件L4~L7（vSwitch•硬件L4~L7

L4〜L7接入）

对比项NetworkOverlayHostOverlayHybridOverlay（支

（推荐）持）

类型•软件L4~L7（X86・X86物理服务器软

物理服务器）件L4-L7

•软件L4~L7•SRIOV虚拟化软件

（SRIOV接入）L4-L7

•软件L4~L7

（vSwitch接入）

控制面•设备L2/L3自学习•vSwitch通过•硬件设备L2/L3本

・设备间L2通过头openflow将ARP/ND地自学习，

端复制广播自学习上报控制器，・硬件设备间通过

•可支持控制面上收•控制器L2/L3学习BGP-EVPN同步

控制器（特指•vSwitch间通过控制•vSwitch通过

ARP/ND及路由。器下发流表同步OpenFlow将

当前未合入主线，ARP/ND上报控制

可POC测试）器，控制器L2/L3

・可支持设备间通过学习，vSwitch间

BGP-EVPN同步通过控制器下发流

表同步

•硬件NVE和

vSwitchNVE之间

通过控制器的

BGP-EVPN同步

转发性不占用服务器CPU资VXLAN处理占用服务硬件部分不占用服务

能源，硬件设备转发性器CPU资源，性能受器CPU资源，软件部

能高CPU影响大分VXLAN处理占用

服务器资源

虚拟机•VPC数量受限于・仅受限于控制器的能•海量VPC,海量虚

规格TORVRF和路由力机

规格•海量VPC,海量虚•同一VPC虚机数

・同一VPC虚机数机量受限于TOR表

量受限于TOR表项规格

项规格

适用场・适用于对转发性・适用于仅虚拟化服务・适用于虚拟化服务

景能、运维、安全等器接入器/物理服务器同时

有很高要求的私有・适用于租户规模超大接入

云用户

的用户•SDN网络与传统网

•适用于虚拟化服务•网络内有多个厂商网络互联互通

器/物理服务器同时络设备，需要・对硬件成本敏感，

接入

VXLAN与硬件网络强调网络利旧，需

•SDN网络与传统网设备解耦要VXLAN与硬件

络互联互通网络设备解耦

由于vMware的计算虚拟化在市场占比较高，但其系统封闭并不对网络厂商提供开发

的接口嵌入网络厂商的vSwitch设备，另外私有云领域客户通常对安全、性能有一定的

定制化要求，因此从性能、开放性、适用性的角度，推荐使用NetworkOverlay方案。

NetworkOverlay分布式和集中式对比说明

下表中对NetworkOverlay分布式和集中式的网络特点进行了对比。

表2-2NetworkOverlay分布式和集中式对比说明

方案NetworkOverlay集中式（支NetworkOverlay分布式（推

持）荐）

部署NV•部署在Leaf节点（TOR）上•部署在Leaf节点（TOR）上

E

・使用CE硬件交换机・使用CE硬件交换机

L3•集中部署在Spine或Border・分布式部署：根据VM上线位

GWLeaf±置相应部署在就近的Leaf节点

•使用CE硬件交换机（TOR）上

・使用CE硬件交换机

Bor可以和Spine、L3GW合一部署可以和Spine合一部署

der

Leaf

L4-•直挂、旁挂网关或ServiceServiceLeaf接入，直挂、旁挂

L7Leaf接入BorderLeaf

•建议硬件设备

转发面・子网间转发流量都需要到集中・子网间转发流量直接在leaf节

网关，流量有迂回，网关压力点间转发，流量没有迂回，压

大力分担

•三层转发表项在网关集中，对•三层转发表项分布在Leaf节

网关节点要求高点，对网关节点要求不高

控制面可以采用控制面下沉和部署采用部署BGP-EVPN方案

BGP-EVPN两种方案

应用场景•转发性能要求高・转发性能要求高

・租户数量不多・租户数量多

・异构多种虚拟化平台・异构多种虚拟化平台

•接入物理主机•接入物理主机

数据中心的业务越来越复杂，微分段、业务链，智能运维……，这些功能通常和网关

角色密切相关，集中式网关方案下对网关设备的要求越来越高，目前在叠加IPV6

Overlay或者微分段特性时，集中式网关已经力不从心。分布式网关将不同角色分散到

各个角色的设备承载，架构解耦具备更好的演进性，推荐新项目使用分布式方案交

付。

3分布式NetworkOverlay网络方案设计

3.1Overlay网络架构设计

3.2Overlay网络业务模型

3.3Overlay网络路由设计

3.4Overlay网络转发设计

3.5规格与约束（受限发布）

3.1Overlay网络架构设计

3.1.1方案架构

分布式NetworkOverlay网络中，SDN控制器作为核心组件，向下纳管Fabric物理网络

设备，利用VXLAN技术构建虚拟网络，将网络服务抽象建模，对外提供SDN服务。

SDN控制器可以对接多个云平台，也可以同时对接容器管理平台、计算虚拟化平台，

与计算、存储等联动，实现L2-L7配置的自动下发。

图3-1CloudFabric解决方案总体架构

云管平台

逻辑分层

层次说明

应用,CloudOS：

层-基于OpenStack架构的云操作平台，除了开源OpenStack,还包含华

为FusionSphere,它们对计算、存储、网络进行协同管理。

-容器发放平台，对容器进行创建和发放。

•分析器：使用iMasterNCE-Fabriclnsight(下文简称Fabricinsight)来对

数据中心网络进行网络和应用健康度进行分析，快速感知和定位故障

点；使用CIS(CybersecurityIntelligenceSystem)来对流量进行威胁分

析检测和判定，有效避免APT(AdvancedPersistentThreat)攻击造成用

户信息资产损失。

控制•计算管理器：即VMM(VirtualMachineManagement),完成计算层面

层的虚拟化和资源管理。

•网络控制器：采用iMasterNCE-Fabric对云数据中心网络集中管控，提

供从应用到物理网络的自动映射、资源池化部署和可视化运维，协助客

户构建以业务为中心的网络业务动态调度能力。

•VAS控制器：采用SecoManager,对防火墙设备提供集中的安全策略管

理与控制、直观的实时事件监控和综合分析攻击等各种安全事件，并提

供丰富的统计报告，方便用户随时掌控当前网络安全状况。

网络由物理设备组成的Spine-Leaf基础物理组网(常见的有华为CloudEngine系

层列交换机、NGFW、vNGFW、LB等)，用以承载VXLANOverlay网络，

并由物理或虚拟设备提供VAS服务。

计算•虚拟化服务器：支持VM上线、下线网络侧业务联动下发，也支持网络

层与计算不联动(L2BR接入)。

层次说明

•物理服务器：通过L2BR接入到VXLAN网络，通过控制器界面来发放

接入配置，云平台不感知。

・裸金属服务器：一般形成一个裸金属服务器池；由云平台触发裸金属服

务器的端到端上线过程。

交互接口

接口两端接口说明

控制器<->云平台控制器提供插件部署在云平台上，从而完成云平台与控制

器的对接。控制器通过RESTful（控制器北向开放的接

口）和RESTConf接口（控制器调用的接口）与云平台对

接，接收云平台下发的网络业务指令。

云平台<->VMM云平台与VMM间接口，控制流不经过控制器传递。

SecoManager<->防火墙•SNMP：用于SecoManager发现和获取防火墙的信息。

•NETCONF：用于SecoManager向防火墙下发配置。

FabricInsight<->物理交•SNMP：用于Fabricinsight发现和获取物理交换机的信

换机息。

•NETCONF：用于Fabricinsight与物理交换机进行流镜

像同步.

•gRPC：Fabricinsight获取交换机CPU、RAM利用率。

,Netstream：交换机通过Netstream上送指定流分析结

果。

控制器〈，物理交换机・SNMP：用于控制器发现和获取物理交换机的信息。

・NETCONF：用于控制器向物理交换机下发配置。

•OpenFlow：主要在运维层面提供路径探测等功能。

LB<->云平台LB提供补丁部署在云平台上，同时本身部署相应的插件，

两者通过RESTFul接口对接，从而使云平台纳管LB设

备，并向LB设备下发配置。

控制器在云平台上的插件和LB在云平台上的插件会交互

信息，由控制器告诉LB流量应该携带哪一个VLAN标签

进入到Fabric网络中。

3.1.2组网设计

分布式NetworkOverlay典型组网如下图所示。

图3-2分布式NetworkOverlay典型组网

在分布式NetworkOverlay组网中，NVE节点是Overlay网络的边界节点，负责

Port/Port+VLAN与VNI之间的映射。主要有以下特点：

•分布式部署：VXLAN的网关分布式部署在Leaf交换机上，三层流量转发路径最

优。

•NetworkOverlay：Overlay网络的边界节点NVE都是硬件交换机，能提供高性能

转发。

•同一个E2EVXLAN域内，主机可以任意迁移部署。

•通过VXLANL2VNI和L3VNI分别实现租户的二层隔离和三层隔离。

在分布式组网中，VXLAN的网关有以下两种类型：

•三层分布式网关：VXLANL3Gateway,也称东西网关。接入计算资源的NVE,

它的作用是使接入不同类型的计算节点（物理服务器、虚拟机、裸金属、容器

等）接入到VXLAN网络，以及机架出租场景传统网络接入VXLAN网络。

•出口三层网关：VXLANExitGateway,也称南北网关。连接出口的NVE,它的作

用是实现与外部网络（Intemet/Intranet）的互通。

3.1.3接入设计

SDN控制器支持对接容器管理平台、云管理平台、虚拟化平台，NetworkOverlay网络

接入方式灵活，同时兼容物理服务器、虚拟化服务器（裸金属、容器、虚拟机）等多

种计算资源的接入，还支持跟传统网络对接，如下图所示。

图3・3NetworkOverlay三层分布式网关接入示意图

场景一：计算节点接入

SDN控制器支持多种计算节点以多种方式接入NetworkOverlay,需要根据现网实际场

景来选择合适的接入方式。

•L2接入联动方式：需要控制器与云平台或者计算管理平台对接，与计算资源联动

下发L2接入配置。

•L2接入不联动方式：不需要控制器与其他平台对接，由控制器独立编排下发

L2BR接入配置。

•L3接入联动方式：目前仅容器场景联动部署方式涉及，与容器平台联动下发L3

接入配置。

•L3接入不联动方式：控制器独立编排下发L3接入配置。

表3-1NetworkOverlay网络支持接入的计算节点

计算节点接入对象接入方式支持场景

物理服务器物理网卡（以逻辑端口形L2接入（不联机架出租

式接入到Fabric）动）

裸金属物理网卡（以逻辑端口形L2接入（联云网一体化、计算联动

式接入到Fabric）动）（与第三方BMM联

动）

虚拟机vSwitch>SR-IOVL2接入（联云网一体化、计算联

计算节点接入对象接入方式支持场景

动、不联动）动、机架出租

容器vSwitch>SR-IOVL2接入（联容器网络

动、不联动）

L3接入（联

动、不联动）

□□说明

CloudFabric计算联动场景支持的计算虚拟化平台，云网一体化场景支持的云平台，以规格清单

中的《配套清单》为准。

场景二：传统网络接入

当已有的SDN网络需要和传统网络互联互通时，主要有以下三种方式。

•方式一：适用于近距离二层互联互通（机架出租场景运营商提供网关）

当传统网络与SDN网络距离很近，例如在同一个数据中心内部，则此时传统网络

通过作为NVE的硬件交换机L2接入，将VLAN映射到VXLAN,传统网络主机

与VXLAN虚拟网络的中的VM直接L2互通（L2BR端口发放方式）。

•方式二：适用于近距离三层互联互通（机架出租场景租户自带网关）

当传统网络与SDN网络距离很近，例如在同一个数据中心内部，则此时传统网络

通过作为NVE的硬件交换机L3接入，传统网络的网关与VXLAN网络的L3

Gateway是直连下一跳，传统网络主机与虚拟网络的VM直接L3互通。

•方式三：适用于远距离IPSec方式互联互通

当传统网络与SDN网络距离很远，则通过IPSec方式来互联互通。数据中心出口

防火墙作为IPSec隧道的端点，传统网络中的主机与SDN虚拟网络中的VM实现

L3互通。

3.1.4出口设计

本章节简要介绍不同场景出口网络的业务模型、扩展设计，详细出口网络设计请参考

《出口网络设计指南》。

3.1.4.1出口网络业务模型

在介绍出口网络规划前，先了解一下CloudFabric几个场景中的出口网络业务模型。

由于云平台FusionSphere以及开源第三方OpenStack两者的能力不同，因此与两种云

平台配合时业务模型也不同，下面分别进行介绍。

匚口说明

云网一体化场景，不支持同一个VPC的不同外部网络，部分过墙，部分不过墙。

场景一：云网一体化-FusionSphere

当使用FusionSphere作为云平台时：

•一个VPC同时支持一个访问Internet的外部网络、多个访问公共服务的外部网

络、一个访问专线网络（即远程私网）的外部网络。

•多个访问专线的外部网络可通过DCN控制器上的二次编排来实现（如下图中虚线

所示）。

•访问Internet的外部网络必须配置SNAT/EIP。

•访问公共服务的外部网络必须配置EIP。

•访问专线网络的外部网络不做SNAT/EIP。

公共外就网军■私有外部网络■私有外部网络I拈有外当网生■私有外乎区第

场景二：云网一体化-开源第三方OpenStack

当使用开源第三方OpenStack作为云平台时：

•一个VPC只支持一个外部网络，用于访问Internet或远程私网。

•当一个VPC需要关联多个外部网络时，需通过DCN控制器的二次编排来实现，

一个VPC同时只支持一个访问Internet的外部网络和多个访问远程私网的外部网

络。

图3-5开源第三方OpenStack场景出口网络业务模型

Internet网络私有网络

L________________________________1L___________________1

1_____________________1

11

11

11

1