Underlay网络架构设计指南

1、Underlay网络架构设计指南技术创新，变革未来Overlay网络概述 - 概念Overlay边缘设备Overlay边缘设备主机主机主机数据平面Payload封装Overlay控制平面Overlay网络（逻辑网络）Underlay网络（物理网络）承载网络控制平面非生产环境区数据中心网络 (Data Center Network)测试环境区生产环境区SpineLeafSpineLeaf服务器服务器核心服务器园区网接入区广域网接入区互联网接入区SpineLeafDCPOD1POD2PODn数据中心网络架构演进的三个版本接入接入接入接入汇聚汇聚核心核心VRRP+STP堆叠/M-LAG过渡技术TRI

2、LL接入接入汇聚汇聚核心核心VRRPSTP201020152005leafleafSpineSpineSpineSpineleafleafleafleafDCN 1.0 STP+VRRPDCN 2.0 堆叠/M-LAGDCN 3.0 Spine-leaf + VXLANVXLAN物理网络总体架构业务Spine虚拟机云服务节点控制器控制节点IP SAN物理机虚拟机存储 LeafVTEPServer Leaf管理LeafVTEP采集器分析器FabricInsightVTEPVTEPpeer-linkBorder LeafDCI LeafLBFWVTEPService LeafPEVXLANM-LA

3、G存储 SpineM-LAGBMCBMCBMC接入Leaf存储网络WAN/Internet计算接入VAS接入管理网络出口网络DCI网络Fabric网络DC2CloudFabric融合组网Server LeafService LeafBorder LeafSpinePEVTEPVTEPVTEPBorder Leaf与Service Leaf合设VTEPDCI LeafVTEPServer LeafSpinePEVTEPVTEPVTEPVTEPDCI LeafVTEPDC2DC2Server LeafServer LeafServer LeafCloudFabric融合组网Border Leaf、

4、Service Leaf、Spine合设Server LeafPEVTEPVTEPVTEPVTEPDCI LeafVTEPBorder Leaf、Service Leaf、Spine、Server Leaf合设PEVTEPDCI LeafVTEPDC2DC2Server LeafServer LeafCloudFabric融合组网Border Leaf、Service Leaf、Spine、Server Leaf、DCI Leaf合设PEVTEPDC2SpineSpineLeafLeafLeafPOD nSpineSpineLeafLeafLeafPOD3SpineSpineLeafLeafL

5、eafPOD2小POD模式SpineSpineLeafLeafLeafPOD1DC互联网接入区外联网接入区广域网接入区Super SpineSuper SpineSuper SpineSuper Spine大POD模式LeafLeafLeafPOD1LeafLeafLeafDCVASBLBLVASVASBLBLVASSpineSpineSpineSpineSpineSpineLeafLeafLeafPOD1VASBLBLVASDCSpineSpineLeafLeafLeafMain PODRemote POD模式LeafCore switchOption 1Option 2Dark fiber

6、/DWDMIP networkMPLS VPNOption 3WANSpineSpineLeafLeafRemote PODLeafLeafRemote LeafFabricUnderlay路由设计 OSPFLeaf1Spine1P2PP2PP2PP2PP2PLeaf2Leaf3Leaf4Leaf5Leaf6Spine2OSPF1 Area 0Underlay路由设计 OSPFOSPF1 Area 0OSPF1 Area 2OSPF1 Area 1LeafSpineSuper SpineLeafSpinePOD1POD2EBGPUnderlay路由设计 BGPLeaf1Spine2AS 635

7、00AS 65501AS 65502AS 65503Spine1Leaf2Leaf3Leaf4Leaf5Leaf6EBGPEBGPEBGPUnderlay路由设计 BGPLEAFSpineSuper SpineLEAFSpinePOD1POD2AS 65501AS 65502AS 65521AS 65522AS 63500AS 61500AS 63520服务器接入设计双活主备主备VTEP1 ：服务器双活接入M-LAG2： 服务器主备接入M-LAG3 ：服务器主备接入单机LeafVTEPVTEPVTEP服务器接入设计eth0eth1eth4eth5存储节点eth2eth3计算节点eth4eth5

8、业务与管理交换机eth0eth1控制节点eth4eth5eth2eth3裸金属节点存储平面10GE 万兆光口业务平面10GE 万兆光口管理平面10GE 万兆光口存储交换机SpineIP FabricIP Fabric防火墙接入设计防火墙旁挂Border Leaf防火墙旁挂Service Leaf防火墙直挂Border LeafSpineFWPESpineM-LAGBorderLeaf、Service Lef合设FWIP FabricSpineM-LAGService LefBorderLeafPEFWBorderLeaf、Service Lef合设资源池Fabric防火墙接入设计核心交换机un

9、trustSpinetrustFW（主）FW（备）Public-vrfvrf1untrusttrust负载均衡接入设计LB旁挂Border LeafLB旁挂Service LeafIP FabricSpineM-LAGBorder Leaf、Service Leaf合设FWIP FabricSpineM-LAGService LeafBorderLeafPEFWLBLBSLB负载均衡 外部网络VXLAN用户: 1.0.0.1/24192.168.201.110Virtual server IP: 192.168.201.20NAT:EIP-VIP Self IP:192.168.201.245

10、Float IP:192.168.201.254 Self IP:192.168.201.246Float IP:192.168.201.254Gateway: 192.168.201.1192.168.201.110untrusttrust出口设计 概述L3接口Border LeafPE一个L3接口方案Border LeafPE两个L3接口方案Border LeafPE四个L3接口方案（推荐）逃生链路VRRP逃生链路出口设计 四个L3接口Border LeafPE独立部署1324Border Leaf侧L3接口逃生链路出口设计 两个L3接口Border LeafPE独立部署12Border

11、Leaf侧L3接口逃生链路出口设计 PE VRRP方案Border LeafPEBorder LeafPEVRRPVRRPBorder LeafPEVRRP物理视角逻辑视角VRRPVRRPVRRP控制器部署Spine业务Leaf管理LeafVTEPVTEP存储 LeafVXLAN控制节点云服务节点控制器*3虚拟机物理机存储存储控制器部署业务Spine业务Leaf管理LeafVTEP存储 LeafVXLAN控制节点云服务节点控制器*3虚拟机物理机存储存储管理Spine控制器部署连线方式eth0eth1eth21234567123456管理Leaf1eth3eth0eth1eth2eth3eth0

12、eth1eth2eth3管理Leaf28BMC7BMCBMC内部通信&北向管理南向业务BMC管理peer-linkBMC接入Leaf控制器Server1控制器Server2控制器Server3FI数据平面（带内）虚拟化服务器FI物理图SpineLeafFabricInsight-LeafLeaf物理服务器FabricInsight采集器集群FabricInsight分析器集群FI逻辑图VXLAN的报文格式外层以太帧头部外层IP头部UDP头部VXLAN头部内层以太帧头部内层IP头部载荷原始数据帧VXLAN封装 50（54）Bytes Overhead数据规划 IP、VLANLeafSpine每条

13、链路规划2个/30掩码的互联地址每台leaf设备规划2个/32掩码的Loopback地址每台Spine规划1个/32掩码的Loopback地址数据规划 IP、VLANULA地址：Unique Local IPv6 Addresses本地唯一的单播地址，用于路由器互联和服务器互联、内部通信使用，类似于IPv4私网地址。:1/128FE80:/102000:/3FC00:/7:/128IPv6 编址组播单播任播分配的地址被请求节点组播地址未指定地址环回地址链路本地地址全球唯一单播地址唯一本地地址FF00:/8FF02:1:FF00:0000/104GUA地址： Globally Unique Ad

14、dresses全球唯一的单播地址，用于需要有互联网访问需求的主机通信，类似于IPv4公网地址。LLA地址： Link Local Address链路本地地址只能在本链路使用，路由器不会将带有链路本地源地址或目的地址的任何包转发到其他链路上去，报文只在一个LAN内转发。数据规划 IP、VLANNPN段1段2Interface ID64可规划部分（64-N）段n32位64位32位固定前缀自定义前缀主机地址区数据规划 IP、VLAN网络地址空间NA总行负责固定前缀地域（Region）子区域（SubRegion）三级子区域（Ext）地址空间类型（Serv）地址类型（NetType）Info接口地址长度

15、32位8位8位4位4位4位4位64位IPv6地址前缀位数1-3233-4041-4849-5253-5657-6061-6465-12816进制表示固定: XXXX:XXXX:/32范围:00-FF范围:00-FF范围:0-F固定0范围:0-F范围:0-F0000:0000:0000:0000-FFFF:FFFF:FFFF:FFFF地址空间类型取值（16进制）说明0网络地址地址类型取值（16进制）说明0Loopback地址1接口互联地址2带外管理地址3-F预留地域取值（16进制）说明0广域网1XXDC2YYDC3ZZDC4MMDC5-2735家分行28-FF预留子区域子区域由各地域自行分配，可分配28=256个子区域，对应每个DC的网络逻辑分区，或分行的二级分行。Info默认全0，各子区域可以继续灵活规划，分段建议按照4位一段。三级子区域SubRegion+Ext，对应每个分行的网点，212=4096个三级子区域，对应分行的支行、网点。Border Leaf高可靠设计L3接口Border LeafPE一个L3接口方案Border Le