2.2.1 HCDCE126 数据中心二层网络演进(郑志强) ISSUE1.00

HCDCE126--1.00郑志强/WX2404242016-7-20刘立灿/180730新开发数据中心二层网络演进数据中心经历了传统数据中心，分布式数据中心，云数据中心等的演变，其中虚拟化为数据中心大规模部署以及应用集群化提供了强大的支持，而网络在发展中也经历了从传统三层架构到大二层的演变。学完本课程后，您应该能：了解数据中心发展的趋势；了解数据中心网络演进的趋势；了解不同二层技术之间的方案对比；数据中心网络发展趋势二层网络技术演进大二层网络案例数据中心演进:云化和虚拟化DC1DC2DC3传统DC：资源物理隔离DC1DC2DC3虚拟存储虚拟计算虚拟网络统一

BSS/OSSvDC1vDC2vDC3vDC4机架、带宽出租为主，依赖于人工规划和设计资源利用率低，费用高业务扩展限制在单个物理DC，跨DC业务租户自己租光纤/传输解决DCaaS(DC-as-a-Service），业务自动化资源利用率高，费用低资源跨DC虚拟扩展云虚拟DC：资源虚拟化，与物理位置无关数据中心网络架构变革三层二层传统数据中心架构三层二层新一代数据中心架构传统数据中心组网方式，一般二层只到接入或汇聚交换机，虚拟机的迁移只能局限一个二层区域内。如果需要跨二层区域迁移，需要更改VM的IP地址，应用会中断。传统数据中心架构在云计算时代，IDC运营商为了更充分的利用数据中心资源，VM需要更大的迁移范围；由于服务器之间存在大量的横向流量，要求数据报文支持无阻塞转发，网络链路资源得到充分的利用。新一代数据中心架构PODPOD数据中心网络发展趋势STP或CSS+iStack传统二层技术不适合构建大规模二层网络，通过VXLAN可以构建大二层网络，支持扁平化胖树拓扑组网方式，链路带宽利用率高。STPAccessLayerAggregationLayerCSS+iStackAccessLayerAggregationLayerVXLANAccessLayerAggregationLayer数据中心网络发展趋势二层网络技术演进大二层网络案例传统数据中心网络架构VM如何大范围迁移虚拟机迁移必须保持IP地址不变如何在不同区域内迁移VM环路与可靠性破环方式（一）STP汇聚层核心层接入层…接入设备机架式服务器具备交换模块的

刀片服务器…直通模块/无交换模块的刀片服务器大型机/高端服务器破环方式（二）堆叠分区1/汇聚区1业务1

主备接入业务2

负载均衡接入业务3接入层汇聚层

业务层SW2SW3SW4SW5CSS/堆叠线缆SW0SW1Eth-Trunk盒式设备采用2台/一组iStack堆叠，框式设备采用2台/组CSS集群，链路采用Eth-Trunk链路聚合，形成无环以太网。通过Eth-Trunk链路，成员端口间进行负载均衡，链路利用率高。破环方式（三）TrillCoreTORServerGWLayer2Layer3TRILLTRILL与SPB对比TRILLSPB封装方式TRILL（有TTL）MacInMac（无TTL）破环方式TRILL协议SPB协议ECMP和三层IP网络类似，支持逐跳ECMPIngress节点基于流进行ECMP，不支持逐跳ECMP组播树数目少（二层共享组播树）多（二层源组播树）最短路径转发支持支持收敛时间较短（整网收敛几百ms）较短（整网收敛几百ms）多租户支持4K（按照VLAN进行隔离），将来可以演进到通过FineLabel来隔离租户，从而可以支持16M租户支持16M（按照I-SID进行隔离）组网成本低低网络规模大大适合组网适合扁平化胖树组网比较适合扁平化胖树组网，更适合于IPTV里面点到多点组网方式破环方式（四）VXLANNVE1NVE5三层网络网关NVE2NVE3NVE4ABCD二层接入VXLAN不同二层技术对比传统二层CSS+iStackTRILLVXLAN封装方式传统ETH头（无TTL）传统ETH头（无TTL）TRILL（有TTL）MACinUDP（有TTL）破环方式MSTP协议管理方式TRILL协议路由协议环路避免+隧道间水平分割ECMP不支持ECMP通过LAG方式，支持ECMP和三层IP网络类似，支持逐跳ECMP完全复用三层网络的ECMP、FRR组播树数目NANA少（二层共享组播树）NA或较少（IP双向组播）最短路径转发不支持支持支持支持收敛时间长，而且收敛时间不稳定短较短（整网收敛几百ms）较短（整网收敛几百ms）多租户支持4K（按照VLAN进行隔离）4K（按照VLAN进行隔离）4K（按照VLAN进行隔离），将来可以演进到通过FineLabel来隔离租户，从而可以支持16M租户最大支持16M（按照VNI进行隔离）组网成本低高（框间通信带宽占用多，而且很难做到无阻塞）较高，一般要整网设备支持TRILL低，只需要边界节点支持VXLAN，可以延伸到服务器的vSwitch中网络规模小中等（堆叠节点数目受限，而且堆叠框架无法做到无阻塞）大大适合组网适合逐级收敛的组网，不适合扁平化胖树组网适合扁平化胖树组网适合扁平化胖树组网适合扁平化胖树组网适合用于SDN（边界节点感知，无缝延伸到vSwitch）大二层-EVN不同技术发展STP趋向于园区网以及小规模组网堆叠趋向于大中型数据中心Trill趋向于大中型数据中心VXLAN趋向于大规模数据中心以及云数据中心EVN趋向于数据中心间互联数据中心发展趋势二层网络技术演进大二层网络案例堆叠-政务案例云平台1IPSANFCSANCSS+VS(一虚三)CE12800云平台2IPSANFCSAN云平台3IPSANFCSAN超算中心电子政务外网项目方案华为使用CE12800组网，单机支持64Tbps交换容量，满足云计算数据中心可持续发展需求。通过汇聚层交换机CE12800的VS，将三个子云平台的网络完全隔离，实现物理网络一张网，逻辑网络按需分配。委办局用户到委办局业务的南北向流量，通过交换机的VPN技术和防火墙的虚拟防火墙技术构建专属VPN通道，网络隔离，责任明晰。项目价值网络分区、分层、分平面设计：安全分区分域，端到端隔离，分业务网络平面、管理网络平面、存储网络平面，保证业务安全可靠；CE12800的高可靠性和大容量，保证网络支持业务5-8年的发展周期，保护了客户投资项目背景某市子政务云服务中心，借助云计算技术对资源的统一管理、按需使用，进而节约一定的信息化建设资源投入成本，同时促进数据和业务系统与承载的技术环境分离，提高政府信息化项目的整体建设水平。Trill-大型数据中心案例VMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM业务POD1VMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM业务POD2业务POD16核心区广域接入区互联网互联网接入区DMZ专网专线接入区前置服务器Anti-DDoS防火墙\IPSSSLVPN防火墙\IPS办公专网专网接入区前置服务器加油站专网前置服务器卫星专网海外专网…中国石油广域网接入区汇聚业务POD3出口边界万兆POD二三层分界在汇聚层，汇聚和接入交换机独立部署

接入和汇聚交换机间部署TRILL组建大二层网络千兆POD二三层分界建议在接入层千兆POD后续如果大规模部署万兆服务器实现云化，可以演进TRILL…TRILLTRILLTRILLTrill-企业多数据中心互联案例……CE5800CE6800DataCenter……CE5800CE6800S5700OfficeDataCenterCE6800S5700TRILL40GE10GEGEOffice方案本项目使用了2台CE12812，6台CE6800,35台CE5800,24台S5700两个办公区的网络核心各部署CE12812，两地数据中心的10GE服务器接入采用CE6800堆叠，GE服务器接入采用CE5800堆叠，核心接入间均采用全40GE互联。两地数据中心以及办公区的CE系列以标准TRILL协议对接，实现大二层网络。价值高速交换：数据中心内部采用40GE互联，使企业业务访问和响应速度成倍提升。大二层无环网络：链路投资成本节省一半，并有效实现多数据中心协同，提高运作效率。背景某企业随着业务快速发展，不同数据中心需要资源共享，原有架构已经无法满足目前云时代数据中心需要；网络升级要求：更快速的交换能力、支持大二层TRILL技术VXLAN-企业案例CSSiStackiStackiStackBladeChassisBladenBlade1BladeSwitchBladeswitchPEUSG9500spineLeafFirewallCE12800CE6800-HI40G10GNE40ECE7800VXLANFabric网络采用SPINE-LEAF架构，支持网络规模按需扩展SPINE-LEAF上部署VXLAN，采用VXLAN技术可以方便实现跨POD，跨数据中心的业务业务迁移网关部署在SPINE节点，防火墙采用旁挂，支持小规模业务上线，方便管理和维护VTEP配置在Leaf节点上，可以支持多虚拟化厂商接入VXLAN-互联网案例LeafLeafVMVMvSwithVMVMvSwitchServerSAN/IPSANLeafSpineVTEPVTEPSpineinternetVTEPVTEPLeafManageOneServiceLeafServerLeafVTEP物理网络架构设计Underlay网络采用Spine-Leaf架构，灵活扩展服务器和增值业务组网规模，Leaf层接入计算（物理服务/虚拟服务器）、存储业务、增值业务、管理网。VxLANOverlay网络架构设计Overlay网络使用VXLAN构建大二层，VTEP部署在Leaf交换机。VxLANL3网关采用硬件集中式，一个Fabirc可部署多组网关，支持业务的扩展，部署Service-Leaf便于安全业务的扩展，VxLAN网关同时连接外部网络。VxLAN网关物理服务器虚拟服务器交换层网关层管理/控制节点广域网专线接入广域网出口路由器互联网出口路由器VXLAN域LeafVXLAN-企业案例NE40E-X16WANDC-CORE核心模块AZ3/4CE5850HIAZ1BMC管理VXLANGW10G40G40GCE12816-MCEVMVMvSwitch10GCE6850HI业务/存储/业务管理VMVMvSwitch10GCE6850HI业务/存储/业务管理E8000EE8000EE1000EE1000E控制平面VlanGWCE12808CE6850HICE5850HIAZ2BMC管理VXLANGW10G40G40GCE12816-MCEVMVMvSwitch10GCE6850HI业务/存储/业务管理VMVMvSwitch10GCE6850HI业务/存储/业务管理10GE8000EE8000E控制平面CE12808E1000EE1000EVlanGWCE6850HINASCE1280840GCE6850HICE12808级联OpenStack物理网络部署：1、单独的物理设施（POD）形成一个可用区（AvailableZone）。2、多个AZ组成一个Region，统一对外提供服务。3、每个AZ内部署业务平面，控制平面（AC