类sdn and nfv课程4.运营商vpc解决方案

运营商SDNVPC方案日期：杭州华三通信技术有限公司，引入伴着虚拟化的浪潮，在争夺公有云市场及差异化运营的需求背景下，互联网和运营商成为了SDN解决方案的两大前沿阵地，也一直是各大厂商争夺的制高点。我司凭借业界领先的技术方案，在新网络的前沿阵地完成了重要布局，满足客户需求的同时，自身的方案也日趋成熟我司SDNVPC解决方案在运营商IDC已经正式落地了解为什么要使用SDNVPC方案了解SDNVPC方案中的技术实现和产品架构了解SDNVPC方案组网部署了解SDNVPC方案控制和转发平面课程目标学习完本课程，您应该能够：传统网络向SDNOverlay网络的演进SDNVPC方案部署控制平面介绍转发平面介绍目录项目背景运营商在IDC扩容中有以下问题和需求承载业务的虚拟化主机需要随时随刻进行迁移，并且由于域名映射的原因，不能修改虚拟化主机的IP地址和网关IDC内部VLAN标签逐渐不够用IDC承载多个业务系统，各个业务之间需要安全访问控制用户从外网访问业务系统同样需要安全控制IDC在承载移动内部关键业务同时，还会出租给互联网用户，形成多租户的环境，租户之间的网络需要完全隔离虚机迁移与vlan不足问题虚机迁移问题传统三层网络中虚机迁移，必然导致网关的改变。大二层技术虽然可以解决虚机迁移的问题，例如TRILL、SPB等，但落地情况一般。VLAN数量不足问题4094个VLAN已经在运营商IDC中逐渐不够用。Overlay/VxLAN虚机迁移问题分布式网关技术，解决了虚机迁移网关改变的问题，虚机迁移前后，无论物理位置如何改变，网关始终使用一个虚拟网关。虚拟网关使用相同的MAC地址进行arp应答隧道技术，物理网络与虚拟网络解耦和VLAN数量不足问题vxlan类比vlan标签的封装，解决了vlan不足的问题。ServervDeviceAgentVMVMServervDeviceAgentVMVML3OverlayServervDeviceAgentVMVML3L3ServervDeviceAgentVMVMServervDeviceAgentVMVMNetworkOverlayHostOverlayHybridOverlay网络Overlay：物理设备作为overlay边缘设备服务器无需支持Overlay支持多种形态的服务器我司S12500-X/F、S9800、S6800支持主机Overlay：虚拟设备作为为overlay边缘设备适用服务器全虚拟化的场景不能接入非虚拟化服务器我司vSwitchs1020v和VSR支持混合Overlay：物理设备和虚拟设备都可以作为overlay边缘设备，灵活组网可接入各种形态服务器VxLANVxLANVTEP（VxLANTunnelEndPoint）为虚拟扩展本地网络隧道终结节点。报文封装中vxlan标签由两部分组成：8bit的标志位和24bit的vnivxlan使用vni字段取代vlan标签来唯一标识一个vxlan，可以扩展2的24次方个网段，即支持16M个网段vxlan的封装为MACinUDP，UDP目的端口号4789外层目的IP和源IP为隧道两端的VTEP设备地址，外层二层包头为报文在普通网络中做二、三层转发的MAC地址VxLAN标签外层UDP包头外层ip源地址外层ip目的地址外层802.1q标签外层源/目的mac地址新添加的VxLAN包头原始报文VxLAN

GW和VxLANIPGWVxLANIPGW网络设备支持VXLAN报文的封装与解封装，并根据内层报文的IP头部进行三层转发，同时实现VxLAN网络与传统外网的互通VxLANGW支持VXLAN报文的封装与解封装，并根据内层报文的MAC头部进行二层转发，实现VxLAN与VLAN的互通也被称为VXLANL2GWaccessaccessCoreCoreaccessrouteraccessrouterVxLAN网络VxLAN的控制平面VxLAN的控制平面实现方式分为3类自学习模式，利用泛洪/广播机制来实现VxLAN网络的建立路由协议扩展模式，通过扩展isis（类似于EVI)协议来实现VxLAN网络的建立基于SDNController的集中式模式，SDN

Controller作为控制平面，通过下发流表指导VTEP的转发原始数据包VxLAN标签外层UDP包头外层ip源地址外层ip目的地址外层802.1q标签外层源/目的mac地址安全功能部署问题安全功能部署问题技术方面，多插卡部署，非常复杂。需要PBR、MQC、ACFP等引流策略，配置十分繁琐。成本方面，硬件安全设备，无论是插卡还是硬件设备，成本都不低。安全设备十分零散的分布与网络中各个位置，不便于统一管理和维护。IPS-1s12500交换机T2/9/0/1Trunk32498IPS-1s12500交换机Intvlan3TrunkallG1/5/0/5T1/9/0/1Trunk32498FW-1Trunk21222398T1/6/0/1FW-1Trunk21222398T2/6/0/1SWITCHVRRPmasterVrid2:VRRPslaveVrid2:服务链（ServiceChain）WEBAPPServiceNodesVMVMVMvSwitchLeafLeafVMVMVMvSwitchVCFControllerClusterLeafVMVMVMvSwitchLeafLeafVMVMVMvSwitchSpineSpineVxLANNetwork服务链业务节点东西向流量FW

LB服务链的概念，业务流量按照SDN控制器的编排顺序经过一组业务功能节点，完成对应业务功能处理控制层面，通过SDN控制器集中式控制，按需部署和指导引流转发层面，同样通过overlayvxlan网络进行转发服务节点包括：防火墙（FW）、负载均衡（LB）、IPSecVPN等NFV简介NFV（NetworkFunctionVirtualization）NFV网络功能虚拟化的目的就是利用IT虚拟化技术来将网络设备软件化、虚拟化、标准化。NFV将传统的网络设备进行软硬件解耦，物理硬件用标准的x86服务器替代，实现标准化，网络功能被抽象成一个个软件实体。NFV产品架构Hypervisor（KVM）vFWvLBvBrasvACVSRX86物理服务器NFVManagerAgentNFVManagerNFV产品架构：1、NFV中的虚拟功能实体称为VNF（VirtualizedNetworkFunction），比如VSR、vFW、vBras等即为VNF的具体形态，本质为运行ComwareV7操作系统的虚拟机2、这些VNF需要一个统一的管理系统来管理，这个管理系统组件被称为VNFM（VNFManager）3、VNFM与VNF实体之间存在一个中间件，称为NFVManagerAgent，负责将VNFM的指令传达给VNF实体。4、NFVManager（VNFM+WebUI）下达创建VNF的指令，通过NFVMAgent送达KVM，KVM创建相关VNF虚机VNF简介ServerHypervisorVSRvFWvLBvSwitchRestfulapi/JAVAapiVMwarevSphere,LinuxKVM

orH3CCASStandardX86serverVMcontainsfunctionoffirewall、loadbalanceorswitch&routing.Licensebasedon:ThenumberofVirtualCPU(1,4,8,16~64*)Time(1-year,3-years,permanent)E1000,VMXNET3,SR-IOVNFV中的虚拟功能实体VNF架构：1、基于标准x86服务器2、基于虚拟化Hypervisor运行3、VNF虚机本身运行H3CComwareV7操作系统

vACvBrasOverlay多租户实现多租户问题IDC通过主机虚拟化需要为不同的用户提供服务，而用户之间流量需要完全隔离，并且各个用户可能使用相同的IP地址，为了实现这样的需求，传统网络中需要添加额外网关、地址翻译、VPN等技术，增加了组网的复杂性VRF1VRF2VRF3租户1租户2租户3Network300虚拟网络模型虚拟网络模型（OpenStack的虚拟网络设计）Network对应一个唯一的VNI（类似二层vlan），network标识一个二层网络Subnet

为network中的一个IP地址块，用于为虚机配置地址，每个subnet必须和network关联，一个network可以对应多个subnet（相当于一个vlan下可以有主从地址）Router

将多个subnet和network互联的虚拟路由器，不同router之间的subnet在vxlan网络不能互通，为租户之间隔离打下技术基础Port

虚拟端口，表示一个与虚机相连的虚拟交换机端口，通过port创建VM可以得到此VM的MAC等信息routerroutersubnet3subnet4subnet5subnet6Network200subnet1subnet2Network100ExternalnetworkVMVMVMPort天然隔离SDNVPC解决方案虚拟私有云VPC（VirtualPrivateCloud）运用SDN思想，对物理网络进行逻辑抽象，网络转发和控制层面解耦和运用虚拟网络模型，实现弹性可扩展的多租户虚拟私有网络VMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMFWLBFWLBFWLBFWLB物理网络逻辑网络云计算管理平台统一管理平台需求有了SDNoverlay和VPC后，为了实现业务的自动化部署，需要一个统一的平台来管理所有的网络设备、计算节点和存储资源等。SDNAPPSDNAPPSDNAPP通过OPENSTACK对网络和计算管理平台下发指令利用OPENSTACK两个特性1、开源接口2、OPENSTACK本身特点完美适用于计算与网络虚拟化SDNAPPNovaCinderNeutronSDNAPPVCFCvCenterVMVMVMVMNetworkOpenstack北向接口vCenter北向接口vCenter北向接口Restapi+neutron

plug-inOverlay&vxlan解决了虚机迁移问题NFV&服务链解决了安全部署问题虚拟网络模型解决了多租户问题SDNAPP&OPENSTACK解决了云计算平台问题本章总结目录传统网络向SDNOverlay网络的演进SDNVPC组网部署控制平面介绍转发平面介绍整体组网M9000-1M9000-1组网架构采用H3CSDNVPC解决方案+Openstack+SDNAPP的架构进行组网。S12516-F作为VXLANIPGW，双上行至CISCON7K连接BOSS内网两台R390服务器作为NFV资源池，旁挂S12516-F。S5500作为接入TOR，接入管理和业务服务器。M9000作为出口防火墙旁挂S12516-F。业务虚拟化平台统一为vmware，通过OVSS1020v接入VXLAN；物理业务服务器通过L2GWS12510-F接入VXLAN。S12510-FVxLANL2GWS5500-SS12516-FVxLANIPGWPhysicsSeverOVSOVSVMVMNFV组网部署---underlayM9000S5500-MVCFC01vCenterVCFC02组网部署---管理网openflownetconf/ovsdb方案中管理网并非通常意义的网管,而是承载管理流量和控制报文的网络vlan99为管理vlan，网关26S12510-FVxLANL2GWS5500-SS12516-FVxLANIPGWNFVMOVSOVSVSRM9000S5500-MVCFC01vCenterVSRVCFC02S12510-FVxLANL2GWS5500-SS12516-FVxLANIPGWPhysicsSeverOVSOVSVMVMNFV组网部署---NFVM9000S5500-MVCFC01vCenterVCFC02NFV虚拟接口VSR虚拟接口介绍ClusterData：用于传输VSR的跨框流量ClusterControl：用于传输堆叠STM心跳报文和主备框之间的信息同步Service1：用于vxlan内网之间业务流量传输Service2：用于vxlan内网至外部vlan网络之间业务流量传输Management：用于宣告Loopback0（管理IP）让VSR和VCFC建立openflow连接NFVMControl：用于各个VSR与NFVM之间ASMP心跳协议传输VFVFVFVFVFVF组网示意图---NFVVFVFVFVFVFS12500-FClustercontrolClusterdatamanagementServiceNFVMcontrolVFPhysicalServerPhysicalPortVirtualPortVFS12510-FVxLANL2GWS5500-SS12516-FVxLANIPGWPhysicsSeverOVSOVSVMVMVSR组网部署---VSRM9000S5500-MVCFC01vCenterVCFC02VSRVSR接口介绍VSR接口介绍ClusterControl：Te1/2/0和Te2/2/0通过交换机互联（增加可扩展性），通过服务器接口bond保证可靠性ClusterData：Te1/3/0和Te2/3/0通过交换机互联（增加可扩展性），通过服务器接口bond保证可靠性Service1：Te1/4/0和Te2/4/0Service2：Te1/5/0和Te2/5/0Management：Te1/1/0和Te2/1/0NFVMControl：内部逻辑接口，没有在VSR配置中Buildrun组网部署---VSRS12500-FTe1/1/0Te1/4/0Te2/1/0Te2/4/0Vlan-interface98Vlan-interface97Vlan-interface96Vlan-interface95Loopback1Loopback2VSR的Loopback0为管理IP，该IP通过ospf

1宣告，并通过management网段（Te1/1/0和Te2/1/0）宣告进管理网段vlan99VSR的Loopback1和Loopback2为VSR的两个VTEP地址，这两个IP通过ospf2和ospf3宣告，并通过在两个ospf进程针对不同Loopback地址引用不同cost来控制两个VTEP地址的主备，实现针对VTEP的负载分担（ospf2通过Te1/4/0宣告、ospf3通过Te2/4/0宣告）VSR的Te1/2/0与Te2/2/0、Te1/3/0与Te2/3/0分别为VSR的ClusterControl和Data口，通过交换机二层互联实现堆叠，交换机上配置vlan将两个接口流量隔离。Loopback0Loopback0VSR-01VSR-02Te1/2/0Te1/3/0Te2/2/0Te2/3/0vlan94vlan93vlan94vlan93ClusterControlClusterDataClusterControlClusterDataS12510-FVxLANL2GWS5500-SS12516-FVxLANIPGWPhysicsSeverOVSOVSVMVMNFV组网部署---VCFCM9000S5500-MVCFC01vCenterVCFC02VCFC集群VCFC集群为了保证VCFC的高可靠性，多个VCFC形成一个集群，集群对VCFC进行集中式控制集群中控制器角色分为Leader和Member，其中Leader分为主Leader和备LeaderLeader负责管理集群将全局数据（虚拟端口信息、gw、物理服务器主机信息等等）同步给集群内部的其他控制器；Member为集群的普通成员VCFC集群拥有一个集群IP，即restip，为北向接口提供访问IP，亦可作为该VCFC集群登录IPVCFC

RegionVCFC

Region集群中配置多个region来划分对openflow设备的管理范围，每个region包含主控控制器、备用控制器、多台网络设备主用控制器拥有全部权限，可以下发流表项，查询统计信息，接收设备上报的状态信息。备用控制器仅拥有部分权限，无法下发流表项。组网部署---overlayVMwareVMVMVMH3CvSwitchLeafLeafVxLANNetworkVMwareVMVMVMH3CvSwitchOpenFlow+OVSDBvCenterOpenStackNovaComputerAPINeutronNetworkAPICinderStorageAPIComputePlug-inVCFControllerPlug-inStoragePlug-in通过虚拟化系统构建VNF资源池VNFManagerRESTVNF基础信息VCFControllerClusterL2GW服务器OpenFlow+NetconfLeafvFw/vLBvSwitchvFw/vLBvSwitchKVMvFw/vLBSR-IOVAdptvSwitchKVMSR-IOVAdptvSwitchLeafvFw/vLBvSwitchvFw/vLBvSwitchKVMvFw/vLBSR-IOVAdptvSwitchKVMSR-IOVAdptvSwitchvFW/Vlb/VSRvFW/vLB/VSRWANRouter服务节点池（东西流量）服务节点池（东西流量）RESTVNF基础信息L3GW(IceHouse)Overlay逻辑组网Overlay组网VXLANL2/L3GW（S12500-F）、VNF（VSR）和vSwitch（S1020v）作为overlay的access节点S12516-F作为VXLANL3GW，负责VXLAN报文的封装与解封装，并根据内层报文的IP头部进行三层转发S12510-F作为VXLANL2GW，负责VXLAN报文的封装与解封装，并根据内层报文的MAC头部进行二层转发业务服务器在ESXi上运行OVS作为VXLANVTEP，负责VXLAN报文的封装与解封装，并可以根据内层报文的MAC头部或者IP头部进行转发VCFC通过南向协议netconf（125-F和VSR）和ovsdb（vSwitch）为各个access节点下发配置，通过openflow协议为各个access节点下发流表指导转发。VCFC通过restapi指导NFVManager对NFVManagerAgent下发指令，来创建和删除VNF虚机。Underlay组网的可靠性和可扩展性管理网络的部署NFV&VSR部署方式VCFC的高可靠性部署方式方案overlay整体组网本章总结目录传统网络向SDNOverlay网络的演进江西移动SDNVPC组网部署控制平面介绍转发平面介绍Ovs加入overlay网络OVS加入overlay网络在控制器上配置VCFC和计算资源管理平台vCenter连接,ovs交换机启动时，自动和VCFC集群的北向虚拟ip（集群主leader）建立Openflow连接。集群的主Leader控制器感知到Openflow连接建立事件，查找本地ovs列表，如果查找不到，则认为ovs初次上线，根据负载均衡规则(hash)将ovs分配到集群中某一region。集群Leader获取ovs的vtepip、datapathid等信息，将ovs信息同步到集群中。被分配region的控制器将region的两个controllerip设置到ovsdb中，下发给ovs。Ovs知道了controllerip的变化，根据新的ip地址与controller重新建立Openflow连接，从而完成虚拟交换机的上线SDN

controllerSDN

controllerRegion2Region1Team主Leader备LeaderOVS12345硬件网关加入overlay网络硬件网关（S125-F）加入overlay网络在硬件网关上配置netconf和vtepip，在控制器上添加硬件网关后，控制器通过netconf下发基础配置给硬件网关netconfsoaphttpenablenetconfsoaphttpsenable%Apr1413:42:43:6862015JX-HGT-BOSS-S12516F-IRFNETCONF/6/SOAP_XML_LOGIN:-MDC=1;adminloggedinfrom,sessionid2.下发的基础配置包括interfacetunnel接口配置和openflow基本配置。硬件网关根据配置的controllerip与VCFC建立openflow连接，从而加入overlay网络%Apr1413:42:20:7922015JX-HGT-BOSS-S12516F-IRFOFP/5/OFP_CONNECT:-MDC=1;Openflowinstance1,controller1isconnected.

<H3C>disopenflowinstance1controllerConnectstate:EstablishedVSR加入overlay网络VSR加入overlay网络在控制器上为租户创建NFV资源时，NFVM会指导NFVMAgent生成VSR虚机，并以创建好的模板配置启动VSR，启动完成后，由VCFC下发VTEP地址（模板配置中已配置netconf）。查看创建好的VSR配置，看到VTEP地址已经被VCFC分配<VSR>disipintbrief*down:administrativelydown(s):spoofing(l):loopbackInterfacePhysicalProtocolIPAddressDescriptionLoop1upup(s)--Loop2upup(s)--与硬件网关类似，控制器通过netconf协议对VSR下发基础openflow配置，并建立openflow连接<H3C>disopenflowinstance1controllerControllerIPaddress:…..Connectstate:Established

arp代答为了减少vxlan网络中的广播流量，采用arp代答功能：vm的arprequest报文发送到ovs时，ovs将报文上送到vcfcontrollervcfcontroller收到arprequest报文，查看其请求的目的ip，进行代答如果该ip为相同network的相同subnet的vmip，则回复其vm的mac并给目的vm发一个arp，更新目的vmarp其他情况下一律代答为网关的虚拟mac：0016-3faa-aaaa（包括请求网关arp)在overlay网络模型中，只有同一个network下同一个subnet下的vm通信是二层转发，其余所有类型的转发都为三层转发，故代答的arp也为虚拟网关0016-3faa-aaaaOVS1VM1OVS2VM2IP:MACAIP:MACBVCFCMACBMACA1、Whois2、ovs将报文上送VCFCWhois3、VCFC代答arpMACB4、macA分布式网关分布式网关分布式网关由所有ovs组成vm请求网关的arp由vcfcontroller代答，统一代答为0016-3faa-aaaavm虚拟网关将实现传统网关的arp应答、三层转发的网络物理位置和功能分离，arp应答由vcfc实现，overlay网络内的三层转发有分布式网关实现（物理上是ovs），overlay网络与外部网络之间三层转发有IPGW实现。流表下发（一）OVS的流表下发OVS的流表下发有一个首包上送的过程VM发出的报文到达OVS后，如在OVS上无法匹配流表，OVS即认为该报文为该数据流量的首个报文，将该报文上送至控制器控制器查找本地数据，将相应VM的流表下发至ovs，从而后续报文可以匹配流表进行转发在虚拟业务overlay网络模型中，vcfc根据不同的目的ip，下发不同的流表指导报文转发，分为几种情况，区别在于同OVS的转发不需要封装vxlan；二层转发出方向封装的目的mac为vm的真实mac地址而三层转发封装的目的mac为ovs的虚拟三层网关mac；

1、同OVS、同network、同subnet（二层转发）2、同OVS、不同network（三层转发）3、不同OVS、同subnet（二层转发）4、不同OVS、不同network（三层转发）OVS1OVS2VM1VM2VXLANGW虚拟三层网关流表下发（一）125-F的流表下发在VM上线时，虚拟端口将相关VM信息上报VCFC，VCFC通过openflow协议给125-F下发相应VM的流表Matchinformation:Ethernettype:0x0800IPv4destinationaddress:,mask:55Instructioninformation:Writeactions:Outputinterface:Tun257Setfield:EthernetdestinationMACaddress:0016-3faa-aaaaTunnelID:100流表下发（一）VSR的流表下发虚拟端口UP后，控制器给VSR下发流表Flowentry1information:cookie:0x4c334757415050,priority:29999,hardtime:0,idletime:0,flags:flow_send_rem,bytecount:--,packetcount:--Matchinformation:Ethernettype:0x0800IPv4destinationaddress:,mask:55Experiment:AddressID:2Instructioninformation:Writeactions:Outputinterface:Tun257Setfield:EthernetdestinationMACaddress:0016-3faa-aaaaTunnelID:200各个VTEP加入overlay网络方式ARP代答分布式网关各个VTEP流表下发方式本章总结目录传统网络向SDNOverlay网络的演进江西移动SDNVPC组网部署控制平面介绍转发平面介绍Overlay网络中的VM之间的通信（一）以不同OVS上不同网段的VM1到VM2为例（VM2到VM1转发流程一致）OVS1VM1VM2VXLANGWVxLANFabricIP0MACAGWIP1MACBGWVTEPIP2VTEPIP3OVS2VCFCArprequesetWhoisarp代答0016-3faa-aaaa0016-3faa-aaaa0016-3faa-aaaavtepipvmipvmmacvniOVS10MACA200OVS21.MACB200Overlay网络中的VM通信（二）OVS1VM1VM2VXLANGWVxLANFabricIP0MACAGWIP1MACBGWVTEPIP2VTEPIP3

OVS2VCFCDMAC:GWVMACSMAC:MACADIP:1SIP:0gwvmac：0016-3faa-aaaaOuterDMAC:OuterSMAC:OuterSIP:2OuterDIP:3VNID:200DMAC:macBSMAC:gwvmacDIP:1SIP:0vtepipvmipvmmacvniOVS10MACA200OVS21.MACB200Overlay网络中的VM通信（三）OVS1VM1VM2VXLANGWVxLANFabricIP0MACAGWIP1MACBGWVTEPIP2VTEPIP3OVS2VCFCgwvmac：0016-3faa-aaaaOuterDMAC:OuterSMAC:OuterSIP:2OuterDIP:1VNID:200DMAC:macBSMAC:gwvmacDIP:1SIP:0DMAC:macBSMAC:gwmacDIP:1SIP:0ovs隧道口解vxlan封装DMAC:macBSMAC:gwmacDIP:1SIP:0vtepipvmipvmmacvniOVS10MACA200OVS21.MACB200OVS内部转发OVSbridgepNICVMHOSTESXI+OVSvnicofvmvportofbridgeInternalifofbridgevxlantunnelifofbridgeUplinkportVXLANGWVMVMVMVMVMDMAC:pmMACSMAC:125-FMACDIP