数据中心-OverLay-SDN解决方案相关技术解析

数据中心OverLay

SDN解决方案

相关技术解析许锋售前工程师oliverxu@OverLay解决方案相关技术分类提纲PPT所阐述的内容主要分为：1.VMOverlay隧道技术2.VMAGENT实现技术3.OverLayController介绍4.跨域大二层实现技术PPT内容仅代表个人观点和理解，内容详实性和准确性需要大家自我评估数据中心技术分层模型服务器及网卡EVB数据中心内互联VN-LINKVMDQSR-IOVDCBFCoEMR_IOVSPBTRILLFabricPIRF/VPCQFabricFEX10GE/40GEVXLANNVGRE路由数据中心间OTVLISPEVPNVPLSVPC路由FirewallLB业务接入VPNDNSIPS/IDSFirewall路由其他InfiniBSTT其他RoCEiWARP其他传统网络新技术/新特性，应对计算虚拟化，对虚拟通信、隔离、迁移，以及复杂的流量模型下的流量均衡的业务需求。VMOverlay隧道技术介绍数据中心Overlay叠加网络技术汇总VxLAN：全称VirtualeXtensibleLAN，是Vmware，Ctrix、Cisco、Broadcom等其他厂商共同开发由于构建虚拟网络的覆盖技术。协议规范：draft-mahalingam-dutt-dcops-vxlan-06.txtNvGRE:全称NetworkVirtualizationGRE,是由Microsfot，Arista、intel、dell、HP、Broadcom提交的通用路由封装(NVGRE)标准提案,Google&Facebook后期加入协议规范：draft-sridharan-virtualization-nvgre-03.txtSTT协议全称是StatelessTransportTunneling，是由给ietf提交的一个隧道协议的草案协议规范：draft-davie-stt-04.txtMPLSover

GRE:是由Juniper&CISCO共同提出的MPLS在IP网络中的叠加网络技术协议规范：/search/rfc4023MPLSover

UDP:是由Juniper&HW&CISCO&ChinaTelecom共同提出的MPLS在IP网络中的叠加网络技术协议规范：draft-ietf-mpls-in-udp-04NVO3工作组织：NetworkVirtualizationOverlays；ONF是SDN的最早发起机构，主导了Openflow的标准，而IETF作为网络界最权威的标准组织之一，在看到SDN的趋势不可逆转后，开始大力投入，成立了三个工作组，OverlayWorkingGroups（NVO3,L2VPN,TRILL,L3VPN,LISP,PWE3），APIWorkingGroups（NETCONF,ALTO,CDNI,XMPP,SDNP,I2AEX），ControllerWorkingGroups（PCE,FORCES）NVO3只要针对DC

OVERLAYsolution相关所有模块的协议规范和框架指定，Chairs为ALU的人Overlay叠加网络技术关于广播流量处理关于广播流量处理需要考虑CP/NO-CP支持分类CP情况下：Proxy代理还是非代理方式VXLAN/NVGRE/STT最初技术规范定义无需外界CP协助，手动实现隧道建立ARP解析则需要通过IPMulticast/Broadcast方式来实现其中VxLAN则需要将Tenant广播流量则卸载到Backbone组播组实现,需要物理交换机部署组播和保持组播组转发状态NVGRE支持两种方式，组播和Ingress

PEunicast复制两种方式STT则支持IP组播复制方式VXLAN/NVGRE/STT目前可支持CP结合，组播和广播流量可以通过CP来控制实现，所以BACKBONE不一定要开启IPMulticast.协议完善基本上跟封装有关。Overlay叠加网络技术关于广播流量处理（续）MPLSOVERGRE/MPLSOVERUDP协议制定当初就需要结合CP来实现隧道建立，所以其广播处理无需backbone设备来协助[draft-marques-l3vpn-mcast-edge]定义了Themulticastelaborationisperformedusingmulticasttreesintheoverlayorusingmulticasttreesintheunderlay.Eitherway,thetreescanbeshared(*,G)treesorsourcespecific(S,G)trees.STT封装技术介绍当趋势为集中式CP部署模式下，各种Overlay叠加技术大同小异，区别在于封装报文和租户字段标识和标记位STT:Nicira/VMWARE主导的OverLay方案，唯一采用外层TCP封装的技术？为啥用TCP，/html/draft-davie-stt-04STTHeader64bit

Context

ID，HASH可使用不同TCP源端口租户标识为STTHeader：STT依赖于TSO和LRO（GRO）的特性，所以STT协议很聪明的在STT头前面增加了TCP头，把自己伪装成一个TCP包，但和TCP协议不同的是，这只是一个伪装的TCP包，既没有3次握手的流程，也没有用到TCP那些拥塞控制，丢包重传继承TCP中滑动窗口机制发送DataStream原理舍弃TCP的状态机制（如握手）设置TCPMSS可以匹配任何MTU由服务器网卡实现分片（TSO）和重组（LRO）商用万兆NIC支持TSO和LRO借助硬件处理能力，降低VSWITCH负载，提高数据包处理性能服务器网卡TSO和LRO特性TSO(TCPSegmentationOffload)，是一种利用网卡对TCP数据包分片，减轻CPU负荷的一种技术，有时也被叫做LSO(Largesegmentoffload)，TSO是针对TCP的，UFO是针对UDP的。如果硬件支持TSO功能，同时也需要硬件支持的TCP校验计算和分散/聚集(ScatterGather)功能。LRO(LargeReceiveOffload)，通过将接收到的多个TCP数据聚合成一个大的数据包，然后传递给网络协议栈处理，以减少上层协议栈处理开销，提高系统接收TCP数据包的能力。vxlan封装技术介绍VxLAN：全称VirtualeXtensibleLAN，是Vmware，Ctrix、Cisco、Broadcom等其他厂商共同开发由于构建虚拟网络的覆盖技术。协议规范：draft-mahalingam-dutt-dcops-vxlan-06.txt24位VXLAN网络标识符：最大支持16M租户，HASH可使用不同UDP源端口VXLAN关键部件vxlanNetworkIdentifier：同一个VNI的才能通信vxlangateway：与外界网络通信vxlanTunnelEndPoint：封包/解包vxlanVXLAN如何处理广播、多播和未知目的地单播？（NOCP）VXLAN使用IP多播技术处理广播、多播和未知目的单播。每个VXLAN与一个多播地址绑定，从而确保来自虚拟网络的广播不会泛洪到物理交换机的所有端口。vXlan隧道实现基本原理VSphere5.1vxlan性能测试数据Vxlan性能影响结论：throughput没有影响，可以反推对时延没有影响小包场景下，增加vm个数可以达到线速大包场景下，达到线速由于缺少网卡对vxlan包的处理，对母机cpu性能有最多30%的消耗母机CPUvCPUvCPUvCPU...VM1VM2VM3CPUOVS其他管理母机CPU利用率一般都很低，不足5%，因此vxlan封装/解包对CPU不是负担NVGRE封装技术介绍NvGRE:全称NetworkVirtualizationGRE,是由Microsfot，Arista、intel、dell、HP、Broadcom提交的通用路由封装(NVGRE)标准提案,Google&Facebook后期加入协议规范：draft-sridharan-virtualization-nvgre-03.txt24位VSID网络标识符：最大支持16M租户，HASH只能根据IP二元组信息NVGRE在GRE扩展字段flowID，这就要求物理网络能够识别到GRE隧道的扩展信息，并以flowID进行流量分担；未知目的、广播、组播等网络流量均被封装为组播转发。NVGRE支持两种方式，组播和Ingress

PEunicast复制两种方式MPLSOVERGRE/UDP封装技术介绍MPLSover

GRE:是由Juniper&CISCO共同提出的MPLS在IP网络中的叠加网络技术协议规范：/search/rfc4023MPLSover

UDP:是由Juniper&HW&CISCO&ChinaTelecom共同提出的MPLS在IP网络中的叠加网络技术协议规范：draft-ietf-mpls-in-udp-0420位Label用于网络标识符：HASH负载MPLSOVERGRE目前只能根据IP二元组信息MPLSOVERUDP可以根据UDP源端偶地址LISP的全称是Locator/IDSeparationProtocol：LISP是一个非常庞大的协议家族:原定位解决广域网情况下服务器分层解决位置寻址和ID寻址。包含了数据包封装格式、控制平面设计，数据库同步信令等技术发展：VXLAN和LISP封装格式慢慢会融合技术角度分析都包含了隧道技术，技术相比其他隧道协议发展更快[封装具备分层寻址功能类Prefix功能]，同时有一套非常完善的CP实现机制和数据库同步机制。应用场景相对是非常复杂，从最新的技术发展和论调来看：CISCO打算采用LISP取代VXLAN/OTVPBB-EVPN从而实现一套虚拟化数据中心OVERLAY，跨域迁移和回流量优化解决方案原来对应解决方案OTV+LISPvs

Juniper

EVPN+NHRP协议规范：/wg/lisp/完全CISCO主导

OVS打算支持LISP封装…….Cisco

vxlan

or

LISP不得不说的另外一个技术LISP

数据中心OVERLAY叠加网络技术汇总VM

AGENT虚拟交换&控制信令实现技术介绍VM

AGENT实现技术介绍

开源的Open

VswitchOVS技术相关介绍：/OVS源代码共享库：/mestery/ovs-vxlan模拟L2Switch交换功能实现,性能相当于Linux

Bridge分布式独立Switch，可独立管理也可整合开源Controller进行控制管理开源的vRouter

openContrail技术相关介绍：/基于L3

PERouter路由功能实现，实现分布式转发，租户间和租户内多个VLAN用户理论上都可以通过分布式实现，无需通过Gateway其他实现手段VMWAREvirtual

Distributed

SwitchCiscoNexus1000VEVB物理机实现……openvSwitch概述OpenvSwitch由Nicira主导开发，遵循Apache2.0开源许可社区活跃，目前已经为2.0版本，网络特性还在逐步丰富Citrix在Xenserver中把OpenvSwitch作为默认组件支持LinuxKernel3.3已经加入openvSwitchOpenvSwitch转发模式OpenvSwitch以独立的交换模块出现，大幅度降低VMM的复杂度OpenvSwitch部署在服务器上，与服务器个数是1：1虽本质上还是Bridge技术，但提供了更丰富的网络特性和网管接口，可以当作物理交换机一样进行配置和管理,

OVS与LinuxBridge性能相当,hash速度快，有一定延迟VM迁移时，需要在OpenvSwitch上同步迁移网络策略Linuxbridge&Open

vswitch传输性能Open

vSwtich目前支持FeatureVisibilityintointer-VMcommunicationviaNetFlow,sFlow(R),IPFIX,SPAN,RSPAN,andGRE-tunneledmirrorsLACP(IEEE802.1AX-2008)Standard802.1QVLANmodelwithtrunkingBFDand802.1aglinkmonitoringSTP(IEEE802.1D-1998)Fine-grainedQoScontrolSupportforHFSCqdiscPerVMinterfacetrafficpolicingNICbondingwithsource-MACloadbalancing,activebackup,andL4hashingOpenFlowprotocolsupport(includingmanyextensionsforvirtualization)IPv6supportMultipletunnelingprotocols(GRE,VXLAN,IPsec,GREandVXLANoverIPsec)RemoteconfigurationprotocolwithCandPythonbindingsKernelanduser-spaceforwardingengineoptionsMulti-tableforwardingpipelinewithflow-cachingengineForwardinglayerabstractiontoeaseportingtonewsoftwareandhardwareplatformsOCT152013OpenvSwitch版本已经更新到2.0Open

vswitch支持的平台类型SupportedPlatformsOpenvSwitchcanoperatebothasasoftswitchrunningwithinthehypervisor,andasthecontrolstackforswitchingsilicon.Ithasbeenportedtomultiplevirtualizationplatformsandswitchingchipsets.ItisthedefaultswitchinXenServer6.0,theXenCloudPlatformandalsosupportsXen,KVM,ProxmoxVEandVirtualBox.IthasalsobeenintegratedintomanyvirtualmanagementsystemsincludingOpenStack,openQRM,OpenNebulaandoVirt.ThekerneldatapathisdistributedwithLinux,andpackagesareavailableforUbuntu,Debian,andFedora.TheOpenvSwitchreleaseindevelopmentalsosupportsFreeBSD.目前Openvswitch控制管理协议转发层面信令OneOpenFlowconnec0onperdatapath–Exportsidealizedviewofswitch’sdatapath•LookupbasedonL2-L4•Fullwildcardingandpriori0es•Ac0ons:forward,drop,modify,andqueue•Missedflowsgotocentral控制层面信令协议规范：/html/rfc7047•Onemanagementchannelpersystem–Switch-levelconfigura0on–Resources–CountersOVS-DB开源控制管理协议TheOpenvSwitchDatabaseManagementProtocol/html/rfc7047TheOVSDBmanagementprotocolusesJSON[RFC4627]foritswireformatandisbasedonJSON-RPCversion1.0[JSON-RPC].OVS没有相关日志信息、OVS状态信息实时收集的相关协议和API接口，相比Contrail设计就严谨很多，采用Sandesh协议收集相关信息，Contrail

Controller并且有专门收集模块来进行分析OpenContrail

VROUTER

Agent/opencontrail-architecture-documentation/Computenode–hypervisor,vrouterComputeNodeVirtual

Machine

(TenantB)Virtual

Machine

(TenantC)Virtual

Machine

(TenantC)vRouterForwardingPlaneVirtual

Machine

(TenantA)Routing

Instance

(TenantA)Routing

Instance

(TenantB)Routing

Instance

(TenantC)vRouterAgentFlowTableFIBFlowTableFIBFlowTableFIBOverlaytunnels

MPLSoverGREorVXLANJUNOSVCONTRAILCONTROLLERJUNOSVCONTRAILCONTROLLERXMPPEth1KernelTapInterfaces(vif)pkt0UserEth0EthNConfigVRFsPolicyTableTopofRackSwitchXMPPvRouterisreplacestheLinuxBridgeorOVSmoduleinHypervisorKernelvRouterperformsbridging(E-VPN)androuting(L3VPN)vRouterperformsnetworkingserviceslikeSecurityPolicies,NAT,Multicast,Mirroring,andLoadBalancingNoneedforServiceNodesorL2/L3GatewaysforRouting,Broadcast/Multicast,NATRoutesareautomaticallyleakedintotheVRFbasedonPoliciesSupportforMultipleInterfacesontheVirtualMachinesSupportforMultipleInterfacesfromComputeNodetotheSwitchingFabricVROUTERAGENT&FORWARDINGPLANEvRouterAgentisresponsibleforthefollowingfunctions:ExchangingcontrolstatesuchasrouteswiththeControlVM’susingXMPP.Receivinglow-levelconfigurationstatesuchasroutinginstancesandforwardingpolicyfromtheControlVM’susingXMPP.Reportinganalyticsstatesuchaslogs,statistics,andeventstotheControlVM’susingXMPP.Installingforwardingstateintotheforwardingplane.DiscoveringtheexistenceandattributesofVM’sincooperationwiththeNovaagent.Optionally,applyingforwardingpolicyforthefirstpacketofeachnewflowandinstallingaflowentryintheflowtableoftheforwardingplane.ProxyingDHCP,ARP,DNS,andMDNS.Additionalproxiesmaybeaddedinthefuture.vRouterforwardingplaneisresponsibleforthefollowingfunctions:Encapsulatingpacketssenttotheoverlaynetworkanddecapsulatingpacketsreceivedfromtheoverlaynetwork.Assigningpacketstoaroutinginstance:PacketsreceivedfromtheoverlaynetworkareassignedtoaroutinginstancebasedontheMPLSlabelorVXLANVNI.Virtualinterfacestolocalvirtualmachinesareboundtoroutinginstances.DoingalookupofthedestinationaddressoftheintheFIBandforwardingthepackettothecorrectdestination.Theroutesmaybelayer3IPprefixesorlayer2MACaddresses.Optionally,applyingforwardingpolicyusingaflowtable:Matchpacketsagainsttheflowtableandapplytheflowactions.Puntthepacketsforwhichnoflowruleisfound(i.e.thefirstpacketofeveryflow)tothevRouteragentwhichtheninstallsaruleintheflowtable.PuntingcertainpacketssuchasDHCP,ARP,DNS,andMDNStothevRouteragentforproxying.INTERNALSTRUCTUREOFVROUTERFPComputeNodeVirtual

Machine

(TenantB)Virtual

Machine

(TenantC)Virtual

Machine

(TenantC)vRouterForwardingPlaneVirtual

Machine

(TenantA)Routing

Instance

(TenantA)Routing

Instance

(TenantB)Routing

Instance

(TenantC)vRouterAgentFlowTableFIBFlowTableFIBFlowTableFIBOverlaytunnels

(MPLSoverGREorVXLAN)FORWARDINGPOLICIESThevRouterforwardingplanealsocontainsaflowtable.Theflowtablecontainsflowentrieswhichhavematchcriteriaandactions.ThematchcriteriacandoanexactN-tuplematchonreceivedpackets.Wildcardfieldsarepossible.Theactionsincludedroppingthepacket,allowingthepacket,orredirectingittoanotherroutinginstance.TheflowentriesareprogrammedintothevRouterforwardingplanebythevRouteragent.Useoftheflowtableisoptional.Iftheflowtableisuseditisappliedbeforenormalforwarding,i.e.beforedoingtheFIBlookup.TheflowtablecanbeprogrammedtopuntpacketsforwhichthereisnoflowentryintheflowtabletothevRouteragent.ThisallowsthevRouteragentseethefirstpacketofeverynewflow.ThevRouteragentcaninstallaflowentryforeachnewflowandthenre-injectthepacketintotheforwardingplane.XMPP控制管理协议XMPP:eXtensibleMessagingandPresenceProtocolTheExtensibleMessagingandPresenceProtocol(XMPP)[xmpp]是一个用于信息导向的中间件，基于XML的通讯协议。XMPP原来叫Jabber，用于即时信息，出席信息和联系列表维护，其设计具有扩展性，协议已经进化成通用的发布订阅信息总线，可以用在多种应用中。OpenContrail使用XMPP作为一个计算节点和控制节点之间交换大量例如路由，配置，运行状态，统计，日志和事件的通用信息总线/search/draft-marques-l3vpn-end-system-07SANDESH状态管理协议APIServerprovidesNorthboundRESTInterfaceforApplicationsSQLStyleQueryLanguageforNoSQLaccess–ObjectTraces,FlowRecords,Syslog…DHT/NoSQLDatabaseisusedforScaleandPersistenceSandeshProtocol(XMLoverTCP)isusedbyallNodes(Control,Config,Compute,andPhysicalNetwork)todepositdataintheNoSQLDBRulesEngineautomaticallycollectsoperationalstateonspecificeventsCollectorsupportsNetflowfornon-JuniperdevicesOperationalStateofanynodecanbequeriedbytheanalyticsengineAnalyticsNodeRESTAPI

ServerRules

EngineOther

Analytics

ClientsCollectorAll

NodesAll

NodesSandeshDHTDBAnalytics

NodeAnalytics

NodeAnalyticsClientGeneratedAPIUI,CLIApplicationRESTMessageBusQueryEnginesQueryEnginesDistributedSynchronizationSandesh是一个基于XML的协议，用于汇报分析信息。XML信息的结构被描述成公共语法格式。每个节点的组件都有一个Sandesh连接到分析节点之一上。Sandesh携带两类信息。http://juniper.github.io/contrail-vnc/sandesh.html。系统的所有组件发送异步协议到分析节点上，汇报日志，监控，事件等分析节点可以发送请求信息和接收响应信息去收集特定的运行状态。JUNOSvControllerRoadmapMarch2013July2013(GA)Q4,2013+AnalyticsCollector,Client–XMPPBusRulesEngineOperationalDiagnosticsEnhancedVisualizationCLIInfrastructureSyslog,SNMPAnalytics–AutomationNetconf,NetflowControl/ManagementL3VPNControlPlane,XMPPSecurityGroups,RBACHighAvailabilityNaming,DiscoveryServicesOpenstack,HorizonUIFloatingIPServiceChainingFirewall/SecurityLoadBalancingCPAuthenticationPolicyEngineEVPN(beta)VXLAN/NVGRESoftwareGatewayCPSecurityFlowSpecRouteaggregationforscaleISSU,RollingUpgradesMulticast(WAN)vAgentKVMHypervisor,XenDHCPRelay,ARPProxyIPServices–NAT,VRF,ACLZero-touchProvisioningBareMetalLinuxDiscoveryServicesEdgeMulticastSLADiagnosticsHyper-V,VMWareDistributedFW,LBPerformanceTuningIPv6/OverlayVROUTER转发测试性能测试信息来自于：/evaluating-opencontrail-virtual-router-performance/测试环境：Thesetupusedtoevaluateperformanceconsistsof2serversconnectedusingIntel10GNICswithaMTUof1500.Theservershave2CPUsocketseach,with6corespersocketand2threadspercore.TheprocessorisanIntelXeonrunningat2.5GHz.Theservershave128GBofmemoryeachandrunCentos6.4asthehostoperatingsystem.Avirtualnetworkiscreatedandavirtualmachine(VM)isinstantiatedoneachserverinthisvirtualnetwork.EachVMhas1VCPU,2GBofmemoryandrunsUbuntu12.04astheguestoperatingsystem.ATCPstreamingtestisrunbetweentheVMsonthevirtualnetwork.VROUTER转发测试性能（续）Another

VSWITCH实现-EVBVM1VM2VM3EREVBStationEVBBridge下行口上行口VSI物理端口S通道VM1发往外部网络报文VM2发往VM3报文基本原理：通过将虚拟机的流量（包括同一服务器上各虚拟机之间的流量）全部交给与服务器直连的交换机进行交换和处理，实现虚拟机流量监管和网络策略实施优点：物理交换机解决虚拟机流量转发物理网络与虚拟网络统一管理和策略实施转发性能更快减轻服务器压力缺点：协议复杂，需要在服务器和交换机两端同步实现配置复杂依赖于网络厂商设备服务器、网管、交换机协同配合才能实现与现有网络架构不兼容802.1Qbg-EdgeVirtualBridging

/1/pages/802.1bg.htmlDCOverLayController介绍虚拟交换机Controller分类虚拟交换机管理和策略自动化迁移不具备overlay隧道自动建立功能，遵循Ethernet

MAC/ARP控制机制VMWARE:vCloudNetworking&

vSphereDistributedSwitch(VDS)CISCO:VSN&Nexus

1000vIBMDVS5000VSDNController具备overlay隧道自动建立功能，CP实现vSwitch

MAC/ARP学习模式VMWARE

NSX

(mergingNiciraNVPandvCloudNetworkingandSecurity.)….OpenSourceOpenstack,CloudstackCommercialVMware,IBM,MicrosoftCustom/HomegrownCloudswitchOrchestrationOpenSourceFloodlight,NOX,POX,TremaOESS,GENI,OpenstackCommercialJuniper;Controller,vRouterManagement,AnalyticsVMware,IBM,NEC,BSNCustom/HomegrownSDNControllerVSS和DVS虚拟交换机集中管理Controller服务器虚拟化催生出来的VSS虚拟交换机模式，DVS

Vmotion等虚拟服务器服务迁移自动化管理，部署在HyperVisor之上Dvs基于Onix架构开发

/wp-content/uploads/2012/06/onix.pdfONIX分布式架构案例GOOGLEB4Distrubuted

Virtual

Switch（DVS）Google

B4Network概况（G-SCALE）2012年Google对外宣布在其内部WAN上实现了流量调度系统B4B4switch是google自己的定制分布式交换机，CostEffective实现用到了SDN和Openflow,做到了EndApplicationFlowControl，带宽利用率号称接近100%同时支持传统路由模式和中央流量工程模式,后者做到优先级分类B4:ExperiencewithaGlobally-DeployedSoftwareDefinedWAN.toappearinSIGCOMM’13B4

SDN网络架构—自研OpenFlow分布式交换机采用merchantsilicon搭建，8张线卡,每块卡含3块16x10G芯片,其中一块逻辑上属于交换板卡，背板非常简单，主要是高速布线，无交换板整机端口密度128个10G支持的传统协议BGP和ISIS(Quagga开源)仅当线卡满配时才无阻塞，当一块线卡失效，交换容量下降23.4%；二块失效，下降43.8%非传统高端路由器设计理念，无交换矩阵，无加速比，无VOQ，多出现N21情况回出现阻塞现象B4

Network

SDN整体控制架构分层次:site和globallevelSite之间跑BGP/ISISSite的Controller集群高可用，主要负责路由协议和openflowchannel交互TE工作在globallevel层B4SDN网络架构—ONIX&QUAGGA路由集中实现ONIX&QUAGGA实现:Onix:ADistributedControlPlatformforLarge-scaleProductionNetworks路由协议报文路径为OFA->OFC->RAP->Quagga，Google也认为这条路径曲折，需要优化交换机端口信息/状态上报BGP/ISIS报文接收，通过OFPacketin上送维护端口信息/状态，如发生变化，通知到RAPBGP/ISIS接收报文传递给RAPRAP将端口信息/状态映射为Qugga能够识别的虚端口信息RAP传递接收的协议报文给Quagga根据网络拓扑计算路由将flow和grouptable翻译并安装到硬件OFA将协议报文从端口发出存储flow和grouptable，并通知给OFA通过OFPacketout下发协议报文给OFA将路由表映射为flow和grouptable，支持ECMPRAP读出协议报文计算出路由通过虚拟口发送BGP/ISIS报文Flowtable匹配dipprefix，grouptable包括不同的nexthop，利用Openflow原语实现了ECMP路由B4SDN网络架构—数据包封装与转发Flowtable的定义为dip+tos，由ACL实现，匹配后定向到grouptable表项Grouptable表项包括ip-ipencap动作；ip-ip封装后按规划路径转发报文进行LPM(路由表)和ACL匹配，但ACL优先级高；如果流量调度系统失效，传统路由协议生成的路由表立刻生效，硬件不丢包Flow定义GroupTableB4SDN网络架构—TE实现架构和模式TEserver计算结果映射为Openflow语义，下发到转发芯片（ACL、ip-iptunnel和规划路由）两个主要的因素决定TE计算结果各种流（应用）对带宽的要求拓扑状态及带宽算法采用max-minfairness，追求带宽的最大利用率B4SDN网络架构—B4运营数据带宽总体利用率不同优先级应用的丢包率NOX工作机制NOX初始化核心模块，并加载各componentsNOX与交换机交互of报文（网络事件）NOX将of报文转化为Event，并将Event分发给各components（流水线），触发各components逻辑当components需与交换机交互时，调用内部API发送of报文NOX开发组件事件扩展OF协议优势与不足组件模块化，易扩展，易验证C++编写性能更高NOX偏学术，分布式集群未考虑openflow协议基于1.0版本SDNController开源NOX软件架构NOX是加州大学伯克利分校和斯坦福共同开发的下一代网络控制平台,详细信息请参见何为POXController?POXisNOX‘syoungersibling.Atitscore,it’saplatformfortherapiddevelopmentandprototypingofnetworkcontrolsoftwareusingPython.BigSwitch的开源平台FloodlightPage51由三部分组成：1.FloodlightController；2.JAVA模块形式的应用；3.对外部应用提供的RESTAPIDeviceManager：通过PacketIn请求学习主机/VM信息。LinkDiscovery：通过LLDP/BDDP发现和维护链路状态。TopologyManager：通过链路状态维护网络拓扑信息。PacketStreamer：将交换机和Controller间的报文转发给感兴趣的应用。Storage：NoSql内存数据库，模块可以操作数据库，也可以监听数据的变化。VNF：二层虚拟网络管理Firewall：防火墙应用Forwarding：在设备间转发报文PortDownReconciliation：端口Down时删除流表重新计算路径StaticFlowEntryPusher：通过RESTAPI对流表进行静态设置FloodlightControllerModuleApplication没有服务抽象层，服务直接处理Openflow消息。无南向驱动机制，新增协议对架构有冲击。服务直接对外提供RestAPIOpenstack

Quantum组件2012

OpenStack世界一个重大新闻就是：Quantum网络项目变成核心项目。Quantum功能就是：拥有多层网络，为数据库、互联网和应用程序分别提供隔离的网络区段。Quantum（量子），2012年9月与Folsom系统版一起发布。名字引起Quantum公司的争议，后来在最近的Havana发布中改名为Neutron，Neutron（中子）是所谓的“网络即服务”（“network-as-a-service”）组件Neutron作为网络组件NOVANeutronCinderNICIRAPluginOVSPlugin其他各厂家PluginXEN…KVMNetworkNode（DHCP、Router）LBFWOpenStack为开源的云平台，提供云的资源池化、资源调度，业务编排等的功能；Neutron作为网络组件，提供网络业务编排发放的能力，丰富的二、三层特性。OpenStackNVPControllerOVSSW…NVPGWOpenContrailNOXPOXFloodlight语言C++&pythonpythonjava分布式支持不支持不支持不支持南向接口Openflow1.0Openflow1.0Openflow1.0北向接口Json(RPC)Json(RPC)REST(http)公司NICIRANICIRABigswitch社区活跃度Classic——不维护Verity——较不活跃较活跃活跃并发能力支持多线程（性能）多线程（性能）多线程（性能）交换机Openflow1.0交换机OpenvswitchOpenflow1.0交换机OpenvswitchOpenflow1.0交换机Openvswitch代码情况代码质量较好有基于其开发功能多学术代码质量较好有公司用开源Controller技术对比

OPENDAYLIGHT相关情况

OpenDaylight是一套以社区为主导的开源框架，旨在推动创新实施以及软件定义网络（简称SDN）透明化。面对SDN型网络，大家需要合适的工具帮助自己管理基础设施，这正是OpenDaylight的专长。作为项目核心，OpenDaylight拥有一套模块化、可插拔且极为灵活的控制器，这使其能够被部署在任何支持Java的平台之上。这款控制器中还包含一套模块合集，能够执行需要快速完成的网络任务。Cisco和BigSwitch都贡献了核心框架代码Stanford的DavidErickson和IBM的ColinDixon对两种框架进行了研究分析，给出了融合的方案D-Eproposal，并在技术委员会通过。2013年6月5号OpenDaylight公布了该方案。http:///announcements/2014/02/opendaylight-delivers-open-source-software-enable-software-defined-networkingOpenDaylightControllerOpenDaylightSDNControllerPlatformD-Eproposal2013/06/05FirstRelease2013Q3Page56Cisco提供的开源平台架构提供南向驱动插件机制，可以实现任意协议的插件。SAL从南向接口接收数据，对转发设备进行能力抽象,为上层模块和应用提供统一的服务。HostTracker：负责监听网络中VM的ip和Switch，port，vlan，mac的对应关系，根据ARP请求动态获得，也可以通过北向接口静态配置。SimpleForwarding：监听routing、Switch、Port是否发生了变化，如果发生了变化，更新流表。ArpHandler：负责处理网络中的Arp报文信息，当发现新的Host时，通知其他模块。SAL：接收底层ProtocolPlugin消息，发送给注册的上层Listener、将上层的消息下发给下层ProtocolPlugin。Forwarding：静态流表的处理。ForwardingRulesManager：执行更新FlowEntry的模块，并将下发成功的流表保存在本地数据库（内存变量）Routing：对网络链路状态的变化进行监听，发生变化时通知SampleForwarding更新流表。SwitchManager：负责网络中Switch的管理TopologyManager：负责监听网络中的Topology最终确定的ODP融合架构Page571、整体架构和Cisco的Controller基本吻合，采用了SAL2、内置的服务从Cisco和BigSwitch各取一些3、新增日志和一致性数据存储服务KeyfeaturesofeachHydrogeneditionBaseEditionController:Amodular,extensible,scalableandmulti-protocolSDNcontrollerbasedonOSGi.OpenFlowPlugin:IntegrationofOpenFlowprotocollibraryincontrollerServiceAbstractionLayer(SAL).OpenFlowProtocolLibrary:OpenFlow1.3protocollibraryimplementation.OVSDB:OpenvSwitchDatabaseconfigurationandmanagementprotocolsupport,e.g.forOpenvSwitchandotherOVSDBservers.YANGTools:Java-basedNETCONFandYANGtoolingforOpenDaylightprojects.VirtualizationEdition(includesBaseEdition)

AffinityMetadataService:APIstoexpressworkloadrelationshipsandservicelevels.Defense4All:DDoSdetectionandmitigationframework.OpenDOVE:Multi-tenantnetworkvirtualizationbasedonoverlays,includingcontrolplaneandOpenvSwitch-baseddataplane.VirtualTenantNetwork:Multi-tenantnetworkvirtualizationapplicationusingOpenFlow.ServiceProviderEdition(includesBaseEdition)

AffinityMetadataService:APIstoexpressworkloadrelationshipsandservicelevels.BGP-LS/PCEP:SupportfortrafficengineeringwithBGP-LS(BGPprotocollibraryandtopologymodel)andPCEP(pathprogrammingmodel).Defense4All:DDoSdetectionandmitigationframework.LISPFlowMapping:Locator/identifierSeparationProtocolplugin,LISPmappingservice(canbeusedtoimplementvirtualnetworks).SNMP4SDN:SNMPprotocolsupportandAPIstomanagecommodityEthernetswitches.商用SDN

controller解决方案VMWARENSX(基于NICIRA

NOX

and

OVS)vCenter、DVS和Nicira统一整合为一套完善解决方案/files/pdf/products/nsx/VMware-NSX-Datasheet.pdf物理网络网元管理基于OVSDB协议，数据封装基于VXLAN实现Arista、

Palo

Alto、Brocade、Dell产品都可集成实现网关服务和统一管理IBMDOVE

SDN解决方案Distributed

Overlay

Virtual

Ethernet

(DOVE)

NetworksDove的遂道协议是私有的，但它使用VXLAN的帧格式进行封装，这意味着它可以支持任何VXLAN的底层网络硬件。Dove的那个虚拟交换机名称叫DVS5000v/English/Collaterals/Proceedings/2012/20120222_2-103_Recio.pdf最新消息IBM打算出售10亿美元出售SDNALUNuage

Networks解决方案VSCcontrolleranddVRSagents.支持VXLAN,OPENFLOW,MP-BGP,MPLSOVERGRE,dVRS基于OVS开发，估计采用OVSDB和OPENFLOW协议，流量转发类我们vRouter/wp-content/uploads/2013/03/2013-04-Packet_Pushers_Nuage_Networks-final.pdfJUNIPERContrail

Controller

and

MetaFabricCISCOACI/HDN解决方案我们METAFABRICARCHITECTURE只是概念包装？Juniper各种DCSOLUTION和产品的融合包装，管理和运营的统一解决？？MetaFabricArchitecture:open,simpleandsmart.CustomerscanintegratewithabroadarrayofhardwareandsoftwaresolutionsfromJuniperorothernetworkingvendorswiththeassuranceofinteroperabilityandminimaldisruption–allowsformultipledatacenterstobehave,operateandbemanagedasone.MX–UniversalSDNgateway–industry’sbestDCrouter–becauseitsopen,programmable.Juniper–VMwarepartnership.ContrailwillsupportESXi.NetworkDirectorintegratesphysical-virtual.CISCOAPIC

Cloud

DC解决方案

思科控股的Insieme网络所研发和生产的ACI主要关注基于物理基础设施的服务以及基于hypervisor的虚拟环境的可编程性。ApplicationCentricInfrastructure(ACI，应用中心基础设施)绝非SDN。相反，倒是可以称其为硬件定义网络(HDN)ACI则将软件与厂商的芯片以及物理硬件中定制的ASIC融合在了一起，可针对服务的可用性进行优化在应用服务和网络之间缺少可见性;●缺乏可扩展性;●过度依赖hypervisor;●仅关注可编程性可适用的“较小子集”，该子集仅占数据中心应用的八分之一;●基于每台虚机来定价。统一物理网络矩阵-Juniper

QFABRIC统一物理网络矩阵容量和性能指标应用服务的整合：类Juniper

service

chainTTT应用服务的整合和统一监控DFDF多种OVERLAY和VM平台的整合OVS和openstack开源平台融合DSAFDSFDC统一管理的整合-CLI/Contrail/JUNOSSPACEDSAFSDFSA虚拟网络与物理网络融合-universalSDNgateway

——控制和转发平面多重融合DCOVERLAYGATEWAY功能需求DCOVERLAYGATEWAY功能需求外界网络互联与现有DC核心交换机/出口路由器功能相同，SCU/DCU/FLOWSPEC/BGP策略控制等等OverLay

GateWay功能的特殊需求高性能的报文封装、解包和L3查找转发当租户内存在多VLAN时，需要提供多个虚拟接口，同时提供不同VLAN间的L3转发服务当需要与其余租户通信时需要提供NAT服务——不同租户地址地址重叠租户的识别，基于租户的安全、流量策略管理等当需要与其余IDC的同租户通信时需要提供Tunnel服务例如EVPN-VXLAN整合实现WAN(MPLS,IP)MX

UNIVERSALsdnGateway解决方案VmwareNSXBasedPODContrailSDNbasedPODLegacy,VLANbasedPOD1H2014L2:EVPN,VPLSL3:L3VPN,NG-MVPNIndustryleadingL2-L3LAN-WAN-OverlayGatewayStandardsbased,multivendorsolutionsHighlyscalable,virtualized,multitenantconnectivityVmware(VXLAN)PODContrail(MPLS,VXLAN)PODVLANPODAnytoanygatewayUniversalSDNGatewayBuildingonproventrackrecordinmajorDCandSPdeployments

Withextensible,futureproofplatformcapabilitiesGWGWGWJUNOS/MXOVERLAY技术支持情况MX

VXLANVTEP

Gateway支持RLI14.1

19821支持MX支持MPLSOVERGRE,MPLSOVERUDP目前还未有计划支持传统VLAN/Virtual

Switch支持对于租户支持放置不同的InterNet

VPN安全域其他封装暂时没有RLI……….OPUS有NVGRE需求…………RLINo.RecordTitleRecordState19821VXLANgateway(VTEP)supportforMXwithMX-RCLIandNG-L2-CLI(TRD)committed20503VXLAN-EVPNActive-Standbystitching-RPDcommitted21504VXLANgateway(VTEP)TRIOPFEsupportforMXcommitted21547VXLAN(OVSDBandotherwise)supportformultipleL2andL3exitpointsinitial-request21630VXLAN-EVPNActive-Standbystitching-platform-includingContrailintegration(TRD)committed21893VXLAN-EVPNActive-Standbystitchinginitial-request21917VXLANCP3andCP4interopwithEVPNusedforDCIinitial-request21918VXLANCP3andCP4interopwithEVPNusedforDCIinitial-request21938VXLANBaseandmulticastcontrolplane(RPD&Platform)initial-request22585ContrailcontrolplaneenhancementforL3gateways(Inter-vxlanrouting)initial-request22597VXLANgateway(VTEP)TRIOPFEsupportforMX(RipTideParity)initial-request22644Contrail-CDBU:VXLANphysicaltovirtualconnectivityprovisioningfromJunosVContrailControllerinitial-requestJUNOSOVSdb管理配置协议支持RLINo.RecordTitleRecordState21103OVSDBsupportonRodniktointeroperatewithV