刘承罡：运营商网络虚拟化-昨天、今天与明天-v2

刘承罡运营商网络虚拟化昨天、今天与明天VMware运营商客户部资深技术顾问Agenda1昨天：小荷才露尖尖角2今天：家有小伙初长成3明天：直挂云帆济沧海4Q&ACONFIDENTIAL2昨天：小荷才露尖尖角VMwareSDN之路从虚拟交换机开始！CONFIDENTIAL4物理交换机VM0VM1vSwitchMACaMACb物理交换机Host虚拟交换机和物理交换机之间有环路吗？答案：没有。需要在虚拟交换机上启用STP吗？答案：不需要需要开启物理交换机上和ESXi主机相连的端口的PortFast和BPDUGuard吗？答案：非必须，取决于STP的启用CONFIDENTIAL5物理交换机VM0VM1vSwitchMACaMACbHost那么，”昨天”的第一批问题来了！虚拟交换机性能能满足要求吗？需要使用VEPA/VN-TAG/SR-IOV……答案：企业数据中心完全没问题，万兆全线速、没有发夹效应，NFV则取决于……虚拟交换机数量那么多，多台之间二层的一致性如何满足要求？答案：VDS能和物理交换机之间支持多种二层多路径技术吗？答案：EtherChannel、LACP以及多种更简单有效的负载均衡机制6CONFIDENTIAL昨天的第二批问题接踵而至……昨天的昨天，在数据中心没有虚拟化之前的数据中心网络v0.0核心交换机：三层接入交换机：三层边界路由器、防火墙

以项目为中心的三层互联的网络设计

管理维护简单、方便昨天，在数据中心实现虚拟化之后的数据中心网络v1.0核心交换机：三层接入交换机：三层边界路由器、防火墙

以项目为中心的网络设计

二层网络的向下延伸：VLAN的设定从物理的接入交换机下延到虚拟交换机VLAN终结在每个项目的接入交换机上vSwitchvSwitchvSwitchvSwitch数据中心网络v1.0东西向数据流与域间隔离CONFIDENTIAL9核心交换机：三层接入交换机：三层vSwitchvSwitchvSwitchvSwitch核心交换机：三层接入交换机：二层边界路由器、防火墙云平台数据中心网络设计v2.0物理的接入交换机直接二层接入核心，所有的业务VLAN终结在核心交换机

实现整个数据中心的资源调度二层二层二层二层核心交换机：三层接入交换机：二层边界路由器、防火墙云平台数据中心网络设计v2.0:东西向安全域间数据流二层二层二层二层“昨天”的东西向隔离方案1：通过VRF，将直连路由虚拟成分段路由问题：配置复杂额外的路由迂回核心交换机：三层接入交换机：二层边界路由器、防火墙二层二层二层二层“昨天”的东西向隔离方案2：在硬件出口防火墙上通过VRF后，网关配置在防火墙上网关配置在防火墙上，性能问题额外的路由迂回今天：家有小伙初长成运营商今天在NSX上的目标对多个项目、多个租户在数据中心内部更细致的分区微分区物理VLAN一次设置，减少变更降低物理网络VLAN的管理让不变更物理环境的前提下自定义其内部网络，实现客户、项目的快速上线自定义各个项目、租户的网络保证计算资源弹性同时提高东西向访问控制的效率和性能东西向访问与控制WAN

InternetComputeClusterComputeClusterPerimeterFirewall(Physical)NSXEDGEServiceGatewayComputeClusterSDDC(SoftwareDefinedDC)VMHypervisorVMVMVMVMHypervisorVMVMVMVMHypervisorVMVMVMDFWDFWDFWDFW:E-WNSXEdge网关服务负责保护SDDC的边界EDGE:North–SouthtrafficprotectionNSXDFW分布式防火墙负责保护数据东西向流量DFW:East–West

trafficprotectionPhysicalVirtualComputeClusterVMHypervisorVMVMVMEDGE:N-SNSXSecurityinSDDC16CONFIDENTIAL

Installation->HostPreparation(installationofnetworkvirtualizationcomponentsonvSpherehosts)ModulesloadedinsidethekernelaftertheoperationServerwithdefault

ESXiinstallationNSX分布式防火墙部署

DFW在NSX中是默认部署的:在NSX负责主机准备阶段，自动在每台主机上安装并激活DFWVIB模块主机准备按照Cluster部署与激活，操作简单:根据准备完成后，每个虚拟机以vNic为单位获得一个DFW实例（vNic是DFW保护的最低粒度）.如何启用分布式防火墙？VXLANDRDFWSwitch

SecurityVXLANDRDFWSwitch

Security17CONFIDENTIALNSXDistributedFirewallEnablement

18WhereDoIEnableDistributedFirewallFunctionality?ComputeClustersMgmt&SvcsClusterEdgeClusterNSXManagerNSXEdgeNSXControllerDataCenterIPnetworkvCenterServerPhysicalAppliancesExternalnetworksWAN/Internet

ComputeRacksManagementandServicesRacksEdgeRacksComputeClustersMUSTbepreparedL2L3EdgeClustermustbeprepared

(forVXLANreasons)PrepareMgmtandSvcsClusterifneededIfMgmt&SvcsClusterisprepared:NSXMngr,NSXControllersautomaticallyexcludedfromDFWfunctions.Don’tforgettoputvCenterserverinDFWexclusionlist!AAA,SYSLOG,NMS,...CONFIDENTIALSSHClientNSXDFWvSphereTCP/5671TCP/443TCP/22TCP/443vSphereClientNSX

ManagervCenterServerAPIESXi

HostRESTAPIClientTCP/22通过vSphereWebClient

连接VC创建安全规则

[管理平面]1VC把安全规则下发给NSXManager[DFW控制平面].NSXManager保留所有规则2安全规则最终下发给

ESXi主机

[DFW数据平面]3TCP/443VXLANDRDFWSwitch

SecurityNSX分布式防火墙–系统架构

19CONFIDENTIALNSX分布式防火墙数据流1同主机上两个VM之间的通信，数据流不会走物理交换机防火墙策略在SourceVM的出流量(egress)上强制执行减少了网络上未被授权的网络流量防火墙规则同样在DestinationVM’svNIC的入流量(ingress)上执行20同主机内通讯ExternalNetworkSourceDestinationVirtualSwitchCONFIDENTIALExternalNetworkSourceDestinationVirtualSwitchVirtualSwitchNSX分布式防火墙数据流2

不通物理主机间VM的通信流量需要经过物理交换机防火墙策略在目标和源VM上强制执行和非虚拟化环境通信的数据流和此类似21主机间通讯CONFIDENTIAL可维护性更强的防火墙规则

使用云对象(资源池、vApp、自定义安全组、Tag等）来代替传统的五元组，提高可维护性22CONFIDENTIALSrcDst192.168.1.1192.168.5.210.0.0.110.0.2.510.0.0.210.0.2.510.0.0.310.0.2.5RulesprawlSrcDstAction业务1业务1、业务2、业务3Allow业务1OutsideofVDCDeny业务2业务1、业务2、业务3Allow业务2OutsideofVDCDeny……ALLALLDeny即使采用VLAN，对于跨域访问也大大优化东西向数据流核心交换机：三层接入交换机：二层边界路由器、防火墙二层二层二层二层虚拟交换机：虚拟防火墙通过Overlay实现自定义网络CONFIDENTIAL24Overlay技术是服务器虚拟化的“绝佳伴侣”和必然方向SDNcontrolcontrolOverlayvsVirtualizationlayercontrol24核心交换机：三层接入交换机：二层ManagementNetwork/vMotionNetwork

（不变）：在接入层和核心层trunk现有的业务VLAN保持不变：在各个接入+核心交换机上设定并Trunk网络虚拟化承载VLAN（新增，修改MTU1600）:新增在各个接入+核心交换机上把南北向的通信的VLAN，下延到一个接入交换机上，作为EDGE机架Edge的uplink核心交换机新增和Edge之间的路由边界路由器or防火墙设备今天运营商主流的网络虚拟化物理网络（保留了原有物理拓扑）二层二层二层二层网络虚拟化池虚拟网关设备计算TOR计算TOR计算TOR计算+EdgeTORNSX分布式路由:组件关系图26NSXEdge(Actingasnexthoprouter)172.16.10.0/24172.16.20.0/24DLR192.168.10.1192.168.10.2ExternalNetwork192.168.10.3DLRControlVMDataPathControlControllerClusterControlNSXMgr从逻辑路由器实例（VM）上配置动态路由协议1在逻辑路由器实例和NSXEdge（北向路由器）之间建立动态路由的邻接关系3从NSXEdge上学到的路由信被推送到Controller以便继续分发到4Controller把路由信息分发到ESXi主机上5ESXi主机的路由模块负责处理接下来数据平面的数据转发613456NSXController把逻辑路由器上的配置信息以及LIF配置推送到ESXi主机上22PeeringOSPF,BGPPeeringOSPF,BGP172.16.30.0/24每台ESXi主机上的路由信息项目1172.16.10.0/24项目2172.16.20.0/24项目3172.16.30.0/24分布式东西向路由:VDR把东西向路由信息下发到主机上南北向路由会走VDR，通过VDR走到上联的北向路由器上三层点到点南北向路由器VXLANVXLAN192.168.10.2VXLAN192.168.10.1VMVM二层隧道在网络覆盖的主机上（TransportZone）每台ESXi主机上的LogicalInterface：Host1今天网络虚拟化后对多业务平台、多租户网络的支持ExternalNetworkTenant1WebLogicalSwitchAppLogicalSwitchDBLogicalSwitch…WebLogicalSwitchAppLogicalSwitchDBLogicalSwitchTenantNSXEdgeServicesGatewayNSXEdgeX-Large(RouteAggregationLayer)TenantNSXEdgeServicesGatewayVXLANUplinks(orVXLANTrunk*)VXLANUplinks(orVXLANTrunk)VXLAN5100Transit29向NFV迈进：vSphere5.5对于延迟敏感性的语音业务的进一步支持CONFIDENTIAL304种业务场景场景一：使用分布式防火墙核心交换机：三层：直接直连路由，不需要配置东西向的任何安全策略接入交换机：二层二层二层二层二层虚拟交换机：虚拟防火墙场景一优劣分析优势：无需对现有网络进行任何调整，包括MTU、VLAN和网关配置等不需要进行业务流量的迁移，可以实现业务网络的零中断在原有网络架构的基础上增加二/三层安全隔离、IP管理、分布式安全防火墙和流量监控等能力限制：无法部署逻辑交换机从而实现业务流量的细粒度的二层安全隔离无法使用东西向路由功能，东西向流量造成汇聚链路和网关的瓶颈网络部署速度受物理设备限制，无法实现网络服务的灵活便捷若需要使用负载均衡或IPSECVPN等功能，需要物理设备支持实现场景二：利旧现有的南北向的物理4-7层服务的网元，通过东西向路由优化东西向流量DCN/163AR/CE项目1项目2项目3分布式东西向防火墙分布式东西向路由物理南北向路由VXLANVXLANL3:OSPF场景二优劣分析优势：在同一物理网络的基础上可以承载超过4096个（最多一千六百万个VXLAN）虚拟二层网络，从而可以实现基于业务单元的业务流量隔离，安全隔离的颗粒度更小增加三层东西向路由功能，优化业务流量，减少网络瓶颈通过VXLAN-VLAN二层桥接功能，解决一个项目既有物理机又有VM或者NSXVM的问题在原有网络架构的基础上增加二/三层安全隔离、IP管理、安全防火墙和流量监控等能力VXLAN适用于东西向流量，即数据中心内部交互的流量限制：需要调整物理承载网络MTU若需要使用负载均衡或IPSECVPN等功能，需要物理设备支持实现核心交换机：三层接入交换机：二层边界路由器、防火墙场景2的数据流优化二层二层二层二层虚拟交换机：虚拟防火墙DCN/163AR/CE项目1项目2项目3分布式东西向防火墙分布式东西向路由OSPF虚拟南北向路由-DCN/163VXLANVXLANVXLAN项目n项目n+1项目n+2分布式东西向防火墙分布式东西向路由OSPF虚拟南北向路由-DCN/163VXLANVXLANVXLAN场景三：多项目、多租户的网络虚拟化拓扑场景三：布式防火墙+东西向分布式路由+南北向路由+南北向4-7层服务优势：在同一物理网络的基础上可以承载超过4096个（最多一千六百万个VXLAN）虚拟二层网络，从而可以实现基于业务单元的业务流量隔离，安全隔离的颗粒度更小可以实现业务网络的快速灵活部署，通过RESTAPI，更可以实现与管理平台的整合，从而实现业务网络部署的自动化增加三层东西向路由功能，优化业务流量，减少网络瓶颈在原有网络架构的基础上增加二/三层安全隔离、IP管理、安全防火墙和流量监控等能力增加NAT等高级功能基于租户或者项目提供，提供4-7层的服务比如负载均衡和IPSECVPN等功能，无须物理网络支持限制：需要调整网络MTU和网关设备的配置场景四：配合IPV6的现场项目优势：承载网络利旧使用现有的IPV4设备，在虚拟网络中承载IPV6网络IPV4/IPV6混合组网解决旧的IPV4的物理网络设备对IPV6的防火墙访问控制的问题NSXvSwitchHypervisorVMVMExistingPhysicalNetwork:IPV4VirtualNetwork：IPV6NSXvSwitchHypervisorVMUserSpaceVMVM明天：直挂云帆济沧海新建的SDDC架构的数据中心采用灵活性更强的全三层互联的架构ComputeClustersEdge机架WAN

InternetL3L2L3L2L3L2LeafSpineL2VLANsforbridging通过网络虚拟化提高自动化能力

自动化能力提高的标识1：简单Ijustwantmyapp.Don’taskmeaboutnetworkingandsecurity.CloudConsumerPre-definedbyCloudArchitectNetworkProfilesSecurityPoliciesSecurityGroupsLogicalLoadBalancerLeverageTemplatesCloudAdminWebAppDBPolicy=Default_TestDevVMVMVMVMVMVM通过网络虚拟化提高自动化能力

自动化能力提高的标识1：终端客户自服务的能力IknowexactlywhatIneedforconnecting,securingandscalingmyapp.Letmedealwithit.CloudConsumerMulti-MachineBlueprintConfigurableCustomizableForCloudConsumerCloudAdminWebAppDBPolicy=Default_TestDevVMVMVMVMV