CloudFabric云数据中心网解决方案-云网一体化设计指南

DOCPROPERTYPartNumberDOCPROPERTY"Product&ProjectName"CloudFabric云数据中心网解决方案DOCPROPERTYDocumentName设计指南（云网一体化）目录TOC\h\z\t"标题1,1,标题2,2,标题3,3,标题4,4,标题5,5,标题7,1,标题8,2,标题9,3,Heading1NoNumber,1,Appendixheading1,1,Appendixheading2,2,Appendixheading3,3,Appendixheading4,4,Appendixheading5,5,Heading1,1,Heading2,2,Heading3,3,Heading4,4,Heading5,5,Heading7,1,Heading8,2,Heading9,3"1云网一体化场景概述 11.1云网一体化的由来 11.2云网一体化简介 21.3Overlay网络类型和对比 52设计云网一体化类型的数据数据中心 102.1业务模型与概念 102.1.1常见概念解释 102.1.2FusionSphere和开源OpenStack业务模型简介 132.1.3控制器业务模型简介 152.2业务规划设计流程和原则 162.3云网一体化方案说明 202.3.1云网一体化方案架构 202.3.2云网出口业务 22FusionCloud多出口业务 22OpenStack外部网络业务 252.3.3云网DHCP业务 262.3.4云网VAS业务 29FWaaS业务 29VPNaaS业务 31LBaaS业务 332.3.5云网裸机业务 352.4业务发放流程 382.5业务下发时的自动化交互过程 403附：OpenStack入门 423.1什么是OpenStack 423.2OpenStack的主要模型 423.3OpenStack中的Neutron 443.4FusionSphere 46A参考图片 48云网一体化场景概述\o""1.1云网一体化的由来\o""1.2云网一体化简介\o""1.3Overlay网络类型和对比云网一体化的由来传统数据中心的挑战传统数据中心遇到了以下几个困境：困境一：业务部署效率低。新业务上线时，需要大量规划、配置、测试、老业务影响评估等，部署时长无法满足新业务要求。困境二：资源利用率低。很多系统独立占用资源池，形成烟囱式资源利用形态，当一个系统资源使用率低时，其他系统无法使用此资源池中多余的资源。困境三：运维管理复杂。数据中心中多样化业务叠加运行，当某一业务故障时，很难快速发现并隔离故障。SDN和云计算可以来解决传统数据中心的上述困境。云化数据中心具有业务自动化、弹性资源池、精细化运维三个典型特征。SDN是用来支撑ICT实现云计算的关键技术。目前软件定义计算（虚拟服务器）、软件定义存储（分布式存储）已经具备，因此呼唤网络层面也必须实现软件定义网络，从而实现敏捷网络的目标。云计算的分类云主要分为私有云、公有云、混合云三类：私有云是单个企业的一种专用云基础架构，其基础设施的定制化程度较高，突显了企业自身的业务特点。很多中小型企业无法自己建设具有一定规模的云，因此转而向云服务提供商租用相关的基础设施和资源，从而迅速构建自己的虚拟数据中心，这就是公有云。企业的一部分基础设施在公有云上，另一部分在私有云上，这两种云通过某种形式互通，实现应用可移植、数据可迁移等，这就是混合云。REF_table1715225310109\r\h表1-1中总结了公有云和私有云之间的区别。云分类关键区别安全/合规资源使用基础设施服务器规模使用者私有云企业自建自用严格较粗放、以不计费居多灵活、可定制100~3K大型企业公有云服务于公众较弱按使用量计费标准化一般大于10K中小型企业云数据中心的行业诉求当企业的网络部门和IT部门已经有机结合，并具备一定技术实力，则可以考虑部署云网一体化方式的云化数据中心。REF_table39631393169\r\h表1-2中总结了三个典型行业对云数据中心的诉求和业务场景。项目政企/金融运营商互联网业务场景IT计算池化、EDC云化机架出租、IDC云化、NFVI电信云物理机/虚拟机/VPC出租、提供IaaS/PaaS业务网络核心诉求1.提升新业务TTM2.部署复杂业务，降低CAPEX3.业务可靠性保障，多活数据中心部署1.利用率：多数据中心网络资源整合2.标准化：多厂商Fabric互通、多厂商VAS兼容3.网络质量：跨广域质量保证1.大规模服务器部署（10万+）2.SLA服务：租户级粒度、实时网络质量感知、主动运维3.新业务快速部署、网络支持业务弹性扩展云网一体化简介华为CloudFabric云数据中心网解决方案中的云网一体化方案，其逻辑分层架构如下图所示。逻辑分层层次说明业务呈现/协同层支持对接社区或第三方商业OpenStack云平台+第三方云管理平台。支持对接华为FusionSphere云平台+华为ManageOne云管理平台。用户的操作界面一般在云管理平台上。网络控制层控制器北向与OpenStackNeutron对接，实现云平台业务模型参数向控制器的下发。控制器南向支持OpenFlow/OVSDB/Netconf/SNMP等接口，统一管理控制物理和虚拟网络，完成网络配置的自动化下发。SecoManager纳管华为防火墙，提供L4~L7策略业务发放。FabricInsight提供流量数据采集、网络故障分析功能。网络服务层由物理设备组成的Spine-Leaf基础物理组网（常见的有华为CloudEngine系列交换机、NGFW、vNGFW、LB等），用以承载VXLANOverlay网络，并由物理或虚拟设备提供VAS服务。计算接入层虚拟化服务器：虚拟机的上线信息由云平台通知给控制器。物理服务器：通过L2BR接入到VXLAN网络，通过控制器界面来发放接入配置，云平台不感知。裸金属服务器：一般形成一个裸金属服务器池；由云平台触发裸金属服务器的端到端上线过程。交互接口图中序号接口两端接口说明1控制器<->云平台控制器提供插件部署在云平台上，从而完成云平台与控制器提的对接。控制器提通过RESTful（控制器北向开放的接口）和RESTConf接口（控制器调用的接口）与云平台对接，接收云平台下发的网络业务指令。2云平台<->VMM云平台与VMM间接口，控制流不经过控制器提传递。3SecoManager<->防火墙SNMP：用于SecoManager发现和获取防火墙的信息。NETCONF：用于SecoManager向防火墙下发配置。4FabricInsight<->物理交换机SNMP：用于FabricInsight发现和获取物理交换机的信息。NETCONF：用于FabricInsight与物理交换机进行流镜像同步。gRPC：FabricInsight获取交换机CPU、RAM利用率。Netstream：交换机通过Netstream上送指定流分析结果。5控制器提<->物理交换机SNMP：用于控制器提发现和获取物理交换机的信息。NETCONF：用于控制器提向物理交换机下发配置。OpenFlow：主要在运维层面提供路径探测等功能。7LB<->云平台LB提供补丁部署在云平台上，同时本身部署相应的插件，两者通过RESTFul接口对接，从而使云平台纳管LB设备，并向LB设备下发配置。控制器提在云平台上的插件和LB在云平台上的插件会交互信息，由控制器提告诉LB流量应该携带哪一个VLAN标签进入到Fabric网络中。Overlay网络类型和对比在VXLAN网络中，根据承担Overlay边缘设备（VXLANNVE）属性的不同，又可以分为NetworkOverlay、HostOverlay、HybridOverlay三种网络类型。CloudFabric解决方案推荐使用NetworkOverlay类型的VXLAN网络。NetworkOverlay：所有NVE全部由物理交换机承担。HostOverlay：所有NVE全部由vSwitch承担。HybridOverlay：NVE一部分部署在物理交换机上，另一部分部署在vSwitch上。NetworkOverlayNetworkOverlay的特点是VXLAN隧道的两个端点全部是物理交换机。其中，NetworkOverlay有分为集中式和分布式两类，如REF_fig8698510132617\r\h图1-2所示。集中式NetworkOverlay中，Leaf作为VXLAN的L2网关、Spine或BorderLeaf作为VXLAN的L3网关。分布式NetworkOverlay中，Leaf同时作为VXLAN的L2和L3网关，Spine仅作为IP流量高速转发节点，不处理VXLAN报文。HostOverlayHostOverlay的特点是VXLAN隧道的两个端点全部是虚拟交换机，而虚拟交换机部署在服务器上，如REF_fig235116393285\r\h图1-3所示。数据中心内部的东西向流量在虚拟交换机之间通过VXLAN隧道转发；南北向流量在虚拟交换机与虚拟路由器之间转发，作为Leaf和Spine的物理交换机仅作IP报文的高速转发，不处理VXLAN报文。HybridOverlayHybridOverlay的特点是VXLAN隧道的端点既可以是虚拟交换机也可以是物理交换机，因此也称为混合Overlay，如REF_fig15493114712388\r\h图1-4所示，混合Overlay常见的是分布式的。数据中心内部的东西向流量在虚拟交换机和物理Leaf交换机之间通过VXLAN隧道转发；南北向流量在虚拟交换机/Leaf物理交换机与Spine/Edge之间通过VXLAN隧道转发。网络类型对比REF_table1630754271220\r\h表1-3中对NetworkOverlay、HostOverlay和HybridOverlay三种类型的网络特点进行了对比。对比项NetworkOverlayHostOverlayHybridOverlayNVE硬件交换机vSwitch硬件交换机vSwitchVXLANL3GW硬件交换机（分布式部署，根据VM上线位置相应的部署）vSwitch（分布式部署，根据VM上线位置相应的部署）硬件交换机和vSwitch（分布式部署，根据VM上线位置相应的部署）接入服务器类型虚拟化服务器、物理服务器虚拟化服务器虚拟化服务器、物理服务器接入L4~L7类型硬件L4~L7软件L4~L7（X86物理服务器）软件L4~L7（SRIOV接入）软件L4~L7（vSwitch接入）硬件L4~L7X86物理服务器软件L4~L7SRIOV虚拟化软件L4~L7软件L4~L7（vSwitch接入）控制面设备L2/L3自学习设备间L2通过头端复制广播自学习可支持控制面上收控制器（特指ARP/ND及路由。当前未合入主线，可POC测试）可支持设备间通过BGP-EVPN同步vSwitch通过openflow将ARP/ND上报控制器，控制器L2/L3学习vSwitch间通过控制器下发流表同步硬件设备L2/L3本地自学习，硬件设备间通过BGP-EVPN同步vSwitch通过OpenFlow将ARP/ND上报控制器，控制器L2/L3学习，vSwitch间通过控制器下发流表同步硬件NVE和vSwitchNVE之间通过控制器的BGP-EVPN同步转发性能不占用服务器CPU资源，硬件设备转发性能高VXLAN处理占用服务器CPU资源，性能受CPU影响大硬件部分不占用服务器CPU资源，软件部分VXLAN处理占用服务器资源虚拟机规格VPC数量受限于TORVRF和路由规格同一VPC虚机数量受限于TOR表项规格仅受限于控制器的能力海量VPC，海量虚机海量VPC，海量虚机同一VPC虚机数量受限于TOR表项规格适用场景适用于对转发性能、运维、安全等有很高要求的私有云用户适用于虚拟化服务器/物理服务器同时接入SDN网络与传统网络互联互通适用于仅虚拟化服务器接入适用于租户规模超大的用户网络内有多个厂商网络设备，需要VXLAN与硬件网络设备解耦适用于虚拟化服务器/物理服务器同时接入SDN网络与传统网络互联互通对硬件成本敏感，强调网络利旧，需要VXLAN与硬件网络设备解耦设计云网一体化类型的数据数据中心\o""2.1业务模型与概念\o""2.2业务规划设计流程和原则\o""2.3云网一体化方案说明\o""2.4业务发放流程\o""2.5业务下发时的自动化交互过程业务模型与概念常见概念解释DC、POD和AZDC：DataCenter，数据中心。DC是物理概念，是指在一个物理空间（比如机房）内实现信息的集中处理、存储、传输、交换和管理。服务器、存储和网络设备是DC的关键设备，供电、制冷、消防、监控等基础设施是DC的关键配套。POD：PointofDelivery，分发点。为了便于DC的资源池化操作，可将一个DC划分为一或多个物理分区，每个物理分区就称为一个POD，如REF_fig1613653163115\r\h图2-1所示。由此可见，POD也是物理概念，是DC的基本部署单元，一台物理设备只能属于一个POD。AZ：AvailabilityZone，可用区域。AZ是一个计算侧的逻辑概念，代表了一个故障隔离区域。比如一些主机共用了一套电源和网络设施，当这套设施出现故障时，这部分资源就全部不可用了。在规划时，AZ与DC可按实际部署情况灵活映射。例如在大规模公有云中，一个AZ可包含多个DC；在中小规模私有云中，一个DC内可设置多套独立的AZ；也可将一个DC规划为一个AZ，这时DC与AZ是等同的。VDC和TenantVDC：VirtualDataCenter，虚拟数据中心。VDC是一个组织可使用资源的集合，一般包括计算、存储和网络资源。Tenant：租户，由系统管理员创建和分配。租户是一个VDC的实际拥有者和管理者，不同VDC对应不同的租户，如REF_fig13103105818379\r\h图2-2所示。在公有云场景，系统管理员可以定义VDC并为VDC分配管理员，只有该VDC的管理员才可管理该VDC下的资源。在私有云场景，VDC可以灵活定义，分配给一个业务/应用/部门。系统管理员可以通过VDC对企业内的不同业务/应用/部门进行不同等级的资源配额管理。VPCVPC：VirtualPrivateCloud，虚拟私有云。基于物理网络中抽象出来的逻辑网元，并根据业务的实际情况，编排这些逻辑网元，从而形成一个虚拟的网络。不同VPC之间是逻辑上隔离的，但是都共用一套物理网络，从而实现了物理网络资源资源池化以后的共享问题。可以将VPC理解为一种“容器”，VPC中提供了vRouter、Subnet、vFW、vLB等逻辑元素，租户可以根据自己的需要，在一定的规则下灵活组合这些元素，例如需要几个网段，每个网段中接入多少台VM，VM流量需要配置什么样的安全策略和负载策略等，典型部署方式如REF_fig102649805318\r\h图2-3所示。VPC有以下特点：VPC使用VDC中的资源，一个VPC只能属于一个VDC，而一个VDC可包含多个VPC。每个VPC为一个安全域，对应于一个业务/应用/部门。VPC提供隔离的虚拟机和网络环境，满足不同业务/部门的网络隔离要求。每个VPC可提供丰富的独立业务，例如vFW、vLB、安全组、EIP、IPsecVPN、NAT等。VPC可提供直联网络、路由网络和内部网络等多种组网模式。VPC中常见的元素有以下几种：vRouter：作为业务子网的网关，用于子网间的三层互通。一个VPC只能有一个vRouterNetwork：定义为一个二层网络，通常只含一个Subnet，在Share模式下可包含多个Subnet。（Share模式映射到交换机上为一个接口下启用多个从IP，用于划分不同网段，例如多个小型租户共用一个VLAN的场景）注：FusionSphere模型不支持Share模式，开源的OpenStack模型中是呈现此元素的。Subnet：用于二层广播域的隔离，对应于一个子网网段。同一VPC内不同Subnet的三层网关，都在同一个vRouter上。同一Subnet内默认互通；不同Subnet间默认互通，也可通过配置安全组进行隔离vFW：作为VPC的边界，除了可提供外部访问VPC内的安全访问控制，还可提供外部访问VPC内的接入服务，可提供的特性有：FW、EIP、SNAT、IPsecVPN等。vLB：用于对外提供内部服务器间的负载均衡能力，一个vLB可以带多个监听器，用户可给不同业务申请不同的监听器。FusionSphere和开源OpenStack业务模型简介FusionSphere业务模型简介FusionSphere是华为公司的云平台，基于开源OpenStack来开发，并在此基础上进行了商业加强，因此很多基本概念与开源OpenStack是类似的。FusionSphere业务模型的内部映射关系如REF_fig83319569487\r\h图2-4所示。POD是物理单元，比如可将一个Fabric网络视为一个POD，作为承载业务的基本部署单元，一套资源可部署在一个或多个POD内，而一个POD也可承载多套资源。VDC是资源单元，于租户对应。VDC支持跨POD部署，租户以VDC为粒度进行资源租用。一个VDC中可以有多个VPC。VPC是业务单元，VPC支持跨POD部署，同一租户的不同VPC也可部署在不同POD内。一个VPC对应一个vRouter，一个vRouter在交换机上就表现为一个VRF。vRouter是VPC中的一个逻辑单元，与vLB、vFW之间是1:1的关系；一个vRouter可以连接多个Subnet，一个Subnet可连接多台VM。上述业务模型之间的典型部署关系如REF_fig17910163694911\r\h图2-5所示。开源OpenStack业务模型简介OpenStack的业务模型和FusionSphere的业务关系有少量的不同，开源OpenStack业务模型的内部映射关系如REF_fig46031415135219\r\h图2-6所示。OpenStack内部的业务模型和部署关系中，重点介绍一下POD和Project。POD是物理单元，比如可将一个Fabric网络视为一个POD。作为承载业务的基本部署单元，一套资源可部署在一或多个POD内，而一个POD也可承载多套资源。Project是资源单元，对应于租户。Project支持跨POD部署，租户以Project为粒度进行资源租用。在Project中，以vRouter为核心部署不同的业务单元。业务单元可跨POD部署，同一租户的不同业务单元也可部署在不同POD内。一个Project中可以包含多个vRoute，一个vRouter可以连接多个Network，一个Network可以连接多个Subnet（类似于一个VLAN三层接口可以配置SecondaryIP地址），一个Subnet可连接多台VM。上述业务模型之间的典型部署关系如REF_fig856861356\r\h图2-7所示。控制器业务模型简介如REF_fig389192618715\r\h图2-8所示，控制器的基本业务模型中包含了Tenant、VPC、LogicRouter、LogicSwitch、LogicFW和LogicLB。在控制器中，管理员可以将一定数量的VPC授权给Tenant（租户）使用，并授权LogicRouter、LogicSwitch、LogicFW和LogicLB的使用限额。其中，LogicRouter、LogicSwitch、LogicFW和LogicLB就提供了FaaS（FabricAsaService），即将网络抽象成了多种服务。控制器中定义的LogicRouter对应云平台的vRouter；LogicSwitch对应云平台的Network/Subnet；LogicFW和LogicLB分别对应云平台的vFW和vLB。控制器中定义logicalport标识物理机交换机上的逻辑接口；EndPort是用来模拟链接到LogicSwitch上的逻辑接入点，可以是VM，也可以是物理服务器或第三方设备，可以配置EndPort的接入信息。REF_table174901038131210\r\h表2-1中针对FusionSphere、开源OpenStack和控制器的业务模型，从资源管理层、逻辑组织层、网络实体层、计算实体层进行对比。资源管理层：本层将数据中心资源以租户粒度进行分配，并指定相应的租户管理员，是基本的资源单元。逻辑组织层：本层是网络和计算实体的逻辑组织，是基本的业务单元，各业务单元之间的网络是安全隔离的。网络实体层：一个业务单元中包含的各种网络实体在本层予以呈现。计算实体层：一个业务单元中包含的所有计算实体在本层予以呈现。项目资源管理层逻辑组织层网络实体层计算实体层OpenStackProject/Tenant无ExternalNetworkvRouterNetwork/SubnetvFW/vLBVMFusionSphereVDC/TenantVPCExternalNetworkvRouterSubnetvFW/vLBVM控制器TenantVPCExternalNetworkLogicRouterLogicSwitchLogicFW/LogicLBEndPort业务规划设计流程和原则业务规划的一般流程网络管理员先基于业务特点，划分物理网络的分区，并进行分区内物理网络的设计。典型的网络分区划分如REF_fig1959175616260\r\h图2-9所示，分为业务区、核心互联区、DMZ区、出口区等。注：在CloudFabric解决方案中，物理网络的分区设计一般建议与控制器中的Fabric相对应，控制器编排界面中的Fabric是指一组位于同一VXLAN路由域内的网络设备，组网上通常采用Spine-Leaf架构，Fabric内所有业务可共用相同的出口网络资源和L4-L7网络资源；基于以上原则，建议网络分区的按控制器中的Fabric定义范畴进行设计，也支持将多个Fabric属性相同的分区划分为一个Fabric。被控制器纳管的网络分区推荐采用各种Leaf角色相互解耦的组网方式，并部署分布式VXLAN网关。系统管理员进行VDC的规划设计，这个阶段主要是基于业务的种类和需求来规划。对企业私有云来说，首先区分网络中需要部署多少种业务，对应于多少个逻辑相互隔离的网络。有业务相关性的网络放到同一个VDC中，没有相关性的放到不同的VDC中，如REF_fig9162813173614\r\h图2-10所示。系统管理员再创建具体的租户管理员账号，并分配资源给该租户。租户管理员根据被分配到的资源进行自己VPC网络的设计和配置，可以根据业务需求对VPC中提供的逻辑元素进行组合、编排，如REF_fig1624418190403\r\h图2-11所示。VDC和VPC的规划原则公有云场景中，VDC和VPC的规划原则如下。VDC规划要求：一个Fabric可部署多个VDC，单个VDC不能跨Fabric部署。单个VDC的网络资源必须被分配在一个Fabric内，相应的计算和存储资源需要被分配到一个AZ内。VPC规划要求：组建VPC的资源范畴只能是VDC的子集，因此VPC在多租户场景下也只能部署在一个Fabric内，不能跨Fabric部署。租户内部网络自行规划，租户间IP地址可重叠。私有云场景中，VDC和VPC的规划原则如下。VDC规划要求：一个Fabric可部署多个VDC，单个VDC可以跨Fabric部署。在选择VDC资源部署时可以包含多个AZ。VPC规划要求：同一个VPC的所有计算和网络资源需要发放到同一个Fabric中，但同一个VDC中的不同VPC可以属于不同的Fabric。全网IP地址统一规划，所有VDC内IP地址无重叠。在公有云和私有云中，对VDC和VPC的规划设计原则有所区别，参见REF_table16281149142712\r\h表2-2。场景VDC规划指导VPC规划指导Fabric划分原则VDC划分原则业务要求VPC部署原则公有云按性能等级按增值服务能力按资源容量每租户一个VDC业务内部互访无须安全控制每业务一个VPCVPC内部子网间默认互通业务内部互访需要安全控制，但要求较低每业务一个VPCVPC内部子网间默认互通VPC内部子网互访通过安全组隔离业务分层部署，内部互访有较高安全控制要求每业务多个VPCVPC之间互访通过防火墙控制私有云按安全等级按部门按业务类别每部门一个VDC规模大、部署复杂的业务单独划分为一个VDC多业务混合部署的Fabric业务要求请参考公有云VPC部署原则请参考公有云单个业务或业务某一层体量较大，需要占用独立的Fabric业务与外部的东西向流量大，默认无须安全控制业务与外部的南北向流量需要安全控制每个业务或业务某一层（如APP或DB），一个VPC占用一个Fabric东西向流量默认互通，可按需配置安全组进行隔离南北向流量须通过防火墙控制业务与外部的东西、南北向流量均需要安全控制每个业务或业务某一层（如Web），一个VPC占用一个Fabric东西/南北向流量均须通过防火墙控制云网一体化方案说明本章介绍云网一体化方案方案组件架构，组件功能及关键业务流程。云网一体化方案架构如REF_fig1133079101711\r\h图2-14所示，云网一体化方案：支持对接开源OpenStack、RedhatOpenSack10、和华为FusionCloud（不支持ACGBPPluginDriver）。对接开源/RedhatOpenStack支持Networkoverlay和Hybridoverlay组网。对接FusionCloud私有云场景支持NetworkOverlay组网。NFVI电信云场景支持HybridOverlay组网。组件说明ACML2DriverACML2Driver主要实现NeutronML2定义标准接口，感知neutronport事件，调用控制器北向RESTAPI实现物理机、虚拟机对应TOR侧的网络配置。ACVPNDriverACVPNDriver感知用户通过云平台发放的VPN服务，调用控制器北向API下发ServiceLeaf与防火墙的互联配置，控制器调用SecoManager北向API将VPN配置下发的华为防火墙（注：仅限华为防火墙）。ACL3pluginACL3plugin感知NeutronvRouter，network、EIP、SNAT相关事件，调用控制器北向API动态下发对应配置。ACFWaaSpluginACFWaaSplugin感知云平台下发的防火墙业务，调用控制器北向API配置ServiceLeaf与防火墙间的互联配置，控制器调用SecoManage将具体配置下发到华为防火墙（注：仅限华为防火墙）。ACQoSPluginACQoSplugin感知云平台下发的QoS业务（端口限速、DSCPRemark），调用控制器北向API下发QoS配置。GBPACDriverACGBPDriver遵从开源GBP北向接口，感知GBP业务下发调用控制器下发微分段策略到TOR（注：要求微分段基线款型设备）。CE1800V替代开源OVS，作为VXLAN的VTEP提供VM接入功能，支持分布式防火墙。3rdLBaaSPlugin3rdLBaaSPluing由负载均衡厂商提供，纳管负载均衡设备，发放LBaaS业务到设备。ACL3Plugin和ML2Driver感知LB业务对于Port事件，下发层次化绑定配置。云网出口业务开源/RedhatOpenStack的vRouter只支持关联1个外部网络（即1个Internet出口），用于EIP、SNAT及VPaaS服务。FusionCloud的VPC（对应开源OpenStack的vRouter）支持三个出口（外部网络）：Internet出口用于EIP、SNAT、DNAT及VPNaaS服务公共服务出口用于访问FusionCloud内部提供公共服务器（NTP服务器）路由直通出口用于与私有云之外网络互通，如传统网络FusionCloud多出口业务多出口业务模型网络管理员通过控制器创建Internet网关、路由直通网关和公共服务外部网关，指定对应的BorderLeaf设备组，以确定物理出口位置。FusionCloud的租户VPC默认关联一个公共服务外部网络，公共服务外部网络由计算管理员创建，租户不感知；租户可以显式创建路由直通网络和Internet外部网络。FusionCloud上的外部网络（公共服务、路由直通、Internet）通过名称匹配与控制器上的外部网关建立关联关系。IPv4多出口业务流程路由直通出口，由租户通过显式发放路由直通外部网络并关联VPC的方式来触发控制器下发对应的业务。路由直通业务发放流程如下图所示。公共服务出口是租户创建VM时，由控制器插件隐式调用FusionCloud的EIP接口，触发控制器下发对应NAT、路由配置到防火墙和ServiceLeaf。Internet出口通过租户为VM创建EIP、SNAT、DNAT业务，控制器根据EIP、SNAT、DNAT所在的Network名称，匹配对应Internet外部网关，下发对应NAT、路由策略到防火墙和ServiceLeaf。Internet出口业务发放流程如下图所示。IPv6多出口业务流程IPv6的路由直通出口业务流程与IPv4一致。路由直通业务发放流程如下图所示。IPv6场景下，由于FusionCloud无EIP、NAT业务流程，无法通过EIP、NAT流程触发控制器下发Internet和公共服务出口业务，IPv6的公共服务出口由控制器插件在租户创建/更新VPC时隐式编排公共服务出口；Internet出口，则有租户显式关联Internet外部网络实现。Internet业务发放流程如下图所示。OpenStack外部网络业务开源和RedhatOpenStack的vRouter只能关联一个外部网络，用于发放EIP、SNAT和VPNaaSService业务。开源OpenStack和RedhatOpenStack的vRouter只有一个Internet出口，通过外部网络的名称与控制器上创建的外部网关来进行关联，模型对象如下图所示。开源OpenStackInternetIPv4出口业务流程：开源OpenStack外部网络出口物理位置（Border）由网络管理员通过控制器发放外部网关指定；计算管理员通过OpenStack的Internet外部网络名称与控制器上的外部网关名称关联。开源OpenStackIPv6Internet出口业务流程：开源OpenStack在IPv6场景下，支持IPv6的NAT、EIP功能，所有Internet出口通过显式地创建外部网络，并关联router来实现，其流程如下图所示。云网DHCP业务FusionCloud配套云网场景下，FusionCloudType2场景只支持有状态的DHCPv6，DHCPv6服务器由FusionCloud提供；即VM通过DHCPv6协议获取VM的IP、DNS、NTP等信息。组件控制面架构DHCPServer由FusionCloud提供，通过FusionCloud的DHCPagent纳管，如REF_fig6204191019376\r\h图2-23所示。ACL3plugin感知VPC、Network事件，调用控制器创建LogicalRouter和LogicalSwitch。ACML2Driver感知DHCPport和VMport的上线事件，调用控制器下发端口的VLAN到VXLAN的映射配置。DHCPv6/v4业务下发流程DHCPv4和DHCPv6的业务流程，差别点在于DHCPv6时，创建分布式网关时，需要设置网关的managedflag和otherflag属性，用于通过RS/RA协议告诉VM需要通过有状态的DHCP协议来获取IP地址、DNS、NTP等其他配置。VM获取IPv6地址流程VM获取IPv6地址的流程如REF_fig12994112219347\r\h图2-25所示。VM发放RouterSolicitation报文。GW回复RouterAdvertisement报文，设置ManagedConfigurationFlag=1、OtherConfigurationFlag=1，表示IPv6地址和其他配置信息（DNS、NTP）通过DHCP获取。VM发送DHCPSolicit报文，请求IP和其他配置信息。DHCPServer通过DHCPReplay返回VM的IP地址，DNS、NTP等信息。云网DHCP场景关键约束私有云场景，只支持有状态的DHCPv6服务，DHCPv6Server由云平台提供。云网VAS业务FWaaS业务OpenStackFWaaSv1模型包括Firewall对象、Firewallpolicy和Firewallrule对象。Firewall对象与policy对象1：1关联。Policy对象与Firewallrule对象1：N关联。Firewallrule用例定义包括源目的IP、源目的4层端口号和协议号的安全策略。Firewall与Neutronrouter对象为1：N关系。OpenStackFWaaS业务对接架构OpenStackFirewall对象实例化为防火墙上的vSYS（以华为防火墙为例），OpenStackFirewallpolicy对象实例化为防火墙的Policy对象，OpenStackFirewallrule实例化为防火墙上的安全ACL规则。ACFWaaSplugin遵从OpenStack社区FWaaSv1接口，负责感知OpenStackfirewall、Firewallpolicy和Firewallrule下发，调用控制器的REST接口创建vSYS、firewallpolicy及对应的安全ACL规则。控制器负责分配vSYS与VRF的互联VLAN&IP地址，调用SecoManager的接口创建vSYS，配置互联接口的VALN&IP及路由配置。SecoManager负责防火墙设备的纳管、防火墙安全策略的下发。OpenStackFWaaS业务发放流程通过OpenStackUI/CLI，发放FWaaS业务发放的典型步骤如REF_fig4477103812291\r\h图2-28所示。云网FWaaS关键约束只支持FWaaSv1接口。FusionCloud私有云场景，对接我司防火墙，安全策略的IP、四层端口号支持聚合下发。VPNaaS业务如REF_fig1280491117520\r\h图2-29所示，OpenStackVPNaaS业务模型包括VPNService对象、siteconnection对象和IPSecPolicy对象：VPNService对象定义虚拟IPSecVPN服务实例，IPSecVPN服务关联多个siteconnection对象；Siteconnection对象定义1个VPN隧道，定义对端peer地址、本地site的私网地址，siteconnection关联1个IPSecpolicy对象；IPSecPolicy对象定义IPSec隧道所需要的证书、加密算法、认证模式。OpenStackVNPaaS业务对接架构ACVPNaaSPlugin感知IPSecVPN服务的发放，转换为控制器调用下发IPSecVPN业务配置到防火墙。控制器透传IPSecVPN业务配置到SecoManager，SecoManager调用设备NETCONF接口，下发IPSecVPN配置到防火墙。Siteconnection对象映射为IPSecTunnel及对应的配置；IPSecpolicy映射为防火墙的IPSecpolicy配置。OpenStackVPNaaS业务发放流程通过OpenStackUI/CLI，发放VPNaaS业务发放的典型步骤如REF_fig747144512019\r\h图2-31所示。云网VPNaaS场景关键约束不支持IPv6IPSecVPN。LBaaS业务OpenStackLBaaS模型包括Loadbalancerl对象、listener对象和pool对象。Loadbalancer对象定义虚拟LB服务实例，定义vLB所使用的VIP，Loadbalancer与多个listener关联；listener对象定义vLB监听的L4端口号及协议；pool对象定义与listenser关联后端业务member。OpenStackLBaaS业务对接架构OpenStack的LBaaSv2插件由负载均衡厂商提供，北向感知负载均衡服务的发放，南向调用负载均衡的API下发负载均衡配置。ACML2plugin感知LB服务VIP和memberIP的对应的port事件，下发VIP端口和self-IP对应的层次化绑定配置。OpenStackLBaaS业务发放流程以F5为例，OpenStackLB业务发放流程如REF_fig1827101418478\r\h图2-34所示。云网LBaaS关键约束IPv4Overlay场景：支持F5、Radware、深信服、FusionCloudELBIPv6Overlay场景：支持F5、深信服、FusionCloudELB云网裸机业务OpenStackIronic主要组件架构简述如REF_fig73111288478\r\h图2-35所示，OpenStackIronic主要组件有：Nova组件：nova-api、nova-scheduler、nova-compute提供BM的发放、回收，接口与VM的发放、回收一致。Neutron组件：提供BM发放所需的DHCP、BM对应neutronport创建、删除、更新功能。Glance组件：提供BM部署所需的操作系统镜像。Ironic-API：裸机服务发放入口，通过RPC消息，监控nova-compute发送BM业务消息，调用ironic-conductor发放BM业务。Irionic-conductor：负责调用neutrionAPI为BM发放网络，调用Glance获取操作系统镜像，通过IPMIDriver控制BM通过PXE（PrebootExecutionEnvironment）部署OS。IPMIDrivers：IPMI（IntelligentPlatformManagementInterface）Driver主要由服务器厂商提供，通过服务器的IPMI网卡控制服务器的上下电、修改服务器的BIOS配置，查看服务器的硬件资源信息。裸机业务网络平面介绍裸机发放主要包括以下4个阶段，如REF_fig2096193095810\r\h图2-36所示：注册阶段：用户输入服务器的IPMI管理地址、用户名、密码注册服务器；Inspecting阶段：Ironic通过inspecting网络在服务器上部署定制OS搜集服务器的CPU、RAM、网卡信息；Provisioning阶段：通过provisioning网络在服务器上部署OS，同时挂载服务器到租户网络；Running阶段：正常部署后，租户运行物理机。裸机发放过程中涉及到以下4个网络平面：IPMI网络平面：IPMIDriver控制服务器上电、下电、重启；Underlay手工或者控制器界面预部署。Inspectingnetwork：裸机服务Inspecting阶段获取服务器硬件规格信息（CPU、RAM、NIC）；Underlay手工或者控制器界面预部署。Provisioningnetwork：用于服务器操作系统安装；ACML2插件感知Ironic-conductor调用neutron创建port自动配置。Tenantnetwork：业务平面通过OpenStack发放；ACML2插件感知Ironic-conductor调用neutron创建port自动配置。物理服务器包括电源管理网卡（IPMI-NIC）和业务网卡（如所示eth0），Ironic上的IPMIDriver通过IPMI网卡控制服务器的上电、下点、PXE启动；业务网卡在inspecting阶段接入inspectingnetwork，操作系统部署阶段接入provisionnetwork，完成部署后接入tenantnetwork。裸机业务对接架构Ironic通过IPMIDrvier纳管服务器，控制服务器的启动顺序、上下电、重启；调用neutronAPI发放provisionport和租户网络上的port。ACML2plugin感知port事件，自动化打通provisioning网络或者租户网络。Ironic裸机业务流程裸机服务发放流程如REF_fig740242811305\r\h图2-39所示。关键约束Ironic裸机场景关键约束：inspectingnetwork、provisioningnetwork只支持IPv4。tenantnetwork支持IPv4或者IPv6。FusionCloudIronic特殊说明：FusionCloudIronic实现无专用inspectingnetwork，复用provisioningnetwork。FusionCloudIronic当前支持Huawei系列服务器。业务发放流程总体业务流程云网一体化总体业务流程涉及到三个角色：系统管理员、租户管理员、业务管理员，三者之间的简要业务关系如REF_fig20933103115156\r\h图2-40所示。系统管理员具有整个系统的最高权限，往往是整个系统的搭建者和资产所有者。公有云中有很多不同的租户，每一个租户有一个租户管理员，每个租户管理员仅管辖本租户内部的各类资源。当然，这些资源需要先向系统管理员进行申请，由系统管理员下发给租户管理员使用。一般来说，租户自身有多个不同类型的应用系统，例如视频会议、网站、邮箱等各类应用系统，每一类应用系统由业务管理员负责建设开通。其中业务对网络的诉求提给租户管理员，租户管理员则在已申请到的资源限额内，规划并编排逻辑网络，给应用系统使用。业务管理员可以在已经分配到的计算资源（对应的网络已经配置好）上安装业务软件等，从而对外提供服务。系统管理员做什么如REF_fig55552236244\r\h图2-41所示，在整个业务配置和下发的过程中，系统管理员将完成以下操作：系统管理员先是要创建VDC，并配置好VDC中的资源池；系统管理员为不同的租户创建不同的租户账号；系统管理员给不同的租户分配相应的资源配额。租户管理员做什么如REF_fig55552236244\r\h图2-41所示，在整个业务配置和下发的过程中，租户管理员需要同时关注网络资源和计算资料的配置。其中，配置网络的主要操作有：创建VPC并为之命名；创建vRouter；创建Subnet并绑定到vRouter；创建并配置vFW；配置SNAT/EIP/IPSec等增值业务；配置安全访问规则和策略；配置vLB业务。配置计算的主要操作内容有：创建VM，分配一定的计算资源并注入系统；将VM与某一个Subnet网络进行绑定。业务下发时的自动化交互过程如REF_fig1425432218264\r\h图2-42所示，是云平台一体化场景中的业务下发时系统中各个模块之间的交互过程。本场景中业务下发的界面是云平台，初始操作都在云平台上进行。租户管理员在云平台界面上依托Neutron提供的能力，创建逻辑网络。租户管理员在云平台界面上依托NOVA提供的能力，创建VM，并将VM接入到指定的网络中。NOVA调用Neutron的API创建vPort，这个vPort是VM将来要挂接到vSwitch上去的虚端口。这个虚端口中会包含HostID（即VM将来会被发放到的Host的HostID）、虚拟机的MAC/IP/VLAN信息。NOVA向选出的计算节点中的Host发送VM创建请求，由NOVACompute创建好虚拟机，并为虚拟机绑定vSwitch的接口。Neutron检测到vSwitch上的端口状态变化，获取本地VLAN信息，并通过控制器安装在Neutron中的插件，将这些信息同步给控制器。控制器自动化下发二层配置和三层配置：下发二层配置：控制器根据初始化配置时，通过LLDP发现的Host主机与TOR之间的连线关系，在VM上线的Host主机所连接的TOR的对应端口上，下发VM接入配置，如VLAN与BD的映射等。下发三层配置：控制器下发VXLAN三层网关配置，如vBDIF、网关IP地址等，并关联VRF。至此，租户管理员在云平台上不仅创建好了一个VM、配置了其资源并将其上线，同时云平台和控制器相互配合，完成了对VM所使用的网络配置的自动化下发。这使得整个VM上线过程是自动化的。当根据上述流程在云平台上完成业务发放后，部分云平台不