新一代金融云网络架构方案设计

1、新一代金融云计算网络架构设计1魏航hangwe,科系统网络科技有限公司议题架构思路方案设计方案总结现有金融应用移植到常规公有云平台的挑战金融应用运行环境的复杂性和异构化，不可能能象移动、游戏业务那样统一化到一种虚机运行环境，这就需要企业云平台对于包括物理机、小机、不同的虚机平台以及Docker等都能提供很好的支持3多平台融合HYPERVISORHYPERVISORHYPERVISOR多业务优化No SQLMPP DatabasesHadoop多云融合自服务自动化金融应用迁移到云计算环境中能否保持与在原有IT架构上一致的体验，包括安全合规、性能、服务质量等等，特别是正在

2、大力发展的大数据、分布式业务未来的企业云平台不可能单一的委托在公有云平台上，也不应当是一个封闭孤立的私有云，而应当是一个开放融合的多云构成的混合云平台传统公有云服务提供的基础架构容器为单一模式应用定制，不符合企业系统要求的应用承载容器的形态和可定制性全企业广度的多厂商异构的资源协调和部署需要有配合IT治理的深度服务内容要与整体IT运维和管理系统整合和定制化自定义门户现有的构造云平台的总体架构IT AdminsIT Operations合作伙伴生态系统End Users自服务门户云服务提供商混合云云服务控制（计算、存储、网络资源整合）基础资源池存储资源控制器计算资源控制器网络资源控制器Cisco

3、 Whiptail其他云其他云其他云应对挑战的关键在于云服务控制的模式和资源池的实现云服务控制（计算、存储、网络资源整合）基础资源池其他云网络资源控制器而云服务控制和基础资源池设计的关键则在适于企业特点的资源承载容器的实现，这样的容器由网络容器的构造方式决定云服务控制的构架思路云服务控制（计算、存储、网络资源整合）现有的云服务控制系统的网络容器难以适应发展需要7基础架构团队（云服务部署者）应用人员（云服务使用者）应用分层应用逻辑关系应用服务质量应用安全要求两个团队，两个语言传统数据中心部署周期长、数据中心结构定制化，矛盾不突出但企业云租户要求的应用容器形态多样、网络策略复杂、敏捷上线和自定制自

4、服务，这就对云系统管理员提出了巨大的挑战TopologySubnet/VLANRouterProtocolL4-7 Servs业内的应对：把应用对网络的复杂需求抽象化通过抽象实现策略与基础架构解耦，云管理员对策略调整时无须关心底层架构8只需直观的把应用对网络的需求抽象化为“组和组之间的”通信需求各类的网络要求都可以被表达为“组和组之间的不同策略所有的表达都与底层的具体实现“无关”将应用对网络的需求从网络的底层实现中抽象出来每个租户在实现自己的应用需求时无须考虑底层网络的具体配置和实现应用对网络的需求抽象出来网络策略基于组实现且包含丰富的内容管理员可自我定制抽象化的网络策略Low level /

5、 Detailed DesignGroup AGroup CService A consumes service B and Service CGroup BGroup AGroup CFirewallOperator / AdminGroup AGroup CAbstract Application APIOpenStack TenantGroup BQoS类型 IL2L3L3类型 IILBL2L3L3类型 IIIFWL2L3L3LBL2L3FWLBLBPublic ZonePrivateZone 1L2L3FWLBPrivateZone N类型 VL3L2类型 IVL2L3FWLBLBFW

6、ProtectedBack-EndProtectedFront-EndL2L3类型 VIL2L3L3FW传统云服务控制对提供的是“传统网络容器”的服务构建新的Virtual Private Cloud (VPC) 过程复杂，不具备运维敏捷性构建新服务的时候要准确的定义网段、VLAN和地址，不同安全域网段不能重叠 构建新服务的时候要要根据网段、地址进行策略，每一次架构变化都需要重新调整策略?业内最新的发展认为应提供全新的“云网络容器”构建新租户网络更加快捷，运维更为简单把应用需求抽象化为组和组之间的策略，管理员无须关心网络通信的细节，关注的是应用需求组内可以容纳各种网段和地址，管理员无须关心组之

7、间的策略与网段、地址等基础架构无关，只与应用逻辑相关组策略比基于地址的策略更为精简，更接近用户应用视角维护抽象化后的“组”显然比维护零散的“网段、地址、路由器、L4-7层设备”更简单“组策略”抽象化后与基础架构解耦，更反映租户应用需求更适于云计算平台的需要根据不同租户需求快速构建各类网络容器（抽象化的组策略）因而比传统网络容器更适于云租户的应用性质：即配合不同租户、不同业务类型构造不同种类容器，并且还能够快速上线、敏捷部署、简化运维、提高资源利用效率的场合而传统网络容器则只是比传统网络多了网络虚拟化功能而已，只适合数据中心的非云租户类的应用资源灵活放置、快速上线、高效复用“组策略”抽象化的条件

8、1：“组策略”的云服务控制层OpenStack的Group Based Policy（GBP），一些商用化云服务控制系统，比如UCSD12/wiki/GroupBasedPolicyCisco UCS Director (Formally Cloupia)“组策略”抽象化的条件2：“原生GBP网络”13/view/Group_Policy:MainDesigned by Big Switch, Cisco, IBM, Juniper,Midokura, Nuage Networks, One ConvergenceCisco ACIALU Nuage开箱即用的UCS Director开箱即用（

9、Out-of-the-Box）免编程固定云系统软硬件配置，包括原生GBP网络（ACI）和传统网络“自定义工作流”或“自定义应用容器”使用自带或第三方门户14GBPNetworkTasksStorageTasksVirtualServerTasksPhysicalServerTasksAnd MoreAPIsSDKsetc.1500+Overall TasksOut-of-the-Box (UCSD 5.3)1234NOrchestration WorkflowUCSDirector14183Tasks for GBP Network (ACI)Out-of-the-Box (UCSD 5.3)

10、开源的云服务控制系统：OpenStack15月度参与企业累计开发人口OpenStack GBP同时支持传统网络和原生GBP网络16Group PolicyCLIHorizonHeat其他用户自定义或自行开发的云管理工具Neutron DriverNeutronAny Existing Plugins and ML2 DriversNative Driver12Neutron Driver 把Group Based策略转换为以传统的Neutron API方式的调用，这样可以支持现存的几乎所有Neutron Plugin和ML2 Driver现有OpenStack支持的所有传统网络12Native

11、 Drivers 实现对已经支持Group Based策略的基础架构的调度，包括OpenDaylight，OVS，Cisco ACI, Nuage Networks, 和One Convergence等等原生支持GBP的网络ACI两种GBP云服务控制系统的比较17支持GBP的开源系统支持GBP的商用系统典型代表OpenStack GBPCisco UCS DirectorGBP支持是是代码开源是否工程开放性中开源代码在工程中必须定制，影响了跨厂商兼容性中通过丰富的北向API和对第三方的标准协议提供更工程化的开放性编程定制化强中多厂商支持强中固定的系统搭配方案系统稳定性不稳定Bug、安全漏洞较多

12、，版本碎片化稳定厂商成熟的互操作搭配和服务保证使用便利性复杂，需要大量二次开发成熟产品，开箱即用服务无靠多家第三方和二次开发商，服务协调难度大有统一厂商服务功能差社区版功能简单，需要大量定制开发丰富功能完整丰富，包括Bare Metal、L4-7功能等等适用行业举例大型运营商大型互联网企业大型银行进行自研云系统的试点测试企业中小规模的生产业务云计算系统一般企业要求快速投产的云计算系统云基础资源中的网络架构思路其他云网络资源控制器理论上任何网络都可以支持基于GBP的云服务控制层，但要想更好的发挥GBP网络容器的优势，则需要新一代网络架构的支撑为什么需要新一代网络架构传统架构的问题：19虚机厂商的

13、虚拟化网络追求软件灵活性缺乏硬件性能和管理2传统网络厂商架构追求硬件性能缺乏效率和灵活性1传统SDN网络3追求集中控管缺乏应用策略和GBPSwitchControllerSwitchSwitchSwitchOpenFlow Protocol传统网络架构的问题：片面提高硬件性能却难以实现云计算的资源池和多云扩展性按传统企业数据中心构架云数据中心难以实现云计算所需的“可扩展的二层环境”传统的大二层技术（生成树、TRILL、VXLAN等）存在多种弊病20VLAN组1L3L2VLAN组2VLAN组3环路不稳定无负载均衡不能横向扩展脑裂网关问题广播洪泛，导致不可扩展、差错率高、不稳定1NG Fabric

14、形成动态可横向扩展的资源融合架构21环路不稳定无负载均衡不能横向扩展脑裂网关问题广播洪泛，导致不可扩展、差错率高、不稳定NG Fabric需要一种全新的下一代Fabric技术（NG Fabric），改善现有的大二层技术增强的TRILL增强的VXLAN实现云计算资源池所需的按需弹性扩展，但没有二层广播、组播和单播洪泛等问题1NG Fabric消除云之间的资源竖井（混合云）22企业云云提供商Cloud A云提供商Cloud B将二层网络以及相应的网络策略延展到公有云，使用二层加密通道按需自动将VM按目标运营商网络环境进行格式转换和驱动安装在公有云环境下生成新的VM，并且继承企业原有的安全策略按需收

15、回VM按需自动将VM的格式和驱动转换回私有云内原有的格式和驱动提供给用户在多个云之间灵活的选择，形成多云混合自动进行VM格式转换和驱动适配Key Value Props of ICF for Business计算负载弹性延展到不同的云，且保持企业策略全局一致自动进行VM格式和驱动转换，提高灵活性按需收回计算量，高效经济提供多云选择，实现Build Once Run Anywhere1传统主机Overlay架构的问题：重视资源虚拟化却忽视异构平台的性能和可视化管理No SQLMPP DatabasesHadoop?79%Source: Gartner http:/id=2210316Multi-

16、HypervisorPhysicalMachine2NG Fabric软硬件混合的Overlay技术解决问题一方面采用软件Overlay技术解决灵活性，另一方面利用硬件解决服务质量和策略一致性2479%Source: Gartner http:/id=2210316Multi-HypervisorPhysicalMachineHYPERVISORHYPERVISORHYPERVISORNo SQLMPP DatabasesHadoop基于网络硬件的Overlay技术保持硬件网络的高性能提供虚拟网络的灵活性NG Fabric to deny TCP 445 to deny TCP 445 to

17、deny TCP 445 to deny TCP 445 to permit TCP 8080 to permit TCP 8080 to permit TCP 8080 to permit TCP 8080deny allDBEPGWEBEPGAPPEPGWeb EPG to App EPG:deny TCP 445permit TCP 8080deny allFabric智能 + L4-7服务自动串接(多厂商、多平台、分布式、负载均衡) APP EPG2应用的可视化：传统网络虚拟化技术遮蔽了应用的可视化252应用的可视化：NG Fabric软硬一体Overlay技术提供了透过Overlay

18、层直达硬件的可视化HYPERVISORHYPERVISORHYPERVISORHEALTH SCORELATENCYDROP COUNTVISIBILITYVMsPhysicalApplication Delivery ControllerFirewall96%Microsecond(s)Packets Dropped525 73PayloadIPeVXLANiVTEPVNIDFlagsPolicyGroup应用标识和测量标识2应用的可视化：基于应用的健康分值的进行自动化资源调整HEALTH SCORELATENCYDROP COUNTVISIBILITYVMsPhysicalApplicat

19、ion Delivery ControllerFirewall2752%Microsecond(s)Packets Dropped10350 96%525 1682应用的可视化：应用级故障定位和云租户视角管理2NG Fabric管理员基础架构团队（云服务部署者）TopologySubnet/VLANRouterProtocolL4-7 Servs两个团队，两个语言应用需求到基础架构部署周期长，变更慢基础架构对应用需求不可见，无法优化和可视化应用人员（云服务使用者）应用分层应用逻辑关系应用服务质量应用安全要求?3传统SDN网络控制的问题：不支持面向应用策略的网络配置SLAQoSSecurityL

20、oadBalancingAPPLICATION NETWORK PROFILESLAQoSSecurityLoadBalancingAPPLICATION NETWORK PROFILEADCappdbf/wADCWEBHYPERVISORHYPERVISORHYPERVISOR连接策略WEB组由构成只能访问APP组只能被Outside组访问安全策略Web访问App必须通过ACLACL策略为QoS策略Web到App带宽最低保证1G流量优先级为1丢弃优先级为0L4-7服务Web到App需要经过负载均衡负载均衡策略为用“合同”（Contract）连接起来3采用“应用策略架构控制器”（APIC）：应

21、用策略天生就是组策略（GBP）APIC追求软件灵活性缺乏硬件性能基于主机的虚拟化2传统网络架构1追求硬件性能缺乏效率和灵活性传统SDN控制3SwitchControllerSwitchSwitchSwitchOpenFlow Protocol追求集中控管缺乏云应用视角新一代云计算的网络架构总结云应用策略控制器自服务、自动化继承集中控管能力且具备GBP组策略ComputeComputeStorageStorageServicesServicesL2,L3ProgrammableAutomation软硬结合的虚拟化多平台融合、业务优化继承Overlay虚拟化且提高应用性能和可视化NG Fabric

22、资源池、多云融合ComputeComputeStorageStorageServicesServicesSpine SwitchesL2,L3Leaf SwitchesNG Fabric继承硬件自身特性且实现资源池化和弹性Underlay新一代网络架构的实现：采用第二代SDN技术32ControllerPolicy CPFabric CPPHYPHYPHYPHYControllerPolicy CPFabric CP软硬结合一体化OverlayOpenFlowOVSDBNetConf开放的网络协议开放的策略协议策略控制器NGFabric第一代SDN硬VTEP软VTEP硬VTEP软VTEPFab

23、ric和Policy紧耦合：导致控制器集群机制复杂，稳定性下降；顾此失彼导致Policy CP功能单一，没有组策略能力Overlay和Underlay失联：整体性能和服务质量受影响；无法提供关联可视化，运维风险高Overlay技术不统一：功能不一致（比如网关、策略执行）；依赖Host Overlay（性能差，与系统版本高度耦合，难以维护）第二代SDNFabric和Policy松耦合：控制器只负责策略，NG Fabric自带Fabric控制能力，因而可靠性高，策略功能丰富（支持GBP）Overlay和Underlay一体化：性能高，服务质量好，上下关联可视化，易于运维管理和故障诊断Overlay

24、技术统一：功能全局一致（比如网关一体化、统一策略）；不依赖Host Overlay（性能高，与系统类型完全解耦，易于维护）第二代SDN技术的两种实现形态开源定制化产品，如：Cisco VTS/BGP/EVPN，OpenDL/OpFlex定制自由度大，但需要大量开发自身功能简单，如：缺少GBP（需要另行开发）、健康可视、网络管理、可靠性、安全性和性能优化等产品成熟性差，运维和稳定性高度依赖开发团队33成熟商用化产品，如：Cisco ACI, 阿朗Nuage, OneConvergence内置功能丰富，带有丰富GBP网络容器、健康可视化、网络管理、服务质量、安全性、可靠性优化等功能基本开箱即用，提

25、供丰富的北向编程接口实现SDN商用产品成熟，运维有高度专业化团队策略控制器NGFabricOTT运营商金融企业ACI兼顾开源系统的开放和可定制能力，商用系统的成熟性、稳定性和可靠性服务34传统开源系统传统商用系统ACI代码开源私有开源和私有结合OpenDL，GBP，Device Package等开源，iNXOS内置协议开放私有开放OpFlex、BGP/OSPF、LLDP等编程定制化可定制不可定制可定制基于策略的SDN定制编程能力系统稳定性不稳定Bug、安全漏洞多，版本碎片化稳定厂商保证稳定厂商保证使用便利性需要二次开发成熟产品，系统集成成熟产品，系统集成服务无靠第三方和二次开发商有厂商服务有思

26、科服务功能基本一般面向开发者的通用版本丰富厂商根据目标用户已做优化丰富比如应用到底层的健康关联分析典型例子OpenFlow SDNIBM大机系统ACI，互联网（商用产品为主，靠开放协议集成的开放系统）新一代网络架构的实现APIC Open REST APIs Support Integration With Any SoftwareOpFlex: Open Fabric Attached Device API Supports Integration with Any Network Device Automation Enterprise MonitoringSystemsManagemen

27、tOrchestrationFrameworksOVMHypervisor ManagementApplications北向南向Openflow, 3rd party switches, 商用化的ACI同样具备开放性和完善的生态全企业广度的多厂商异构的资源协调和部署需要有配合IT治理的深度服务内容要与整体IT运维和管理系统整合和定制化自定义门户设计思路总结IT AdminsIT Operations合作伙伴生态系统云服务控制（计算、存储、网络资源整合）End Users自服务门户云服务提供商混合云基础资源池存储资源控制器计算资源控制器Cisco Whiptail其他云其他云其他云网络资源控制器

28、网络容器：抽象化组策略模型，与底层架构解耦系统选型：OpenStack或商用化系统NG Fabric：弹性延展，稳定可靠软硬结合Overlay：兼顾软件灵活性和硬件性能，实现管理可视化组策略控制器：基于应用策略需求的原生GBP实现方式：开源定制或成熟商用的第二代SDNNG FabricUCS Director议题架构思路方案设计方案总结金融系统云计算的总体发展方案不是所有的金融IT资源都适合“云化”优先云化资源弹性需求较高的部分全渠道互联网业务大数据智能虚拟化计算（Application/Web Server）保持一些资源需求固定的业务不变大机、Core Banking数据库、但云化的网络却适

29、合于所有金融IT资源云化的资源需要云化网络作为基础平台非云化的资源也能在云化的网络上得到更稳定的二层、更优质的服务质量、更可视化的管理以及基于应用策略的自动化等好处因此，云计算建设由点到面，网络平台建设要则要全面考虑！38全企业广度的多厂商异构的资源协调和部署需要有配合IT治理的深度服务内容要与整体IT运维和管理系统整合和定制化自定义门户（面向最终云使用者）云化部分所推荐的宏观架构IT AdminsIT Operations合作伙伴生态系统云服务控制（面向云服务管理员）End Users自服务门户云服务提供商混合云基础资源池存储资源控制器计算资源控制器Cisco Whiptail其他云其他云其

30、他云网络资源控制器定制化基础服务：KeyStone, Nova, Glance, Cinder, Swift, GBP/Neutron.定制化编排和服务展示：云服务编排, 云服务资源健康检查、管理和诊断,NG Fabric云化网络的建设：不仅仅为云提供支撑，目标是为整个数据中心提供服务其他云网络资源控制器NG Fabric云化的网络：“以网络为中心”和“以应用为中心”APIC以应用策略为中心以网络策略为中心只实施NG Fabric，保持现有IT运维体制适于兼容现有产品、应用部署方式传统Nexus 9500,9300,7700,7000,6000,5000,4000,3000,2000,1000

31、,外连兼容各厂商网络Nexus 9500,9300,2000,1000,外连兼容其他Nexus及各厂商网络资源融合应用优化业务自动化资源融合应用优化业务自动化使用新产品，IT运维体制的革新适于要求敏捷应用开发的创新云业务部分产品软件升级APPF/WL/BWEBl/bDBAPPF/WADCWEBADCDBNG FabricDCNMVTS / NSO*APIC企业的网络云化演进路线网络策略网络策略网络策略应用策略产品：传统N2kN7kProgrammable API（无集中控制）或控制器：DCNM / VTSNG Fabric：Enhanced FabricPath / VxLAN产品：高性能N9

32、k控制器：VTS / NSONG Fabric：Enhanced VxLAN产品：高性能N9k控制器：APICNG Fabric：ACI (Enhanced VxLAN)产品：高性能N9k控制器：APICNG Fabric：ACI (Enhanced VxLAN)传统产品SDN高性能SDNACISDNACISDN硬件升级软件升级*CY2016Q2应用梳理某银行的云计算网络设计路线按照扩大资源池的要求进行分区的重新归并归并后对弹性需求较多的生产区进行云化网络的改造（使用ACI）Extranet接入1Extranet接入2安全控制安全控制安全控制安全控制Extranet1Extranet2主机生产

33、业务B安全控制安全控制生产业务A前置3安全控制生产业务C安全控制前置2安全控制安全控制办公业务安全控制网管1安全控制广域网区核心骨干网分行2分行1主网银备网银安全控制安全控制InternetInternet安全控制灾备中心安全控制网管2安全控制前置1安全控制高速交换核心安全控制安全控制Extranet1Extranet2外联接入区生产核心区（传统）网管办公区广域网区分行2分行1安全控制安全控制InternetInternet网银区高速交换核心多中心前置1生产业务B安全控制安全控制安全控制安全控制生产业务C前置2前置3办公业务网管1承载网广域模块安全控制主网银备网银Extranet接入1Extr

34、anet接入2网管2主机生产业务A生产核心区（开放）安全控制安全控制安全控制安全控制安全控制安全控制安全控制安全控制安全控制某银行的技术路线具体规划NG Fabric关键生产业务切片（ACI的一个Tenant，执行网络策略）使用ACI构建NG Fabric使用现网1:1映射到ACI NG Fabric获得ACI绝大部分收益，包括服务器灵活摆放弹性扩容、稳定可靠性大二层、应用高性能高服务质量、虚机网络统一管理、上层到底层关联分析可视化、策略化运维管理、自动化运维管理、兼顾开源与商用化优势等等只损失以上收益中与应用感知相关部分，比如关联分析是Overlay/Underlay而非应用/Underla

35、yAPICAPPF/WL/BWEBl/bDBAPPF/WADCWEBADCDB云计算试点业务切片（ACI的另一个Tenant，云计算服务）在以上ACI中构造特定租户切片用以实现应用策略和云计算服务在租户切片上试点特定应用的应用策略控制服务挑选历史负担轻、要求敏捷性高的互联网+应用未来逐步平滑过度现有应用，比如：优先迁移有应用架构重构需求的应用共用同一个Fabric，可以同时共存且通过核心层三层互连，平滑迁移LeafSpine该银行开放平台生产业务区的整体物理架构存储层SAN MDS 9500FC/FCoE/IP Storage计算层Layer 3Nexus 9500Nexus 7700全网核心

36、其他分区/WANdVSwitch/AVCVirtual MachineUnified ComputingAPICSAN/iSCSI/Nexus 9300Service Border LeafNexus 9300Compute Leaf另一种云网络建设方式安全控制安全控制Extranet1Extranet2外联接入区生产核心区（传统）网管办公区广域网区分行2分行1安全控制安全控制InternetInternet网银区高速交换核心多中心前置1生产业务B安全控制安全控制安全控制安全控制生产业务C前置2前置3办公业务网管1承载网广域模块安全控制主网银备网银Extranet接入1Extranet接入2网

37、管2主机生产业务A生产核心区（开放）安全控制安全控制安全控制安全控制安全控制安全控制安全控制安全控制安全控制公共云资源池保持现网不变，另外开辟新的公共云资源分区，与现网通过三层高速核心互连云分区内试点下一代SDN，试运行云服务系统为其他需要弹性资源的功能区提供云服务资源（IP可达即可）未来考虑将下一代SDN逐步复制到全网云服务控制层的设计云服务控制（面向云服务管理员）定制化基础服务：KeyStone, Nova, Glance, Cinder, Swift, GBP/Neutron.定制化编排和服务展示：云服务编排, 云服务资源健康检查、管理和诊断,云服务控制系统演进路线传统网络容器GBP网络

38、容器VMware等虚拟化平台传统纯软件化网络容器无云服务控制系统OpenStack功能发展完全成熟，逐步取代商用化功能用户掌控云服务控制的全部代码，完全根据需求定制计算虚拟化GBP商用化系统OpenStack GBP+GBP商用化系统OpenStackGBP云试点异构云*CY2016Q2全自主化GBP网络容器GBP网络容器商用系统和OpenStack融合基于统一的GBP策略OpenStack作为服务控制主体OpenStack不支持的特性（L4-7层、物理服务器部署等）使用商用化补充采用商用化云服务控制实现GBP的网络容器例：UCS Director/Cloupia云服务控制层的整体架构（网络视

39、角）Group Policy3rd Party DriverAPIC Native Driver用户自定义门户：最终用户门户，租户运维门户，厂商提供的OpenStack运维门户（或API）：云服务编排设置, 云服务资源健康检查、管理和诊断,VMwaredvSwtichKVMOVSKVMOVSL4-7层设备LocalVLAN/VXLANLocalVLAN/VXLANLocalVLAN/VXLANLocalVLANACI Fabric用户视角的云网络容器和ACI底层实现的对应关系采用ACI内的Tenant实现采用Application Profile，也称为该租户的一个VPC（Virtual Pr

40、ivate Cloud）采用ACI的EPG，是共同网络策略的集合对应ACI的Subnet，在ACI内可以做到跨网络组，甚至可以跨网络容器，与基础架构解耦就是EPG内的End Point，只不过ACI的End Point更加广义，不仅包括虚机，也包括不同平台的虚机、物理机、小机等等。实际一个机器的不同接口或子接口可以作为不同End Point看待用户视角的云网络容器模型ACI在网络层面的实现方式租户网络容器：安全域内为应用单独设置的虚拟网网络组：网络容器内具备相同策略的云主机集合，可包含多个子网子网：IP网络的Subnet，利用IP网关实现路由互连云主机：云内的计算单元，虚机是常见形式，可跨多个

41、网络组安全域：租户内设定的可由防火墙隔离的区域采用ACI的VRF实现，安全域之间的访问需要通过防火墙等安全机制设计实现1：云管理员快速创建租户和网络容器包括创建租户、VPC、Domain、Subnet和策略2、APIC Group Driver操作APIC控制器将管理员绘制的网络容器设置在ACI上1、根据需求，云管理员在Portal快速方便的绘制新的网络容器3、管理员可灵活改变基础架构属性，比如包含的子网和网关等，网络容器不变（即基础架构解耦）设计实现2：云用户创建并配置云主机3、APIC通过OpFlex Proxy（Leaf内）来控制OpFlex Agent（Hypervisor内），后者操

42、作OVS把对应虚机按网络容器要求打VLAN或VXLAN标记（标记只有本地意义，可复用）4、ACI Fabric ToR正确理解边缘所打的VLAN/ VXLAN标记，映射到已经设好的ACI的EPG内，从而使云主机成功加入网络容器，得到网络云服务1、用户在Portal通过Nova创建并配置虚机2、用户在Portal把该虚机装入网络容器和网络组5、该方法可用于将任何虚拟平台和物理机装入网络容器，兑现前文所述网络策略与计算节点类型位置无关。推荐边缘采用VLAN标记作为进入网络容器的识别，因为其封装开销小、效率高。设计实现3：网络策略的实现两级策略：第1级是网络管理视角，第2级是系统管理视角(第1级)网

43、络组策略：云网络管理员构建网络容器时就已经把网络视角的基本组策略建立完成了，包括：基于组的ACL、QoS、L4-7服务等等(第2级)主机策略：作为网络组策略的补充，云系统管理员还可以从主机视角设置“安全组”，提供以主机为单位的各种网络策略，在创建云主机时选用。该功能包括流量管控、QoS标记、ACL等，是在Hypervisor层面实现的功能3、用户可通过APIC控制器或Portal对L4-7设备策略进行集中控管，并且APIC有动态对智能策略进行调整的功能设计实现4：网络策略中的L4-7层服务54防火墙、负载均衡等智能服务设备（无论是物理还是虚拟的）可放置在任意位置，形成服务池APIC直接支持的产

44、品包括Cisco、F5、Citrix、Checkpoint、Palo Alto、Enbrane、RADWARE、及网络功能虚拟化版本如果没在APIC支持列表内的其他第三方服务设备，在开源社区提供开发组件，实现定制化开发不希望被APIC控制或在Fabric以外的L4-7层设备，ACI提供快速串接入服务链的外部接口，人工或通过定制开发实现服务串接和策略管控在即将的Kilo版本中OpenStack将增加直接通过Native GBP完成服务链的定义和L4-7设备的管控新Serveradd server EP-1 add service web-service-1 HTTP 80bind lb vser

45、ver vserver-web web-service-1unbind lb vserver vserver-web web-service-1rm service web-service-1 HTTP 80rm server EP-1 VPC-0001Web组 VPC-0001外部组Func: FirewallFunc: SSL offloadFunc: Load BalancerService Graph: “web-application”1、基础架构管理员构想L4-7层服务链条，通过管理员Portal驱动第三方Driver（本案例为UCSD/ Cloupia）提供的工作流完成“服务链”

46、的定义2、云管理员在Portal的组策略中引用定义好的“服务链”设计实现5：云服务的对外交互云内不同网络容器之间的交互55网络容器VPC-0001网络容器VPC-0002边界网络组A边界网络组BA的出策略B的出策略网络容器的互访可将自己对外展示的服务放到网络组策略内（图中的出策略）网络容器引用对方的出策略即可完成互连在本方视角里，对方的网络容器被充分抽象为对方的组策略，引用即可，无须关心其内部细节双方共同制定互访策略，策略分工清晰，易于自助管理策略不仅管控互访的地址，也可管控互访的方式，比如允许的应用类型、带宽、插入L4-7层服务等等双方网络容器的地址如有重叠，需通过双方的策略中引用L3或L4

47、-7层设备来进行NAT实现互访设计实现5：云服务的对外交互（续）混合云InterCloud Fabric/DCI实现网络容器的通信延展56多种手段提供具备租户感知的二层、三层Fabric延展，比如图示的VXLAN/BGP-EVPN方式与知名公有云的二层、三层Fabric延展与内部其他私有云之间的DCI互连 APICICF DirectorICFProviderPlatform设计实现5：云服务的对外交互（续）混合云InterCloud Fabric Director/Provider Platform实现网络容器的策略延展57 APICICF DirectorICFProviderPlatfo

48、rm设计实现6：SDN控制器将Overlay/Underlay相结合的复合监控管理通过直接展示或提供API调用给Portal用户可获得最全面的云平台网络健康状态可视化、诊断与管理网络容器传统视图网络容器组成部分的故障追踪Fabric物理拓扑网络容器/网络组策略视图和健康展示面板状态ToR交换机节点间流量热点分析网络容器内部或之间流量热点分析在底层基础架构上进行故障追踪设计实现7：利旧系统的整合利旧网络利旧网络利旧网络利旧网络利旧网络利旧网络需要利旧网络支持二层VLAN或VXLAN延展如果要支持OVS/dvSwitch协调管控，利旧网络需支持LLDP透传，否则须在APIC上启用VMM Pre-P

49、revisioning模式，或手工配置compute-hostname=module-id.node-idGroup Policy3rd Party DriverAPIC Native Driver议题架构思路方案设计方案总结总结云服务控制系统：网络容器：抽象为组策略GBP，与底层架构解耦系统选型：短期适于商用化系统（如UCSD），OpenStack作为长期演进目标下一代SDN：NG Fabric：弹性延展，稳定可靠软硬结合Overlay：兼顾软件灵活性和硬件性能，实现管理可视化GBP策略控制器：新一代SDN控制方式，稳定可靠，原生GBP实现方式：开源定制SDN，成熟商用SDN非常感谢！关于开源开放的辩证比较传统SDN（OpenFlow控制器 + Overlay