SDN控制器集群中的分布式技术实践-王飓

日期：201409杭州华三通信技术有限公司SDN控制器集群中的2SDN&NFVSDN部署实际案例SDNController集群部署方案以及优化目录SDN架构3SDNServices,AppsNetworkOSNetworkOSSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceProgrammableControlPlaneProgrammableControlPlaneSDN核心理念4成功？控制和转发分离开放的API集中控制SDN的背后5云计算控制和转发分离控制层面可以摆脱对传统网络设备的依赖，迅速发展集中控制方便对池化的资源进行灵活的控制和监管开放的API开放统一的南向和北向接口将催生成熟的产业链要求按需索取，动态管理计算存储网络虚拟化SDNServices,AppsProgrammableControlPlaneControlNetworkOSProgrammableControlPlaneControlNetworkOSSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceSDNServices,AppsProgrammableControlPlaneControlNetworkOSNetworkOSProgrammableControlPlaneControlNetworkOSNetworkOSSDNLanguageSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceSDNNFV6NFV——NetworkFunctionsVirtualizationNV——NetworkVirtualizationVPN——VirtualPrivateNetworkMulti-tenantOverlayVNF——VirtualisedNetworkFunctionsNFVArchitecture7OSS/BSSNFVINFVM&OVNFEMS1EMS2EMS3VNF1VNF2VNF3NetworkHardwareService,VNF&Infrastructure

DescriptionVNFManagersOrchestratorVirtualisedInfrastructureManagerVirtualComputeVirtualStorageVirtualNetworkVirtualisationLayerHardwareResourcesComputingHardwareStorageHardwareOpenStack8YourApplicationsOpenStackSharedServicesStandardHardwareCLOUDOPERATINGSYSTEMAPIsOPENSTACKOpenStackDashboardStorageNetworkingCompute网络虚拟化9网络虚拟化SDNOverlayNFV控制/管理转发/隔离功能/架构云计算需要采用目录10SDN&NFVSDN部署实际案例SDNController集群部署方案以及优化VCF（VirtualConvergedFramework）11IntelligentManagementCenter（iMC）用户上层应用系统服务编排Orchestration(设计&交付)资源管理层资源池化，IT基础服务单元(OpenStackEmbedded)CloudServiceManagement（CSM）NetworkServiceManagement（NSM）融合控制层VirtualConvergedFrameworkController（VCFC）基础承载层CVKFlexServer计算FlexStorage存储OSAppOSOSAppOSUIS端点BYODiNodeEADOpenAPIVDIAppAppVNFOpenFlow网络经典网络vIPSVPNvLBvFWComputeUnitX86hardwarevACvBRASVSREndpointIntelligentCenter（VCF-EIC）CloudIntelligentCenter（VCF-CIC）EndpointServiceManagement（ESM）VCFArchitecture商业模型12VCFRTFWSWLBSWVMVMVMDiskDiskDiskRTFWSWLBSWRTFWSWLBSW

APPDeliveryESM+NSMiMCPlatformNSMiMCPlatformNSM+CSMiMCPlatformEICVCFControllerCICAPPOrientedComm.&Sec.APPProvisionEndpoints/usersNetworkCompute/StorageNetworkNetworkVCFControllerVCFController浙江政务云13……ProvincialGovernmentExtranetInternetPublicCloudGovernmentCloudPublicServiceZone(VirtualPrivateCloud)ProvincialGovernmentCloudMunicipalGovernmentCloudMunicipalGovernmentCloudMunicipalGovernmentCloudPublicServiceZoneSharedZone目录14SDN&NFVSDN部署实际案例SDNController集群部署方案以及优化Controller软件架构15KeystoneRESTAPIshellFrameworkGUIshellFrameworkPostgreSQLAlerts…TopologyAppDevelopmentAuditLogZookeeperTeamingDiscoveryNetConfOpenFlowCassandraOSGiRabbitMQJava(1.7/64bits)OS(Linux64bits)Controller逻辑层次16北向接口层内置应用层基础网络层抽象逻辑层南向接口层UI界面集群管理软件管理配置管理层RestfulAPIL2网络SAL拓扑管理链路管理主机管理连接管理设备管理流表管理报文收发路径计算QoS管理转发管理IPv4协议IPv6协议L3网络Overlay网络服务功能链JAVA/C/C++嵌入式APIBGP/BGP-LS/PCEPNETCONF/XMPPOVSDB/SNMP/CAPWAPOPENFLOW1.0/1.3Overlay处理流程17ControllervSwitch1vm1vm2vSwitch21：packetIn2：SetFlow3：packetOutController的控制能力18ControllerClusterController的处理瓶颈：首包上送的处理能力（路由计算+流表下发）一个Host节点一般有1个vSwitch，可以起20-30个vm，每秒可能产生500个以上的新流500KTPS的性能，对应的上限是1000个Host>1000?ControllerCluster部署方案19LeaderLeaderLeaderRegionMemberMemberMemberMemberMemberRegionRegionTeam管理功能和结构20Team内成员管理Leader选举上报Team事件APP1APP2APP3APP4TeamZookeeperTeam的功能实现21Team内成员管理Leader选举上报Team事件当Team模块通过zookeeper的watch机制感知到集群成员信息变化或leader信息变化时，会给所有加入Team的模块上报事件，其中包括：Team的状态事件（是否可用）、成员的变化事件（加入/离开）和leader的变化事件等。成员进入Team：首先将本成员节点信息保存到zookeeper上，同时设置watch，从zookeeper中读取现有成员信息，其他成员通过watch机制感知成员加入。成员离开Team：成员由于故障或其他原因离开Team，该成员在zookeeper上Session信息会被老化，导致该成员的节点信息被删除，其他成员通过watch机制感知成员离开。leader角色的成员进入Team后，检测Team是否已选出leader，如果leader不存在，触发选举流程，首先从zookeeper中读取出所有成员的信息，根据成员的优先级，从中选出优先级最高的leader，并将该leader信息保存在zookeeper中，其他成员通过watch机制感知leader变化。Team内的HA22BUSKeyStore目标提供数据实时备份功能提供数据批量备份功能HA对App是不可见的，即App使用最简洁的接口完成数据同步BUS23bus通道给应用模块提供了实时消息的分发和接受处理机制，不同APP的bus通道彼此独立。发送的bus消息，实际上就是在zookeeper中创建一个数据节点，其他成员的接收消息的过程是通过watch机制感知到节点变化事件后，将对应节点数据读出来。APP1APP2BUSBUSZookeeperAPP1APP2BUSBUSZookeeperAPP1APP2BUSBUSZookeeperSDNcontroller1SDNcontroller2SDNcontroller3KeyStore24KeyStore机制给新加入的Controller或者新启动的App恢复系统中其它Controller上相同App已经生成的运行时数据。KeyStore实现了一个非常简单的数据库功能，采用Key-Value机制，不支持范围查找，只提供了设置和获取接口，没有通知接口。APP1