h3copenstack简介较全面通信技术

OpenStackOpenStack计算组件对象组件镜像组件网络组件验证组件Dashboard组件OPENSTACKOPENSTACK：先看看AWS通过Web管理一切服务 ：AWS产品(服务)进展MoreDetail: ：AWSS3相关数据TotalNumberofObjectsStoresinAmazonOpenStack CloudFiles=> Nebula=>

0

Essexcreatedby>200Developersfrom55companiesOpenStackEssex OpenStack历史版

OpenStack应用案

HP

测测

Wikimedia

SDSCSDSC环NASA

Ebay/

OpenStack设计原Scalabilityandelasticityareourmain（可扩展性和伸缩性是我们的主要目标AnyfeaturethatlimitsourmaingoalsmustbeEverythingshouldbeasynchronous，Ifyoucan’tdosomethingasynchronously,see（所有的环节必须是异步的，如果不能异步实现，参考第二条设计原理Allrequiredcomponentsmustbehorizontally（所有的基础组件必须能横向扩展Alwaysusesharednothingarchitecture(SN)orsharding，Ifyoucan’tnothing/shard,see（始终使用无共享的架构，如果不能实现，参见第二条（所有的都是分布式的，尤其是逻辑。把逻辑放在状态应该存在的地方Accepteventualconsistencyanduseitwhereitis（接受最终一致性，并在适合的条件下使用模型与OpenStack

Nova-

Nova-

Nova-

OpenStack目前组Swift•Horizon•Quantum• Atlas-LBBurrow(QueueRedDwarfMore

OpenStackOpenStack计算组件对象组件镜像组件网络组件验证组件Dashboard组件OPENSTACKOPENSTACKLibvirtXen在内的各种虚拟化平台提供一套方便、可靠的编程接口，支持与CJava,Perl,LibvritTheKVM/QEMULinuxTheXenhypervisoronLinuxandSolarisTheLXCLinuxcontainerTheOpenVZLinuxcontainerTheUserModeLinuxparavirtualizedTheVirtualBoxTheVMwareESXandGSXTheVMwareWorkstationandPlayerTheHyper-VVirtualnetworksusingbridging,NAT,VEPAandVN-StorageonIDE/SCSI/USBdisks,FibreChannel,LVM,iSCSI,NFSandMoredetail:NovaNova并不提供虚拟化功能，但通过libvirtAPI可对如下虚拟化平台进行管KVM-Kernel-basedVirtualLXC-LinuxQEMU-QuickUML-UserModeVMWareESX/ESXi4.1updateXen-XenServer5.5,XenCloudPlatformHyperNova一个project就是一组被的资源的组合，通常一个project都具有单独的一个project一般都有自己的限制卷总空间的大小可运行VM公网IP为了和EC2保持一致，project也叫tenant，也就是说在OpenStack两者Nova基本概念角 范 职限IT 运行/终止VM分配公网IP(不一定 Nova-nova-nova-api(APIserver/APInova-api组件实现了RESTfulAPI功能，是外部Nova的唯一途径。nova-api接收外部的请求并通过MessageQueue将请求发送给其他的服务组件，该组件也兼容EC2API，所以也可以用EC2的管理工具对nova进行日常管理。EC2-nova-EC2REST --vCenternova-volume和MessageMessageNova使用的是一种“shared-nothingmessaging-based”架构，组件间通过消息队列进行通信。只要支持AMQP协议的任何MessageQueueSever都可以作组组件2.发送消(接收者ID操作对象3.接收者按获取与自相关的消组件4.按对象ID获取对1.创建/修改对nova-中选择一个计算节点用于启动新的VM实例，其步骤主要有两选取最终节点的算 描分∑(costi*weigthi)ChanceSimpleMultinova-schedulerNova调度时使用的过滤过滤 描不过滤，即全部节点均被命指定区满足模板参数的CPU核数满足条件的RAM满足条件的一组实例不能存在于同一节和同组中的其他实例存在于某部分节点仅保留给某根据IP地址范围选择nova-floatingFlatFlatNetwork 计算节点

计算节点

FlatDHCPNetwork计算节点 计算节点 计算节点 VLANNetwork

计算节点

桥。为了让用户自己的Project，系统会自动为每个租户创建一个实例，通过该，用户可以从Internet自己Project中的资源

计算节点

VLANNetworkManagerOPENSTACKOPENSTACKOPENSTACKFloatingIPs和SecurityFloating安全组安全组安全组HTTP,FTP,Ports1-安全组FindAddIPaddresstopublicnetworkinterfaceoftheNATtingallnetworktraffic sociatedfloatingSecuritygroupisanamedcollectionofnetworkaccessrulesUsercanselectmultiplesecuritygroupsduringIfnosecuritygroupsspecified-defaultisSecuritygroupsareappliedonthehostThemechanismonlyprovidesingressfilteringdoesnotprovideanyegress使用nova-network的XaaS SwiftGlancenova-network计算服务与网络服务强耦合，与OpenStack的本意不OpenStackisacollectionof“cloud支持的网络服务十分有限，而且可扩展性很NovaprovidesonlybasicVLANsareonlyoptionforUsedsimpleLinuxBridge(noadvancedQoS,ACLs,or“networkcontroller”nodeiscentralizedsingle-pointoffailurefor对多厂家、不同技术支Notenantcontrolof…MoreOPENSTACKMoreOPENSTACKThe“CloudController”clusterisresponsibleformanagingtheglobalstateofthesystem.ItinteractswithLDAP(notThe“CloudController”clusterisresponsibleformanagingtheglobalstateofthesystem.ItinteractswithLDAP(notshown),OpenStackObjectStorage,andOpenStackCompute.OpenStackObjectStorageandOpenStackComputepackagescontainacentralizedpiecethatusuallyrunsCloud左图的OPENSTACKOPENSTACK区(ZoneZoneZoneRabbitmq-server、数据库、APIServer.Hostsinahuddlezone:<200VMsinahost:50~60Totally200*200*50200A:APIA:APIS:SchedulerServiceN:NetworkServiceV:VolumeServiceC:ComputeService工作MoreDetail:Nova服务架①Web

④③

API

⑥

⑤Computewo

NetworkOPENSTACKOpenStack计算组件对象组件镜像组件网络组件验证组件Dashboard组件OPENSTACKOPENSTACKStorage BlockSAN,NAS,FileExt3/4,XFS,PC,Servers,ObjectAmazonCloudRackspaceCloudOpenStackSpecificSpecificbasedonMySQL,MongoDB,对象主要解决问对象克服了NAS(可扩展性差)和SAN(不容易安全地共享数据)的缺点、综合了二者的优点，即：同时具有SAN的高速直接和NAS的数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的体系010123456789对对对对对对对传统的块 对象对象系统组对象元数元数客户元数务器文件系元数据服务器(Metadata网络连对象：对象对象的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的中，块设备要记录每个数据块在设备上的位置。Object自己的属性，从而简化了对象：对象设备 系统的。OSD与【块设备】的不同不在于介质，而在于两者提供的接口。OSD的主要功能：数据和安全供对数据的。每个Object同传统的文件相似，使用同文件类似的了整个系统的并行 对象：文件系举例：文件系客户端应用发出读请求文件系统向元数据服务器发送请求，获取要的数据所在的然后直接向每个OSD发送数据请求式，对客户端进行认证，如果此客户端得到，则将Object的数据返回对象：元数据服务器 系、每个文件所对应的OSD在对象系统中，由于每次操作只有一次对元数据的，具体的数某用户有N台服务器(Node)，打算用于、文件等对象存要求1：为使每个节点的负载尽要求2：为了满足要求1为实现上述要求，通常使用第二步：计算KeymodN

举例1：5个对象在2个节点12345结论：增加50%的，移动了80%的数据即为要存放该对象的节 一致性哈希算法：(续举例名对象数百分比每节最多最少对-结论：增加集群1%的空间，需要移动99%的数据，系统可扩展性太差

0/键计算计算计算计算计算首先求出每个节点(求出需要对象的从对象到的位置对于例子2：增加一时需要移动个对象，约50% 到节 的品，一个实际节点对应了若干增删物理节点时，改变的是虚拟点和物理节点的关系，移动的是对象而是虚拟对于例子2：增加一个节点时需要动90108个对象，约

0/

一致性哈希算法：Replica&能无法响应用户请求，因此引入了Zone概念以对服务器的物理位置进行。总结了保证服务器的物理(分区性)。MoreDetail: SwiftSwift的目的是使用普通的硬件来构建冗余的、可扩展的分布式对象群，容量可达PB(1000TB)级义上的文件操作命令，如openreadwrite(),seek(),和close()NoFileLockingNoDirectoryHierarchies：没有文 Noobjectsizelimit(1B1byteSwiftSwift提供的服务与AWSS3基本相同，可以用以下用途作 的服需要长期保存的数据，例如的，缩略…Swift基础Ring用于记录对象与其物理位置间的关系。Account,Container和Object均Ring通过区(Zone)、设备(Device)、虚节点(Partition)和副本(Replica)上述的关系。Ring中的Partition默认情况下会被三份在集群中的不同Zone中，这些位置信息会保存在Ring表中。 … &Swift基础RingLoadRingLoadStorageStorageStorageStorageStorageStorage象时，ProxyServer会通过 Swift基础ObjectServer就是一个简单的BLOB服务器，可以、检索和删除保存在本地设备上的对象。在ObjectServer中，ContainerServer是节点中负责处理Container的GET、ContainerServer使用的数据库文件保存Container的AccountAccountServer是节点中负责处理对Account的GET、AccountServer使用的数据库文件保存Account的相Swift基础因为每个对象在系统中都保存了多份，所以进程会将本地的数据与每个远端的副本均进行比较，以确保这些副本均为的版本；如果发现某个副本需要更果审计进程发现了坏数据，首先会将该文件进行，然后启动进程用远端 节节 Swift修改一个Swift点列表（长度为从Swift中获取一个点列表（长度为Swift组网如何使用获取系统account,container,objects的统计信获取容器mycontainer的统计信获取容器mycontainer中对象abc123.txt的统计信列出account中的所有容如何使用列出容器mycontainer中的所有将文件‘abc.txt’和‘xyz.txt’上传到容器所有容器中的所有容器mycontainer中的所•容器•容器mycontainer中的‘abc.txt’和‘xyz.txt’如何使用删除所有容器中的所有删除容器mycontainer中的所有删除容器mycontainer中的‘abc.txt’和‘xyz.txt’SwiftvsS3特 object√√√√√√√√√√REST√√√X√X√XSOAPX√X√√√√√√XObjectX√LogtoX√X√X√ServerSideX√SwiftAPIvsS3Swift和HDFS(的，二者有什么区别HDFS使用了系统来文件元数据(NameNode)，而在Swift中，元数据呈分布式，跨集群。元数据系统对HDFS来说无异于单一故障点，因而很成可以任意大小的文较通用的解决方案，能够可靠地数量非常多的任意大小的文件。MoreDetail: OpenStack计算组件对象组件镜像组件网络组件验证组件Dashboard组件OPENSTACKOPENSTACKGlanceGlance主要用来、查找和检索VM的Imageas-a-Glance主要有四个组件Adatabase元数据的数据Storeadapter配不同的类型

举例：一个镜像文件的元数'disk_format':'vhd','container_format':'ovf','created_at':'2010-02-0309:34:01','status':'active','is_public':true,'owner':null,Glance-

Glance

For

Glance支持的镜像格 Disk ThisisanunstructureddiskimageThisistheVHDdiskformat,acommondiskformatusedbyVMM ,VirtualBox,andAnothercommondiskformatsupportedbymanycommonmachineAdiskformatsupportedbyVirtualBoxvirtualmachinemonitorandQEMUAnarchiveformatfortheontentsofanopticaldisc(e.g.AdiskformatsupportedbytheQEMUemulatorthatcandynamicallyandsupportsCopyonThisindicateswhatisstoredinGlanceisanAmazonkernelThisindicateswhatisstoredinGlanceisanAmazonramdiskThisindicateswhatisstoredinGlanceisanAmazonmachineGlance查询公共/私有镜像及其元数据RequestingaListofPublicVM新增或修改镜像文件或元数据相关AddingaNewVirtualMachineUpdatingan镜像共享信息的相关AddingaMembertoanRemovingaMemberfromanMoreGlance从Glance中获取镜像文GEThttp://<glance-Ifimagecanbefound,APIreturnsimage-putepassesimage-uritohypervisorhypervisordriverfetchesimagedirectlyfromglanceback-endstoreusingimage-uri通过Glance上传一个镜像文CreateanPOSThttp://<glance-url>/ThemetadataabouttheimageissenttoGlanceinHTTPheaders.ThebodyoftheHTTPrequesttotheGlanceAPIwillbetheMIME-encodeddiskimagedata.OpenStack计算组件对象组件镜像组件网络组件验证组件Dashboard组件网络组件nova-network局限Cisco-OpenStack-NaaS简OpenStack-NaaS(L2/L3)简HigherLayerNetworkService(L4-L7)简QuantumH3COpenStack工作OPENSTACKOPENSTACKnova-network计算服务与网络服务强耦合，与OpenStack的本意不OpenStackisacollectionof“cloud支持的网络服务十分有限，而且可扩展性很NovaprovidesonlybasicVLANsareonlyoptionforUsedsimpleLinuxBridge(noadvancedQoS,ACLs,or“networkcontroller”nodeiscentralizedsingle-pointoffailurefor对多厂家、不同技术支Notenantcontrolof…完整的XaaS SwiftGlance网络组件nova-network局限Cisco-OpenStack-NaaS简OpenStack-NaaS(L2/L3)简HigherLayerNetworkService(L4-L7)简QuantumH3COpenStack工作OPENSTACKOPENSTACKCisco-OpenStack-DeveloperDeveloper Local

Network

UserandNetworkCisco-OpenStack-NaaS目标1：Nova通过NaaS模块查询、获取VM互联需要的目标2：NaaS允许FW/LB/WAAS等以网络服务的形式接入到需目标3：任何需要使用网络资源的OpenStack应用或服务(如DR应用、网目标4：OpenStack区(Zone)间、地理上分散的计算/资源间互联需目标5：VPC(VirtualPrivateCloud)等新服务或企业扩展目标6：将来NaaS模块可以支持SLA、QoS和其他基于网络的计费、Cisco-OpenStack-NaaS逻辑组VirtualNetworks:areprimarilyL2segments(withL3servicesofferedNetworkService:、LB、NAT、 NetContainer(NC):AlogicalentitythatisinitiallycreatedperOpenStack"Project".EachNCcontainsoneormorevirtualnetworksegments,withoneormorenetworkservices.NCflavor由CSP预定义好的NCCisco-OpenStack-NaaS技术架NaaSNCNaaSNCNCNCFlavorNaaS:NC DefaultNexusOSNXNetCisco-OpenStack-NaaS使用举WorkflowforprovisioningaCustomerselectsnetcontainerservicefromNaaSoffering,ifCustomerprovidesrequiredparameterstospecifyconfigpreferences,policies,etcNaaScreatesrequestfromcustomerNaaSpassesrequesttoplug-Plug-inparsesandmapstoresourcePlug-inevaluatesresourcereq'sagainstavailablePlug-inprovisionsresourcesasdefinedbycontainerPlug-inreturnshandletonewcontainer(RESTCisco-OpenStack-NaaS14个CiscoOpenStackNaaS解NCNetNetwork网络组件nova-network局限Cisco-OpenStack-NaaS简OpenStack-NaaS(L2/L3)简HigherLayerNetworkService(L4-L7)简QuantumH3COpenStack工作OPENSTACKOPENSTACKOpenStack-NaaS(L2/L3目标1：允许CSP或用户CRUD(增删改查)虚拟网络信息。该虚拟目标2：允许CSP或用户管理虚拟网络的虚端口、将云中的VM或其他目标3：通过将云中的某个桥设备绑定到虚拟网络，可以将CSP或用户目标6：允许CSP或用户虚拟网络信息，如某个虚拟网络或虚目标8：允许CSP、配置不同的插件OpenStack-NaaS(L2/L3)基本概念OpenStack-NaaS(L2/L3)基本概念OpenStack-NaaS(L2/L3来自的请来自的请 插件和间的插件和间的2：NaaS组件主要用于处理Nova组件和用户的网络资源请求(通过NaaS“Plugindispatcher”模块主要负责将用户的APINaaS节点中的“Plugin”和成整个插件的功能，实现时，如无必要也可以不实现PluginAgentOpenStack-NaaS(L2/L3)使用举例POSTCreateServeriscreatinginstancewithPOSTCreateServeriscreatinginstancewithsingleVIFattachedto'xyz'network.VIFisidentifiedbyMAC,Validate&UpdateCreatePOSTValidate&UpdateCreatePOST Validate&UpdatePlugdeviceintoReturnsthelistof entscurrentlyforthe'xyz'network.ThiswillincludetheVIFofthenewlycreatedVMinstanceGET pluggedintoport entoftype"VIF",identifierispluggedintoaspecificportPortIdentifierNetworkIdentifierNaaSL2NaaSaOpenStack-NaaS(L2/L3)使用举例aComputeCompute'xyz'network.attentscurrentlycreatedVMnstanceOpenStack-NaaS(L2/L3)19个L2层 List List ist List List ent List List Retrieveresourceattachedto Attachresourceto12个L3层ListList ist entsListIpist网络组件nova-network局限Cisco-OpenStack-NaaS简OpenStack-NaaS(L2/L3)简HigherLayerNetworkService(L4-L7)简QuantumH3COpenStack工作OPENSTACKOPENSTACKHigherLayerNS(L4-L7目标1：允许用户在他们的虚拟网络中使用或撤销L4-L7层服务，对于而言该类服务一般为服目标2：对于某种具体的L4-L7层服务，应允许用户通过API的方式配置目标3：L4-L7层服务的API应由Nova定义、与厂商实现无关，也就目标5：允许CSP、配置不同的插目标6：至少应支持如下前两种拓扑方1)相互的租户网络(Isolatedper-tenant用户自备网关(Customer-owned拓扑一：相互的租户网各租户网络相互，租户通 统除了提供NaaS外，还应该提 拓扑二：服同拓扑一， PublicPublicWeb Web Web

PublicPublicWeb Web Web 拓扑三：用户自备网关(Customer-owned用户可能在某个VM上安装了网关或FW，此时，用户可能仅使用L2PublicPublicWeb1Private Web Web PublicWeb1App1App2Web Web3DBVMWeb4 HigherLayerNS(L4-L7)技术架构HigherLayerNS(L4-L7)技术架构说明L4-L7层服务可以使用NaaSAPI租户的网络信息，但L4-L7层服务NaaS上图中的“ServiceManager”主要负责激活或去激活某种网络服务，时，该组件可以作为NaaS的一部分，也是作为Dashboard(cloudL2-L7网络服务与OpenStack集成OPENSTACK网络组件nova-network局限Cisco-OpenStack-NaaS简OpenStack-NaaS(L2/L3)简HigherLayerNetworkService(L4-L7)简QuantumH3COpenStack工作OPENSTACKOPENSTACKQuantumQuantum是OpenStackNaaS在OpenStack的下一个版本(Folsom)，Quantum将成为组Quantum02/11:6distinctblueprintsfor‘virtualnetworkingservices’in03/11 community-wide04/11:Openstackdiablo06/11 Quantum10/11:Quantum‘Diablo’02/12:QuantumapprovedforOpenstack03/12:QuantumEssex-tone04/12:Quantum‘Essex’Quantum

Net

Net#2PhysicalServer PhysicalServer

Nova Major “virtualservers”:representsahostwithCPU,memory,disk,andNICs.AbasicL2networkentpointforvirtualserversusevirtualportsarelinkedtoon“virtualendtechnologiesQ“virt-drivers”forKVM,“plugins”forOpenvSwitchCiscoUCS,LinuxBridge,NiciraNVP,RyuController(andmore!).orback-endspecificvolumes,etc.securitygroups,etc.QuantumAPI QuantumUniformAPIforall

Internalplugin

virtualswitchNovaInterfacesfromalikeNovapluginto anagedbyQuantumAPI+Plugin=QuantumQuantumOpenvSwitchBuildsisolatednetworkswithOVSandL2-in-L3CiscoUCSIsolationbasedonVLANandnet-profilesappli