OpenStack云平台核心模块详解

1、OpenStack云平台核心模块详解OpenStack Certificated Expert大纲概述核心服务介绍认证镜像计算块存储对象存储网络问题和解答概述OpenStack使命：To produce the ubiquitous open source cloud computing platform to meet the needs of public and private clouds regardless size,by being simple to implement and massively scalable.制造一个适用各处的，规模无关的，实施简单并且高扩展性的满足公有

2、云和私有云需要的开源云计算平台。OpenStack 由项目驱动，遵循四个开放原则：Open Source, Open Designed, Open Developed, Open Community什么是OpenStack？OpenStack主要服务OpenStack主要服务OpenStack逻辑架构核心服务6个核心服务（了解各服务的原理、架构和概念）典型流程虚拟机创建（通过一个最常见的流程了解各服务间的交互）核心服务介绍通用组件Message Queue消息队列，OpenStack使用 Rabbit MQOpenStack各服务内部组件协作的方式Database数据库， OpenStack使

3、用MariadbOpenStack中大部分服务都有自己DBKeystoneKeystone：核心概念核心概念（Keystone V3）用户相关domain（域）：是项目和用户的容器，用于为管理身份入口定义管理边界project（项目）：一个用于分组或隔离资源的容器，资源的所有权是属于项目的，用户只有加入项目后才能访 问该项目的资源，每个项目可设置Quotauser（用户）：任何使用OpenStack服务的实体，OpenStack 为 nova、cinder、neutron 等服务创建了相应 的 usergroup（用户组）：用户的集合，可以对group赋予角色，group中的用户都拥有该角色对

4、应的权限role（角色）：权限的集合，各服务通过自己的policy.json文件定义各角色的权限，默认只有admin和非admin 两种角色。keystone通过role进行鉴权token（令牌）：由数字和字母组成的字符串，是credentials的一种，用户认证成功后keystone生成token分 配给用户，用作访问服务的credential。有效期默认24小时，UUID/PKI/PKIZ/Fernet多种形式的token服务相关service（服务）：OpenStack 服务，如nova、neutron等，每个服务提供一个或者多个 endpoint 供用户访问 资源以及进行操作endpo

5、int（端点）：endpoint是一个网络上可访问的地址，通常是URL。service 通过 endpoint 暴露自己的API，每个Service有public、internal、admin三个endpoint，keystone 负责管理和维护每个 Service 的 EndpointKeystone用户相关domain（域）project（项目）user（用户）group（用户组）role（角色）token（令牌）一个Region中可以包含多个Domain，一个Domain中可以包含多个Group、user和Project，一个Group中可以包 含多个user。通过role可以建立起Gr

6、oup与Project，user与Project之间的联系，即赋予相应的权限。例如：可以通过Group1将Role 直接赋予Domain1，则Group1中的所有用户都将会对Domain1中的所有Projects拥有admin权限。Keystone用户相关domain（域）project（项目）user（用户）group（用户组）role（角色）token（令牌）2016 Inc. All Rights Reserved. UnKeystone服务相关service（服务）endpoint（端点）Keystone举例：user1用户要登录dashboard查看VM列表user1在horizon

7、登录界面输入用户名和密码（也是credential的一种）horizon将用户名和密码发给keystone进行认证用户名密码认证通过后，keystone为user1用户生成token并返回，token中包含了用户的role信息根据token信息可以知道user1用户可以访问哪些服务、哪些Project，并且在这些Project 中是什么角色根据user1的可访问的服务、Project列表，在Project中的角色，以及角色对应的policy权 限，在界面上显示user1可访问的服务、项目、资源当user1点击Instance时，会将请求发给nova的endpoint，nova根据user1的t

8、oken进行 鉴权，判断user1在这个项目中有是什么角色、有哪些权限，如果有查看Instance的权限，则将Instance列表返回给user1，user1通过界面查看到VM列表信息GlanceGlance：组件和架构Glance-APIStorage AdapterGlance-RegistryGlance-DBCinderCeph RBDSheepdogAmazon S3组件和架构glance-api：对外提供 REST API，响应 image 查询、获取和存储的调用。glance-api 不真正处理请求， 如果操作是与 image metadata（元数据）相关，glance-api

9、 会把请求转发给 glance-registry； 如果操 作是与 image 自身存取相关，glance-api 会把请求转发给该 image 的 store backend。glance-registry：负责处理和存取 image 的 metadata，如 image 的大小和类型。database：使用Mariadb，glance有自己的databasestore backend：glance 自己并不存储 image，真正的 image 存放在 backend 中，glance 支持多种backend，可在配置文件glance-api.conf中定义HorizonCLINovaFil

10、e SystemSwiftGlance BackendGlance：重要概念重要概念image：由glance管理的镜像文件，存放在glance的backend中，是instance运行的模板虚拟机镜像文件：虚拟机instance启动盘所对应的文件（一般instance目录下disk文件）*创建虚拟机时，nova将image下载到本地作为虚拟机disk文件的backing file（仅第一次下载），下载的image存放 在path_to_nova/instances/_base目录下，nova.conf中可配置instance_path/image_cache_subdirectory_nam

11、e创建虚拟机后，每个虚拟机会基于image拷贝出自己的disk镜像文件如果是使用Ceph作为nova、glance后端，则无需下载image和拷贝出disk镜像文件，而是在Ceph内部实现COWGlance格式描述rawThis is an unstructured disk image formatqcow2A disk format supported by the QEMU emulator that can expand dynamically and supports Copy on WriteisoAn archive format for the data contents of

12、 an optical disc (e.g. CDROM).vmdkAnother common disk format supported by many common virtual machine monitorsvdiA disk format supported by VirtualBox virtual machine monitor and the QEMU emulatorvhdThis is the VHD disk format, a common disk format used by virtual machine monitors from VMware, Xen,

13、Microsoft, VirtualBox, and othersakiThis indicates what is stored in Glance is an Amazon kernel imageamiThis indicates what is stored in Glance is an Amazon machine imageNovaNova：组件和架构组件和架构nova-api：接受并响应用户对计算服务的API请求，是Nova 服务对 外的唯一接口，会周期性访问数据库更新虚拟机信息。nova-conductor：nova-compute 访问数据库的全部操作都由 nova-con

14、ductor完成（获取和更新数据库中instance的信息），避 免nova-compute 直接访问数据库，增加系统的安全性和伸缩性nova-scheduler：负责nova的调度服务，创建虚拟机时决定虚拟机 在哪个nova-compute计算节点上启动nova-compute：处理虚拟机相关的操作，使用driver架构，支持多 种虚拟化技术nova-consoleauth：为vnc代理服务器提供token验证服务nova-novncproxy：为浏览器和vncserver之间建立socket，console用来连接到虚机的console接口，实现基于vnc的登录和操作nova-cert：对

15、接EC2-API的时候才使用，为euca-bundle-image提 供证书databasemessage queueNova Compute与Hypervisornova通过driver架构支持多种HypervisorNova ComputeLibvirtKVMQemuXenLXCXenAPIVMwareHyperVDockerBareMetalPowerVM在nova.conf中可配置使用的compute_driver类型nova-compute定期向OpenStack报告计算节点的状态*，实现instance的生命周期管理Nova Compute与Hypervisor通过nova-com

16、pute和Hypervisor一起可实现对虚拟机的生命周期管理主要操作launch/terminate：创建虚拟机、终止虚拟机（终止即删除*）start/shutoff/reboot：虚拟机的开机、关机、重启操作，重启可以是soft/hard rebootsnapshot：创建快照，对虚拟机的disk镜像文件（不含云硬盘）进行全量备份，生成一个类型为snapshot的image保存在glance中，快照恢复相当于通过snapshot image创建虚拟机pause/resume：暂停虚拟机，将虚拟机状态保存到宿主机内存中，resume的时候再从内存中读回 虚拟机状态继续运行。暂停状态（状态为p

17、aused）的虚拟机可以连接到console，但无法登录操作。suspend/resume：挂起虚拟机，将虚拟机状态保存到宿主机硬盘中，resume的时候再从宿主机中 读回虚拟机状态继续运行。挂起状态（状态为suspended）的虚拟机无法连接到console。shelf/unshelf：为虚拟机创建一个快照并将快照的image文件保存在glance中，虚拟机状态变为 Shelved Offloaded，电源状态为shut down。unshelve相当于通过快照恢复虚拟机。lock/unlock：对被加锁的 instance 执行重启等改变状态的操作会提示操作不允许, 执行解锁操作后 恢复正

18、常。admin 角色的用户不受 lock 的影响，无论加锁与否都可以正常执行操作。migrate/live migrate /evacuate：迁移操作只能在管理界面进行，在线迁移时不中断虚拟机运行。resize：变更虚拟机配置，默认会关闭再启动虚拟机rebuild：选择一个image镜像重建虚拟机，可用于虚拟机的恢复其他操作：绑定/解绑定Floating IP、增加/删除虚拟网卡、编辑虚拟机信息、编辑安全组、console登录、查看日志等Nova Conductor无数据库计算的关键远程数据库访问 -水平扩展防止互锁隐藏数据库实现 -便于跨节点互操作安全性-高性能 便于升级-迁移等Contr

19、ollerNova-ConductorDBCompute1 Nova-Computerpc.call()Compute2 Nova-ComputeG版本开始引入替代compute去访问数据库主要出于安全考虑同时提高扩展性同时负责长时间以及跨服务器工作Nova SchedulerNova中的调度服务决定如何安排新创建的虚拟机（VM Placement）创建虚机的时候进行调度不同于DRS创建 Instance 时，用户会提出资源需求，例如 CPU、内存、磁盘各需要多少。OpenStack 将 这些需求定义在 flavor 中，用户只需要指定用哪个 flavor 就可以了。Flavor 主要定义了

20、vCPU，RAM，Disk和 Metadata 这四类。 nova-scheduler 会按照 flavor 去选择合适的计算节点。Filter scheduler 是 nova-scheduler 默认的调度器调度方法描述具体动作Chance选择一台正常的服务器随机Filter选择一台最佳的服务器自定义优先级Nova Scheduler：Filter SchedulerFilter Scheduler调度过程分为两步：通过过滤器（filter）选择满足条件的计算节点（运行 nova-compute）通过权重计算（weighting）选择在最优（权重值最大）的计算节点上创建 InstanceH

21、ost 1Host 2Host 3Host 4Host 5Host 1Host 2Host 3Host 4Host 5Host 2Host 1Host 5FiltersWeighting过滤不满足 条件的主机根据所配置 条件过滤对符合条件 的主机排序Nova Scheduler：Filternova.conf 中的 scheduler_available_filters 选项用于配置 scheduler 可用的filter，默认是所有 nova 自带的 filter 都可以用于滤操作。nova.conf 中的 scheduler_default_filters 选项用于指定 scheduler

22、 真正使 用的 filterRetryFilter：过滤掉之前已经调度过的节点AvailabilityZoneFilter：根据用户的选择，调度到所选的AZ中RamFilter：将不能满足所选Flavor内存需求的计算节点过滤掉*DiskFilter：将不能满足Flavor磁盘需求的计算节点过滤掉ComputeFilter：只有nova-compute服务正常工作的计算节点才能被2016调Unite度dStack Inc. All RiNova Scheduler：weight经过Filter 的过滤，nova-scheduler 选出了能够部署 instance 的计算节点最终选择哪个节点由

23、 weight 来决定2016 Inc. All RiNova：相关概念相关概念Region：针对endpoint的最大概念，endpoint在一个region中是唯一的，region之间完全隔离，有自己 的计算/网络/存储资源，但可以共享Keystone和HorizonAvailability zone：region内的再次划分，可以理解为一个故障域，AZ对用户可见，创建云主机时可选择 可用域Host aggregate：根据某一属性对硬件的划分，HA只对管理员可见，scheduler可根据参数实现到指定Host aggregate的调度Cell：用于大规模部署时增强nova的横向扩展能力，

24、每个cell有单独的MQ和DBNova：Availability Zone与Host AggregateNova：Cell什么是CellG版本引入的nova新内容增强横向扩展如何工作每个Cell有单独的MQ与DB包含nova-api外的所有nova进程如何理解Nova-cell类比nova-scheduler每个cell就是一个nova-compute注意Cell只针对Nova提高集群扩展性在不同的cell之间进行信息同步和虚机调度一个region可以划分多个cell每个cell有单独的数据库和消息队列大规模集群解决方案CinderOpenStack中的存储存储概念临时块存储与虚拟机生命周期相

25、同作为虚机的本地文件系统虚机的操作系统盘Nova管理持久块存储用户管理生命周期虚机外挂磁盘也可以作为虚机的系统盘对象存储用户管理生命周期单独访问接口保存文件Cinder块存储卷（volume）可读写系统/扩展盘只能挂载到一个虚机状态与虚机无关快照（snapshot）只读某个卷的某一时间点复制可以用来生成一个卷备份（backup）卷的归档CinderCinder架构cinder-apicinder-schedulercinder-backupcinder-volumecinder DBmessage queuehorizonCinderNovastorage backendbackup stor

26、age backendCinderCinder组件cinder-api：接受api请求，调用cinder-volumecinder-scheduler：通过调度算法选择最合适的cinder-volume去创建volumecinder-volume：管理volume的服务和volume的生命周期。与后端存储协调 工作，通过driver架构支持多种backend storage作为volume providercinder-backup：提供volume的备份服务。与后端实际提供备份空间的存储协 调工作，支持多种backup backend storage作为备份后端backend storage

27、：实际提供存储空间的存储设备/系统backup storage backend：实际提供备份存储空间的存储设备/系统databasemessage queueCinder scheduler：FilterCinder中的调度服务决定如何安排新创建的 volume创建 volume 时，用户会提出资源需求，如存储容量、存储类型等， cinder-scheduler 会按照 这些资源需求去选择合适的 cinder-volume。Filter scheduler 是 cinder-scheduler 默认的调度器Filter Scheduler调度过程分为两步：通过过滤器（filter）选择满足条件

28、的 cinder-volume通过权重计算（weighting）选择通过最优（权重值最大）的 cinder-volume 创建 volumeAvailabilityZoneFilter：根据用户的选择，调度到所选的AZ中CapacityFilter：将存储空间不满足 volume 创建需求的存储后端对应的 cinder-volume 过滤掉CapabilityFilter：不同的存储后端可以有不同的volume type，创建 volume 时可通过 volume type指定需要的Capability，通过filter过滤掉不满足 type 的 cinder-volumeCinder sch

29、eduler：weight经过Filter 的过滤，cinder-scheduler 选出了能够创建 volume 的 cinder- volume最终选择哪个节点由 weight 来决定默认的 weigher 是 CapacityWeigher，即基于容量来计算权重值2016 Inc. All Rights Reserved. ConfiCinder volume与后端存储在 cinder.conf 中可以配置使用的 driver 类型cinder通过driver架构支持多种backend storageCinder- voiumeLVMCeph RBDNFSiSCSIFCGPFSdenti

30、al.Cinder volume与后端存储cinder-volume 为 volume provider 定义了统一的 driver 接口，volume provider 只需要实 现这些接口，就可以 driver 的形式即插即用到 OpenStack 中。在 marketplace 的 driver 列 表中可以查询到各厂商的 driver 信息。/marketplace/drivers/Cinder volume与后端存储通过 cinder-volume 和 后端存储 一起可实现对 存储卷 的生命周期管理主要操作Create volume：创建存储卷，可以创建空白卷或从镜像创建卷Delet

31、e volume：删除存储卷，存储卷的生命周期不依赖于虚拟机Attach volume：存储卷挂载到虚拟机，初次挂载后需要分区和格式Detach volume：存储卷从虚拟机解挂载Extend volume：存储卷扩容Snapshot volume：存储卷做快照Boot from volume：从存储卷启动虚拟机（虚拟机操作系统放在存储卷上）Cinder 与 Nova 的配合两个层面控制层面数据层面控制和数据的分离，数据不用经过 cinder-volumeCinder：Cinder backup存储卷的备份支持多种存储后端，可以在 cinder.conf 文件中配置NFSCephTivoli

32、Storage ManagerSwiftGlusterFSNeutronNeutron：核心概念Neutron 为整个 OpenStack 环境提供网络支持，包括二层交换，三层路由，负载均衡，安全组，防火墙 等。Neutron 提供了一个灵活的框架，无论是开源还是商业软件，都可以通过配置被用来实现这些功能。二层交换（Switching）Nova 的 instance 通过虚拟交换机连接到虚拟二层网络Neutron 支持多种虚拟交换机，包括 Linux 原生的 Linux Bridge 和 Open vSwitch支持 VLAN 网络和 VxLAN 网络三层路由（Routing）Instance

33、 可以配置不同网段的 IP，Neutron 的 vRouter 实现 instance 跨网段通信vRouter 通过 IP forwarding，iptables 等技术来实现路由和 NAT负载均衡（Load Balancing）负载均衡服务（LBaaS），提供将负载分发到多个 instance 的能力LBaaS 支持多种负载均衡产品和方案，不同的实现以 Plugin 的形式集成到 Neutron，目前默认的 Plugin 是 HAProxy安全组（Security Group）通过 iptables 限制进出 instance 的网络包防火墙（Firewalling）FWaaS，限制进出虚

34、拟路由器的网络包，通过 iptables 实现或者 Plugin 的形式集成到NeutronNeutron：核心概念Network（网络）一个隔离的二层广播域。Neutron 支持多种类型的 network，包括 local, flat, VLAN, VxLAN 和 GRESubnet（子网）一个 IPv4 或者 IPv6 地址段，instance 的 IP 从 subnet 中分配。每个 subnet 需要定义 IP 地址的范围 和掩码subnet 与 network 是 多对1 关系。同一个network 下的subnet 可以是不同的 IP 段，但不能重叠。不同 network下的sub

35、net 的IP是可以重叠的Port（端口）port 可以看做虚拟交换机上的一个端口。port 上定义 了 MAC 地址和 IP 地址，当 instance 的虚拟网卡 VIF（Virtual Interface） 绑定到 port 时，port 会将 MAC 和 IP 分配给 VIFPort属于某个subnet，与subnet是多对1关系。Neutron：组件和架构组件和架构neutron server：接受api请求，调用 plugin处理请求neutron plugin：处理 neutron server 发来的请求，维护网络逻辑状态，并调用 agent 处理请求（core plugin，

36、 service plugin）neutron agent：处理 plugin 的请求，负责在 network provider 上真正实现各种网络功能（L2 agent, L3 agent, DHCP agent）network provider：实际提供网络服务的虚拟或物理网络 设备，如Linux Bridge、Open vSwitch或者网络厂商的设 备databasemessage queueNeutron：pluginplugin 按照功能分为两类： core plugin 和 service plugin。core plugin 维护 Neutron 的 netowork, sub

37、net 和 port 相关资源的信息，与 core plugin 对应的 agent 包括 linux bridge, OpenvSwitch 等； service plugin 提供 routing, firewall, load balance 等服务，也有相应的 agent。neutron serverCore PluginML2Type driverFlatVLANVxLANGREMechanism driverLinux BridgeOpen vSwitchL2PopulationVendor DriversVendor PluginService PluginRouterFirew

38、allLBaaSVPNaaSQoSplugin 的一个主要工作是在数据库中维护 Neutron 网络的状态信息，以前的 core-plugin 架构带来一个问题，所有 network provider 的 plugin 都要编写一套类似的数据库访问代码，绝大部代码是重复的。并且无法同时使用多种 network providerNeutron 在 Havana 版本实现了一个 ML2（Modular Layer 2）plugin，对 plugin 的功能进行抽象和封装，各种 networkprovider 无需开发自己的 plugin，只需要针对 ML2 开发相应的 driver 就可以了。ML

39、2实现二层网络拓扑与底层实现的解耦Neutron：pluginNeutron：plugin 和 agentneutron.confml2_conf.iniNeutron：plugin 和 agentL2 agentLinux bridgeOpen vSwitchL3 agentRouterDHCP agentService agentLoad BalanceFirewallVPN常见组网：Linux BridgeCompute Node 1Compute Node 2VM1VM2VM3Phy NetVM4br2br-exNetwork Nodensvxlan2br2tapvxlan1br1ta

40、ptapudp 8472udp 8472ethethethethdhcpdhcpnsnsvxlan2vxlan1br1vxlan2br2tapqgtaptaptapqrqrrouter2016 Inc. All Rights Reserved. Confidential.Linux Bridge：bridge 和 tap2016 Inc. All RiRouter namespace常见组网：Open vSwitchCompute NodeNetwork NodeVMeth0Phy NetiptablesSecurity Grouptap0qvb0br-intqvo0patch-tunint-

41、ovsbr1br-tunpatch-intanti spoofingovsbr1phy-ovsbr1eth1eth1.100br-intpatch-tunint-ovsbr1br-tunpatch-intovsbr1phy-ovsbr1eth1eth1.100router namespacedhcp namespaceqrqrqgtapbr-exeth2flow tableSwift：体系架构访问层，负责处理用户的请求和用户身份的认证Proxy server：对外提供对象服务RestFul API，可横向扩展，一方面 转发认证服务器进行用户信息认证，一方面将请求转发至相应的账户、 容器或者对象

42、服务；Authentication Server：验证访问用户的身份信息，并获得一个对 象访问令牌（Token），在一定的时间内会一直有效存储层，负责对象数据的实际存储存储层的物理层次划分：region、zone、storage node、device、 partition每个storage node上存储对象的逻辑层次划分：account、container、object每个逻辑层次对应运行在storage node上的一种服务：accountserver、container server、 object serverSwift通过 Ring 来实现对象与真正的物理存储位置的映射Swift通

43、过 Updater、Replicator、Auditor 这三种服务来保 证数据一致性每个对象有一定数量的副本（replica，默认为3个），每个副 本存放在不同的zone中，对象的副本是通过partition的副本实现的，即，Swift管理副本的粒度是partition而非单个对象2016 Inc. All Rights Reserved. Confidential.Swift：体系架构存储层的物理层次划分：Region：地理上互相隔离的区域Zone：region内部，硬件上的隔离，一个zone可以映射为一个硬盘、一台主机或一个机柜。通常可理解为一个zone 代表一组独立的互相隔离的stor

44、age nodeStorage node：存储对象数据的物理节点Device：可理解为存储节点上的磁盘Partition：device上的文件系统中的目录存储对象的逻辑层次划分：Account：和个人账户不是一个概念，可理解为租户，用来做顶层的隔离机制，可以被多个个人账户所共同使用Container：代表封装一组对象，类似文件夹或目录，container是扁平的，不能嵌套Object：对象是叶节点，由元数据和内容两部分组成（对象可以有虚拟的文件层级pseudo-folder）Swift：体系架构Proxy Server 运行在 Proxy Node上，接收用户HTTP请求请求路由到相应的Con

45、troller：AccountController、ContainerController、ObjectControllerController从对应的 Ring 文件中获取请求数据所在的存储 节点Storage node，然后再将请求转发给该节点上的相应Server：AccountServer、ContainerServer、ObjectServer，最终进行具体的操作Object server：提供对象元数据和内容服务，每个对象的内容会 以文件的形式存储在文件系统中，元数据会作为文件属性来存储，需要采用支持扩展属性的文件系统（如XFS）Container server：提供容器元数据和统计信息，并维护所含对 象列表的服务，每个容器的信息也存储在一个 SQLite 数据库中Account server：提供账户元数据和统计信息，并维护所含容器列表的服务，每个账户的信息被存储在一个 SQLite 数据库中2016 Inc. All RiSwift：RingRing：Swift 通过 Ring 来实现物理节点的管理，包括记录对象与物理存储位置间的映射， 物理节点的添加和删除等。Ring的数据结构，包括是三种重要信息：设备表：对所有 d