华大基因escloud云计算交流

1、EscloudZhou,LiboEasyStack Inc.OpenStack 简单视图OpenStack架构概览OpenStack架构概览OpenStack体系架构图5e.g: ESCloud控制节点服务及高可用实现三个层面的高可用实现：接入层：HAProxyPacemakerCorosync接入层的负载均衡和高可用实现消息队列层：RabbitMQ Cluster，消息队列层的高可用实现数据库层：MySQLGalera Cluster，SQL数据库的高可用实现MongoDB Cluster：NoSQL数据库的高可用实现架构介绍Keystone是OpenStack的一个核心项目，在OpenSt

2、ack框架中通过应用程序编程接口 (API) 提供身份验证、服务目录、服务策略和服务令牌的功能。为OpenStack其他各个组件提供统一的身份验证服务。Keystone架构介绍理解基本概念：关键词基本概念Domain域（v3）是OpenStack委托用来资源管理的容器，是项目、组和用户的更高一层的容器，每个域都是一个单独的命名空间，提供的默认域名为defaultProject项目（v2.0称为租户）是资源的容器，OpenStack中的所有资源必须属于一个指定项目，一个项目必须属于一个指定的域，并且在域中是唯一的Group组是一个容器代表用户的集合，一个组必须属于一个指定的域，并且在域中是唯一的

3、User用户是使用OpenStack资源的人、系统或服务，用户必须属于一个指定的域，并且在域中是唯一的Role角色标识了在域或项目中的权限，可以分配给用户和组，角色在OpenStack中是全局唯一的Token令牌是用来验证用户身份的，用户登录后会使用令牌执行相应的资源请求Service服务是指一个OpenStack服务，比如：nova、cinder、neutron等。Endpoint端口是一个网络可访问的服务地址，通过它可以访问一个服务，通常是个 URL 地址。比如，当 Nova 需要访问 Glance 服务去获取 image 时，Nova 通过访问 Keystone 拿到 Glance 的

4、endpoint，然后通过访问该 endpoint 去获取Glance服务Policy策略是用来鉴别用户对某个服务是否有访问权限的，对于keystone来说policy就是一个json文件GroupKeystone架构介绍资源、用户和角色：OpenStack资源Domain1Domain2Project1Project2Project1User2Project2User1RoleUser1用户角色为指定的domain创建用户为用户指定角色Keystone架构介绍令牌、服务、端口、策略：用户keystoneglance1、用户使用用户名、密码登录2、返回token和catalog3、请求访问im

5、age4、验证token是否有效5、返回验证结果6、policy鉴权7、鉴权成功返回所请求的资源，否则返回没有权限访问Keystone架构介绍架构解析： keystone在OpenStack中提供身份认证、服务目录、服务令牌、服务策略的功能提供用户身份认证为用户提供token管理和token验证记录OpenStack服务的名称和端口，并提供给用户使用鉴别用户权限Nova架构介绍nova-api: makes command and control of the Nova Compute programmatically available to users. Supports the Open

6、Stack API , Amazon EC2 and an Admin API, via port 8774 pute : sets up and manages instancesnova-database: storages information for all of the nova servicesnova-conductor: a RPC server that decouples pute and the database with the advantages of increasing perfomance, database security, and allowing u

7、pdates to database schema with requiring a pute upgradeQueue: provides a central hub for passing AMPQ messages between daemons. Nova架构介绍nova-scheduler: responsible for determining which compute node host should launch an image instance.nova objectstore : provides an S3 interface for registering imag

8、es onto the Glance. It is primarily used for installations that need to support euca2ools.nova-cert: manages x509 certificates.nova-consoleauth : authorizes users tokens from the vnc proxy, which is allows users to access their instances through VNC clients.nova-novncproxy (not shown) : provides a p

9、roxy for accessing running instances through a VNC connection. It supports browser-based novnc clients.Nova架构介绍1234567891011Request Keystone to generate and return an auth tokenSend API request to nova-api with tokenNova-api validates API tokenNova-api processes API requestNova-api makes rpc call to

10、 schedulerHost selected based on scheduling policies nova-scheduler Start provisioning VM on compute node rpc cast to puteRequest OS image from GlanceGet Image URI from GlanceCan download image from Swift Nova-api makes rpc call to allocate a network Create network and associate with VMAttach block

11、volume as appropriate using an rpc castCinder服务cinder-apiWSGI app that authenticates and routes requests throughout the block storage systemcinder-schedulera daemon, much like thenova-scheduler, that picks the optimal block storage provider node on which to create the volume, by default the node wit

12、h the most space available.cinder-backupProvides services to backup volumes to Swift object storageCinder服务cinder-volumeruns on the storage node, acting upon the requests by reading or writing to the Cinder database to maintain state, interacts with other processes (likecinder-scheduler) through a m

13、essage queue and directly upon block storage providing hardware or software. The cinder-volume service can run on multiple nodes, each constituting part of the block storage pool; the scheduler will distribute requests across all nodes that are running the volume service.neutron架构图neutron-server提供ne

14、utron API，使用plugin的方式处理API并读写数据库，icehouse版的默认plugin是ml2 plugin。使用消息队列与其他agent交互。L3-agent负责浮动IP的和router的具体实现。实现浮动IP到虚机私有IP的映射。负责router的具体实现，创建router对应的私有网络的网关，创建router对应的公网的网络设备neutron-metadata-agent负责虚机里访问metadata数据dhcp-agent负责私有网络中虚机的IP分配为不同的子网创建不同的dnsmasq实例，负责给虚机分配IP。创建虚机时，IP和mac地址会在dnsmasq里设置好，虚机

15、启动时获取指定的IP。plugin-agent: neutron-openvswitch-agent负责不同类型网络的具体实现根据网络的类型和属性建立规则连通网络。neutron-openvswitch-agent使用openvswtich网络虚拟化技术，实现neutron里定义的网络Ceph网络块存储 linux Kernel RBD1.ceph osd pool create test 1024 10242.rbd -p test create myimage -size 102403.rbd map myimage -p test4.mkfs.xfs -f /dev/rbd/test/m

16、yimage5.mkdir /mnt/test6.mount rw, /dev/rbd/test/myimage /mnt/test ESCloud 典型部署架构域管理节点(1,3,5.)NovaGlancNeutronCeilometerSwiftCinderCentOS6.5CentOS6.5CentOS6.5商业存储存储节点(1-N)CephCephCentOS6.5CentOS6.5管理Management网Ceph存储Storage网存储Ceph Public网PXE部署网L3 Public网RollerZabbixCentOS6.5部署和监控KVMKVMCentOS6.5CentO

17、S6.5计算节点(1-N)生产Private网光纤ESCloud实现数据中心资源整合，统一管理。控制节点：ceph public-万兆/public-万兆/private-万兆/manage-千兆/pxe-千兆计算节点：ceph public，private，manage, pxe存储节点：ceph storage, manage, pxe, ceph public计算&存储超融合节点：ceph public , private, management ,pxe, ceph storagePXE：此网络用于推送操作系统和部署、扩展OpenStack云平台，接入Roller节点，此环境中需要禁止

18、DHCP，可与mgmt网络合并，无需网关。千兆网络支撑。Public：分为public(千兆)和Folating(建议万兆)两个网络，public是集群的业务网络，即对外提供dashboard UI和API的网络，floating是L3，此网络可选，大规模部署有瓶颈，也可单独将L3部署到独立物理机。Private：内部私有业务网络，用于虚机之间的相互通信，在没有L3的纯L2环境，网关可以指向物理网关，这时类似传统网络，避免L3网络瓶颈，稳定。需要万兆网络。Management：集群心跳网络(千兆)，包含AMQP、数据库，组件之间的消息通信。也包含Ceph Public网络，大型环境中需要单独拿

19、出Ceph Public网络(万兆)。Storage：主要用于Ceph内部集群通信。对网络要求较高，需要万兆网络支撑。IPMI：此网络不属于OpenStack必须要求，但是建议。IPMI主要用于对服务器的管理，可以远程支持开关机等操作。如果HOST HA需要则此网络要跟控制节点互通，千兆网络。网络角色说明控制节点网络设备计算节点网络设备ESCloud跨数据中心部署架构（Multi-Region）域管理节点(1,3,5.)NovaGlancNeutronCeilometerSwiftCinderCentOS6.5CentOS6.5CentOS6.5商业存储存储节点(1-N)KVMKVMCentO

20、S6.5CentOS6.5Dashboard管理节点ESCloud 企业云KeystoneCentOS6.5CentOS6.5CentOS6.5AccountAnalysis北京数据中心上海数据中心广州数据中心管理Management网Ceph存储Storage网存储Ceph Public网PXE部署网L3 Public网RollerZabbixCentOS6.5部署和监控KVMKVMCentOS6.5CentOS6.5计算节点(1-N)生产Private网光纤ESCloud可实现多数据中心资源整合，统一管理。系统配置建议控制节点计算节点 计算能力：2颗8Core以上 CPU，不低于64GB内存 存储能力：2块480GB SSD硬盘，3块600GB SAS 15