云平台总体技术方案V1.0

文档编号：总体技术方案-V1.0电子政务地理空间基础信息库的云服务平台建设技术报告北京方位捷讯科技有限公司2015年8月目录1项目概况 61.1 项目名称 61.2 项目背景 61.3 项目目标 61.4 项目任务 62电子政务云平台需求规格说明 72.1项目的整体定位和作用 72.2用户层的使用需求 82.2.1政务内网用户需求 82.2.2互联网用户需求 82.3应用服务层的集成需求 82.3.1高分影像电子政务产品制作分系统 82.3.2高分数据产品共享与服务分系统 82.3.3电子政务综合应用集成平台分系统 82.3.4数据集成与管理分系统 82.4平台层的部署需求 82.4.1GIS服务器平台 82.4.2GIS数据库平台 82.4.3云主机镜像平台 82.4.4应用中间件平台 82.5基础设施层的架构需求 82.5.1计算资源需求 82.5.2存储资源需求 82.5.3网络资源需求 82.5.4资源管理需求 82.5.5安全认证需求 82.5.6高可用需求 83电子政务云平台设计规格说明 83.1云平台总体架构设计 83.2IaaS服务架构设计 103.2.1OpenStack的架构及服务模型 103.2.2高可用设计 143.2.3资源管理和用户权限设计 143.2.4Hadoop存储服务设计 143.3PaaS服务部署设计 143.3.1GIS服务器设计 143.3.2GIS数据库设计 143.3.3云主机镜像设计 143.3.3中间件设计 143.4SaaS服务集成设计 143.4.1高分影像电子政务产品制作分系统设计 143.4.2高分数据产品共享与服务分系统设计 143.4.3电子政务综合应用集成平台设计 143.4.4数据集成与管理分系统设计 144电子政务云平台测试规格说明 144.1云平台测试总体方案 144.2IaaS基础设施的可用性和功能测试 144.2.1计算资源池测试 144.2.2存储资源池测试 144.2.3Hadoop存储测试 144.2.4网络互联测试 144.2.5自动伸缩和在线迁移测试 144.3PaaS平台的部署测试 144.3.1GIS服务器性能测试 144.3.2GIS数据库测试 144.3.3中间件测试 144.3.3云主机镜像测试 144.4SaaS应用系统的集成测试 144.4.1高分影像电子政务产品制作分系统集成测试 144.4.2高分数据产品共享与服务分系统集成测试 154.4.3电子政务综合应用集成平台集成测试 154.4.4数据集成与管理分系统集成测试 154.4.5应用系统综合集成测试 154.5用户的使用体验测试 154.5.1政务内网用户测试 154.5.2互联网用户测试 155电子政务云平台的运行保障方案规划 155.1云平台机房的设计 155.1.1供电设计 155.1.2制冷设计 155.1.3容灾设计 155.1.4环境自动监测设计 155.2云平台的运行保障设计 155.2.1云平台运维人员 155.2.2云平台资源管理 155.2.3云平台性能监测 15项目概况项目名称电子政务地理空间基础信息库的云服务平台建设项目背景高分遥感在电子政务地理空间基础信息库建设与服务中的应用示范系统（一期）项目依托“国家自然资源和地理空间基础信息库”一期工作，重点解决高分辨率遥感卫星数据与国家自然资源和地理空间基础信息库的融合，推进高分数据在电子政务地理空间基础信息库的综合应用示范，形成高分数据及其电子政务应用产品通过共享平台进行分发和共享的机制和格局，为国家宏观综合决策服务，包括资源环境综合监测评价、灾后重建规划实施效果监测、区域发展战略研究和区域规划、资源环境领域规划和重大基本建设项目跟踪及效益监测以及海洋资源开发和经济发展的监测工作等，以及为政府综合部门、业务服务和电子政务业务部门及社会公众服务。电子政务地理空间基础信息库云服务平台建设是高分遥感在电子政务地理空间基础信息库建设与服务中的应用示范系统（一期）项目的一部分，重点研究电子政务地理空间基础信息库云平台IaaS层的设计、搭建，基于IaaS层的PaaS层部署、测试和运行，为SaaS层的应用系统提供可靠的运行支撑云环境，同时为电子政务的各类用户提供稳定的数据处理和应用服务。项目目标利用电子政务网络，搭建高分电子政务地理空间基础信息库云平台：包括软件和硬件采购选型及规模的设计、基于OpenStack的云平台搭建、基础软件平台和应用系统的有效集成，建设成可随需使用、动态伸缩、高性能、高可靠的，并以空间数据管理、服务和应用为特色的政务私有云。项目任务高分电子政务地理空间基础信息库的云服务平台建设的主要任务包括以下几方面：云平台的需求分析：根据项目的整体定位和作用，确定用户层、应用服务层、平台层和基础设施层的需求。用户层需求要分析政务内网用户和互联网用户的需求情况。在用户层需求分析的基础上，应用服务层要分析四个主要分系统：高分影像电子政务产品制作分系统、高分数据产品共享与服务分系统、电子政务综合应用集成平台分系统和数据集成与管理分系统的需求情况。基于应用服务层的需求，平台层的需求要分析GIS服务器、GIS数据库、云主机镜像和应用中间件的需求。最后，明确基础设施层的各种资源和功能的需求，即计算资源需求、存储资源需求、网络资源需求、资源管理需求、安全认证需求和高可用需求。云平台的设计和部署：设计电子政务云平台的总体架构，确定IaaS层服务架构、PaaS层服务部署和SaaS层服务集成的方案设计。IaaS层服务架构设计包括OpenStack的架构和服务模型、高可用设计、资源管理和用户权限设计、Hadoop存储服务设计。在IaaS层上面部署PaaS平台包括GIS服务器、GIS数据库、云主机镜像和中间件等各平台服务的设计。SaaS层服务设计要实现四个主要应用系统的集成来协同提供电子政务的云服务。在完成云平台的设计方案后，进行云平台的各个部分的部署。云平台的测试：依据云平台的服务需求，设计云平台测试的总体方案。实现对IaaS层基础设施可用性和功能性的测试、PaaS层的部署测试、SaaS层应用系统的集成测试和用户的使用体验测试。电子政务云平台需求规格说明项目的整体定位和作用高分项目云平台作为系统的底层支撑环境，为高分遥感在电子政务地理空间基础信息库建设与服务中的应用示范系统（一期）提供高效、集中、可靠的各类资源和基础平台的统一管理和调度，并提供集中的用户认证和访问控制策略。基础设施层（IaaS）为高分遥感在电子政务地理空间基础信息库建设与服务中的应用示范系统（一期）各应用系统以及基础平台提供计算资源、存储资源、网络资源的集中式管理和动态调度。基础平台层（PaaS）依赖于基础设施层提供的各类资源，将高分遥感在电子政务地理空间基础信息库建设与服务中的应用示范系统（一期）运行所依赖的服务器平台和各类基础平台作为服务统一对外提供平台支撑。用户层的使用需求政务外网用户需求电子政务外网用户包括政务用户、可研个人用户、企业用户和最终用户。政务用户希望能对从高分数据中心接收的数据进行质量检查、判断数据的完整性，按照自然资源和地理基础信息库的规范对数据进行改造，希望实现对各类数据的统一化管理；实现对影像产品的高效处理，实现任务的智能化调度、管理和监测，实现海量电子政务产品遥感影像的自动制作。政务用户、可研个人用户、企业用户希望能通过查找决策产品、云数据模型等方式，浏览资源员数据信息的图片和描述，获取在线地图服务；最终用户能希望可以云平台提供云模型库，云应用快速构建业务平台；按照自己的需求订制，生成资源制定清单，获取用户的云上资源，下载使用或者是现在调用。互联网用户需求互联网用户希望云平台提供云模型库，云应用快速构建业务平台；按照自己的需求订制，生成资源制定清单，获取用户的云上资源，下载使用或者是现在调用。应用服务层的集成需求高分影像电子政务产品制作分系统高分影像电子政务产品制作分系统是整个项目建设的组成部分，提供制作基于高分影像数据，综合电子政务地理框架数据和其他专题数据，生产标准化、面向专业化需求的产品体系。要考虑与高分数据产品共享和分系统的集成，为高分数产品共享与服务分系统提供数据资源和产品资源；需要考虑与电子政务综合集成平台分系统集成，为其提供数据操作的支持。高分数据产品共享与服务分系统高分数据产品共享与服务分系统作为整体项目建设的一个组成部分，需要考虑与电子政务综合应用分系统集成，提供统一用户登录认证与权限访问控制功能；需要考虑与数据集成与管理分系统集成，提供数据调用与数据注册功能；需要考虑与高分影像电子政务产品制作分系统集成，提供产品调用与产品注册功能，为高分影像电子政务产品制作分系统提供地图影像服务和高分遥感影像数据处理技术，实现对高分数据产品进行地图影响的制作及对各类高分数据产品地图影像服务的在线查询和浏览；需要考虑与电子政务综合应用集成平台集成，提供模型的注册与调用。电子政务综合应用集成平台分系统应用集成平台是电子政务综合分系统的统一技术支撑平台，需要考虑与高分数据产品共享和服务分系统的集成需求，为期提供模型和应用资源；需要考虑和数据集成和管理分系统、高分影像电子政务产品制作分系统集成需求，后者为期提供数据操作支持。数据集成与管理分系统数据集成与管理分系统，负责把从据中心接收到的高分影像数据进行质量检查，依据自然资源和地理空间基础信息库的规范要求进行数据整合改造和高分电子政务影像地图产品的制作，最终实现各类高分数据及产品的一体化存储管理，为电子政务应用提供高分数据服务。需要考虑与电子政务应用集成平台分系统、高分影像电子政务产品制作分系统集成需求，其为后两者提供数据操作支持；需要考虑与高分数据共享和服务分系统的集成需求，为后者提供数据资源支持。平台层的部署需求GIS服务器平台电子政务集成平台MapGIS10云平台、ArcGIS10版本、国产主流GIS软件数据集成管理和产品制作系统ArcGISServer10.1和ArcEngineRuntime10.1数据产品共享和服务系统GIS数据库平台电子政务集成平台MySQL数据库数据集成管理和产品制作系统数据产品共享和服务系统Oracle11g云主机镜像平台服务端客户端电子政务集成平台RedHat6.x、WindowsServer2012window7/8数据集成管理和产品制作系统Linux操作系统、Windowsserver2012windows7数据产品共享和服务系统应用中间件平台电子政务集成平台ApacheTomcat7.x数据集成管理和产品制作系统ApachetomcatOracle11gR2数据产品共享和服务系统基础设施层的架构需求计算资源需求电子政务集成平台：依据用户业务需求，电子政务综合应用集成平台需要完成需求管理子系统、云应用构建子系统、工作流管理子系统、云模型库管理子系统、产品管理制作子系统的开发；建设电子政务综合应用云模型库；完成重要战略资源安全动态高分监测与评估子系统、重大自然灾害灾后重建规划实施动态高分监测子系统、区域规划实施动态高分监测与评估子系统、贫困地区公共服务空间要素高分遥感监测与适宜性评价子系统、县域科学发展空间布局高分动态监测与评估子系统等电子政务综合应用子系统等子系统的构建与集成。为了实现上述目标，并符合系统集成的要求，本期系统建设需要的服务器为：Web服务器、数据库服务器、文件系统服务器、代理转发及加密狗认证服务器、模型管理服务器、产品管理服务器、应用服务器、应用缓存服务器、镜像服务器，列表如下：服务器物理机数量备注数据库服务器1共用WEB服务器1

文件系统服务器1

代理转发及加密认证服务器1

模型管理服务器1

产品管理服务器1

应用服务器1

应用缓存服务器1

云主机（10-50虚机）3电子政务外网1台、互联网2台数据集成管理和产品制作系统：高分影像电子政务产品生产分系统所使用的服务器主要包括作为数据生产集群的刀片服务器。数据管理分系统所需服务器主要包括用于部署数据库软件的数据库服务器、部署数据服务发布软件的WEB应用服务器、负载均衡服务器、部署GIS服务器的GIS应用服务器、部署自动归档程序的自动归档服务器、部署数据服务程序，用作数据提取归档的IO服务器以及对原始卫星数据进行解压缩的解压缩服务器。服务器列表如下：服务器物理机数量备注数据库服务器1共用Hadoop服务器4

应用服务器（3台虚机32GB）2硬盘可扩展客户端（1台虚机16GB）数据产品共享和服务系统：包括三个部署区域——电子政务外网区（表2-5-1-1）、互联网区（表2-5-1-2）和电子政务高分数据中心（表2-5-1-3）。表2-5-1-1电子政务外网区服务器部署服务器用途服务器部署系统虚机参数数据交换同步更新服务器高分遥感数据交换更新子系统CPU：主频≥3.2GHZ，两路两核；内存：8G（以上）；硬盘：1TB；网络：千兆网卡；操作系统：WindowsServer2008以上，Linux。运行管理运行管理服务器高分数据产品共享运行管理子系统应用服务共享门户服务器高分数据及产品共享门户子系统共享分发服务器高分数据产品共享分发子系统共享服务服务器高分数据产品共享服务子系统资源注册服务器高分资源注册子系统云平台服务器云平台产品软件系统GIS服务器GIS服务系统元数据服务器元数据服务系统在线资源协同应用服务器在线资源协同应用子系统数据库数据库服务器数据库平台产品表2-5-1-2互联网区服务器部署服务器用途服务器部署系统虚机参数运行管理运行管理服务器高分数据产品共享运行管理子系统CPU：主频≥3.2GHZ，两路两核；内存：8G（以上）；硬盘：1TB；网络：千兆网卡；操作系统：WindowsServer2008以上，Linux。应用服务共享门户服务器高分数据及产品共享门户子系统共享分发服务器高分数据产品共享分发子系统共享服务服务器高分数据产品共享服务子系统资源注册服务器高分资源注册子系统GIS服务器GIS服务系统元数据服务器元数据服务系统数据库数据库服务器数据库平台产品表2-5-1-3电子政务高分数据中心服务器部署服务器用途服务器部署系统虚机参数数据交换高分数据同步更新服务器高分遥感数据交换更新子系统CPU：主频≥3.2GHZ，两路两核；内存：8G（以上）；硬盘：1TB；网络：千兆网卡；操作系统：WindowsServer2008以上。存储资源需求电子政务综合应用集成平台采用B/S架构实现系统的开发部署，采用SOA架构实现在云计算的环境下集成云模型库和综合应用分系统，这些系统和模型都是以文件的形式存储在服务器中，然后通过云技术实现系统的迁移、聚合。此类文件存储对于存储设备的数据读写速率，存储的扩展性都有一定的要求，目前建议需要2TB的存储空间，后续根据实际增长进行存储的扩容。同时，电子政务综合应用集成平台还需要集成定制产品，因此对于定制产品都以栅格数据、文档的形式进行存储，需要用到磁盘阵列进行存储。此类文件的存储建议需要4TB的存储空间，后续根据实际增长进行阵列的扩容。数据管理分系统作为高分遥感在电子政务地理空间基础信息库建设与服务中的应用示范系统（一期）项目中的数据管理者，对于存储设备有一定的要求，在核心数据存储区，采用磁盘阵列作为在线数据存储区，采用带库作为离线数据存储区，每个分区的空间大小根据高分卫星数据量、数据存储周期、数据生产产品数量等测算获得。高分影像电子政务产品生产分系统是高分影像电子政务产品的生产者，同样对于存储设备有一定的要求，作为产品生产存储需采用在线磁盘阵列，容量大小根据实际生产需要获得。电子政务外网的存储需求：子系统类型虚机数量硬件配置硬盘（TB）电子政务集成平台云主机10硬盘：50G-500G0.5-5数据集成管理和产品制作系统应用服务器3硬盘：50G-500G0.2-2客户端1数据产品共享和服务系统元数据服务器2硬盘：100G2应用服务器18虚拟云主机10硬盘：50G-500G0.5-5GIS服务器10硬盘：500G5合计8.2-19互联网的存储需求：系统类型虚机数量硬件配置硬盘（TB）电子政务集成平台云主机40硬盘：50G-500G2-20数据集成管理和产品制作系统应用服务器3硬盘：50G-500G0.2-2客户端1数据产品共享和服务系统元数据服务器2硬盘：100G2应用服务器18GIS服务器10硬盘：500G5合计9.2-29网络资源需求电子政务综合应用集成平台采用云GIS架构进行系统的部署，所有的数据聚合、服务聚合、功能聚合都是在云端完成，完成以后在传送至客户端，因此对网络的性能要求比较高。部署电子政务综合应用集成平台的服务器之间采用千兆光纤接入，服务器与数据存储之间采用千兆网络接入，服务器与各分中心客户端之间采用百兆网接入，服务器与公众用户客户端之间至少为50兆带宽接入。高分影像电子政务产品生产分系统部署在主中心业务生产内网中，其对网络平台的主要需求为数据处理服务器（刀片集群）与存储设备间通过万兆网络相连接，生产客户端与数据处理服务器（刀片集群）间通过千兆网络相连接。数据管理分系统部署在数据管理业务内网区和电子政务外网区中，数据库服务器和IO服务器与存储磁盘阵列间通过万兆网络相连接，数据管理客户端与数据库服务器通过千兆网络相连接。高分电子政务地理空间基础信息库数据中心利用政务外网提供的VPN实现与电子政务高分数据中心和高分应用技术中心的互联互通；高分电子政务地理空间基础信息库数据中心利用电子政务外网的基础设施，为政务外网用户提供服务；高分电子政务地理空间基础信息库数据中心利用政务外网连接到Internet，为社会公众提供服务。资源管理需求云平台提供的云主机要满足电子政务的四个系统：高分影像电子政务产品制作分系统、高分数据产品共享与服务分系统、电子政务综合应用集成平台分系统和数据集成与管理分系统对GIS服务器、GIS数据库、中间件和操作系统的需求。为满足这些需求，云平台管理系统需要对计算、存储、网络等资源进行规划和管理。例如，针对各个系统所需资源划分成不同的租户，确保资源的合理分配。计算资源的管理包括：云主机类型的创建（确定虚拟内核数、内存、根磁盘大小、临时磁盘大小和交换空间）；项目（或租户）创建，分配项目配额（元数据条目、虚拟内核、实例数、内存等）。存储资源的管理包括：主要有三个部分根磁盘/临时磁盘、Cinder数据盘和Swift对象存储限额。根磁盘/临时磁盘通过确定云主机类型和项目配额的实例数来限定；Cinder数据盘通过项目配额的快存储卷大小/快照数/数据卷数来管理；Swift对象存储有项目配额的对象存储容器或账户容量来限定。网络资源的管理包括：主要通过项目配额中的安全组、安全组规则、浮动IP、网络、端口、路由和子网的限定来进行管理。安全认证需求云平台上有很多的系统在同时运行，其中有的系统直接通过调用云平台的API接口来进行功能调用。需要确保这样的系统不存在不合理的权限来操作云平台，防止对云平台的正常运行造成损害。只有云平台管理员具有管理员权限，其他的所有用户都只有普通用户权限。元平台管理员主要管理运行在云平台中的各个项目的资源权限及项目的所属成员，即普通用户。用户管理的权限是属于元平台管理员的，普通用户可以根据自己项目的需求来设定相应的安全访问规则，包括使用安全组规则来限定服务的访问端口，绑定浮动IP来对外提供服务等。高可用需求政务云平台稳定运行并对外提供服务对云计算系统的高可用提出了要求：最小的宕机时间和最小的数据丢失。这就需要通过消除单点故障的机制，即冗余机制来实现。例如，网络冗余可以使用交换机和路由器的冗余；应用服务冗余可以采用自动服务迁移的机制；存储冗余可以采用具有冗余或多副本机制的分布式文件系统如Ceph；基础设施的冗余就需要有储备的电源、空调等设备。电子政务云平台设计规格说明云平台总体架构设计高分项目总体架构如图：图STYLEREF1\s3SEQ图\*ARABIC\s11高分项目系统总体架构其中：基础设施服务层（IaaS层）可实现物理主机和存储设备、网络设备、安全设备等的虚拟化，可有效达成IT城市基础设施建设的集约化，可有效提升设备利用率。数据层数据层包括高分原始数据、基础产品数据、专题应用产品数据、高分模型数据、共享交换业务数据等各类业务数据。平台服务层（PaaS层）PaaS层包括操作系统、数据库、基础GIS平台、应用中间件等平台软件。软件与接口服务层（SaaS层）SaaS层部署高分项目应用系统，包括数据集成与管理分系统、高分影像电子政务产品制作分系统、电子政务综合应用集成平台和高分数据产品共享与服务分系统等四个应用分系统。IaaS服务架构设计OpenStack的架构及服务模型OpenStack是一个由NASA（美国国家航空航天局）和Rackspace合作研发并发起的，以Apache许可证授权的自由软件和开放源代码项目。OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。OpenStack的总体框架如下：图STYLEREF1\s3SEQ图\*ARABIC\s12OpenStack架构OpenStack覆盖了网络、虚拟化、操作系统、服务器等各个方面。它是一个正在开发中的云计算平台项目，根据成熟及重要程度的不同，被分解成核心项目、孵化项目，以及支持项目和相关项目。每个项目都有自己的委员会和项目技术主管，而且每个项目都不是一成不变的，孵化项目可以根据发展的成熟度和重要性，转变为核心项目。下面列出了几个成熟的核心项目:计算（Compute）：Nova。一套控制器，用于为单个用户或使用群组管理虚拟机实例的整个生命周期，根据用户需求来提供虚拟服务。负责虚拟机创建、开机、关机、挂起、暂停、调整、迁移、重启、销毁等操作，配置CPU、内存等信息规格。对象存储（ObjectStorage）：Swift。一套用于在大规模可扩展系统中通过内置冗余及高容错机制实现对象存储的系统，允许进行存储或者检索文件。可为Glance提供镜像存储，为Cinder提供卷备份服务。镜像服务（ImageService）：Glance。一套虚拟机镜像查找及检索系统，支持多种虚拟机镜像格式（AKI、AMI、ARI、ISO、QCOW2、Raw、VDI、VHD、VMDK），有创建上传镜像、删除镜像、编辑镜像基本信息的功能。身份服务（IdentityService）：Keystone。为OpenStack其他服务提供身份验证、服务规则和服务令牌的功能，管理Domains、Projects、Users、Groups、Roles。网络&地址管理（Network）：Neutron。提供云计算的网络虚拟化技术，为OpenStack其他服务提供网络连接服务。为用户提供接口，可以定义Network、Subnet、Router，配置DHCP、DNS、负载均衡、L3服务，网络支持GRE、VLAN。插件架构支持许多主流的网络厂家和技术，如OpenvSwitch。块存储(BlockStorage)：Cinder。为运行实例提供稳定的数据块存储服务，它的插件驱动架构有利于块设备的创建和管理，如创建卷、删除卷，在实例上挂载和卸载卷。UI界面(Dashboard)：Horizon。OpenStack中各种服务的Web管理门户，用于简化用户对服务的操作，例如：启动实例、分配IP地址、配置访问控制等。测量(Metering)：Ceilometer。像一个漏斗一样，能把OpenStack内部发生的几乎所有的事件都收集起来，然后为计费和监控以及其它服务提供数据支撑。部署编排(Orchestration)：Heat。提供了一种通过模板定义的协同部署方式，实现云基础设施软件运行环境（计算、存储和网络资源）的自动化部署。云提供商构建自己的IaaS云环境并提供服务给用户，需要提供以下几个功能：基本客户关系管理功能：允许需要云服务的用户注册云服务、查看资源使用情况。基本应用搭建功能：允许开发人员和运维人员创建和存储用于他们应用的定制镜像。基本运行管理功能：允许开发人员和运维人员启动、监控、停止虚拟机实例。允许云平台管理人员配置和管理云基础设施。如图所示，我们将OpenStack的服务模型分为类似传统应用的三层架构（表示、逻辑、资源）和两个领域（集成和管理）。表示层：在该层，各个组件与用户交互，接收用户输入，并呈现用户需要的信息。在该层，非开发人员看到操作的是一个Web图形界面，开发人员使用的是云服务的各种API。在该层还提供了负载均衡、控制台代理、安全、命名服务等各项功能。逻辑层：提供了各种云服务的智能和控制功能逻辑。本层包括业务流程控制（用于复杂任务的工作流）、调度（确定把任务调度到什么资源去）、策略（包括配额、隔离等）、镜像（配置如虚拟机镜像的元数据）、编排（管理复杂虚拟机初始化、虚拟机集群的创建和生命周期等）。资源层：对于云计算，需要物理的计算、网络和存储资源来进行计算任务，包括物理主机服务器、网络交换机、存储设备等。图STYLEREF1\s3SEQ图\*ARABIC\s13OpenStack服务模型而且还定义了与云交互的四种人员角色，相关人员需要与云平台交互，这里面包括在云端虚拟机开发实现应用业务逻辑的开发者；对本租户的虚拟机和应用逻辑及其运行的网络、存储进行定制和自动化的运维人员；云环境的应用用户以及云管理员。高可用设计OpenStackHA的高可用总体设计如下：

Database(Active/Active)：采用MySQLwithGaleraMySQL/Galera是一种多主同步集群，能够同步复制，可以在任意节点上进行读写；自动控制成员，自动删除故障节点，自动加入节点；同时也能够调度用户连接。具有如下优势：参考基于DBMS集群的解决方案，不存在从服务器角色，不存在事务丢失；读写操作可根据需要进行随意扩展，更少的闩操作。AMQP(Active/Active)：采用RabbitMQclusterRabbitMQ是用erlang开发的，集群非常方便，但其本身并不支持负载均衡，需要依赖Haproxy来进行负载均衡。采用镜像模式，把需要的队列做成镜像队列，存在于多个节点，形成\t"/flat_peach/archive/2013/04/07/_blank"RabbitMQ的HA方案。OpenstackAPI(Active/Active)：

keystone,glance-api,glance-registry,neutron-server,ceilometer-api,dashboard均为stateless服务，通过Haproxy+Keepalive保证HA，部署于Apacheserver可提高性能，Haproxy(1.5.0)支持SSL。

4）OpenstackScheduler(Active/Active)：

nova-scheduler,nova-conductor,nova-consoleauth,nova-novncproxy,ceilometer-collector,cinder-scheduler均为stateless服务，恰当的配置与AMQPserver连接参数。5）Memcached(Active/Active)：提高Dashboard的性能和解决nova-consoleauth的单点问题。

6）Network：neutronDHCPagent(Active/Passive)，neutronL3agent(Active/Passive)，neutronmetadataagent(Active/Passive)。以上三者均由Pacemaker+Corosync配置。corosync类似heartbeat，传递集群消息和心跳信息。pacemaker是集群资源管理器。

7）Storage：ceph保证imagestorage,volumestorage,novabackend可靠性。资源管理和用户权限设计资源管理包括根据各个分系统的角色和使用情况确定租户和其可用的vCPU、内存、硬盘和网络资源数量。这些租户里的用户都是普通的user角色，可以通过DashboardWebUI界面或者公开的RESTfulAPI来操作云平台里的资源，如启动虚拟机、分配浮动ip、部署服务等。云平台系统管理员有管理云平台所有的权限，能够对租户、用户、资源和角色进行管理。同时，要监控云平台的运行情况。针对四个子系统分别创建相应的项目（或租户），并分配各自相应的云平台资源配额。然后每个子系统创建一个用户（普通用户），作为该子系统的管理员来管理系统中SaaS层或PaaS层对IaaS层的基础资源的操作。同时，子系统的管理员没有更改项目资源和添加用户的权限，这些操作都必须依赖云平台管理员进行管理。PaaS服务部署设计GIS服务器设计GIS基础平台包括服务平台、组件平台、桌面平台三大类，全部在云上实现部署和应用。云上要同时支持SuperMap、ESRI和中地三家GIS平台的安装和部署。SuperMap平台在云环境上部署：制作镜像；应用程序部署；镜像压缩打包上传到虚拟管理平台openstack中，绑定FloatingIp，设置安全规则，对外提供服务。2）ESRI平台及MapGIS平台在云环境上部署：部署步骤同上。GIS数据库设计基础库当前的数据库平台为oracle，考虑到oracle不适合在虚拟化环境中应用，数据库平台仍然单独部署在独立的物理机上，作为整个项目的非云部分而存在，只通过标准化的数据访问服务与云上应用进行连接。云主机镜像设计主机镜像的设计可以分为四部：windowserver2008镜像的制作；搭建samba服务器，实现window系统和linux系统的文件共享；部署应用程序；镜像打包上传到openstack中。1）windowserver2008镜像的制作选定虚拟主机操作系统的版本：windowserver2008;制作镜像的物理环境：

DELLPowerEdge12GR720物理服务器一台；远程连接工具：xshell5，xmanager，winscp；镜像文件：windowserver2008iso；使用virsh工具开始制作WindowsServer2008镜像。2）搭建samba服务器由于DellPowerEdgeR720物理服务器不能连接外网，我在物理服务器上搭建了samba服务器，实现linux系统和window系统的文件共享，便于应用程序的部署。3）应用程序部署将要部署的应用程序利用winscp传到samba的共享目录中，开始部署应用程序。4）镜像打包压缩，上传到openstack虚拟管理平台中利用virt-sparsify

实现镜像的打包压缩，通过web页面将镜像上传到opestack虚拟管理平台中。中间件设计Tomcat：一般和应用系统一起部署。金碟：作为基础平台部署在应用服务器的虚拟机上。IIS：部署在windows虚拟机上，采用windowsserver2008版本，将后台服务统一部署在一个IIS节点下。SaaS服务集成设计高分影像电子政务产品制作分系统设计高分影像电子政务产品制作分系统分为三大模块，所有模块均部署在物理环境中，因此不考虑分系统内各个模块的集成，只考虑与各个分系统的集成、与软硬件平台的集成。分系统集成图STYLEREF1\s3SEQ图\*ARABIC\s14高分影像电子政务产品制作分系统与其它分系统的集成图高分影像电子政务产品制作分系统调用高分数据产品共享与服务分系统提供的的产品注册接口；高分影像电子政务产品制作分系统提供产品调用接口供高分数据产品共享与服务分系统调用；高分影像电子政务产品制作分系统提供数据归档接口供数据集成与管理分系统调用；高分影像电子政务产品制作分系统调用数据集成与管理分系统提供的数据调用接口。软件系统集成本系统全部部署在项目的物理环境中，支持windows和linux两种类型的操作系统，也能与oracle数据库、网络服务中间件ApacheTomcat、GIS服务中间件的集成运行。硬件系统集成高分影像电子政务产品制作分系统全部部署在项目办物理服务器中，支持物理服务器计算集群，物理存储集群、物理作业终端管理集群，为系统动态的分配计算资源和存储资源。高分数据产品共享与服务分系统集成设计高分数据产品共享与服务分系统在设计建设过程中需要充分考虑到与其他各个方面的集成工作，主要包括与本项目各个子模块之间的集成、其它分系统和平台的集成；与高分遥感在电子政务地理空间基础信息库建设与服务中的应用示范系统（一期）项目已采购软硬件产品的集成以及与自然资源和地理空间基础信息库数据主中心已有环境的集成等。分系统集成高分数据产品共享与服务分系统分为八大模块，其中高分数据产品共享门户子系统、高分数据产品共享分发子系统、高分数据产品共享服务子系统、高分数据产品共享运行子系统、在线资源同步子系统、元数据服务子系统部署到云上、高分遥感数据更新子系统部署到物理环境中。分系统要考虑八个模块的集成，以及和各个分系统的集成。图STYLEREF1\s3SEQ图\*ARABIC\s15高分数据产品共享与服务分系统八大模块集成与分系统集成图八个模块的集成：高分数据及产品共享门户子系统为高分数据产品共享分发子系统提供应用集成接口；高分数据产品共享运行管理子系统为高分数据及产品共享门户子系统提供统一的认证和访问控制接口；高分数据产品共享运行管理子系统为在线资源协同应用子系统提供统一的认证、访问控制和日志记录接口；高分数据产品共享运行管理子系统为高分遥感数据交换更新子系统提供认证接口；高分遥感数据交换更新子系统为高分数据产品共享运行管理子系统提供日志接口；高分遥感数据交换更新子系统为高分数据产品共享分发子系统提供高分数据传输接口；高分数据产品共享服务子系统为高分数据产品共享分发子系统提供资源访问接口；高分资源注册子系统为高分遥感数据交换更新子系统提供高分数据存储接口；在线资源协同应用子系统为高分资源注册子系统提供高分资源注册存储接口；在线资源协同应用子系统为高分数据产品共享服务子系统提供高分资源访问接口。分系统的集成：高分数据产品共享与服务分系统提供数据注册接口供数据集成与管理分系统调用；高分数据产品共享与服务子系统调用数据集成与管理分系统提供的数据调用接口；高分数据产品共享与服务子系统提供模块注册接口供电子政务应用集成管理平台调用；高分数据产品共享与服务子系统调用电子政务应用集成管理平台的提供的模块调用接口；高分数据产品共享与服务子系统提供产品注册接口供高分影像电子政务产品制作分系统调用；高分数据产品共享与服务子系统调用高分影像电子政务产品制作分系统提供的产品调用接口。系统软件集成本次建设的高分数据产品共享与服务分系统部署在国家信息中心的云平台环境中，本次系统设计全部支持云计算和虚拟环境部署，支持与已有的云服务中间件、应用中间件、GIS中间件等软件环境进行集成部署运行。硬件环境集成高分数据产品共享与服务分系统全部在虚拟化环境中部署，支持虚拟化存储环境，虚拟化数据库服务器集群，虚拟化应用服务器集群，应用系统使用硬件环境通过云服务平台统一调配，通过网络获得所需服务，为系统动态分配计算空间，为数据动态分配存储空间。与基础库数据主中心已有系统集成高分数据产品共享与服务分系统的建设充分考虑国家自然资源和地理空间基础信息库项目数据主中心已有环境的集成，其中高分数据产品共享与服务分系统的建设将与基础库主中心已有系统进行集成，包括元数据转换录入与采集的集成，数据产品资源的发现、定位与浏览功能集成，数据产品定制集成等。电子政务综合应用集成平台设计电子政务综合应用集成平台分为六大模块，其中云模型库分系统部署到云环境中，需求管理子系统、工作流管理子系统、云应用构建子系统、云模型库管理子系统、产品制作管理子系统部署到物理环境中，需要考虑六大模块之间的集成、与分系统的集成，与虚拟化云平台的集成。系统内模块及与分系统的集成图STYLEREF1\s3SEQ图\*ARABIC\s16电子政务综合应用集成平台六大模块集成以及与分系统集成图六大模块集成：需求管理子系统是工作流管理子系统、云应用构建子系统、产品制作子系统的驱动源；工作流管理子系统调用云模型管理子系统提供的集成接口；云应用构建子系统调用工作流管理子系统提供的模型调提取接口；云应用构建子系统调用云模型库管理子系统提供的模型调提取接口；云模型库管理子系统调用云模型库提供的模型查找接口；云模型库调用云模型库管理系统提供的模型注册接口；与分系统、云平台的集成：电子政务综合应用集成平台提供数据访问接口供电站政务综合应用分系统调用；电子政务综合应用集成平台调用电子政务综合应用分系统提供的数据归档接口；电子政务综合应用集成平台提供模型调用接口供电子政务综合应用分系统调用；电子政务综合应用集成平台调用电子政务综合应用分系统提供的模型注册接口；电子政务综合应用集成平台调用电子政务综合应用分系统提供的系统导入接口；电子政务综合应用集成平台调用电子政务综合应用分系统提供的产品导入接口；电子政务综合应用集成平台提供模型调用接口供高分数据产品与共享服务子系统调用；电子政务综合应用集成平台调用高分数据产品与共享服务子系统产品注册接口；电子政务综合应用集成平台调用数据集成与管理平台的数据访问接口；电子政务综合应用集成平台提供数据归档接口供数据集成与管理分系统调用；云应用构建子系统调用在线工具超市提供的工具提取接口；云应用构建子系统调用在线工具超市提供的工具浏览接口；云应用构建子系统提供工具上架接口供在线工具超市调用；云应用构建子系统调用openstack虚拟平台提供一系列调度资源接口（虚拟机创建、删除等）。系统软件集成本系统设计的云模型库系统部署在云环境中，支持与已有的云服务中间件、应用中间件、GIS中间件等软件环境进行集成部署运行，也支持对工具软件Microsoft2013的集成部署。系统硬件集成电子政务综合应用集成平台所用到的服务器统一部署在项目办机房中，web服务器、数据库服务器、文件系统服务器、代理转发和加密认证服务器、模型管理服务器、产品管理服务器、应用服务器、应用缓存服务器等部署在物理环境中，支持物理存储环境，物理数据库服务器集群，物理应用服务器集群，为数据动态分配存储空间。数据集成与管理分系统设计数据集成管理分系统主要分为6大模块,其中数据存储子系统部署到云上，数据质量检查子系统、数据整合子系统、数据管理子系统、产品管理子系统和数据浏览展示子系统都部署到物理环境中，需要考虑六大模块之间的集成，与其它分系统的集成。模块与分系统的集成图x:数据集成与管理发分系统六大模块集成以及与分系统集成图六大模块的集成：数据整合子系统为数据质检子系统提供数据流接口；数据整合子系统为数据管理子系统提供数据流接口；数据整合子系统为产品管理子系统提供数据流接口；数据管理子系统调用数据存储子系统的数据提取接口；数据存储子系统调用数据管理子系统的数据发布接口；产品管理子系统调用数据存储子系统的数据提取接口；数据存储子系统调用产品管理子系统的数据发布接口；数据存储服务子系统调用数据浏览展示子系统的数据申请接口；数据浏览展示子系统调用数据存储子系统的数据发布接口；与其它分系统的集成：数据集成与管理分系统提供数据调用接口供高分影像电子政务产品制作分系统调用；数据集成与管理分系统调用高分影像电子政务产品制作分系统提供的数据归档接口；数据集成与管理分系统提供数据调用接口供电子政务综合集成平台调用；数据集成与管理分系统调用电子政务综合集成平台提供的数据归档接口；数据集成与管理分系统提供数据调用接口供高分数据产品共享与服务子系统调用；数据集成与管理分系统调用高分数据产品共享与服务子系统提供的数据注册接口；系统软件集成数据集成与管理分系统的数据存储子系统模块部署在云上，支持云计算和云存储和虚拟环境部署，支持与已有的云服务中间件、网络服务软件Apachetomcat、GIS中间件等软件环境进行集成部署运行，也支持备份恢复软件、与cinder服务的集成部署运行。系统硬件集成数据质量检查子系统、数据整合子系统、数据管理子系统、产品管理子系统和数据浏览展示子系统都部署到物理环境中，支持支持物理存储环境，物理数据库服务器集群，物理应用服务器集群，物理计算集群，为系统动态分配计算空间，为数据动态分配存储空间。电子政务云平台测试规格说明云平台测试总体方案云平台政务云的测试要根据需求，依次测试IaaS基础设施功能与性能测试、PaaS平台的部署测试、SaaS应用系统的集成测试和用户的使用体验测试。IaaS基础设施的功能和性能测试OpenStack平台采用Tempest集成测试工具进行功能测试，Rally基准测试工具进行性能测试。功能性测试我们的云计算功能测试需求主要针对使用的各个OpenStack组件如keystone、nova、neutron、cinder、glance、swift等进行功能测试，包括对各种不同的接口如API、CLI和Dashboard访问方式的测试。Tempest是一个旨在为云计算平台OpenStack提供集成测试的开源项目。它是基于unittest2和nose建立的灵活且易于扩展及维护的自动化测试框架，使得OpenStack相关测试效率得到大幅度提升。Tempest测试框架包含Openstack基本组件（nova,keystone,glance,quantum,cinder）的测试用例，同时支持JSON、XML两种RESTAPI格式类型的测试，以及CLI测试。运行及测试报告:执行tempest所有测试用例noseteststempest执行tempest某一个包下的所有测试用例，比如identity包下的所有测试用例noseteststempest/tests/identity执行tempest某一个测试用例，比如identity包下的test_tenants.pynoseteststempest/api/identity/admin/test_tenants.py性能测试我们的云计算性能测试需求主要面向以下两个方面：并发访问下云计算平台各组件运行效率及服务器资源使用率：根据上一节的分析我们知道，OpenStack云计算平台使用频率高，而且关键程度重要的组件包括Nova、Cinder、Glance、Neutron、Keystone，如果客户要求通过UI的方式访问和管理云计算平台，则Horizon也是使用频率高的组件。这些组件在面对外部并发访问时的运行效率以及其所在服务器资源如，CPU、内存、磁盘I/O、网速的使用率决定了云计算平台的运转性能。测试虚拟资源的运行效率：云计算对用户的服务主要体现在云计算系统产生的各项虚拟资源，如虚拟机、虚拟存储、虚拟网络。而各项虚拟资源的运行效率决定了云计算的服务质量，所以对虚拟资源的性能测试也是云计算性能测试需求的一个重要部分。根据上面的需求分析我们就可以展开对两大部分性能测试的需求收集：云计算平台各组件性能测试需求Nova组件该组件的性能测试主要应面对虚拟机（Server）的管理效率，其中包括Server的产生，Server的转变成Active状态所需的时间。Cinder组件该组件的性能测试主要面对虚拟存储（Volume）的管理效率，其中包括Volume的产生，Volume的转变成Available状态所需的时间。Glance组件该组件的性能测试主要面对虚拟镜像（Image）的管理效率，其中包括Image的产生，Image的转变成Available状态所需的时间。Neutron组件该组件的性能测试需要根据实际的虚拟网络的要求来定，如果只是基本需求那只需关注Subnet的创建耗时，浮动IP生效时间。如果扩展开来则需关注VLAN、Firewall、SDN等服务的性能，其中测试参数包含了网络带宽（bandwidth）、延迟（latency）、IO请求（IOPS）等。Keystone组件该组件的性能测试主要面对OpenStack的用户(user)、项目租约（tenant)、用户角色（role)等管理性功能，测试这些功能的产生和生效的的响应时间。云计算平台虚拟资源的性能测试需求如果把OpenStack云计算平台比喻成生成汽车的工厂，那么这部分就是测试生产出的汽车的性能。这一部分是关注在云计算平台上生成的虚拟资源的工作效率，这涉及到虚拟机、虚拟存储、虚拟网络各个部分协同工作，具体包括以下几个部分：虚拟机（VM）分配CPU、内存的使用性能虚拟存储（volume）的使用性能虚拟网络（network）的工作性能Rally常用于模拟高并发场景的压力测试。Rally测试OpenStack在并发下API的相应时间和请求成功率，从而测试出OpenStack规模和性能。`rally/doc/samples/tasks/scenarios/包含各个组件的配置文件，直接使用即可，举例：1）测试keystone创建-删除用户性能

$rally-vtaskstartrally/doc/samples/tasks/scenarios/keystone/create-and-delete-user.json2）测试nova创建-删除虚拟机性能$rally-vtaskstartrally/doc/samples/tasks/scenarios/nova/boot-and-delete.json自动伸缩和在线迁移测试自动伸缩（AutoScaling）功能可以帮助用户基于监控数据动态地调节资源配置或集群规模，及时应对突增的系统压力，充分利用云计算的弹性特点调节系统的处理能力，且有效降低维护成本。比如IP带宽、数据库存储空间、服务虚拟机数量，都可以自动调节，无需人工介入。通过提前配置自动伸缩器，当虚拟机上的服务压力很大时，能够自动根据自动伸缩器的要求进行扩展，启动新的虚拟机来减轻原虚拟机的压力来进行测试。虚拟机的在线迁移（LiveMigration）能够实现云平台资源的均衡利用和实现计算资源的高可用需求。在线迁移的测试需要测试虚拟机能够在不同的计算节点之间无缝迁移，并且不能对上层应用造成影响。通过将计算节点compute1上的虚拟机vm1在线迁移到计算节点compute2上，同时在迁移过程中不中断vm1对外提供的服务来进行测试。控制节点测试：novalistnovashow5c770ec9-fe15-4ef5-964c-bbf14a4127f3nova-manageservicelistnova-manageservicedescribe_resourcecompute1nova-manageservicedescribe_resourcecompute2sourceadmin-openrc.shnovalive-migration5c770ec9-fe15-4ef5-964c-bbf14a4127f3compute2nova-manageservicedescribe_resourcecompute1nova-manageservicedescribe_resourcecompute2sourcedemo-openrc.shPaaS平台的部署测试GIS服务器性能测试测试支持系统的最小业务逻辑：查、增、删、改。通过登录http://cloudGISVMIP:6080/arcgis/manage/site.html页面，发布一些GIS服务，同时对发布的服务的服务进行查、增、改、删操作，都可以返回正常的操作结果。通过pc机对发布的业务进行请求，测试能否正常对外提供服务。GIS数据库测试基础库当前的数据库平台为oracle，部署在物理服务器上。本文使用常用的性能测试工具LOADRUNNER，来进行orcle的性能测试。

测试任务：评估某项目的核心业务逻辑（数据查询、数据复用、抽取同步整合）在不同压力下的性能表现，判断系统瓶颈，得到最优系统配置参数和建议，并为数据库的试运行工作提供可靠的性能可行性依据；

数据查询性能指标：900个用户并发，平均响应时间在3秒以内。//连接数据库

lrd_server_attach(OraSrv1,"vmvare_7",-1,0,0);

lrd_ora8_attr_set_from_handle(OraSvc1,SERVER,OraSrv1,0,0);//设定数据库密码

lrd_ora8_attr_set(OraSes1,USERNAME,"username",-1,0);

lrd_ora8_attr_set(OraSes1,PASSWORD,"password",-1,0);//初始化连接session

lrd_ora8_attr_set_from_handle(OraSvc1,SESSION,OraSes1,0,0);//开始连接数据库

lrd_session_begin(OraSvc1,OraSes1,1,0,0);

lrd_ora8_handle_alloc(OraEnv1,STMT,&OraStm1,0);//设定查询语句

lrd_ora8_stmt(OraStm1,"SELECT*FROMT_TASK_ALARM_TYPEWHERETYPE_CODE=7",1,0,0);//执行查询语句

lrd_ora8_exec(OraSvc1,OraStm1,0,0,&rownum,0,0,0,0,1);//释放连接数据库的各种变量

lrd_handle_free(&OraStm1,0);

lrd_session_end(OraSvc1,OraSes1,0,0);

lrd_server_detach(OraSrv1,0,0);

lrd_handle_free(&OraEnv1,0);

上面的LoadRunner脚本在VirtualUserGenerator调试通过后，在Controller中打开，用900个模拟用户并发测试，即可得出性能指标。中间件测试Tomcat测试：部署简单的应用系统，测试能否正常对外提供服务。IIS:部署在WindowsServer2008SR2虚拟机上，发布相关的GIS服务，测试能否正常访问。主机镜像测试镜像服务主要是给虚拟机提供实例模板，测试内容如下：测试内容期望结果镜像上传上传成功镜像下载下载成功镜像删除镜像删除成功启动虚拟机实例实例创建成功通过openstack的dashboard界面进行上面的操作，查看返回结果。SaaS应用系统的集成测试高分影像电子政务产品制作分系统测试高分影像电子政务产品制作系统生产基于高分影像数据，结合电子政务地理框架数据和其他专题数据专业化、面向专业业务需求的产品测试，如：制作重点地区正影像图测试、制作全国重点城市高分遥感正摄影像图的测试、制作全国区划影响图测试等。高分数据产品共享与服务分系统测试对高分辨率遥感数据从高分数据中心到基础信息库数据主中心（以下简称数据主中心）的交换更新的测试；二是基于基础信息库数据主中心高分辨率遥感数据产品实现面向电子政务用户的共享服务的测试。电子政务综合应用集成平台测试电子政务综合应用集成平台测试可以分为系统模型集成测试、云应用系统集成测试、定制产品集成测试。系统模型集成测试电子政务综合应用集成平台云模型库集成大量类型异构、来源异构模型资源，并实现了这些模型资源在云模型库子系统中统一管理和直接以搭建的方式调用。这些模型资源支持ARCGIS及国产主流GIS平台模型封装、ERDAS、ENVI等主流遥感影像平台模型封装、以及用户按照集成平台提供的标准开发的针对特定业务领域的模型。云应用系统集成测试用户可根据电子政务综合应用子系统的应用需求，基于系统平台构建各类应用子系统进行集成。集成重要战略资源安全动态高分监测与评估子系统测试、重大自然灾害灾后重建规划实施动态高分监测子系统测试、区域规划实施动态高分监测与评估子系统测试、贫困地区公共服务空间要素高分遥感监测与适宜性评价子系统测试、县域科学发展空间布局高分动态监测与评估子系统等电子政务综合应用子系统测试定制产品集成测试电子政务综合应用集成平台应能集成所有利用应用子系统进行制作的分析产品。主要包括全国地形图分幅高分辨率遥感正射影像产品、全国省级行政区划高分辨率遥感正射影像产品