智慧政务云计算数据中心建设方案

云计算数据中心工程

建设方案

目录

一、项目背景.....................................................6

二、工程概述.....................................................6

三、数据中心网络设计.............................................8

（一）网络结构...............................................8

1、链路接入区.............................................8

2、互联网接入区...........................................9

3、互联网服务资源区.......................................9

4、专网接入区............................................10

5、专网服务资源区........................................10

6、核心网络区............................................11

7、内网服务资源区........................................12

8、存储资源区............................................12

9、运维管理区............................................13

10、指挥中心接入区.........................................13

11、物理整合区.............................................14

（二）虚拟化组网............................................14

四、云计算平台系统设计..........................................16

（-）资源池设计............................................17

1、计算资源池架构设计....................................17

2、存储资源池设计........................................17

3、资源池部署设计........................................18

4、设备选型..............................................20

（二）云计算资源管理系统....................................22

1、云计算资源管理系统设计概述............................22

2、云计算资源管理系统设计思路............................23

3、云计算资源管理系统框架设计............................24

4、云计算资源管理系统功能设计............................28

（三）云存储资源管理系统设计................................30

1、云存储资源管理系统设计概述............................30

2、云存储资源管理系统设计思路............................31

3、云存储资源管理系统框架设计............................33

4、云存储资源管理系统功能设计............................33

（四）云平台运行监控系统设计................................34

（五）云平台运维管理系统设计................................35

（六）云平台管理支撑系统设计................................36

1、资源设备管理..........................................37

2、资源基本管理..........................................38

3、资源综合管理..........................................38

4、资源功耗管理..........................................38

（七）云平台运营管理系统设计................................39

（A）云应用服务平台（PaaS）设计............................40

1、云路由................................................40

2、云负载................................................41

3、云代理节点............................................41

五、数据中心安全系统设计........................................43

（一）云平台安全总体设计....................................43

（二）云安全等保定级分析..................................44

（三）云安全系统需求分析..................................46

1、安全技术需求分析........................................46

2、安全管理需求分析........................................54

（四）安全技术体系设计......................................55

（五）云区域边界安全设计....................................60

1、实现边界的访问控制....................................62

2、实现网络边界入侵检测..................................63

3、实现边界病毒防护......................................63

4、实现边界完整性保护....................................63

5、实现边界安全审计保护..................................64

6、实现网站安全防护......................................64

（六）云计算环境安全设计....................................65

1、虚拟机访问控制........................................65

2、主机安全管理..........................................66

3、日志集中审计..........................................66

4、脆弱性管理............................................66

（七）云安全管理中心设计....................................67

1、集中安全管控..........................................67

2、安全策略集中管理......................................68

3、云安全集中管理........................................69

（八）安全管理体系设计......................................69

1、安全管理组织..........................................69

2、人员安全管理..........................................70

3、安全管理策略..........................................70

（九）安全运维体系设计......................................71

六、数据中心机房工程............................................71

（一）机房布局与布线........................................71

（二）机房装饰装修..........................................72

1、地面工程..............................................73

2、天花吊顶工程..........................................75

3、墙面工程..............................................76

4、门窗工程设计..........................................77

（三）机房电气系统..........................................77

1、配电系统..............................................77

2、电源插座设计..........................................78

3、照明系统设计..........................................78

4、接地系统设计..........................................79

5、防雷系统..............................................81

6、不间断电源系统........................................81

（四）机房空调系统..........................................83

1、机房环境设计标准......................................83

2、机房环精密空调容量设计................................83

3、空调送风方式的设计....................................84

4、空调上下水设计........................................84

（五）动力环境监控系统系统.................................84

（六）KVM系统...............................................87

1、方案说明..............................................87

2、方案拓扑图及说明......................................87

3、方案特点..............................................88

（七）机房消防报警和气体灭火系统...........................89

一、项目背景

根据区委、区政府主要领导批示，我区启动了智慧XXX

战略发展顶层设计与规划工作。经过几个月的努力，通过

一系列调研、分析、设计与研讨，《智慧XXX建设总体规划

与三年行动计划》文稿形成（以下简称“《规划》”），并与

相关部门进行了若干次的专题讨论。根据各方意见修改

后，《规划》经区长办公会研究原则通过。

《规划》中指出“新建智慧XXX云平台，与现有的

“智慧华明”云平台共同支撑智慧应用系统建设。按照

“集约建设、集中部署”的原则，将新建的智慧应用系统

直接部署在云平台，将各部门已建的非涉密业务系统和公

共服务类应用系统逐步迁移至云平台，实现智慧应用在基

础层面集中共享、信息层面协同整合、运行维护层面统一

保障，有利于充分整合和利用信息化资源。”

根据《规划》中的目标和原则，在“智慧XXX”首期项

目中与城市运行管理指挥中心同步进行云计算数据中心工

程建设，数据中心为智慧XXX的总体建设提供基于云计算

技术的信息化基础设施，为智慧XXX的各类业务应用提供

稳定可靠的运行环境。

二、工程概述

云计算数据中心与城市运行管理指挥中心选址为同一

地点，位于XXX开发区X路与X路交口处的“XXX国际一2

号楼2层”，位于该层西北侧区域，总共占用面积接近350

平方米。其中包含主机房、配电间、消防间、控制室等区

域。

00D0QiEHI对乖Mffi

10

001000

图1数据中心平面图

云计算数据中心是“智慧XXX”的信息技术基础设施,

不仅承载智慧xxx首期项目的三个主要应用，还将为日后

xxx区的各类信息化应用提供稳定可靠高效的计算、存储、

网络资源，以实现全区信息化基础资源的集中建设、集中

管理、集约使用。

数据中心的网络连接包括互联网、政务网、其他专

网，接入区文广局的光纤路由，以及三大运营商提供的固

网和移动网络。

智慧XXX云计算数据中心建设包括数据中心网络、云

计算平台、安全系统、机房工程等部分，后续章节分项阐

述。

三、数据中心网络设计

（一）网络结构

数据中心网络分为运营商链路设备区、互联网接入

区，互联网服务资源区、核心网络区、内网资源服务区、

专网接入区、专网服务资源区、存储资源区、物理资源整

合区、本地用户接入区、运维管理区等几部分，每个区域

间根据业务、功能的安全防护需求配备诸如防火墙等安全

设备进行安全隔离，保证网络层面的安全访问控制。以上

分区同时也是机房物理分区的指导原则。

数据中心网络总体架构设计如下图。

1、链路接入区

外部网络与数据中心互联时对方设备的安放区域，包

括了互联网链路及外单位专线链路。

拟同时接入中国移动、中国联通、中国电信三大运营

商互联网线路，为每个运营商分配一个机柜以存放其相应

设备。由于该区域设备由运营商提供并配置，因此未在网

络总体拓扑中予以具体体现。

专网链路接入目前设计包括政务外网、区技防网等，

同样为外部专线链路设备指定安放区域。

2、互联网接入区

互联网接入区为接入互联网而配置的设备的安放区

域，主要放置与运营商互联网接入设备进行互联的本方设

备，如路由器、边界防火墙、IPS（入侵防御系统）、链路

负载均衡等。

互联网接入区主要配置设备如下，关键设备配置两

套，以保证可用性要求。

表1互联网接入区设备

序号设备数量备注

1链路负载均衡设备2实现多调互联网链路的负载均衡

2安全网关2互联网边界防火墙

3入侵防御系统2主动防御来自互联网的安全威胁

4出口行为审计1对本地用户访问互联网进行审计

5防毒墙1防御本地用户访问互联网而面临的恶意代码攻击

3、互联网服务资源区

互联网服务资源区指为透过互联网向外提供服务和访

问的智慧XXX各类应用的部署区域，物理上集中放置一批

服务器设备，并通过虚拟化技术将服务器进行计算资源的

池化。

通过互联网进入数据中心的访问流量将被终结在此区

域，此区域内的服务器若需要与内网资源进行数据上的交

互，则可再经由一道防火墙进入核心网络区以访问内网资

源。

互联网服务资源区主要配置设备如下。

表2互联网资源服务区设备

序号设备数量备注

1互联网服务区汇聚交换机2接入该区域的服务器资源

2Web应用防火墙2对互联网web服务提供保护

3服务器5互联网资源服务区的服务器

4、专网接入区

专网指其他政府部门、企事业单位的行业专网，通过

专线与数据中心网络互联。专网接入区主要放置与专网接

入设备进行互联的本方设备，如边界防火墙等。

专网接入区配置两台扩展能力强的高性能防火墙，以

集中专网接入的安全管理。

表3互联网接入区设备

序号设备数量备注

1专网接入防火墙2数据中心网络与外单位专网的边界安全网关

5、专网服务资源区

专网服务资源区指为透过专网向外提供服务和访问的

智慧XXX各类应用的部署区域，物理上集中放置一批服务

器设备，并通过虚拟化技术将服务器进行计算资源的池

化。

通过专网进入数据中心的访问流量将被终结在此区

域，此区域内的服务器若需要与内网资源进行数据上的交

互，则可再经由一道防火墙进入核心网络区以访问内网资

源。

专网服务资源区主要配置设备如下。

表4专网服务资源区设备

序号设备数量备注

1专网服务区汇聚交换机2接入该区域的服务器资源

2服务器5专网资源服务区的服务器

6、核心网络区

核心网络区是数据中心本地网络的核心区域，主要是

核心交换设备以及安全管控设备。

核心网络区与互联网服务资源区、专网服务资源区、

本地用户接入区、物理资源整合区、运维管理区相连接，

均在连接间设置防火墙进行访问的安全控制。因此外部用

户需要经过两道防火墙才能进行数据中心核心网络访问本

地资源。

核心网络区主要配置设备如下。

表5核心网络区设备

序号设备数量备注

1核心交换机2接入该区域的服务器资源

2NTP服务器为数据中心设备提供统一的标准时间

3数据库审计系统对内网的数据库资源的访问进行审计

4安全审计系统对内网的网络访问进行安全审计

5漏洞扫描系统对数据中心网络进行漏洞扫描

7、内网服务资源区

内网服务资源区指向本地用户提供服务和访问的智慧

XXX各类应用的部署区域，物理上集中放置一批服务器设

备，并通过虚拟化技术将服务器进行计算资源的池化。

专网服务资源区主要配置设备如下。

表6内网服务资源区设备

序号设备数量备注

1内网服务区接入交换机4接入该区域的服务器资源

2计算资源服务器10专网资源服务区的服务器

3数据库服务器6专网资源服务区的服务器

4计算资源管理服务器2专网资源服务区的管理节点服务器

8、存储资源区

数据中心的存储资源区设计根据存储的数据性质不同

分为两大类：FCSAN和IPSAN,即光纤存储网络和IP存

储网络。前者适用于结构化数据的存储，如数据库；后者

适用于非结构化的数据，如文件、图像、视频等。

FCSAN存储区域的设备主要包括:

表7FCSAN存储区域设备

序号设备数量备注

1集中式存储FC交换机2光纤交换机，连接服务器与存储设备

2集中式存储磁盘阵列2存储数据的核心设备

IPSAN存储区域的设备主要包括:

表8IPSAN存储区域设备

序号设备数量备注

1分布存储接入交换机4IPSAN交换机

2存储资源服务器10分布式存储系统的资源节点服务器

3存储管理服务器2分布式存储系统的管理节点服务器

9、运维管理区

所有对数据中心服务器的操作原则上都必须在专门的

运维管理区进行操作，该区域既是网络上的概念，也对应

于物理的房间（数据中心控制室）。

运维管理区直接接入核心网络区，可以访问数据中心

网络上的所有设备和应用，因此运维管理区的物理安全要

有严格的控制措施。

表9运维管理区设备

序号设备数量备注

1接入交换机4下接工作站，上联核心交换

2运维工作站10用于运维操作的电脑终端

10、指挥中心接入区

指挥中心本地用户和设备接入数据中心网络的区域。

该区域包括接入交换机、汇聚交换机，以及上网行为管理

和防毒墙。指挥中心网络布线配线架全部集中在数据中心

机房内指定的机柜，配线架经跳线连接接入交换机，接入

交换机上联全千兆汇聚交换机。汇聚交换机经防火墙连接

核心交换，同时经防毒墙、上网行为管理等设备连接互联

网接入区。

表10指挥中心接入区

序号设备数量备注

1接入交换机10下接配线架，上联汇聚交换

2汇聚交换机2下联接入交换，上联核心区边界防火墙

3防毒墙1指挥中心用户访问互联网的病毒防御

4上网行为管理1指挥中心用户访问互联网的行为管理

11、物理整合区

（二）虚拟化组网

在传统的网络中，为了加强网络的可靠性，一般在核

心层将两台设备配置成双核心，双核心起到了冗余备份作

用，但冗余的网络架构增加了网络设计和操作的复杂性，

同时大量的备份链路也降低了网络资源的利用率，减少了

网络的投资回报率。

虚拟交换架构的核心思想是将多台设备通过物理端口

连接在一起，进行一些配置后，多台物理设备将虚拟化成

一台设备，实现整个虚拟化系统中设备之间的信息共享及

表项同步，实现了多台设备之间的协同工作、统一管理和

不间断维护。

网络虚拟化系统整体性能及端口密度都得到了成倍的

增长，突破了传统网络结构中单台核心设备的性能及端口

密度限制，通过网络虚拟化技术，核心设备可以实现跨设

备的链路聚合，与汇聚层设备或接入层设备通过聚合链路

连接，在简化网络配置的同时，提高了网络连接的可靠

性，保证了网络的稳定运行。

在本方案中，对于网络核心设备以及各区域接入设

备，我们都采用网络虚拟化技术来进行组网，组网拓扑如

下所示:

传统架构

VSF(VirtualSwitchFramework)

——虚拟交换糖架

技术实现：通过10G或40G端口互联把两

白或弓白下海机炭川女罢福上日尸白设国

彳专统方案虚拟化方案

收敛时间长性讹提升一倍

一半链路带宽被浪帮所有链路均能有效利用

无法工观跨设备链略平台可以实现跨设福链弗里台

无法进行设福统一W里可以^寸设备^充一里

可靠性更高

技需犷者保护投吊

图2虚拟化组网技术

采用虚拟化技术来进行组网，具有以下优点：

»高性能

虚拟化技术可以有效提高单台设备的带宽，多台设备

组成虚拟化系统后，虚拟化系统的交换容量、包转发率及

端口密度是系统各成员之和，虚拟化系统性能得到了成倍

的增长，满足了数据中心对核心交换设备的高性能及高端

口密度要求。

»高可靠性

通过虚拟化系统将多台设备虚拟成一台，可靠性大大

增强，主控、电源均实现了N+1冗余备份，正常情况下，

对外表现为一台设备，如果系统中某个成员发生故障，不

会影响到其它成员的正常转发。例如：如果是两台设备组

成网络虚拟化系统，当一台设备出现故障时，虚拟化系统

将自动分拆成两台独立的设备，另一台设备仍然能够正常

转发。

虚拟化系统支持跨物理设备的链路聚合技术可以跨设

备配置链路聚合，用户可以将不同成员设备上的物理以太

网端口配置成一个聚合端口。通过端口聚合既可以实现流

量的负载分担提高带宽，又能够进行互相备份。

A简化管理

虚拟化系统从逻辑层面作为单一设备形态运行，和传

统常见的提供冗余备份的VRRP+MSTP组网相比，管理简

单，自动支持备份简化了网络配置，不需要配置VRRP这样

的协议，所有协议分布式运行，方便网络管理员进行网络

管理，提升了网络可靠性及可维护性。

四、云计算平台系统设计

（一）资源池设计

1、计算资源池架构设计

服务器虚拟化技术是云计算资源架构设计的核心技术,

直接决定了整个云计算资源体系对应用系统的承载能力、运

行效率以及可靠性。该云计算资源架构设计如下图所示：

统一计算资源池

Application

OS

刀片服务器机架服务器机架式服务器刀片服务器

图3云计算资源池架构图

2、存储资源池设计

根据对本次智慧XXX云平台建设项目的需求，云平台规

划集中式存储容量150TB,分布式存储容量200TB。

集4式存播分布式存惭

图云存储资源池系统示意图

互联网资源服务区集中式存储配置50块2.5寸900G

10kSAS硬盘，35块3.5寸3TB7.2kSATA硬盘，分布式

存储配置60块4TB7.2kSATA硬盘；内网资源服务区集中

式存储配置20块2.5寸900G10kSAS硬盘,15块3.5寸

3TB7.2kSATA硬盘，分布式存储配置36块4TB7.2kSATA

硬盘。专网资源服务区集中式存储配置20块2.5寸900G

10kSAS硬盘，15块3.5寸3TB7.2kSATA硬盘，分布式

存储配置36块4TB7.2kSATA硬盘。

3、资源池部署设计

(1)应用服务器部署

计算资源服务器可部署虚拟机系统(VM)或直接使用物

理PC服务器。当应用负载接近单台物理服务器性能时，可直

接部署于物理服务器，一般应用部署在计算资源服务器上的

虚拟机。

根据应用系统的可用性要求等级不同，在虚拟机上实现

高可用的方式有以下三种，虚拟机热迁移，虚拟机HA,物理

机HA。

虚拟机热迁移用于满足计划内停机维护操作。当服务器

需要停机执行维护操作时，可通过虚拟机热迁移功能，将某

一物理服务器上的虚拟机动态迁移至另一物理服务器。动态

迁移过程，业务不中断，不影响用户的正常访问。

虚拟机HA用于满足一般应用服务器计划外宕机。当发

生服务器故障时，通过虚拟机HA,虚拟机可在其他的物理服

务器上自动重启，实现故障转移。此过程会引起短暂业务中

断，业务中断时间由虚拟机操作系统在另一物理服务器上启

动的时间及应用系统启动的时间决定。通过虚拟机HA比传

统群集较少一半的服务器数量，在保证了一定高可用的同时

提高资源利用率。

对于直接部署在物理服务器的应用系统，可通过高可用

群集软件提供可用性保证。在windows系统可配置MSCS群

集，在redhatLinux操作系统可配置VCS群集。通过部署

高可用群集，在确保在物理服务器故障或应用故障时，进行

快速的故障转移，减小并消除业务中断带来的负面影响。

为了能够提供具有更高可扩展性和可靠性的应用平台，

并能够在服务器集群中智能地分配负载，从而确保客户最大

限度地发挥其应用服务器投资价值，结合硬件负载均衡设备,

为部署在应用服务器上的服务和应用提供最佳的可扩展性

和性能。

(2)数据库服务器部署

数据库服务器作为业务系统的数据处理平台，对服务器

的I/O处理能力、内存、CPU等有较高要求的，建议采用高

性能机架式服务器部署，不同的业务系统数据库可通过多实

例进行共享同一物理服务器群集。对服务器性能要求一般的

数据库管理系统可部署在虚拟机上。

数据库服务器做业务系统的核心节点，为了保障其的高

可用性，建议至少使用2台物理服务器或2台虚拟机做HA。

部署于虚拟机上的数据库管理系统可通过HA技术保证其高

可用；部署于物理服务器的数据库管理系统通过数据库管理

系统自带群集软件(RAC)实现其高可用。

根据应用类型和规模的不同，数据库对于服务器的性能

和安全性要求也不一样。总体上采用在物理服务器和虚拟机

相结合的部署方式。

4、设备选型

机架式服务器实际上是工业标准化下的产品，其外观

按照统一标准来设计，配合机柜统一使用，以满足服务器

密集部署需求。机架服务器的主要作用是为节省空间，由

于能够将多台服务器装到一个机柜上，不仅可以占用更小

的空间，而且也便于统一管理。机架服务器的宽度为19

英寸，高度以U为单位（1U=1.75英寸二44.45毫米），通常

有1U,2U,3U,4U,5U,7U几种标准的服务器。主板扩展

性较强，插槽也很多，而且塔式服务器的机箱内部往往会

预留很多空间，以便进行硬盘，电源等的冗余扩展。这种

服务器无需额外设备，对放置空间没多少要求，并且具有

良好的可扩展性，配置也能够很高。

刀片式服务是专门为特殊应用行业和高密度计算机环

境设计的，其主要结构为一大型主体机箱，内部可插上许

多“刀片”，其中每一块刀片实际上就是一块系统母板，类

似于一个个独立的服务器，它们可以通过本地硬盘启动自

己的操作系统。每一块刀片可以运行自己的系统，服务于

指定的不同用户群，相互之间没有关联。而且，也可以用

系统软件将这些主板集合成一个服务器集群。在集群模式

下，所有的刀片可以连接起来提供高速的网络环境，共享

资源，为相同的用户群服务。在集群中插入新的刀片，就

可以提高整体性能。而由于每块刀片都是热插拔的，所

以，系统可以轻松地进行替换，并且将维护时间减少到最

小。刀片服务器比机架式服务器更节省空间，同时，散热

问题也更突出，往往要在机箱内装上大型强力风扇来散

热。此型服务器虽然空间较节省，但是其机柜与刀片价格

都不低。

综合服务器设备的可扩展性、高可用性、散热性和性

价比，我们设计采用机架式四路服务器作为数据库服务器

和虚拟化计算资源服务器，采用机架式两路服务器作为管

理服务器、分布式存储管理节点和分布式存储存储节点。

（二）云计算资源管理系统

1、云计算资源管理系统设计概述

云计算资源管理系统是提供全面的运行管理功能，支持

底层异构的虚拟机架构，完善的API和参考文档可供二次开

发，高效的管理监控，解决了用户虚拟机过多管理繁琐、多

厂家Hypervisor无法管理、运维复杂、云平台建设赛用昂贵

等问题，更符合用户使用云计算高性价比、更方便与更简单

的主流思维。可满足2000台以上物理机的资源管理。支持

Vmware.KVM、XEN等虚拟软件。主要实现以下功能：

・结合云数据中心的整体信息化环境及管理人员使用习惯,

实现管理人员对计算及存储资源的按需即用，随需扩展的需求,

实现资源的动态按需分配；

•基于虚拟化技术，用于构建IT资源池，支持现有业务的

部署、运行和管理，以及新的科研环境建设，也为未来电子政务

应用用户环境改造建设打下基础；

•基于资源池，实现计算资源的统一规划部署和实施，实现

覆盖其全系统范围内的计算资源共享系统；

•提高系统可靠性，在基础设施层面提高系统可靠性，为用

户应用系统提供高可用、连续服务的基础设施平台。

2、云计算资源管理系统设计思路

(1)统一管理，整体部署，提高部署和管理效率

通过虚拟机资源管理平台可以实现对不同虚拟化软件

虚拟的服务器并进行统一管理，从而实现：

•对每台用户所需要的服务器资源进行统一部署，将执行部

署的时间大大可缩短50-70%；

•从中央位置可管理资源池内所有虚拟机，资源池内的虚拟

服务器出现故障时通过HA或集群或负载均衡等方式可从中央管

理平台自己管理维护，提高整体的管理效率；

•统一监控资源池内所有虚拟机及构建资源池基础的所有

物理主机的性能及资源利用率；

•在不修改应用不提供硬件成本的同时可提供更高可用性

的基础架构。

(2)灵活的资源供给，弹性部署，便于扩展

云资源管理平台灵活的管理特性提供了灵活的资源供

给管理，并按照云计算的思路提供了弹性的部署方式和动态

化的扩展能力，主要如下：

•整个共享资源池可根据用户的需求在线增加或减少物理

服务器节点及存储节点，满足用户对于资源的动态调配，实现根

据需要灵活地供给和恢复IT资源，并根据使用量进行计量；

•对于虚拟机而言，可以根据用户的需求在线增加或删除虚

拟服务器。同时，还可根据用户对虚拟服务器的资源的需求，手

动将服务器部署在共享资源池的某个物理节点；

•通过云平台，用户可以在避免服务器和存储硬件过量供给

的情况下，使得峰时和闲时工作量的资源利用都保持在合理水平,

从而实现低本高效的IT运营模式。

(3)易于集成的开放平台

作为开放平台，云计算资源管理平台提供了标准的网络

服务API,易于与用户现有的应用和框架进行集成。同时，

云平台开放的RESTAPI,可以在软件开发和新服务实施方面,

实现无缝的协同工作和业务的高灵活性。

(4)主要经济效益

云资源平台将给用户带来很好的经济效益：

•提高IT效率。充分使用资源和现有硬件投资，节约成本，

提高IT效率；

•低的总拥有成本。减少额外的存储硬件购买，借助通用硬

件平台实现低的总体拥有成本；

•实现更大的商务灵活性，以快速调整客户服务内容和资源

分配，来应对多变的市场需求。

3、云计算资源管理系统框架设计

用户接口I开发API

海员用户控制台Amazon开源自定义

可用性和安全性T镜像仓库

备份负载均衡高可用监控

应用目录

动态负荷管理

客户模板

资源曾通

操作系统镜像

服务器存储网络

服务管理(计费，账务等)

虚拟化层

服务器I网络[存储

虚拟化层是通过虚拟化软件(如VMwareESXi.Xen.KVM)

对物理层的硬件设施进行虚拟化处理,形成的Hypervisor虚

拟层面的资源池系统。采用虚拟化软件将物理设备资源形成

一个或多个虚拟出来的资源池，提供了计算能力、网络功能

和存储能力。该资源池系统可提供用户传统使用基础IT资

源一一计算能力、网络功能和存储能力。该资源池系统可根

据需要动态改变资源分配的规模，快速适应不同应用的扩容

需求，实现“弹性”资源的分配能力。

云计算资源管理系统是通过云资源管理平台来实现资

源统一管理和业务统一管控的自动化系统。云资源管理平台

作为资源管理系统，主要是管理资源池系统及资源池系统中

的各种资源的调度、分配和调整。

(1)虚拟化层

虚拟化层就是通过各种虚拟化技术把如路由器、防火墙、

负载均衡器等多种网络设备，多种平台类型的服务器和多种

级别的存储系统，有效地组织起来，形成多种功能和属性的

资源池。虚拟化层主要包括以下几个层面：

1)服务器虚拟化

服务器虚拟化系统的总体技术架构主要包括以下几个

部分：

•物理服务器

本方案中指标准机架式服务器，一般CPU采用通用多核

的CPUo

•Hypervisor

运行于虚拟化服务器之上的软件层，管理其上的虚拟机,

帮助虚拟机分享虚拟化服务器的硬件资源。

•虚拟服务器

指对通过各种虚拟化技术，为用户提供的与原有物理服

务器相同的操作系统和应用程序运行环境的统称。虚拟服务

器通常使用物理服务器的部分资源，在用户看来它与物理服

务器的使用完全相同。

2)网络虚拟化

伴随着虚拟化系统的不断应用，企业的服务器系统得到

了最大限度的性能发挥和灵活的管理，对传统企业IT系统

重要组成部分的网络系统提出新的要求:

•性能需求

由于CPU的利用率以及性能的提升，对于服务器间数据

传输的要求进一步的提高，要求与服务器相关的网络系统具

有高带宽、低时延和全线速的传输能力。这是保证服务器I/O

的最基本要求。

•应用功能需求

随着IT技术的不断发展，应用系统出现了不断整合以

及统一的趋势，作为网络设备，出现了数据交换网络与存储

网络以及管理网络整合的趋势，这样要求在选择数据中心交

换机的时候具有良好的数据整合能力。以满足用户数据中心

不断提高的应用需求。

•网络控制需求

随着网络中各种逻辑划分的不断多样化，要求用户的网

络设备也能够根据用户的要求作出灵活的调整，以满足企业

应用的部署的需求。

云资源管理平台可以很好的解决网络虚拟化以及对虚

拟系统支持的问题，保证了用户虚拟系统的灵活特性，并且

有效的降低了用户管理维护成本，保障了用户虚拟化系统的

正常可靠运行。

(2)云资源管理平台

由运行在虚拟化管理服务器上的管理软件和对应的管

理客户端、外部Web门户等部分构成。对系统中的各类资源

和应用系统进行统一管理。

服务平台相关的业务与应用系统，各类业务应用的物理

节点，包括Web服务器、应用服务器等均架构在虚拟化架构

上，用虚拟化方式承载。使用硬件虚拟化技术，将一台物理

服务器的资源(包括CPU、内存、硬盘、网卡等)划分成多

份。每一份资源相互独立，像多个虚拟的服务器，与使用物

理服务器一样，用户可以独立安装操作系统、应用程序等。

同时虚拟化架构可以实现虚拟机资源池，通过虚拟机的动态

迁移，保证物理机与虚拟机两个层面的高可用性，同时提供

整个资源池的资源动态分配功能。

使用虚拟化技术，在高性能的服务器上划分虚拟机，将

业务及应用程序平滑的部署在虚拟机上。整个方案需提供统

一的虚拟机集群管理功能，拥有自动资源调配，虚拟机动态

迁移，共享网络连接与集中存储等功能，可以增强资源管理

的敏捷性，提高系统运行效率，降低单个系统故障的损失。

4、云计算资源管理系统功能设计

(1)虚拟化层管理

•平台支持异构及网络：计算虚拟化支持Xen、Vmware.

KVM；

•存储支持：LocalDisk、Iscsi、FibreChannel>NFS、

Swift；

•网络支持：TC、VLAN、FirewalhLB、VPN、S/DNATO

(2)资源管理

通过云资源管理平台可以整合物理机和虚拟机计算资

源，可创建一个共享的计算架构，同时可以实现在不同的应

用中共享计算资源；多业务系统资源池共享模式；根据系统

当前负载、系统资源的使用情况，有序的运行应用程序。基

于云资源管理平台和资源池，云平台可提供各类云业务，包

括：虚拟机根据组织结构分配业务、资源计量管理、资源监

控、资源调度管理、设备能耗计量管理、资源分配等。

(3)动态负荷管理

云资源管理平台在创建虚拟机时会根据内置策略选用

虚拟机所在的物理服务器。被选择的物理机总是和虚拟机的

镜像物理位置接近。

云资源管理平台管理平台提供的这两种选择方案供用

户根据实际需要，进行灵活部署，从而实现动态的载荷管理,

从而取得更大的能耗节约或者最优化的虚拟机性能。

(4)镜像库管理

云资源管理平台管理平台软件提供了虚拟机模板管理

功能，可以进行属性编辑、模板复制、模板下载备份和模板

删除。所有这些功能都非常方便管理员的操作和云平台中虚

拟机的维护。同时，提供了非常高效的虚拟机管理：例如，

利用虚拟机模板功能，对于采用同样操作系统和同样应用软

件的虚拟机而言，通过此功能可在2-5分钟内实现需在物理

机上0.5-3个小时的部署时间，可大大节省管理员部署业务

应用的时间。

(5)用户管理

云平台管理软件可以提供多样化的分级管理、完美的用

户体验和适合管理员运维的监控和统计管理。

(6)接口

云计算资源管理系统可以基于标准网络服务提供了一

套完善的开放的API接口。这种API接口易于与用户现有的

应用和框架进行集成。此外，平台开放的RESTAPI和支持

AWS,可以供用户在软件开发和新服务实施方面，实现无缝的

协同工作和业务的高灵活性。

(三)云存储资源管理系统设计

1、云存储资源管理系统设计概述

云存储资源管理系统为本次智慧XXX云平台存储资源池

建设解决方案的一部分，主要针对海量的数据及其它各类数

据的集中存储与共享，建立一套具有高可靠、可在线弹性伸

缩，满足高吞吐量并发访问需求的云存储平台，为虚拟机、

电子政务数据存储提供便捷、统一管理和高效应用的基础平

台支撑。

2、云存储资源管理系统设计思路

针对本次项目的实际情况，充分考虑系统建设的建设发

展需求，以实现系统统一管理、高效应用、平滑扩展为目标，

以“先进、安全、成熟、开放、经济”为设计原则。

•先进性原则

在系统总体方案设计时采用业界先进的方案和技术，以

确保一定时间内不落后。选择实用性强产品，模块化结构设

计，既可满足当前的需要又可实现今后系统发展平滑扩展。

•安全性原则

数据是业务系统核心应用的最终保障，不但要保证整套

系统能够7x24运行，而且云存储资源管理系统必须有高可

用性，以保证应用系统对数据的随时存取。同时配置安全的

备份系统，对应用数据进行更加安全的数据保护，降低人为

操作失误或病毒袭击给系统造成的数据丢失。

在进行系统设计时，充分考虑数据高可靠存储，采用高

度可靠的软硬件容错设计，进行有效的安全访问控制，实现

故障屏蔽、自动冗余重建等智能化安全可靠措施，提供统一

的系统管理和监控平台，进行有效的故障定位、预警。

•成熟性原则

为确保整个系统能够稳定工作，软件平台将使用先进、

完善、易于管理和稳定可靠的云存储资源管理系统，对于与

应用的集成接口，提供统一的通用稳定访问接口。

•开放性原则

系统设计具有开放性的标准体系，提供符合POSIX标准

的通用文件系统访问接口，开放的应用API编程接口，提供

人性化的应用和管理界面，以满足用户需求。遵循规范的通

用接口标准，使全系统中的硬件、通信、软件、操作平台之

间的互联共享。充分考虑系统的升级和维护问题，维护采用

在线式的，即在系统不停止工作的情况下，可以更换单元备

件。系统的维护和升级操作由系统管理员即可完成。

•经济性原则

现有业务系统存储数据量较大，且数据的增长速度较快。

因此在设计云存储资源管理系统架构时，应从长远的角度考

虑，设计一个长期的存储架构，除了可以应对存储硬件设备

的升级速度外，还必须考虑到对前期存储设备的投资保护，

在保证不断提供功能和性能提高的同时，存储架构在较长的

时间内能够保持相对稳定。结合先进的云平台技术架构优势,

根据本次项目的实际容量需求设计，同时充分考虑应用发展

需求，实现系统可弹性在线平滑升级。通过软件实现在较廉

价普通服务器上实现高度容错，同时能够在较低冗余度的情

况下实现高度可靠容错，大大节约和降低系统建设的硬件成

本。

3、云存储资源管理系统框架设计

云存储资源管理系统采用通用X86架构或ARM架构存储

服务器作为硬件载体，通过在其上部署自身的分布式软件以

实现分布式云存储的功能。云存储资源管理平台软件支持通

过X86架构或者ARM架构的硬件。

云存储资源管理系统支持多种主流的操作系统，支持主

流的Linux平台，如CentOS>RedHat>Ubuntu、FreeBSD等。

客户端支持上述主流的Linux平台，以及Windows、苹果

MacOSX等主流操作系统；支持智能手机、移动终端等移动设

备。

4、云存储资源管理系统功能设计

在云存储资源管理系统中，具备以下功能：元数据管理

模块，块数据(chunkserver)管理模块，卷管理模块、副

本管理模块、客户端模块、管理监控中心模块等。

其整体功能结构如下图所示:

管1»枚中0

喜户簿1客户造2客户婚3客户就4客户51M

主卷管理服务器番卷管理服务器

元

a

卷B

・

王元富境节怠1£元ttH匿海节点2王元或赏管理节怠3

1■t

不南元的冕管理巧点备元数理节点番元独施・康节累

点123

£

»

*

心

骏的H节点1外据节煌1

tnt能翼节点2动揭节点2

o

N累节点3她亮节里

tt书

合数掘节点N的气节点N

图4云存储资源管理系统结构图

（四）云平台运行监控系统设计

云平台运行监控系统为智慧XXX云平台的日常运行维护

提供运行支撑，系统采用B/S结构实现，全中文界面操作,

可以实现外网200个节点、内网50个节点的监控管理。

云平台运行监控提供对云平台硬件设备资源和软件资

源的动态管理，包括对主机、网络、存储、备份、数据库系

统、中间件系统、应用系统的运行监控，围绕平台性能、平

台故障、平台告警的三类管理，通过云平台运维闭环管理流

程和完善的运维功能，为云平台的健康可持续运营提供技术

支撑保障。云平台运行监控支持非常灵活的全局搜索功能和

强大的批量修改功能。全局搜索功能支持匹配设备组、设备

或指标的标签中的任意关键字；支持IP地址搜索；支持按当

前状态搜索（状态包括：正常、禁用状态、失败状态、忽略

状态）通过这些全局搜索能够快速准确的从海量监测指标中

找到需要修改的对象。批量修改操作功能支持对任意全局搜

索结果的批量修改，包括：批量修改标签、批量修改轮询问

隔、批量修改告警阀值规则、批量暂时禁用/忽略监测采集、

批量启用监测采集、批量删除、批量修改目标IP地址等。

（五）云平台运维管理系统设计

云平台运维管理系统为智慧XXX云平台的日常运行维护

提供运维保障，系统采用B/S结构实现，全中文界面操作。

云计算运维管理提供闭环式运维管理流程，作为运维事

件的入口，能及时处理相关事件请求，可跟踪反馈运维事件

处理过程及结果，包括事件管理、问题管理等。云计算运维

管理遵循行业标准LHL,将整个体系划分为服务台、事件管

理、问题管理、变更管理、发布管理、知识库等模块，建立

闭环式运维管理流程。服务台是云计算中心和IDC运维事件

的统一入口，用于请求和事故的受理；事件管理按照运维事

件管理流程快速处理事件，跟踪事件处理过程；问题管理着

力于找出事故产生的根源，解决问题的同时提出预防措施;

变更管理为基础架构和服务的变更提供标准的实施方法和

步骤；发布管理严格地遵照ITIL发布的有关流程来进行软

件发布的管理。知识库提供运维类信息的存储和搜索功能,

实现运维经验共享。

除上述功能外，运维管理系统还包括登录短信验证、公

告管理、值班管理、备份管理和密码管理等功能。登录短信

验证加强运维人员使用系统的身份验证，要求登录系统时输

入刚刚收到的短信验证码，公告管理实现通知和公告的发布、

审核，值班管理实现云计算中心节假日或重大事项保障时的

值班任务的管理，备份管理实现手动备份和按照备份策略自

动备份应用系统和数据库的数据，密码管理实现密码手动输

入、自动生成、密码查询查看和更改提醒等功能。

图5运维管理流程示意图

（六）云平台管理支撑系统设计

云平台管理支撑系统是面向云平台业务资源需求的一

套管理支撑系统。系统包含了资源基本管理、资源综合管理、

资源设备管理、资源功耗管理功能，采用了先进框架及SOA

总线技术。不仅满足当前业务需要，而且适应未来发展深化，

同时面向多元化用户需求，可适应个性化的管理及服务体系。

运镂人员

管理运营门户

体系

标管理支撑系统

准

化云资源管理

资源设备管理AM

体

系运营支撑平台

资源综合管理

A'运行监控系统

标

准

化

体a

系

信

息n

安

全

体H

系

图6管理支撑系统架构

云平台管理支撑系统是把云平台内的IT基础设施资源

（包括硬件、软件等）进行统一记录、整合，使资源的管理成

为一个完整的生命周期，最终达到将这些资源按需分配的方

式分配给客户租赁使用。云平台管理支撑系统支撑云平台

SaaS、PaaS、laaS服务的后台服务、网络、设备运维工作的

有序进行。

1、资源设备管理

资源设备管理为云平台各类硬件设备信息、软件信息以

及其他相关信息等提供维护与管理。

资源设备管理提供对云平台中的硬件、软件资源等的管

理（采集如主机的设备型号、CPU/内存配置、硬盘配置等信

息）。通过对资源当前情况的了解，指导云平台的升级、改造。

系统应提供资源数据的自动和手工输入并进行合法性检查

等功能，并对历史配置数据进行管理。

系统提供对资源信息维护的功能，运维人员可以在系统

中对相应资源的配置项具有编辑等功能。

2、