智慧东丽首期项目云计算数据中心工程建设方案

智慧东丽首期项目

云计算数据中心工程

建设方案

二O一五年十一月

智慧东丽云计算数据中心工程建设方案

目录

一、项目背景.....................................................6

二、工程概述.....................................................6

三、数据中心网络设计.............................................8

（一）网络结构...............................................8

1、链路接入区.............................................8

2、互联网接入区...........................................9

3、互联网服务资源区.......................................9

4、专网接入区............................................10

5、专网服务资源区........................................10

6、核心网络区............................................11

7、内网服务资源区........................................11

8、存储资源区............................................12

9、运维管理区............................................13

10、指挥中心接入区.........................................13

11、物理整合区.............................................14

（二）虚拟化组网............................................14

四、云计算平台系统设计..........................................16

（一）资源池设计............................................16

1、计算资源池架构设计....................................16

2、存储资源池设计........................................17

3、资源池部署设计........................................18

4、设备选型..............................................20

（-）云计算资源管理系统....................................21

1、云计算资源管理系统设计概述............................21

2、云计算资源管理系统设计思路............................22

3、云计算资源管理系统框架设计............................24

4、云计算资源管理系统功能设计............................28

（三）云存储资源管理系统设计................................30

2/92

智慧东丽云计算数据中心工程建设方案

1、云存储资源管理系统设计概述............................30

2、云存储资源管理系统设计思路............................30

3、云存储资源管理系统框架设计............................32

4、云存储资源管理系统功能设计............................32

（四）云平台运行监控系统设计................................33

（五）云平台运维管理系统设计................................34

（六）云平台管理支撑系统设计................................35

1、资源设备管理..........................................36

2、资源基本管理..........................................37

3、资源综合管理..........................................37

4、资源功耗管理..........................................38

（七）云平台运营管理系统设计................................38

（A）云应用服务平台（PaaS）设计............................39

1、右路由................................................39

2、云负载................................................40

3、云代理节点............................................40

五、数据中心安全系统设计........................................42

（一）云平台安全总体设计....................................43

（二）云安全等保定级分析...................................44

（三）云安全系统需求分析...................................45

1、安全技术需求分析......................................45

2、安全管理需求分析......................................53

（四）安全技术体系设计......................................54

（五）云区域边界安全设计....................................59

1、实现边界的访问控制....................................61

2、实现网络边界入侵检测..................................62

3、实现边界病毒防护......................................62

4、实现边界完整性保护....................................63

5、实现边界安全审计保护..................................63

3/92

智慧东丽云计算数据中心工程建设方案

6、实现网站安全防护......................................64

（六）云计算环境安全设计....................................64

1、虚拟机访问控制........................................64

2、主机安全管理..........................................65

3、日志集中审计..........................................65

4、脆弱性管理............................................66

（七）云安全管理中心设计....................................66

1、集中安全管控..........................................66

2、安全策略集中管理......................................67

3、云安全集中管理........................................68

（八）安全管理体系设计......................................68

1、安全管理组织..........................................69

2、人员安全管理..........................................69

3、安全管理策略..........................................69

（九）安全运维体系设计......................................70

六、数据中心机房工程............................................71

（一）机房布局与布线........................................71

（二）机房装饰装修..........................................72

1、地面工程..............................................72

2、天花吊顶工程..........................................74

3、墙面工程..............................................75

4、门窗工程设计..........................................76

（三）机房电气系统..........................................76

1、配电系统..............................................76

2、电源插座设计..........................................77

3、照明系统设计..........................................78

4、接地系统设计..........................................78

5、防雷系统..............................................80

6、不间断电源系统........................................81

4/92

智慧东丽云计算数据中心工程建设方案

（四）机房空调系统..........................................82

1、机房环境设计标准......................................82

2、机房环精密空调容量设计................................83

3、空调送风方式的设计....................................83

4、空调上下水设计........................................83

（五）动力环境监控系统系统.................................83

（六）KVM系统...............................................86

1、方案说明..............................................86

2、方案拓扑图及说明......................................87

3、方案特点..............................................87

（七）机房消防报警和气体灭火系统...........................88

5/92

智慧东丽云计算数据中心工程建设方案

一、项目背景

根据区委、区政府主要领导批示，2014年11月我区启

动了智慧东丽战略发展顶层设计与规划工作。经过几个月的

努力，通过一系列调研、分析、设计与研讨，《智慧东丽建

设总体规划与三年行动计划》文稿形成（以下简称“《规划》”）,

并与相关部门进行了若干次的专题讨论。根据各方意见修改

后，《规划》于2015年4月中旬经区长办公会研究原则通过。

《规划》中指出“新建智慧东丽云平台，与现有的“智

慧华明”云平台共同支撑智慧应用系统建设。按照“集约建

设、集中部署”的原则，将新建的智慧应用系统直接部署在

云平台，将各部门已建的非涉密业务系统和公共服务类应用

系统逐步迁移至云平台，实现智慧应用在基础层面集中共享、

信息层面协同整合、运行维护层面统一保障，有利于充分整

合和利用信息化资源

根据《规划》中的目标和原则，在“智慧东丽”首期项

目中与城市运行管理指挥中心同步进行云计算数据中心工

程建设，数据中心为智慧东丽的总体建设提供基于云计算技

术的信息化基础设施，为智慧东丽的各类业务应用提供稳定

可靠的运行环境。

二、工程概述

云计算数据中心与城市运行管理指挥中心选址为同一

地点，位于东丽开发区津塘路与五经路交口处的“帝达东谷

6/92

智慧东丽云计算数据中心工程建设方案

国际一东谷中心2号楼2层”，位于该层西北侧区域，总共

占用面积接近350平方米。其中包含主机房、配电间、消防

间、控制室等区域。

图1数据中心平面图

云计算数据中心是“智慧东丽”的信息技术基础设施,

不仅承载智慧东丽首期项目的三个主要应用，还将为日后东

丽区的各类信息化应用提供稳定可靠高效的计算、存储、网

络资源，以实现全区信息化基础资源的集中建设、集中管理、

集约使用。

数据中心的网络连接包括互联网、政务网、其他专网，

接入区文广局的光纤路由，以及三大运营商提供的固网和移

动网络。

智慧东丽云计算数据中心建设包括数据中心网络、云计

7/92

智慧东丽云计算数据中心工程建设方案

算平台、安全系统、机房工程等部分，后续章节分项阐述。

三、数据中心网络设计

（一）网络结构

数据中心网络分为运营商链路设备区、互联网接入区，

互联网服务资源区、核心网络区、内网资源服务区、专网接

入区、专网服务资源区、存储资源区、物理资源整合区、本

地用户接入区、运维管理区等几部分，每个区域间根据业务、

功能的安全防护需求配备诸如防火墙等安全设备进行安全

隔离，保证网络层面的安全访问控制。以上分区同时也是机

房物理分区的指导原则。

数据中心网络总体架构设计如下图。

1、链路接入区

外部网络与数据中心互联时对方设备的安放区域，包括

8/92

智慧东丽云计算数据中心工程建设方案

了互联网链路及外单位专线链路。

拟同时接入中国移动、中国联通、中国电信三大运营商

互联网线路，为每个运营商分配一个机柜以存放其相应设备。

由于该区域设备由运营商提供并配置，因此未在网络总体拓

扑中予以具体体现。

专网链路接入目前设计包括政务外网、区技防网等，同

样为外部专线链路设备指定安放区域。

2、互联网接入区

互联网接入区为接入互联网而配置的设备的安放区域，

主要放置与运营商互联网接入设备进行互联的本方设备，如

路由器、边界防火墙、IPS（入侵防御系统）、链路负载均衡

等。

互联网接入区主要配置设备如下，关键设备配置两套，

以保证可用性要求。

表1互联网接入区设备

序号设备数量备注

1链路负载均衡设备2实现多调互联网链路的负载均衡

2安全网关2互联网边界防火墙

3入侵防御系统2主动防御来自互联网的安全威胁

4出口行为审计1对本地用户访问互联网进行审计

5防毒墙1防御本地用户访问互联网而面临的恶意代码攻击

3、互联网服务资源区

互联网服务资源区指为透过互联网向外提供服务和访

9/92

智慧东丽云计算数据中心工程建设方案

问的智慧东丽各类应用的部署区域，物理上集中放置一批服

务器设备，并通过虚拟化技术将服务器进行计算资源的池化。

通过互联网进入数据中心的访问流量将被终结在此区

域，此区域内的服务器若需要与内网资源进行数据上的交互,

则可再经由一道防火墙进入核心网络区以访问内网资源。

互联网服务资源区主要配置设备如下。

表2互联网资源服务区设备

序号设备数量备注

1互联网服务区汇聚交换机2接入该区域的服务器资源

2Web应用防火墙2对互联网web服务提供保护

3服务器5互联网资源服务区的服务器

4、专网接入区

专网指其他政府部门、企事业单位的行业专网，通过专

线与数据中心网络互联。专网接入区主要放置与专网接入设

备进行互联的本方设备，如边界防火墙等。

专网接入区配置两台扩展能力强的高性能防火墙，以集

中专网接入的安全管理。

表3互联网接入区设备

序号设备数量备注

1专网接入防火墙2数据中心网络与外单位专网的边界安全网关

5、专网服务资源区

专网服务资源区指为透过专网向外提供服务和访问的

智慧东丽各类应用的部署区域，物理上集中放置一批服务器

设备，并通过虚拟化技术将服务器进行计算资源的池化。

10/92

智慧东丽云计算数据中心工程建设方案

通过专网进入数据中心的访问流量将被终结在此区域,

此区域内的服务器若需要与内网资源进行数据上的交互，则

可再经由一道防火墙进入核心网络区以访问内网资源。

专网服务资源区主要配置设备如下。

表4专网服务资源区设备

序号设备数量备注

1专网服务区汇聚交换机2接入该区域的服务器资源

2服务器5专网资源服务区的服务器

6、核心网络区

核心网络区是数据中心本地网络的核心区域，主要是核

心交换设备以及安全管控设备。

核心网络区与互联网服务资源区、专网服务资源区、本

地用户接入区、物理资源整合区、运维管理区相连接，均在

连接间设置防火墙进行访问的安全控制。因此外部用户需要

经过两道防火墙才能进行数据中心核心网络访问本地资源。

核心网络区主要配置设备如下。

表5核心网络区设备

序号设备数量备注

1核心交换机2接入该区域的服务器资源

2NTP服务器为数据中心设备提供统一的标准时间

3数据库审计系统对内网的数据库资源的访问进行审计

4安全审计系统对内网的网络访问进行安全审计

5漏洞扫描系统对数据中心网络进行漏洞扫描

7、内网服务资源区

11/92

智慧东丽云计算数据中心工程建设方案

内网服务资源区指向本地用户提供服务和访问的智慧

东丽各类应用的部署区域，物理上集中放置一批服务器设备,

并通过虚拟化技术将服务器进行计算资源的池化。

专网服务资源区主要配置设备如下。

表6内网服务资源区设备

序号设备数量备注

1内网服务区接入交换机4接入该区域的服务器资源

2计算资源服务器10专网资源服务区的服务器

3数据库服务器6专网资源服务区的服务器

4计算资源管理服务器2专网资源服务区的管理节点服务器

8、存储资源区

数据中心的存储资源区设计根据存储的数据性质不同

分为两大类：FCSAN和IPSAN,即光纤存储网络和IP存储

网络。前者适用于结构化数据的存储，如数据库；后者适用

于非结构化的数据，如文件、图像、视频等。

FCSAN存储区域的设备主要包括：

表7FCSAN存储区域设备

序号设备数量备注

1集中式存储FC交换机2光纤交换机，连接服务器与存储设备

2集中式存储磁盘阵列2存储数据的核心设备

IPSAN存储区域的设备主要包括:

表8IPSAN存储区域设备

序号设备数量备注

1分布存储接入交换机4IPSAN交换机

2存储资源服务器10分布式存储系统的资源节点服务器

--

12/92

智慧东丽云计算数据中心工程建设方案

序号设备数量备注

3存储管理服务器2分布式存储系统的管理节点服务器

9、运维管理区

所有对数据中心服务器的操作原则上都必须在专门的

运维管理区进行操作，该区域既是网络上的概念，也对应于

物理的房间（数据中心控制室）。

运维管理区直接接入核心网络区，可以访问数据中心网

络上的所有设备和应用，因此运维管理区的物理安全要有严

格的控制措施。

表9运维管理区设备

序号设备数量备注

1接入交换机4下接工作站，上联核心交换

2运维工作站10用于运维操作的电脑终端

10、指挥中心接入区

指挥中心本地用户和设备接入数据中心网络的区域。该

区域包括接入交换机、汇聚交换机，以及上网行为管理和防

毒墙。指挥中心网络布线配线架全部集中在数据中心机房内

指定的机柜，配线架经跳线连接接入交换机，接入交换机上

联全千兆汇聚交换机。汇聚交换机经防火墙连接核心交换,

同时经防毒墙、上网行为管理等设备连接互联网接入区。

表10指挥中心接入区

序号设备数量备注

1接入交换机10下接配线架，上联汇聚交换

2汇聚交换机2下联接入交换，上联核心区边界防火墙

13/92

智慧东丽云计算数据中心工程建设方案

序号设备数量备注

3防毒墙1指挥中心用户访问互联网的病毒防御

4上网行为管理1指挥中心用户访问互联网的行为管理

11、物理整合区

（二）虚拟化组网

在传统的网络中，为了加强网络的可靠性，一般在核心

层将两台设备配置成双核心，双核心起到了冗余备份作用，

但冗余的网络架构增加了网络设计和操作的复杂性，同时大

量的备份链路也降低了网络资源的利用率，减少了网络的投

资回报率。

虚拟交换架构的核心思想是将多台设备通过物理端口

连接在一起，进行一些配置后，多台物理设备将虚拟化成一

台设备，实现整个虚拟化系统中设备之间的信息共享及表项

同步，实现了多台设备之间的协同工作、统一管理和不间断

维护。

网络虚拟化系统整体性能及端口密度都得到了成倍的

增长，突破了传统网络结构中单台核心设备的性能及端口密

度限制，通过网络虚拟化技术，核心设备可以实现跨设备的

链路聚合，与汇聚层设备或接入层设备通过聚合链路连接,

在简化网络配置的同时，提高了网络连接的可靠性，保证了

网络的稳定运行。

14/92

智慧东丽云计算数据中心工程建设方案

在本方案中，对于网络核心设备以及各区域接入设备，

我们都采用网络虚拟化技术来进行组网，组网拓扑如下所示:

传统架构

VSF(VirtualSwitchFramework)

—虚拟交换榷架

技术实现：通过10G或40G湍口互联把两

白或弓白小反扒圉I!或逻羽上印一白设备

彳招充方案圜以化方案

收敛时间长性能提一倍

一半筑路带宽被浪帮所有链路均能有效利用

无;夫宅观跨设备链皓甲台可以受1叫挎设品链路宝合

无法进行设备统一管理可以对设品统一O

可靠性中高

按需扩占保护投塞

图2虚拟化组网技术

采用虚拟化技术来进行组网，具有以下优点：

A高性能

虚拟化技术可以有效提高单台设备的带宽，多台设备组

成虚拟化系统后，虚拟化系统的交换容量、包转发率及端口

密度是系统各成员之和，虚拟化系统性能得到了成倍的增长,

满足了数据中心对核心交换设备的高性能及高端口密度要

求。

»高可靠性

通过虚拟化系统将多台设备虚拟成一台，可靠性大大增

强，主控、电源均实现了N+1冗余备份，正常情况下，对外

表现为一台设备，如果系统中某个成员发生故障，不会影响

15/92

智慧东丽云计算数据中心工程建设方案

到其它成员的正常转发。例如：如果是两台设备组成网络虚

拟化系统，当一台设备出现故障时，虚拟化系统将自动分拆

成两台独立的设备，另一台设备仍然能够正常转发。

虚拟化系统支持跨物理设备的链路聚合技术可以跨设

备配置链路聚合，用户可以将不同成员设备上的物理以太网

端口配置成一个聚合端口。通过端口聚合既可以实现流量

的负载分担提高带宽，又能够进行互相备份。

A简化管理

虚拟化系统从逻辑层面作为单一设备形态运行，和传统

常见的提供冗余备份的VRRP+MSTP组网相比，管理简单，自

动支持备份简化了网络配置，不需要配置VRRP这样的协议，

所有协议分布式运行，方便网络管理员进行网络管理，提升

了网络可靠性及可维护性。

四、云计算平台系统设计

（一）资源池设计

1、计算资源池架构设计

服务器虚拟化技术是云计算资源架构设计的核心技术,

直接决定了整个云计算资源体系对应用系统的承载能力、运

行效率以及可靠性。该云计算资源架构设计如下图所示：

16/92

智慧东丽云计算数据中心工程建设方案

统一计算资源池

Application

刀片服务器机架服务器刀片服务器

图3云计算资源池架构图

2、存储资源池设计

根据对本次智慧东丽云平台建设项目的需求,云平台规

划集中式存储容量150TB,分布式存储容量200TB。

互联网资源服务区集中式存储配置50块2.5寸900G

10kSAS硬盘，35块3.5寸3TB7.2kSATA硬盘，分布式

17/92

智慧东丽云计算数据中心工程建设方案

存储配置60块4TB7.2kSATA硬盘；内网资源服务区集中

式存储配置20块2.5寸900GlOkSAS硬盘，15块3.5寸3TB

7.2kSATA硬盘，分布式存储配置36块4TB7.2kSATA硬盘。

专网资源服务区集中式存储配置20块2.5寸900G10kSAS

硬盘，15块3.5寸3TB7.2kSATA硬盘，分布式存储配置

36块4TB7.2kSATA硬盘。

3、资源池部署设计

(1)应用服务器部署

计算资源服务器可部署虚拟机系统(VM)或直接使用物

理PC服务器。当应用负载接近单台物理服务器性能时，可

直接部署于物理服务器，一般应用部署在计算资源服务器上

的虚拟机。

根据应用系统的可用性要求等级不同，在虚拟机上实现

高可用的方式有以下三种，虚拟机热迁移，虚拟机HA,物理

机HA。

虚拟机热迁移用于满足计划内停机维护操作。当服务器

需要停机执行维护操作时，可通过虚拟机热迁移功能，将某

一物理服务器上的虚拟机动态迁移至另一物理服务器。动态

迁移过程，业务不中断，不影响用户的正常访问。

虚拟机HA用于满足一般应用服务器计划外宕机。当发

生服务器故障时，通过虚拟机HA,虚拟机可在其他的物理服

务器上自动重启，实现故障转移。此过程会引起短暂业务中

18/92

智慧东丽云计算数据中心工程建设方案

断，业务中断时间由虚拟机操作系统在另一物理服务器上启

动的时间及应用系统启动的时间决定。通过虚拟机HA比传

统群集较少一半的服务器数量，在保证了一定高可用的同时

提高资源利用率。

对于直接部署在物理服务器的应用系统，可通过高可用

群集软件提供可用性保证。在windows系统可配置MSCS群

集，在redhatLinux操作系统可配置VCS群集。通过部署

高可用群集，在确保在物理服务器故障或应用故障时，进行

快速的故障转移，减小并消除业务中断带来的负面影响。

为了能够提供具有更高可扩展性和可靠性的应用平台，

并能够在服务器集群中智能地分配负载，从而确保客户最大

限度地发挥其应用服务器投资价值，结合硬件负载均衡设备,

为部署在应用服务器上的服务和应用提供最佳的可扩展性

和性能。

（2）数据库服务器部署

数据库服务器作为业务系统的数据处理平台，对服务器

的I/O处理能力、内存、CPU等有较高要求的，建议采用高

性能机架式服务器部署，不同的业务系统数据库可通过多实

例进行共享同一物理服务器群集。对服务器性能要求一般的

数据库管理系统可部署在虚拟机上。

数据库服务器做业务系统的核心节点，为了保障其的高

可用性，建议至少使用2台物理服务器或2台虚拟机做HA。

19/92

智慧东丽云计算数据中心工程建设方案

部署于虚拟机上的数据库管理系统可通过HA技术保证其高

可用；部署于物理服务器的数据库管理系统通过数据库管理

系统自带群集软件(RAC)实现其高可用。

根据应用类型和规模的不同，数据库对于服务器的性能

和安全性要求也不一样。总体上采用在物理服务器和虚拟机

相结合的部署方式。

4、设备选型

机架式服务器实际上是工业标准化下的产品，其外观按

照统一标准来设计，配合机柜统一使用，以满足服务器密集

部署需求。机架服务器的主要作用是为节省空间，由于能够

将多台服务器装到一个机柜上，不仅可以占用更小的空间，

而且也便于统一管理。机架服务器的宽度为19英寸，高度

以U为单位(1U=1.75英寸二44.45毫米)，通常有1U,2U,

3U,4U,5U,7U几种标准的服务器。主板扩展性较强，插槽

也很多，而且塔式服务器的机箱内部往往会预留很多空间，

以便进行硬盘，电源等的冗余扩展。这种服务器无需额外设

备，对放置空间没多少要求，并且具有良好的可扩展性，配

置也能够很高。

刀片式服务是专门为特殊应用行业和高密度计算机环

境设计的，其主要结构为一大型主体机箱，内部可插上许多

“刀片”，其中每一块刀片实际上就是一块系统母板，类似

于一个个独立的服务器，它们可以通过本地硬盘启动自己的

20/92

智慧东丽云计算数据中心工程建设方案

操作系统。每一块刀片可以运行自己的系统，服务于指定的

不同用户群，相互之间没有关联。而且，也可以用系统软件

将这些主板集合成一个服务器集群。在集群模式下，所有的

刀片可以连接起来提供高速的网络环境，共享资源，为相同

的用户群服务。在集群中插入新的刀片，就可以提高整体性

能。而由于每块刀片都是热插拔的，所以，系统可以轻松地

进行替换，并且将维护时间减少到最小。刀片服务器比机架

式服务器更节省空间，同时，散热问题也更突出，往往要在

机箱内装上大型强力风扇来散热。此型服务器虽然空间较节

省，但是其机柜与刀片价格都不低。

综合服务器设备的可扩展性、高可用性、散热性和性价

比，我们设计采用机架式四路服务器作为数据库服务器和虚

拟化计算资源服务器，采用机架式两路服务器作为管理服务

器、分布式存储管理节点和分布式存储存储节点。

（二）云计算资源管理系统

1、云计算资源管理系统设计概述

云计算资源管理系统是提供全面的运行管理功能，支持

底层异构的虚拟机架构，完善的API和参考文档可供二次开

发，高效的管理监控，解决了用户虚拟机过多管理繁琐、多

厂家Hypervisor无法管理、运维复杂、云平台建设费用昂

贵等问题，更符合用户使用云计算高性价比、更方便与更简

21/92

智慧东丽云计算数据中心工程建设方案

单的主流思维。可满足2000台以上物理机的资源管理。支

持Vmware、KVM、XEN等虚拟软件。主要实现以下功能：

・结合云数据中心的整体信息化环境及管理人员使用习惯,

实现管理人员对计算及存储资源的按需即用，随需扩展的需求,

实现资源的动态按需分配；

•基于虚拟化技术，用于构建IT资源池，支持现有业务的

部署、运行和管理，以及新的科研环境建设，也为未来电子政

务应用用户环境改造建设打下基础；

•基于资源池，实现计算资源的统一规划部署和实施，实

现覆盖其全系统范围内的计算资源共享系统；

•提高系统可靠性，在基础设施层面提高系统可靠性，为

用户应用系统提供高可用、连续服务的基础设施平台。

2、云计算资源管理系统设计思路

(1)统一管理，整体部署，提高部署和管理效率

通过虚拟机资源管理平台可以实现对不同虚拟化软件

虚拟的服务器并进行统一管理，从而实现：

•对每台用户所需要的服务器资源进行统一部署，将执行

部署的时间大大可缩短50-70%；

•从中央位置可管理资源池内所有虚拟机，资源池内的虚

拟服务器出现故障时通过HA或集群或负载均衡等方式可从中央

管理平台自己管理维护，提高整体的管理效率；

22/92

智慧东丽云计算数据中心工程建设方案

•统一监控资源池内所有虚拟机及构建资源池基础的所有

物理主机的性能及资源利用率；

•在不修改应用不提供硬件成本的同时可提供更高可用性

的基础架构。

(2)灵活的资源供给，弹性部署，便于扩展

云资源管理平台灵活的管理特性提供了灵活的资源供

给管理，并按照云计算的思路提供了弹性的部署方式和动态

化的扩展能力，主要如下：

•整个共享资源池可根据用户的需求在线增加或减少物理

服务器节点及存储节点，满足用户对于资源的动态调配，实现

根据需要灵活地供给和恢复IT资源，并根据使用量进行计量；

•对于虚拟机而言，可以根据用户的需求在线增加或删除

虚拟服务器。同时，还可根据用户对虚拟服务器的资源的需求,

手动将服务器部署在共享资源池的某个物理节点；

•通过云平台，用户可以在避免服务器和存储硬件过量供

给的情况下，使得峰时和闲时工作量的资源利用都保持在合理

水平，从而实现低本高效的IT运营模式。

(3)易于集成的开放平台

作为开放平台，云计算资源管理平台提供了标准的网络

服务API,易于与用户现有的应用和框架进行集成。同时，

云平台开放的RESTAPI,可以在软件开发和新服务实施方面，

实现无缝的协同工作和业务的高灵活性。

23/92

智慧东丽云计算数据中心工程建设方案

(4)主要经济效益

云资源平台将给用户带来很好的经济效益：

•提高IT效率。充分使用资源和现有硬件投资，节约成本,

提高IT效率；

•低的总拥有成本。减少额外的存储硬件购买，借助通用

硬件平台实现低的总体拥有成本；

•实现更大的商务灵活性，以快速调整客户服务内容和资

源分配，来应对多变的市场需求。

3、云计算资源管理系统框架设计

开发API

Amazon自蔬

镜像仓库

服务管理(计费，账务等)

虚拟化层

服务器网络存储

虚拟化层是通过虚拟化软件(如VMwareESXi.Xen.KVM)

对物理层的硬件设施进行虚拟化处理，形成的Hypervisor

虚拟层面的资源池系统。采用虚拟化软件将物理设备资源形

24/92

智慧东丽云计算数据中心工程建设方案

成一个或多个虚拟出来的资源池，提供了计算能力、网络功

能和存储能力。该资源池系统可提供用户传统使用基础IT

资源一一计算能力、网络功能和存储能力。该资源池系统可

根据需要动态改变资源分配的规模，快速适应不同应用的扩

容需求，实现“弹性”资源的分配能力。

云计算资源管理系统是通过云资源管理平台来实现资

源统一管理和业务统一管控的自动化系统。云资源管理平台

作为资源管理系统，主要是管理资源池系统及资源池系统中

的各种资源的调度、分配和调整。

（1）虚拟化层

虚拟化层就是通过各种虚拟化技术把如路由器、防火墙、

负载均衡器等多种网络设备，多种平台类型的服务器和多种

级别的存储系统，有效地组织起来，形成多种功能和属性的

资源池。虚拟化层主要包括以下几个层面：

1）服务器虚拟化

服务器虚拟化系统的总体技术架构主要包括以下几个

部分：

•物理服务器

本方案中指标准机架式服务器，一般CPU采用通用多核

的CPUo

•Hypervisor

运行于虚拟化服务器之上的软件层，管理其上的虚拟机,

25/92

智慧东丽云计算数据中心工程建设方案

帮助虚拟机分享虚拟化服务器的硬件资源。

•虚拟服务器

指对通过各种虚拟化技术，为用户提供的与原有物理服

务器相同的操作系统和应用程序运行环境的统称。虚拟服务

器通常使用物理服务器的部分资源，在用户看来它与物理服

务器的使用完全相同。

2）网络虚拟化

伴随着虚拟化系统的不断应用，企业的服务器系统得到

了最大限度的性能发挥和灵活的管理，对传统企业IT系统

重要组成部分的网络系统提出新的要求：

•性能需求

由于CPU的利用率以及性能的提升，对于服务器间数据

传输的要求进一步的提高，要求与服务器相关的网络系统具

有高带宽、低时延和全线速的传输能力。这是保证服务器I/O

的最基本要求。

•应用功能需求

随着IT技术的不断发展，应用系统出现了不断整合以

及统一的趋势，作为网络设备，出现了数据交换网络与存储

网络以及管理网络整合的趋势，这样要求在选择数据中心交

换机的时候具有良好的数据整合能力。以满足用户数据中心

不断提高的应用需求。

•网络控制需求

26/92

智慧东丽云计算数据中心工程建设方案

随着网络中各种逻辑划分的不断多样化，要求用户的网

络设备也能够根据用户的要求作出灵活的调整，以满足企业

应用的部署的需求。

云资源管理平台可以很好的解决网络虚拟化以及对虚

拟系统支持的问题，保证了用户虚拟系统的灵活特性，并且

有效的降低了用户管理维护成本，保障了用户虚拟化系统的

正常可靠运行。

(2)云资源管理平台

由运行在虚拟化管理服务器上的管理软件和对应的管

理客户端、外部Web门户等部分构成。对系统中的各类资源

和应用系统进行统一管理。

服务平台相关的业务与应用系统，各类业务应用的物理

节点，包括Web服务器、应用服务器等均架构在虚拟化架构

上，用虚拟化方式承载。使用硬件虚拟化技术，将一台物理

服务器的资源(包括CPU、内存、硬盘、网卡等)划分成多

份。每一份资源相互独立，像多个虚拟的服务器，与使用物

理服务器一样，用户可以独立安装操作系统、应用程序等。

同时虚拟化架构可以实现虚拟机资源池，通过虚拟机的动态

迁移，保证物理机与虚拟机两个层面的高可用性，同时提供

整个资源池的资源动态分配功能。

使用虚拟化技术，在高性能的服务器上划分虚拟机，将

业务及应用程序平滑的部署在虚拟机上。整个方案需提供统

27/92

智慧东丽云计算数据中心工程建设方案

一的虚拟机集群管理功能，拥有自动资源调配，虚拟机动态

迁移，共享网络连接与集中存储等功能，可以增强资源管理

的敏捷性，提高系统运行效率，降低单个系统故障的损失。

4、云计算资源管理系统功能设计

(1)虚拟化层管理

•平台支持异构及网络：计算虚拟化支持Xen、Vmware.

KVM；

•存储支持：LocalDisk、Iscsi>FibreChannel>NFS、

Swift；

・网络支持：TC、VLAN、Firewall.LB、VPN、

S/DNATo

(2)资源管理

通过云资源管理平台可以整合物理机和虚拟机计算资

源，可创建一个共享的计算架构，同时可以实现在不同的应

用中共享计算资源；多业务系统资源池共享模式；根据系统

当前负载、系统资源的使用情况，有序的运行应用程序。基

于云资源管理平台和资源池，云平台可提供各类云业务，包

括：虚拟机根据组织结构分配业务、资源计量管理、资源监

控、资源调度管理、设备能耗计量管理、资源分配等。

(3)动态负荷管理

云资源管理平台在创建虚拟机时会根据内置策略选用

28/92

智慧东丽云计算数据中心工程建设方案

虚拟机所在的物理服务器。被选择的物理机总是和虚拟机的

镜像物理位置接近。

云资源管理平台管理平台提供的这两种选择方案供用

户根据实际需要，进行灵活部署，从而实现动态的载荷管理,

从而取得更大的能耗节约或者最优化的虚拟机性能。

(4)镜像库管理

云资源管理平台管理平台软件提供了虚拟机模板管理

功能，可以进行属性编辑、模板复制、模板下载备份和模板

删除。所有这些功能都非常方便管理员的操作和云平台中虚

拟机的维护。同时，提供了非常高效的虚拟机管理：例如,

利用虚拟机模板功能，对于采用同样操作系统和同样应用软

件的虚拟机而言，通过此功能可在2-5分钟内实现需在物理

机上0.5-3个小时的部署时间，可大大节省管理员部署业务

应用的时间。

(5)用户管理

云平台管理软件可以提供多样化的分级管理、完美的用

户体验和适合管理员运维的监控和统计管理。

(6)接口

云计算资源管理系统可以基于标准网络服务提供了一

套完善的开放的API接口。这种API接口易于与用户现有的

应用和框架进行集成。此外，平台开放的RESTAPI和支持

29/92

智慧东丽云计算数据中心工程建设方案

AWS,可以供用户在软件开发和新服务实施方面，实现无缝

的协同工作和业务的高灵活性。

（三）云存储资源管理系统设计

1、云存储资源管理系统设计概述

云存储资源管理系统为本次智慧东丽云平台存储资源

池建设解决方案的一部分，主要针对海量的数据及其它各类

数据的集中存储与共享，建立一套具有高可靠、可在线弹性

伸缩，满足高吞吐量并发访问需求的云存储平台，为虚拟机、

电子政务数据存储提供便捷、统一管理和高效应用的基础平

台支撑。

2、云存储资源管理系统设计思路

针对本次项目的实际情况，充分考虑系统建设的建设发

展需求，以实现系统统一管理、高效应用、平滑扩展为目标，

以“先进、安全、成熟、开放、经济”为设计原则。

•先进性原则

在系统总体方案设计时采用业界先进的方案和技术，以

确保一定时间内不落后。选择实用性强产品，模块化结构设

计，既可满足当前的需要又可实现今后系统发展平滑扩展。

•安全性原则

数据是业务系统核心应用的最终保障，不但要保证整套

系统能够7x24运行，而且云存储资源管理系统必须有高可

30/92

智慧东丽云计算数据中心工程建设方案

用性，以保证应用系统对数据的随时存取。同时配置安全的

备份系统，对应用数据进行更加安全的数据保护，降低人为

操作失误或病毒袭击给系统造成的数据丢失。

在进行系统设计时，充分考虑数据高可靠存储，采用高

度可靠的软硬件容错设计，进行有效的安全访问控制，实现

故障屏蔽、自动冗余重建等智能化安全可靠措施，提供统一

的系统管理和监控平台，进行有效的故障定位、预警。

•成熟性原则

为确保整个系统能够稳定工作，软件平台将使用先进、

完善、易于管理和稳定可靠的云存储资源管理系统，对于与

应用的集成接口，提供统一的通用稳定访问接口。

•开放性原则

系统设计具有开放性的标准体系，提供符合POSIX标准

的通用文件系统访问接口，开放的应用API编程接口，提供

人性化的应用和管理界面，以满足用户需求。遵循规范的通

用接口标准，使全系统中的硬件、通信、软件、操作平台之

间的互联共享。充分考虑系统的升级和维护问题，维护采用

在线式的，即在系统不停止工作的情况下，可以更换单元备

件。系统的维护和升级操作由系统管理员即可完成。

•经济性原则

现有业务系统存储数据量较大，且数据的增长速度较快。

31/92

智慧东丽云计算数据中心工程建设方案

因此在设计云存储资源管理系统架构时，应从长远的角度考

虑，设计一个长期的存储架构，除了可以应对存储硬件设备

的升级速度外，还必须考虑到对前期存储设备的投资保护，

在保证不断提供功能和性能提高的同时，存储架构在较长的

时间内能够保持相对稳定。结合先进的云平台技术架构优势,

根据本次项目的实际容量需求设计，同时充分考虑应用发展

需求，实现系统可弹性在线平滑升级。通过软件实现在较廉

价普通服务器上实现高度容错，同时能够在较低冗余度的情

况下实现高度可靠容错，大大节约和降低系统建设的硬件成

本。

3、云存储资源管理系统框架设计

云存储资源管理系统采用通用X86架构或ARM架构存储

服务器作为硬件载体，通过在其上部署自身的分布式软件以

实现分布式云存储的功能。云存储资源管理平台软件支持通

过X86架构或者ARM架构的硬件。

云存储资源管理系统支持多种主流的操作系统，支持主

流的Linux平台，如CentOS>RedHat、Ubuntu、FreeBSD等。

客户端支持上述主流的Linux平台，以及Windows、苹果

MacOSX等主流操作系统；支持智能手机、移动终端等移动设

备。

4、云存储资源管理系统功能设计

在云存储资源管理系统中，具备以下功能：元数据管理

32/92

智慧东丽云计算数据中心工程建设方案

模块，块数据(chunkserver)管理模块，卷管理模块、副

本管理模块、客户端模块、管理监控中心模块等。

其整体功能结构如下图所示：

m

n依,色校中心

n

fl客户然客户端客户虚客户部客户露

，1234M

春配H

户

■

d节怠多数配H

eo存修多数配H

lt用户配《«理

lv主卷管理服务器番卷管理服务器

的

点0。通理

&VKB

元

a

春A春81C

・

■版壬元数货道理节怠1主：元t的iHn管量总中节点息2王元鹏货量收节6.3

节

南元的晟号理节6.1南元的癌・康节右2南元微据置理节点3

15

♦

埃的据节点11MI节点1

心

ft已掘书3.，

BIM货节怠2

。

■“据节与3时我节点3

爷

ei料播节京N数据节怠N

图4云存储资源管理系统结构图

(四)云平台运行监控系统设计

云平台运行监控系统为智慧东丽云平台的日常运行维

护提供运行支撑，系统采用B/S结构实现，全中文界面操作，

可以实现外网200个节点、内网50个节点的监控管理。

云平台运行监控提供对云平台硬件设备资源和软件资

源的动态管理，包括对主机、网络、存储、备份、数据库系

统、中间件系统、应用系统的运行监控，围绕平台性能、平

台故障、平台告警的三类管理，通过云平台运维闭环管理流

程和完善的运维功能，为云平台的健康可持续运营提供技术

33/92

智慧东丽云计算数据中心工程建设方案

支撑保障。云平台运行监控支持非常灵活的全局搜索功能和

强大的批量修改功能。全局搜索功能支持匹配设备组、设备

或指标的标签中的任意关键字；支持IP地址搜索；支持按

当前状态搜索（状态包括：正常、禁用状态、失败状态、忽

略状态）通过这些全局搜索能够快速准确的从海量监测指标

中找到需要修改的对象。批量修改操作功能支持对任意全局

搜索结果的批量修改，包括：批量修改标签、批量修改轮询

间隔、批量修改告警阀值规则、批量暂时禁用/忽略监测采

集、批量启用监测采