数据中心解决方案

数据中心解决方案

技术建议书

目录

1项目概述...............................................................4

1.1项目背景........................................................................4

1.2面临的风险和挑战................................................................4

1.3项目方案设计原则................................................................5

1.4给客户带来的价值................................................................6

2项目需求分析...........................................................7

2.1项目现状分析....................................................................7

2.2总体需求分析....................................................................8

2.2.1虚拟化数据中心计算需求......................................................8

2.2.2虚拟化数据中心网络需求......................................................8

2.2.3虚拟化数据中心存储需求......................................................9

2.2.4业务数据备份需求............................................................9

2.2.5虚拟化数据中心安全需求......................................................9

2.2.6虚拟化数据中心管理需求.....................................................10

3总体技术方案..........................................................11

4云平台设计方案........................................................12

4.1计算虚拟化方案设计..............................................................12

4.1.2业务虚拟化评估.............................................................13

4.1.3虚拟化资源池设计...........................................................14

4.1.4虚拟化资源池部署规划.......................................................15

4.2网络方案设计...................................................................18

4.2.1网络总体方案...............................................................18

4.2.2存储网络方案..............................................................20

4.2.3网络配置...................................................................20

4.3存储方案设计...................................................................21

4.4可靠性设计.....................................................................22

4.4.1服务器可靠性设计...........................................................22

4.4.2存储可靠性设计.............................................................22

4.4.3网络可靠性设计.............................................................23

4.4.4虚拟化可靠性..............................................................23

4.4.5管理可靠性.................................................................24

5云管理设计............................................................26

5.1系统架构介绍...................................................................26

5.2统一资源管理...................................................................28

5.3自动化运维.....................................................................29

5.4用户权限管理...................................................................30

5.5开放API接口...................................................................30

5.6监控管理.......................................................................31

5.7告警管理.......................................................................32

5.8拓扑管理.......................................................................32

5.9运营管理.......................................................................33

5.9.1用户自助服务...............................................................33

5.9.2用户自运维.................................................................33

5.9.3服务目录...................................................................34

5.9.4服务定义..................................................................34

5.9.5开箱即用服务目录...........................................................34

5.9.6服务申请审批..............................................................35

5.9.7申请单管理.................................................................36

5.9.8自定义流程审批.............................................................36

5.9.9计量.......................................................................36

5.10日志管理......................................................................37

5.11客户二次开发...................................................................37

项目概述

1.1项目背景

过去几十年，信息化经历了大型机时代的终端-主机模式（T-S模式），个人PC时代的客户机-服务器模

式（C-S模式），发展到互联网时代的浏览器-服务器模式（B-S模式）。在过去的二十年里，互联网将全世

界的单位与个人连接了起来，实现了资源共享，这也深刻地影响着各种业务形态及每个人的日常生活。新

时代里，用户对互联网内容的贡献和互动空前增加，软件和资源更多地以服务的形式通过互联网被发布和

访问，“像用水用电一样使用IT资源”这种新时代的服务模式对数据中心的建设有了更高的要求，决定

了传统的数据中心建设模式和方案不再能满足新时代创新应用的需求，导致了新老技术的整合、成熟和创

新，这就是“云计算”技术。云计算并不是突兀出现的，云计算是在现有IT技术和业务应用基础上的升华，

也是社会分工的必然。

尤其是进入20世纪90年代以来，随着信息技术特别是互联网技术的飞速发展，信息化成为了促进社

会发展的重要因素之一，一些新技术的应用和新学科的产生，使得应用领域更加广泛和深入，公安信息化

建设有新的发展机遇。时至今日，公安行业云计算技术己在世界范围内广泛应用，并且发挥着越来越重要

的作用。云计算的发展已经成为当代信息化的最重要的领域之一。

基于xx数据中心的现状和存在的问题，华为提出了基于SOA和云计算理念和技术的数据中心解决方

案，引入到xx数据中心的规划和建设中，解决传统xx数据中心运维管理成本高、资源利用率低、业务部

署上线周期长等难点。

1.2面临的风险和挑战

XX现有数据中心机房，管理着刑侦、技侦、交通、治安等各种全局性应用。由于近几年信息化要求不

断提高以及信息化建设投入不断增加，XX对各种信息化系统的依赖不断加强，各项工作的紧迫性和连续性

较高，因此任何情况下，XX数据中心的运行都必须保持畅通、不间断。

但目前XX数据中心的状态离畅通和不间断运行还有一定差距。基于原有的数据中心架构和运维模式，

xxIT基础系统的发展面临着如下问题：

（1）系统建设周期长、IT投资成本高

随着业务的不断发展，业务系统建设需求增多，但是基于原有的建设和运维模式，各单位为了满足自

身的信息化建设需求，各自采购服务器、存储、安全等硬件设备，导致烟囱式建设现状，重复投资造成了

极大的资源浪费。

同时，各应用系统的服务器工作负载不一，服务器资源不能被合理、有效利用。根据对行业IT系统情

况的调研发现，传统的应用系统大多数采用每一个应用系统配备专属服务器，大部分服务器资源利用率在

5-25%左右，大量的IT资源利用率低下，但总拥有成本却在不断上升。由于基于原有的硬件部署方式无法

对资源进行共享和调配，做到资源合理有效利用，造成了的设备资源浪费，能耗高，占用机房面积大，管

理繁杂并且故障率极高，同时由此带来硬件投资成本、部署成本都在不断上升。

(2)空间环境受到挑战、运维管理成本高

由于业务系统的不断发展，逐渐无法满足业务系统的空间需求、功耗需求、散热需求；空间投资和管

理维护成本迅速膨胀：服务器、配件、软件的不断购买，机房扩建，制冷系统改造，电费持续升高，IT固

定资产日益庞大、硬件种类繁多，IT运维管理成本不断增长，对提倡绿色环保、低碳经济、运维管理成本

控制是一个巨大的挑战。

(3)业务连续性保障差、数据安全性弱

XX系统的应用多是XX的基础信息化工具，经过常年的建设和使用，积累了基于实战应用的规范化工

作流程和大量丰富完整的数据，XX工作逐渐形成依托信息化的模式，因此对应用系统稳定不间断运行和数

据安全保护有着极高的需求。

但是随着工作中越来越多的依赖IT系统的协助，应用系统的不间断持续运转的需求就越来越强烈。硬

件和软件故障、系统单点故障、自然灾害，甚至计划维护所导致的停机时间，都有可能影响到业务运行和

数据安全，如何保证业务连续性和数据安全性，是当前IT系统的一个巨大的挑战。

(4)业务部署流程环节多、上线周期长

随着XX信息化的发展，不断需要上线新的业务，就需要购置新的服务器；购置服务器和部署业务系统

需要计划部门和采购部门、维护部门等相关部门的参与，各个部门的进度和流程不一致，经常导致业务部

署流程环节多、上线周期长。

通过IT系统基础设施逐步云化部署，基于云平台虚拟化技术，实现计算存储网络的虚拟化、资源共享、

灵活分配，实现业务服务器的整合和调配，集中化以及基于策略的管理，以适应快速发展的业务需求，降

低IT总持有成本，聚焦核心业务发展。因此，云平台建设势在必行。

1.3项目方案设计原则

>可靠性及可用性

系统的可靠性包括整体可靠性、数据可靠性和单一设备可匏性三个方面。云平台的分布式架构，从整

体系统上提高可靠性，降低系统对单设备可靠性的要求。

系统的可用性是通过冗余、高可用集群、应用与底层设备松耦合等特性来体现，从硬件设备冗余、链

路冗余、应用容错等方面充分保证整体系统的可用性。

>安全性

遵循国家电子政务安全等保标准，设计安全防护体系保证电子政务数据中心安全。保障网络安全、主

机安全、应用安全、数据保安全、安全管理。

>成熟性

从架构设计、软硬件选型和IT管理三个方面设计电子政务数据中心解决方案，采用经过大规模商用实

践检验的架构方案和软硬件产品选型，采用符合ITIL规范的IT管理方案，保障方案的成熟性。

>先进性

合理利用云计算的技术先进性和理念先进性，突出云计算给客户带来的价值。采用虚拟化、资源动态

部署等先进技术与模式，并与电子政务业务相结合，确保先进技术与模式应用的有效与适用。

>可扩展性

支撑数据中心的资源需要根据业务应用工作负荷需求进行弹性伸缩,1T基础架构应与业务系统松耦合,

这样，在业务系统进行容量扩展时，只需增加相应数量的1T硬件设备，即可实现系统的灵活扩展。

1.4给客户带来的价值

>突破传统，战略转型，聚焦公司核心业务发展

传统系统建设周期长、1T投资成本高，运维成本高，通过云平台建设，利用云平台统一设备管理，低

维护成本，易扩展性，资源部署周期短等优势，面向全业务竞争，把公司投入到传统IT建设与维护的核心

资源释放出来，聚焦公司主流业务。

>响应国家节能减排，优化资源利用，建设绿色1T

云平台易扩展、设备易替换，提高资源复用率，避免传统IT烟囱式发展，资源利用率低的现状，能够

有效地实现节能减排。

>精简IT资源，降低运维成本

利用云平台统一资源管理，统一的运维管理平台，降低维护维护成本，从降成本中贡献净利润。

>灵活应对业务和IT的需要，缩短部署周期

云平台一次规划，多次（按需）部署，降低规划难度，规避投资风险，柔性十足，便利的扩减容机制，

可随时调整以匹配业务或IT的变化等。

>利用云平台的高可靠性，确保核心业务的连续性

通过云平台HA、热迁移功能，能够有效减少设备故障时间，确保核心业务的连续性，避免传统IT,

单点故障导致的业务不可用。

项目需求分析

2.1项目现状分析

目前，XX的业务规模已经发展得非常庞大，信息化平台已日益变成业务运营与管理的重要支撑平台。

在信息化平台建设的过程中，各个应用系统的业务之间的联系非常紧密，流程自动化程度非常高。因此在

信息化高速发展的形势下，急需形成统一完备的综合技术集成体系，能提供一体化的数据存储共享，应用

集成和统一展现能力。随着信息化建设和应用工作的进一步深入，对信息网络传输能力，数据中心存储能

力和处理能力提出了更高要求，为支撑流程集成和业务应用的深入融合，需要提供统一高效的流程处理能

力，消息转换能力以及数据交换能力；需要建立和完善我局统一的综合技术平台体系，涵盖数据采集，存

储，共享，交互和展现能力。各大应用系统也都存在不同的技术标准，没有建立标准的统一编程模型，系

统尚存在功能单一，开放性与扩展性较弱的特点。

通过对服务器硬件的现状了解，目前应用系统服务器表现为品牌及型号繁多，且购置年代和配置都存

在一定的差异。随着业务规模的发展，应用系统的数量不断增加，硬件设备也在不断增加，机房建设、相

应配套设施成本在不断增加，系统升级、硬件维护等运维管理的工作量和难度逐步加大。而且，应用系统

与底层硬件之间形成了“烟囱”结构，软硬件之间的紧耦合关系导致资源利用率和效率降低，无法满足业

务快速增长所需的高可靠性。通过对应用情况调研结果的分析，发现现有PC服务器CPU和内存的使用率

不高，空余的资源得不到释放，并且故障率高，系统得不到有力的保障。存在的主要问题可以归纳为：

>服务器的物理分布不集中，各个部门都有自己独立运行的服务器。

>服务器系统的环境比较复杂，表现为设备数量多，故障点多，产品不统一，缺乏规范性，运维管

理的工作量和难度大。

>各个系统重复投资和建设，建设成本高，技术上没有统一规范和标准。

>没有实现资源共享，服务器资源使用率低，难以集中管理和使用。

>不能根据实际需要和业务变化动态调整资源和快速扩展，系统的灵活性和扩展性差。

>部分服务器存在单点故障隐患。有些服务器的高可用性配置不合理，造成资源闲置状态和成本过

高。

>高性能服务器占大部分，有极小部分服务器处于淘汰的边缘。

>机房建设，UPS等相应配套设施，服务器耗电，机房制冷等费用不断增加。

通过调研发现现阶段的设备采购通常是由业务系统提出相应的需求，以业务系统为核心进行项目建设

过程中完成硬件设备采购，此类采购方式存在以下缺陷：

1.业务开发人员通常难以准确预估实际的负载增长率及突发情况，为保守起见通常都会在硬件资源申

报的过程中留有较高的裕量势必会造成资源浪费。

2.硬件采购跟随各业务系统的上线或变更，呈离散状态递增，难以实现统一规划与管理。

2.2总体需求分析

2.2.1虚拟化数据中心计算需求

XX数据中心需要支持异构的计算和存储环境，以及虚拟化平台，包括华为和业界主流厂商的服务器和

存储设备、华为云操作系统Fusionsphere和其它虚拟化平台（VMware）。

xx数据中心需要支持根据业务应用的不同特点（大计算量应用系统、高I/O访问应用系统、高并发访

问应用系统以及对资源要求一般的应用系统）采用合理的物理服务器（2路、4路X86服务器或UNIX服

务器）、虚拟机、SAN/NAS存储，能根据业务应用的特点对服务器或存储进行配置满足应用对计算和存储

的需要（CPU、内存、网络I/O、存储I/O）；计算平台需要和IT管理平台联动实现对虚拟计算资源的自动

部署和分配。

2.2.2虚拟化数据中心网络需求

在构建XX虚拟化数据中心时需要搭建三张物理隔离的网络，分别是管理平面网络、存储平面网络和业

务平面网络。这三张网络平面可以承载在相同或者不同的网卡之上，三张网之间的数据交互必须通过VLAN

或其它数据交换硬件设备（网卡）来保证内网的安全性及数据交换的管理和控制。

由于数据中心需要支持IT服务、企业服务和公共服务，因此数据中心网络需要支持如下多种类型的接

入用户：

A互联网用户：主要是个人用户和企业人员通过互联网访问数据中心来获取公共服务；

>数据中心运维管理人员：主要负责数据中心运行维护管理的人员，如系统管理员、数据库管理员、

网络管理员、存储管理员、业务应用管理员等。

由于数据中心需要支持各种用户的各种方式的接入，因而需要数据中心网络需要支持IPsecVPN、SSL

VPN、MPLSVPN等多种安全访问方式，从而保证数据中心的高安全性。

数据中心网络需要具备快速收敛、高转发性能、易维护、易管理和节能环保等特性，这就需要简化网

络架构，降低网络复杂度。

数据中心网络需要具备高可靠性、高可用性。网络设计能有效的避免单点故障，在设备的选择和关键

设备的互联时，应提供充分的关键设备冗余、重要业务模块冗余和链路冗余，骨干网络应当达到电信级可

靠性。

数据中心网络架构和设备选型方面需要具备高扩展性，不仅满足当前需要，也能满足未来业务扩展需

求。

网络虚拟化：减少设备节点，简化配置。

网络服务虚拟化：需要实现独立的安全管理界限划分和故障隔离域。

流出流量负载均衡：办公人员访问互联网的流量到达链路负载均衡器时，通过链路负载均衡器多种链

路状态检测结果选择最佳出口链路，提升用户体验。

流入流量负载均衡:链路负载均衡器的智能DNS解析功能将不同用户访问的域名解析成不同的公网IP

地址，加速应用访问，提升用户体验。

本地负载均衡：本地负载均衡器可以保障内部资源的容错性，内部任何一个应用节点出现问题都不会

对用户造成任何的影响，本地负载均衡器能够自动的屏蔽有问题的应用节点，让其停止对外服务，同时把

该故障节点上的用户迁移到其他正常的节点上去。本地负载均衡器可以虚拟成为多个设备，满足政务外网

不同分区的安全隔离要求。通过HTTP压缩的方式来节省带宽以及提高访问速度。本地负载均衡器开放的

API接口可以实现和云计算管理平台的集成。

2.2.3虚拟化数据中心存储需求

在XX数据中心目前存储环境中，存储品牌、型号繁多，各应用系统对存储空间占用量较大，缺少一种

有效的手段对存储内的资源进行监控、回收及优化。从部署存储部署架构看来，虽然在链路上可以提供冗

余保障，但是就存储本身而言，仍然存在单点故障问题，所以虚拟化数据中心存储管理需要满足以下需求：

>融合统一存储架构，提升存储中心的灵活性和可靠性，并且提升对存储资源用量的监控和生命周

期管理。

>将原有的孤立的存储设备纳入统一的存储网络环境中，使网络内所有服务器都能平等的共享存储

资源，实现存储系统的最大化利用率。

>采用分布式共享存储体系(Fnsion&orage),所有网络存储资源均可以被网络内的计算结点共享，

当存储资源不足时，仅需要添加存储节点到存储网络中，所有的计算结点就能够快速的识别并使

用新添加的存储空间，满足业务扩展需求。

2.2.4业务数据备份需求

XX备份目的存储类型请按实际要求更改，本地或异地备份请按实际要求修改。是否需要备份虚机的系

统卷。为减小备份存储容量，建议只备数据卷。

为了保证数据的安全性，对于重要的业务系统数据进行备份，具体备份需求如下。备份目的存储类型

采用SAN或者NAS,备份到本地。

2.2.5虚拟化数据中心安全需求

XX数据中心由于自身对安全的高要求，因此数据中心需进行内外网隔离、安全域划分，需对不同安全

域按安全等级要求进行安全管理、用户与身份、数据安全、应用安全、IT基础设施安全(包括网络安全与

主机安全)、物理安全等安全防护。

1.安全管理

需建立起包含安全治理、风险管理和合规性管理的数据中心安全管理体系，制订安全策略、安全计划

和流程，支撑数据中心安全运维的执行和检查，满足安全合规性要求。

2.用户与身份

需确保合法用户在恰当的时间能够访问到正确的资产，包括基础设施、数据、信息和服务。

>建立集中的用户库，记录用户的身份信息，并生成用户标识；

>提供口令和其它强认证信任凭证，提供信任凭证从生成、分发、保存、使用到删除全生命周期内

的安全保护；

A建立与用户管理相结合的访问控制系统，在用户访问资源时进行认证与鉴权，防范非法用户或合

法用户的非法访问；

>对数据中心各类系统运维使用的管理员特权帐号进行管理，监控和记录特权帐号的各项操作。

3.数据安全

需保护政府所定义敏感数据在其生命周期中的机密性、完整性和可用性。

>识别所涉及的敏感数据，并建立和维护敏感数据的目录，明确对应的保护策略和机制；

>提供安全通信机制，保障通过互联网所传递敏感数据的机密性和完整性；

>提供安全机制，对保存有敏感数据的数据库、文件、存储依照策略应用加密、访问控制、监控与

审计等保护措施。

5.IT基础设施安全

需保护构建IT系统的各个基础设施组件的安全，防范所面临威胁。

>需具备数据中心外部网络边界的综合安全防护能力，防范来自Internet的各类安全威胁；

>需针对数据中心内部网络进行安全域划分，对于安全域边界进行网络隔离，定义网络访问控制策

略；

>需提供内服务器系统、终端的安全防护能力，及时发现所存在的安全弱点并进行纠正；

>需提供云计算平台内虚拟化基础设施的安全保护能力，确保VM的隔离，特定VM间通讯的监控

以及VM自身系统的安全性。

>抵御病毒、恶意代码等对信息系统发起的恶意破坏和攻击，保障网络系统硬件、软件稳定运行。

2.2.6虚拟化数据中心管理需求

为了维护数据中心各种系统和应用的平稳、高效运行，数据中心管理平台应当满足如下需求：

>实现对虚拟化环境和物理环境的集中管理；

>实现对操作系统、中间件、数据库、计算、存储及网络设备的综合监控管理;

>实现对虚拟化环境的资源部署管理；

>建立1T服务管理流程体系，需要实现如下流程和功能：服务台、事件管理（服务请求管理）、问

题管理、配置管理、变更管理（发布管理）、服务级别管理；

>需要建立报表系统，实现对服务管理平台中各种信息的分析和呈现。

3总体技术方案

单数据中心包含云管理、计算资源池、存储资源池数据中心方案拓扑如下:

业务网络Internet

管理网络

存储网络

网络连线

防火愀防火抽

业务核心仇我均衡仇魏均衡

SSLVPNSSLVPN

业务汇聚=0=

XXX应用系统集薪

/云管理虚机XXXJ'"用系统集群\

SQLCRM

◎Qooo

Server

FusionFusion

ManagerComputeExchangeShareooint

ERR

HyperDP

备存储

匕石”诸资:妨行也

数据中心架构分为:

接入控制：用于对终端的接入访问进行有效控制，包括接入网关，防火墙等设备。接入控制设备不是

解决方案所必须的组成部分，可以根据客户的实际需求进行裁减。

虚拟化资源池：通过在计算服务器上安装虚拟化平台软件，然后在其上创建虚拟机。存储用于向虚拟

机提供系统盘、数据盘等存储资源。

资源管理：云资源管理及调度，主要是对各种云物理资源和虚拟资源进行管理。创建虚拟机时，为虚

拟机分配相应的虚拟资源。包括云管理服务器、集群管理服务器、安装服务器等。

硬件资源：服务器、存储、交换机。

4云平台设计方案

本项目通过华为云平台FusionSphcre提供服务器整合资源，对计算、存储、网络进行虚拟化管理，形

成统一的云计算信息系统平台。

4.1计算虚拟化方案设计

在虚拟化数据中心，所有资源整合后在逻辑上以单一整体的形式呈现，这些资源根据需要进行动态扩

展和配置，XX信息系统业务按需使用资源。通过虚拟化技术，增强数据中心的可管理性，提高应用的兼容

性和可用性，加速应用的部署，提升硬件资源的利用率，降低能源消耗。

虚拟化是云计算的基础，在虚拟化数据中心，通过虚拟化技术将物理服务器进行虚拟化，具体为CPU

虚拟化、内存虚拟化、设备I/O虚拟化等，实现在单一物理服务器上运行多个虚拟服务器（虚拟机），把应

用程序对底层的系统和硬件的依赖抽象出来，从而解除应用与操作系统和硬件的耦合关系，使得物理设备

的差异性与兼容性与上层应用透明，不同的虚拟机之间相互隔离、互不影响，可以运行不同的操作系统，

并提供不同的应用服务。华为云平台FusionSphere由虚拟基础设施套件和云基础服务套件组成。系统逻辑

架构图如下：

华为云平台FusionSphere逻辑架构

FusionManager（主备）

华为云平台管理节点主要由：虚拟化基础引擎FusionCompute和云管理FusionManager。一套云平台部

署一对FusionManager主备节点，FusionManager通过自动发现功能发现其管辖下的物理设备资源（包括机

框、服务器、刀片、存储设备、交互机）以及他们的组网关系；提供虚拟资源与物理资源管理功能（统一

拓扑、统一告警、统一监控、容量管理、用量计费、性能报表、关联分析，生命周期），并且对外提供统一

的管理PortaU

FusionCompute提供基础的虚拟化功能,提供服务器、存储、网络的虚拟化功能，并向上对FusionManager

提供接口。每套FusionCompute主要由一对主备管理节点VRM组成。一对VRM对应一个物理集群（或者

叫站点）。一个物理集群中可以把多台服务器划分成一个资源集群（又叫HA资源池），一个计算资源池有

相同的调度策略，为了使用热迁移相关的调度策略要求资源池主机CPU同制。计算资源池不包括网络资源

与存储资源。一个物理集群中可以包含多个资源集群。

4.1.2业务虚拟化评估

XX业务系统中，可以按照如下原则进行业务虚拟化改造，如果某些应用不能进行虚拟化，可以把能虚

拟化的业务进行虚拟化改造，不能进行虚拟化的业务，保持不变或采用物理机部署，由Fusionsphere统一

管理。

适合虚拟化平台的业务：

>业务对资源有快速部署、标准化（X86架构）的需求；

>系统和应用不依赖于特殊的、无法虚拟化的硬件;

>系统资源平均利用率较低；

>业务增长快，导致平台频繁扩容；

>需要用较低成本来提高系统可用性和可靠性。

不适合虚拟化业务：

>应用厂商明确表示不支持虚拟化，不建议虚拟化；

>应用软件厂商表示不提供在虚拟化平台上运行的技术支撑，请慎重考虑，建议请华为评估；

>业务对实时性要求非常高的系统，如要求毫秒级响应，建议暂缓或请华为评估；

>数据库双机或数据库集群，如OracleRAC等，暂缓虚拟化，采用物理机部署；

>非X86平台系统，如小型机，暂缓虚拟化，如果可迁移到X86系统，则评估是否可采用高端X86

服务器物理部署；

A依赖特殊的外设（EVDO卡，特殊的语音板卡、加密卡等PCI卡）或专用设备（排队机、LNS设备、

工控机）的系统，暂缓虚拟化；

>系统本地I/O或网络吞吐非常繁忙，如大型数据库10要求非常高,会导致整个集群资源产生瓶颈，

影响整个集群性能，建议不要进行平台化部署。如数据库IOPS平均值大于1500时，会占用过

多共享存储资源，可能会导致其他虚拟机变慢，不建议采用虚拟化部署，采用物理机部署；

>Hadoop等分布式存储方面的应用，对一份数据会进行3份以上的备份,如果评估对存储压力较大，

建议不进行虚拟化部署。如果无法评估，建议联系华为工程师评估；

4.1.3虚拟化资源池设计

服务器是虚拟化数据中心的核心，其承担着数据中心“计算”功能。对于虚拟化数据中心中的服务器，

通常都是将相同或者相似类型的服务器组合在一起，安装云操作系统（FusionSphere）,使其计算资源能以

一种虚拟服务器的方式被不同的应用使用，即所谓的虚拟化资源池。这里所提到的虚拟服务器，是一种逻

辑概念。对不同处理器架构的服务器以及不同的虚拟化平台软件，其实现的具体方式不同。

在搭建虚拟化资源池之前，首先应该确定资源池的数量和种类，并对服务器进行归类。归类的标准通

常是根据服务器的CPU类型、型号、配置、物理位置来决定。对虚拟化数据中心而言，属于同一个资源池

的服务器，通常就会将其视为一组可互相替代的资源。所以，一般都是将相同处理器、相近型号系列并且

配置与物理位置接近的服务器一一比如相近型号、物理距离不远的机架式服务器或者刀片服务器。

在做资源池规划的时候，也需要考虑其规模和功用。如果单个资源池的规模越大，可以给虚拟化平台

提供更大的灵活性和容错性：更多的应用可以部署在上面，并且单个物理服务器的宕机对整个资源池的影

响会更小些。如果有条件的话，通常推荐先审视一下企业自身的业务应用。可以考虑将应用分级，将某些

级别高的应用尽可能地放在某些独立而规模较小的资源池内，辅以较高级别的存储设备，并配备高级别的

运维值守。而那些级别比较低的应用，则可以被放在那些规模较大的公用资源池（群）中。

对于x86系列的服务器，除了用于生产系统的资源池以外，还需要专门搭建一个测试用资源池，以便

云计算平台项目实施过程以及平台上线以后运维过程中使用。在云计算平台上线以后，原有非云计算平台

上的应用会逐步向云计算平台迁移，空出的服务器资源池也会逐渐并入云计算平台的资源池中。

4.1.4虚拟化资源池部署规划

本项目根据客户的实际需求，管理节点部署规划

管理节点部署图

管

管理节点（MCNA）部署计算节点（CNA）部署

管理节点FusionManager（FM）、VRM（FusionCompute）部署在虚拟机上，需要占用2台物理服务器做主

备。其中FusionManager、UHM合部在同一台虚机中，VRM部署一台虚机中，都是主备部署。管理服务器

命名为MCNA节点，其余为提供计算资源的服务器命名为CNA。管理节点使用两块本地硬盘做RAID1做

管理节点虚机的存储。管理节点主备占用两台服务器，管理服务器剩下的计算资源可以给业务虚机使用。

根据业务规模，管理节点服务器虚拟机的规格不同。管理节点服务器虚拟机配置如下表所示:

Table表1云平台部署的管理节点规格

虚拟机规格

节点虚拟机数量

核说明

类型CPU（台）

内存（GB）磁盘空间

（预留）

Fusio48802台（主备）300个虚拟机

nMan

412802台（主备）1000个虚拟机

ager

616802台（主备）3000个虚拟机

816802台（主备）5000个虚拟机

VRM24802台（主备）200个虚拟机，20

台物理主机

48802台（主备）1000个虚拟机，50

台物理主机

88802台（主备）3000个虚拟机，

100台物理主机

1216802台（主备）5000个虚拟机，

200台物理主机

注：可根据业务虚拟机数量调节管理虚机规格大小，提高管理节点性能。

管理节点部署规划（（E9000+FusionStorage）一体机形态）

E90004-FusionStorage软硬件部署图

虚拟化层CNA+FusionStorageAgent

Fusionstorage共享本地存储

曷当当…晋

FusionCube管理层

FusionFusionSt

Managorage

erManager

vriVM[VM|VM

E9000虚拟化层CNA+FusionStorageAgent

FusionStorage共享本地存储

gggg曷

FusionCube虚拟化一体机采用E9000+FusionStorage,管理节点部署如下。

1）FusionManager：负责云平台资源管理、弹性调度以及操作维护等综合管理功能，是云平台管理的核

心，提供基于web的统一维护界面；整个系统的业务通过云管理FusionManager呈现，诸如用户管理、集群管理、

业务模板管理、虚拟机管理、统一硬件管理、告警、监控等功能均由FusionManager对外提供。

2）FusionCompute：负责云平台计算资源虚拟化和资源分配，包括VRM和CNA两部分。

>VRM:VirtualResourceManagement虚拟资源管理软件，负责虚拟资源的管理，可管理多个逻辑集

群；招物理资源（计算、存储、内存等）转换成可动态调整的虚拟资源，供虚拟机使用；

>CNA：计算节点代理，在每个需要虚拟化的刀片上物理部署，提供虚拟化功能；

3）Fusionstorage：分布式云存储，包括FusionStorageManager和FusionStorageAgent两部分。

>FusionStorageManager：存储管理软件，FusionCube使用分布式云存储技术，通过合理有序组织

刀片服务器的本地硬盘，提供高性能高可靠的块存储业务。

>FusionStorageAgent:存储节点代理，在每个需要虚拟化的刀片上物理部署，用于访问

FusionStorage分布式存储池资源的代理；

管理节点FusionManager、VRM、FusionStorageManager部署在不同虚拟机上，需要占用2个E9000

全宽刀片做主备部署，管理节点使用两块本地硬盘做RAID1做管理节点虚拟机的存储。其他本地硬盘在

FusionStorage软件组织下，提供分布式存储池，用于业务虚拟机。一套FusionCubc系统中至少需部署3块

全宽刀片，所有全宽刀片的本地硬盘都可组成分布式存储池，非管理节点刀片可用于部署应用虚拟机，应

用虚拟机使用FusionStorage分布式存储池资源。

另外，FusionCube支持虚拟化的软件CNA部署在物理机上，E9000+FusionStorage场景下，每个刀片

上需要额外占用2个CPU物理核，28G内存。

Table表2云平台部署的管理节点规格

虚拟机规格虚拟机

节点类型数量说明

VM数量vCPU内存磁盘空间

(台)

核(GB)(GB)

FusionManager<2002162802主备虚拟机

200<VM<10004162802主备虚拟机

1000<VM<30006162802主备虚拟机

VRM<20048502主备虚拟机

200<VM<100048502主备虚拟机

1000<VM<300068502主备虚拟机

FusionStorage无18502主备虚拟机

Manager

注:一体机FusionCube预安装时，对管理节点的资源规格是按最大支持3000VM的规格来进行设置的，

客户可灵活根据局点的虚拟机规模大小将管理刀片上剩下的资源用于部署客户虚拟机，建议不要在管理刀

片上部署重要客户虚拟机。

4.2网络方案设计

4.2.1网络总体方案

网络总体方案示意图（单数据中心）

终端终端

业务网络

管理网络

存储网络

网络连线

核心层

汇聚层

接入层

整体网络划分为三层，分别为：

1）接入层

服务器和存储设备上行接入到接入层交换机。

服务器侧建议采用4网卡（业务管理两网卡、存储两网卡）方式进行组网，业务、管理平面分别通过

两网卡聚合确保链路冗余，存储平面通过多路径确保链路冗余。

在接入交换机划分VLAN,将管理、业务、存储三个平面逻辑隔离。为简化组网提高组网可靠性，建

议接入交换机采用堆叠方式：

存储网络：用于承载服务器和磁盘阵列之间的专用数据访问。存储网络通过多路径确保链路冗余，服

务器与存储设备通过存储网络二层直接互通。存储设备为虚拟机提供存储资源，但不直接与虚拟机通信，

而通过虚拟化平台转化。

业务网络：为用户提供业务通道，为虚拟机虚拟网卡的通信平面，对外提供业务应用。各业务部门可

以细分VLAN进行访问隔离。

管理网络：负责整个云计算系统的管理、业务部署、系统加载等流量的通信。BMC平面主要负责服务

器的管理，BMC平面可以和管理平面隔离，也可以不进行隔离。

2）汇聚层

接入交换机上行到汇聚层交换机。汇聚交换机建议采用交换机集群的方式，接入交换机采用

ETH-TRUNK上行至汇聚交换机，汇聚交换机堆叠之后，无需启用VRRP功能，如果需要汇聚交换机提供

网关功能，则直接将VLANIF接口作为用户网关地址。

3）核心层

汇聚交换机上行接入核心层交换机。核心交换机也建议采用集群的方式。核心交换机采用OSPF或者

静态路由的方式同上层设备进行对接：

当采用OSPF对接时，OSPF发布地址包括核心交换机互联地址，直连路由地址以及loopback地址。

当采用静态路由方式时，建议核心交换机同上级设备采用VRRP地址为网关地址。

4.2.2存储网络方案

存储网络方案

每台服务器有两块存储网卡，网卡不进行绑定。每个IPSAN存储的控制有8块网卡,每两块网卡一个

网段，共有4个存储网段。服务器上的每块物理网卡配置两个逻辑的不同网段的IP地址,服务器共有四个

网段的IP,对应IPSAN存储上的网段。存储面共提供8条逻辑链路（配置存储多路径）,4条物理链路。

•柜内存储1PSAN采用8路径负载分担的模式，确保存储业务的可靠性和稳定性，8路径中任意一条路径

故障都不会中断业务。

•IPSAN两控制器A、B分别4xlGE接入到柜内两台存储交换机，采用二层组网，A、B控制器使用4个IP

网段对应交换机4个VLAN,每台交换机划分2个VLAN,与IPSAN互联的端口允许2个VLAN通过，即允许两个

IP网段通过。

服务器上需要运行多路径软件，保证多个路径的负荷分担效率和可靠性，每个服务器提供2个网口，

每个网口配置两个VLAN子网的IP地址，分别对应IPSAN控制器的1个网段。

4.2.3网络配置

*IP

每云平台管理节点、BMC,服务器底层虚拟化需要一个管理IP。对于做HA可靠性的两个节点需要

多一个浮动IPo

每个虚拟机至少需要一个业务IP。

•路由

核心交换机为每一个子网启用一个VLANIF接口，并将VLANIF地址作为网关地址。

机柜内的虚拟机之间通过柜内接入交换机进行二层互通。机柜间虚拟机通过核心交换机(如S9312)

实现三层互通，将网关地址为VLANIF地址。

4.3存储方案设计

XX业务平台的存储空间需求

通过容量和IOPS两个维度计算存储设备配置，每个600GSA$硬盘的极限I0P$为180,有效

TOPS=180/(1+3*60%)=64(创建RAID5后，考虑60%写比例造成的写惩罚)，磁盘有效空间

=600*1000'3/1024'3=558GBo每框S5