项目云数据中心建设方案

XX网络云数据中心规

划方案

目录

第一章项目概述5

1.1建设背景5

1.2现状与问题5

1.3需求分析6

1.3.1系统建设需求6

第二章总体架构设计10

2.1xx网络云中心设计10

2.1.1功能框架10

2.1.2技术架构12

2.1.3部署架构14

第三章XX网络云中心建设18

3.1云平台管理及运维18

3.1.1云资源管理系统架构18

3.1.2多虚拟化统一管理错误!未定义书签。

3.1.3运营服务20

统一服务门户20

3.1.3.2资源按需交付20

3.1.3.3资源弹性伸缩21

.1弹性云主机22

.2负载均衡服务23

3.1.3.1高可用机制25

.1虚拟机热迁移25

.2存储在线迁移25

3.132VPC服务26

3.133VDC服务27

网络云平台建设规划方案

3.1.3.4数据库服务28

3.1.3.5灵活可自定义的业务审批流程30

3.1.4运维监控32

3.1.4.1资源可视化管理32

3.1.4.2大屏展示33

3.1.4.3服务可视化编排33

3.1.4.4智能监控与分析预警35

3.1.4.5自动化运维管理38

日志和报表管理41

3.1.4.7巡检管理42

3.2资源池建设总体架构错误!未定义书签。

3.3计算资源池建设44

3.3.1虚拟化集群44

3.3.2虚拟化服务器选型配置错误!未定义书签。

3.3.3裸机与虚拟机统一管理和调度48

3.4存储资源池建设49

3.4.1存储选择原则50

3.4.2集中式SAN存储技术特点51

3.4.3分布式存储技术特点51

3.4.4存储资源池方案选型52

3.5云数据中心网络设计错误!未定义书签。

3.5.1数据中心内网络系统建设错误!未定义书签。

3.5.1.1网络总体架构错误!未定义书签。

3.5.1.2云平台网络平面设计错误!未定义书签。

3.5.1.3对象存储网络平面设计错误!未定义书签。

3.5.2数据中心互联建设错误!未定义书签。

3.6平台可靠性设计53

3.6.1平台整体可靠设计54

II

网络云平台建设规划方案

云平台管理服务高可用设计58

控制节点高可用59

3.6.2虚拟化可靠性60

计算节点、虚拟机的高可用+可靠性60

3.6.3存储的多副本和自动容错技术61

3.7云安全设计62

3.7.1架构设计62

3.7.2部署设计63

3.7.3边界安全设计64

3.7.3.1南北向访问控制与网络隔离64

3.73.2东西向访问控制与流量控制65

3.7.33网络入侵防御66

3.73.4网络病毒防御66

3.7354~7层攻击防护67

3.7.4计算安全设计67

全面病毒防护67

Hypervisor强制访问控制69

全面云主机安全态势可视化71

重点云主机安全合规性保障71

重点云主机操作系统安全加固73

3.7.4.6和阿里云云盾的兼容错误!未定义书签。

3.7.5云运维安全错误1未定义书签。

运维身份管理错误!未定义书签。

3.7.S.2统一账号管理错误!未定义书签。

3.7.53统一运维接口错误!未定义书签。

运维审计错误!未定义书签。

3.7.6云安全价值77

第四章系统软硬件配置清单错误味定义书签。

III

网络云平台建设规划方案

4.1中心计算资源池：错误!未定义书签。

4.1.1计算资源池:错误!未定义书签。

4.1.2管理节点:错误!未定义书签。

4.1.3XX网络云平台软件授权:错误!未定义书签。

4.1.4xx网络云东西向安全控制错误!未定义书签。

IV

网络云平台建设规划方案

第一章项目概述

1.1建设背景

有线电视网络是党和政府声音传向千家万户的主渠道，是重要的宣传思想文

化主阵地，在传播主流舆论和发展先进文化中发挥着重要作用。推动全省有线电

视网络整合和智能化建设，要加强顶层设计，创新体制机制，强化科技引领，加

快建设兼具宣传文化和信息服务特色的新型融合网络，建立互联互通、安全可控

的全省性数字化文化传播渠道。

总局在《关于加快推进全国有线电视网络整合发展的意见》中提出，以视听

业务为核心，汇聚集成优质内容资源，推出更多优质视听服务，积极发展高清电

视、超高清电视、互动电视等业务。大力实施“宽带广电”和“广电+”战略，

创新发展机遇有线电视网络的互联网视听节目传输服务等三网融合业务，建设新

型家庭信息中心，拓展综合信息服务和智能化应用等新业态，推进技术融合、业

务融合、数据融合。利用大数据、云计算，积极探索建立中国特色的收视调查体

系，挖掘潜在用户需求，实现智能推送和精准服务。

“工欲善其事，必先利其器”在有线网络推动三网融合或者建设全国互联互

通云平台的进程中，以云计算、大数据技术作为基础来构建新型运营平台将是大

势所趋。采用云计算的设计架构将实现广电媒体产品生产及运营的敏捷化、集约

化目标。这是新型运营管理平台区别于传统的运营管理平台最大的特征。

1.2现状与问题

现有的数据中心内业务都是采用“烟囱式”的信息化建设模式，新业务上线，

需要根据新业务的资源需求采购设备，在物理硬件上部署业务集群，耗时耗力，

且造成资源使用不均衡。一方面随着XX网络目前的业务发展速度，数据越来越

多，伴随着数据中心维护成本及软件授权费用的提升。另一方面，管理硬件基础

设施的压力和成本会不断增大；由于应用的多样性，服务器和存储难于有效整合,

服务器的资源使用都远低于其实际的处理能力，计算能力和存储容量难以充分利

5

网络云平台建设规划方案

用。希望能够建设一套以开源架构的云计算平台，完全替代目前在联想的所有数

据中心的IT资源。

当前数据中心建设及管理存在问题如下：

1、缺乏一套开放、轻量化的云平台来对数据中心资源进行管理。

当前xx网络数据中心的基础架构是基于传统的数据中心三层框架建设，数

据中心内部存在大量的不同厂商、不同型号以及不同时间段的计算、存储和网络

资源，数据中心管理难度大、资源监控困难，不符合xx网络数据中心管理平台

要求的轻量化、易部署及运维、开放的建设要求。

2.资源利用率不高、存在资源重复建设。

现有的业务系统包括BOSS系统、网厅系统、经分系统以及ERP等系统都部

署在独立的服务器集群上，每个业务系统集群组件独占计算资源，且相互之间无

法共享；且部分业务系统所部署的服务器大都是基于2010年-2013年采购，存

资源的利用率严重不够、能源消耗虚高等问题。

3.无法实现对不同等级资源的统一管理和弹性分配

现有业务系统都是部署在传统服务器上，如xx网络的BOSS系统，计费应用

服务、中间件服务等都是各自部署在2台服务器上，由于物理资源的固定配置,

无法实现资源在业务波峰波谷时的弹性伸缩和分配。部分业务如充值卡服务只部

署在一台服务器上，无法从基础设施层面实现资源的可靠性保障，一旦该服务器

出现故障，无法再短时间内进行业务的恢复，从而造成严重运营事故。同时，由

于物理硬件基于不同年代进行采购，且服务器配置不一样，需要从数据中心管理

的角度根据性能实现对数据中心资源的等级划分。

1.3需求分析

1.3.1系统建设需求

此次新建XX网络云平台用于承载有线数字电视运营、媒资生产、大数据和

云转码后台管理系统的软件运行和数据存储业务。该云平台采用应用成熟、适度

先进的技术，构建新型云数据中心，并通过整合资源，建立基于IAAS层的基础

软、硬件资源池，并进行动态调度、自动管控和共享使用，为xx网络云业务提

6

网络云平台建设规划方案

供标准化、可定制化的运行环境，提高整体运营效率和IT设施的可靠性、安全

性，并有效降低运营成本，促进企业信息化的跨越式发展。

建立高效灵活的IT架构，实现IT资源对业务变化的快速响应。在业务场景

变化时能够自动化的实现IT资源的调度，缩短业务系统的建设周期，提高业务

系统的使用体验用户满意度。

通过集中化管理、统一运维，以及标准化的运维流程和智能化的监控与事件

分析，提高运维效率、降低运维成本。

综合考虑信息安全等级保护2-3级要求和相关业务应用的实际要求，提供事

前防御、事中控制、事后审计全方位保障，提高信息安全防护能力。

实现云数据中心内部的计算资源池、网络资源池、存储资源池、安全资源池

的统一管控和调度，针对用户的资源使用请求弹性分配IT资源。

1.3.2资源利旧需求

xx网络目前还有一批服务器于2016年期间采购，需要尽可能实现对该批次

服务器进行利旧，本次云平台建设计算资源池将依托于该批次服务器实现资源的

最大化利用，减少物理设备采购，有效盘活历史资源。

目前BOSS系统部分组件运行在IBM的power机型上，本次上云建设需要考

虑将BOSS系统搬迁至X86服务器架构上，将该批次POWER机型节约下来部署

其他业务。

1.3.3业务需求分析

经过前期调研，此次xx网络计划搬迁上云的业务情况如下表所示

序号业务名称操作系统服务器数量存储数量

1BOSS系统Linux224

2网厅系统平台91

3经分系统平台61

4用户行为分析80

5ERP系统101

根据目前项目的业务需求，首先需要重点考虑的问题是那些业务适合上虚拟

化，那些业务不适合上。然后根据筛选出来的可以上虚拟化的业务，利用ICOS规

7

网络云平台建设规划方案

划集群和资源池，例如根据业务所需资源（CPU/内存/硬盘）规划出虚拟化集群

的规模。

其中BOSS系统对计算/存储/网络资源需求如下:

组件服务类型CPU/内存/系统/数据数量其他

计费应用服务物理机32C/128G/600G/SAN2千兆+8GBFC

数据库服务物理机不做迁移2千兆+8GBFC

中间件服务虚拟机8C/32G/300G/SAN2千兆+4GBFC

WEB服务虚拟机16C/64G/300G/IP2千兆

接口服务虚拟机4C/16G/300G/SAN2无

版本库环境服虚拟机千兆+2GBFC

2C/8G/300G/SAN2

务

充值卡服务虚拟机2C/8G/150G/IP1千兆

版本库WEB服虚拟机千兆

2C/8G/500G/IP1

务

网管服务虚拟机4C/16G/300G2千兆+2FC

接口平台服务虚拟机16C/64G/300G2千兆

接口平台服务虚拟机2C/8G/150G/IP2千兆

测试库环境服虚拟机千兆+4GBFC

8C/32G/300G/FC2

务

BOSS系统配套3套SAN存储，共提供：21T存储空间

网厅系统对计算/存储/网络资源需求如下：

组件服务类型CPU/内存/系统/数据数量其他

应用/数据库虚拟机千兆+4GBFC

4C/16G/300G/SAN2

服务

接口服务物理机2C/8G/150G2千兆

代理服务虚拟机2C/8G/150G2「兆

数据库服务物理机不做迁移1千兆

代理服务虚拟机16C/64G/600G1千兆

应用服务虚拟机2C/8G/300G/IP2千兆

网厅系统配套一套SAN存储，共提供1.2T存储空间

经分系统对计算/存储/网络资源需求如下：

组件服务类型CPU/内存/系统/数据数量其他

数据库服务物理机不做迁移2无

ETL服务虚拟机16C/64G/600G2无

8

网络云平台建设规划方案

组件服务类型CPU/内存/系统/数据数量其他

WEB服务虚拟机8C/32G/300G2无

经分系统配套一套SAN存储，共提供7.2T存储空间

用户行为分析对计算/存储/网络资源需求如下：

组件服务类型CPU/内存/系统/数据数量其他

用户行为分析虚拟机16/64G/600G8无

ERP系统对计算/存储/网络资源需求如下:

组件服务类型CPU/内存/系统/数据数量其他

ERP系统虚拟机1C/4G/100G10无

9

网络云平台建设规划方案

第二章总体架构设计

2.1xx网络云中心设计

坚持问题导向、科技引领，按照“大整合、高共享、深应用”的总体思路,

建设XX网络云中心，提升企业各单位信息化服务能力，推进企业信息化工作转

型升级、创新发展。

2.1.1功能框架

用户认证

一器满％&嬲5酬11BX«专幅«®«

资源管理(》5p|y，。Xo;Ser*r-.PowmWI.KVM.Sphere.fuvorCuir>|^jSo)openstack

心

操

作

系

激造控

资源抽象（服务器、存储和网络虚拟化）

此次建设的云计算平台将为为XX网络数据中心及BOSS等应用平台提供基

础设施服务和平台服务。

通过计算、存储和网络虚拟化技术对硬件设备进行“一虚多”或者“多虚一”

处理，实现底层基础设施的在同一数据中心或者跨数据中心的整合，形成计算资

源池、存储资源池和网络资源池，统一对外提供虚拟化、共享、弹性的云计算资

源，从而极大的提升硬件设备使用效率和资源动态扩展能力。基于总体安全架构，

广电云平台需建设需考虑等保二级要求，基于云等保框架实现云平台的安全可靠,

并满足政策法规要求。

平台服务面向各单位，基于基础设施服务提供的计算、存储、网络等基本能

力，为应用系统建设提供通用软件工具和通用应用功能，用于构建应用系统的开

发、测试及生产运行时环境，为应用系统开发提供通用中间件和通用功能的API,

10

网络云平台建设规划方案

为企业大数据中心建设提供数据库、计算等服务支撑。

一期先构建laaS服务层，laaS服务层对外提供计算资源、存储资源和网络

资源等云计算服务，具体包括虚拟主机、物理主机、数据库、虚拟负载均衡、云

网络等。根据不同用户以及不同业务的安全需求，云平台可为不同用户创建各自

的VDC,在VDC内部可为不同业务创建各自的VPC,从而实现不同用户之间

以及不同业务之间的逻辑隔离，提升业务和数据的安全性。本次新建云平台需提

供云主机、物理主机、云存储、云数据库、虚拟负载均衡、云网络等IssS云服务。

云保障建设，包括云标准、云运维、云安全、云运营、云灾备五个部分。

云标准以xx网络云平台项目为依托，按照“边建设、边总结、边推广”的

思路开展xx网络云平台标准体系建设，继承已发布的相关标准的基础上，提取

和固化xx网络云平台建设过程中的优秀成果，形成具有广电行业特色的云标准

体系，规范和指导本市项目的建设。

云安全在xx网络云的建设过程中，安全是必不可少的要素。安全管控系统

负责对云计算平台进行多维立体的安全防护，包括物理安全、网络安全、主机安

全、数据安全、应用安全、服务安全和接入安全等，从南北和和东西两个维度保

证云平台的安全、稳定、可靠运行，同时也对云平台上入驻的所有租户相关业务

和数据进行安全保障。本次项目新建云平台在安全上还需满足国家安全等级保护

二级要求。

云运营是对云计算平台进行设计、运行、评价和改进的持续性工作，目的是

更好的体现云计算平台的价值和持续发展；更好的辅助领导决策，引领企业信息

化发展趋势。

云运维管理负责对云平台相关软硬件,包括物理设备、云操作系统、资源池、

云管理、云服务及云应用等进行一体化维护和管理，包括配置管理、设备管理、

资源管理、数据管理、故障管理、日志管理等功能，能够实时监控各个设备及子

系统的运行情况并产生告警。本次项目新建运维系统需能够对北京、西安和海南

三地云计算平台进行集中监控和维护。

本期项目主要建设laaS云平台，为广电新建内部业务系统部署提供计算、

存储和网络资源，新建laaS云平台主要面向内部用户服务。互联网业务相关部

署需求暂时不在本期项目中考虑，将会在后期项目中再进行建设，因此如下资源

11

网络云平台建设规划方案

池相关方案全部为内部资源池设计，互联网资源池设计不在本设计方案中体现。

综上，通过云保障建设，实现XX网络云基础稳固、平台健壮、应用繁荣、

安全可靠的目标。

2.1.2技术架构

云平台是整个XX网络云平台的资源提供平台，以模块化的设计理念，基于

OpenStack架构，包含了服务器虚拟化、分布式存储、软件定义网络、云管层等

功能组件，轻松实现用户对数据中心各类资源的统一管理，为上层云应用提供各

种资源服务。提供一站式运维，便于用户维护，降低维护成本。

OpenStack是由Rackspace公司（世界最大的主机托管服务商之一）启动的

一个开源项目，它旨在实现‘'云操作系统”，即一个具有部署和管理公有云、私

有云以及混合云基础架构能力的平台。

开源云市场已经进入全面繁荣期，其中OpenStack开源项目产业链已经逐步

形成，全球100个国家超过9000成员加入OpenStack开源项目组，大量公有云、

私有云都已经有部署案例。OpenStack覆盖了网络、虚拟化、操作系统、服务器

等各个方面。在laaS云管理平台领域，OpenStack无疑是最具影响力、最受业界

所推崇和认可的云平台，它已经成为事实上的laaS云平台标准。OpenStack具有

如下特点：

1）具有很强的灵活性，能快速组建云平台的标准服务。模块化的设计能够

容易整合第三方的技术来满足商业需求，强大的伸缩性使得OpenStack几乎可以

构建目前可预见最大规模的云，OpenStack的宗旨是为用户提供普适的开源云平

台，不论是公有云、私有云，也不论云的规模大小，都可以基于OpenStack构建

易于部署且灵活扩展的基础架构。具备高可用性和单组件扩展能力，可集中部署，

也可分布式部署。

2）面向开放架构的接口服务设计，不同子系统/组件之间以API调用，实现

低耦合。可灵活的功能扩展，并可以灵活调整具体接口实现。具备极强的被集成

能力，用户可以通过API实现自身应用的定制开发，甚至基于API调用可以对

OpenStack功能模块进行替换开发。

搭建一套能够管理数据中心的OpenStack,必要的组件包括Keystone（认证

12

网络云平台建设规划方案

服务）、Nova（计算服务）、Cinder（块存储服务）、Neutron（网络服务）、Glance

（镜像服务），根据需要常用的可选组件包括Horizon（Dashboard）、Swift（对

象存储服务）、Ceilometer（监控服务）。

基于OpenStack直接开发的产品有以下优势：易于开发、更新速度快、兼容

性好，因此本期工程建议采用基于OpenStack直接开放的成熟商用产品。

ICOS:InCloudOpenStack

多数据中心

管理

本次平台设计将根据总体需求分析进行设计和实施，主要包括云管平台、计

算资源池、存储资源池、网络资源池和安全资源池设计。通过云管理平台，实现

对不同虚拟化资源池的合理调度与异构管理，对外提供统一的标准化基础设施服

务，支持服务的自动化交付，支持资源的按需使用和动态伸缩。

此次云平台建设，使用KVM架构作为计算虚拟化，云海OS针对虚拟化架构

进行了大量优化，重点提升虚拟化系统的可靠性、可用性和安全性，聚焦政企核

心业务的需求，满足BOSS、ERP、CRM、核心数据库、Web、多应用整合等电信

的关键业务应用，全面兼容主流硬件厂商的X86服务器（板卡）及存储阵列，支

持windowes及linux主流发行版作为虚拟机操作系统并稳定高效运行。除此之

外，对于国产CPU、国产操作系统的兼容性，处于业内领先地位。

云海OS提供企业级的分布式存储解决方案，可以将通用X86服务器的本地

HDD、SSD等介质通过分布式技术组织成一个大规模的存储资源池，对上层虚拟

化平台提供标准的NFS和iSCSI接口。云海OS平台也支持IP-SAN、FC-SAN、NAS

及本地盘，进过FC、iSCSI、FCoE等不同的适配器与主机连接，或者与云海OS的

cinder进行对接，介入主机的存储设备经过存储虚拟化技术队伍提供统一的文件

或块的存储空间，还提供了精简置备/厚置备延迟置零磁盘、快照、存储冷热迁

13

网络云平台建设规划方案

移、虚拟磁盘扩容及链接克隆虚拟机等虚拟磁盘相关功能。

2.1.3部署架构

此次xx网络云平台部署架构如下:

BOSS网厅系统平台经分系统平台用户行为分析其他

|Ironic]

I控制节点11控制节点11控制节点］云海OSIKVM

据、管理网、BMC网.业务司

节点集群虚拟化资源池1虚拟化资源池2裸金慝及源池

SAN存储池

平台方案架构主要设计了管理节点区域、计算资源池包括虚拟资源和物理资

源、存储资源池包括集中存储和分布式存储。

出口路由出口路由

安个池

BorderLeaf

=#=

域Peer-Link

—

ServerLeafInClo^

ICM

接入

接入

交换机氟图

交换机

三三三三mspur-

三三三三gpt^"]icos

三三三三

计灯抵0式存储,订基加点一二二SS向N务器

FC

交换机交换机

集中式存储集中式存储

整体规划概述:

14

网络云平台建设规划方案

在BOSS业务系统中，计费应用服务以及数据库服务目前都部署在IBMP740

服务器上，数据库业务由于搬迁复杂、稳定性要求较高，本次上云平台建设中暂

不搬迁。计费应用服务可考虑搬迁到2路或者4路高性能服务器上，或者暂不做

搬迁。

序号设备类别设备型号配置描述用途描述数的购置时间

8,4.2GHzPo»er7,128GB.4*10!001000

1IBMP740计费应用照务器22014年4月

Mbps网氏2*8GbpsFC原厂双机柒酢软件

8*4.2GHzPover7t128GBi4*600G便fih4*10/1001000

2IBMP740数抠库服务器22014年4月

MbpsM肉2*8GbpsFC,KU双机象群软件

"4.2GHzCPL32GB：2M46GB硬盘：2*WbFCt

3IBMP550t中间件服务器22009年12月

2*100/1000MbpsM*堪群软ftHACMP

2款1.86GHzt64GB.2*300G硬fib4*101001000MbpsM

4IBMX3850febflK务生22014年4月

k,双机软件

5IBMX3850四核1.86GCPI：16GB：2*H6GB硬fib2»300GB硬曲接口服务器22011年8月

2»1.9GHzCPUt8GB,1*146GB硬Gt,2*2GbFC।

6IBMP550版本库环埴服务器22007年12月

2*100lOOOUbpsM象群软件HACMP

BOSS系统平台设得

7IBMX32501*3.ledlzCPtt8GB.2*146GBM!fit,*1001000MbpsMk充值卡服务器12009年12月

HL.8GHZCPL।3GBRAM।2»500GB硬fit,

8IBMX3250版本库,eb服务器12007年12月

2»l00IOOOMbps网R

2*1.86GCPI：16GB：2*146CB慢盘；2*300GB硬盘；

9IBMX3850W管服务器220"年2月

>100lOOOMbpsM2*FCk

2飘1.86GHzm,64GB：2*3OOG«Ct,4»10.1001000

10IBMX3850接“平台服务费22014年4月

w.psMk,双机集群软件

2«2.4GHZCPU,4*2CB内存i2*146G8硬盘t外千兆以太网

11IBMX3650接口平台服务器22011年2月

接口

2*4.2GHzCPLi16GB：2+300GB使fih2*1001OOOMbps网

12IBMP520测试库环境服务器22010年5月

岛2*4GbFC

通过对xx网络当前业务资源占用情况进行调研，考虑对业务系统的硬件资

源进行对等调换，本次拟分配虚拟机数如下

vCPU（物内存存储

规格数量

理核心）(GB)(GB)

基础1型1415010

基础2型2830011

标准1型4163006

标准2型8323006

高性能1型16643002

高性能2型166460013

高性能3型321286002

总数456182418T50

本次上云资源需要分配18T系统盘，29.4T的SAN存储。

当前部分业务数据部署在传统的SAN存储上，部分业务使用服务器本地存

储。本次项目建设考虑使用分布式存储+SAN存储统一管理模式。需要确认SAN

存储和分布式存储数量配比。

基础架构方面，计算节点可以考虑基于现有的服务器，使用17台HP

DL380+10台DL360作为虚拟化资源池建设。一共能够提供计算和内存如下：

vCPU（物内存

规格配置数量

理核心）(GB)

DL3802*lntelXeonE5-2680V3,16GB*242438417