数据中心云平台建设方案

数据中心实施方案

V0.1

（整体基础架构）

组网整体介绍

1.1整体组网拓扑图

VswitchYsmitch

Ai

云主榭》务春云mw务:《

VstoMl期存储

服务区

1.2组网描述

根据服务器用途和部署方式的不同，分为管理区、管理服务区、业务应用区、存储区、安全资源池

区。

每个区域根据服务器业务接入的需求，部署管理接入交换机、业务接入交换机、存储接入交换机和

带外管理交换机，用于实现服务器对应业务的网络接入。

2安装规划

2.1机房工勘

机柜：有N台可用机柜，高度42U,深度1.2米；

供电：每机柜提供两路xxA电流输入，具备UPS不间断电源，两路PDU为接线柱方式，插座；

承重：机房地板＞500Kg/m2；

传输：具有传输或配线机房，可引入专线至指定机柜；

动环:机柜采用前进风后出风方式制冷，两列机柜前面板之间采用玻璃屏蔽，冷、热风道隔离，整体

满足施工要求；

2.2设备机柜落位规划

设备摆放原则：

•居中：核心交换放置在相关设备的中心位置，有利于设备安装和布线；

•散热：设备之间间隔1U,机柜底部及顶端保留2U空间，便于日常维护；

•易维护：配置光纤配线架，跨多个机柜互联时可通过配线架跳转；

•稳定：重的设备放置在机柜底部；

•均匀：每个机柜的耗电相近，不超过机柜最大供电量；

•冗余：管理平台双机部署，所属的宿主机分布在两个机柜中，配置堆叠交换机及路由器也要分

布在相邻的机柜中，避免某一机柜断电影响业务。

2.3设备板卡安装规划（带板卡设备）

2.3.1F5020防火墙板卡安装规划（2台）

槽位号板卡类型描述

0F5020主机

1预留

2.3.2S9804核心交换机板卡安装规划（2台）

槽位号板卡类型描述备注

MLS980024端口万兆以太网光

1LSVM1TGS24FX1

接口模块（SFP+,LC）

MLS980024端口万兆以太网光

2LSVM1TGS24FX1

接口模块（SFP+,LC）

3

2.3.3S5130管理区交换机板卡安装规划（3台）

槽位号板卡类型描述备注

48个10/100/1000BASE-T电

口，支持2个10GBASE-X

1LS-5130-52TP-EI

SFP+端口，支持2个10G

BASE-T电口,(AC/DC)

2.3.4S6800服务器接入交换机板卡安装规划（2台）

槽位号板卡类型描述备注

24端口10GBASE-T+2端

1LSWM124XGT2Q口QSFP+带MACSec接

口卡

24端口SFPPlus+2端口

2LSWM124XG2QSFP+带MACSec接口

卡

2.3.5S6300SAN接入交换机板卡安装规划（2台）

槽位号板卡类型描述备注

MLS6300-42QFL2以太

0S6300主机

网交换机主机

3VLAN规划

分配原则

•VLAN资源分块分配，便于维护；

•业务VLAN连续分配，足够预留，便于后续扩展。

•服务器接入交换机上的VLAN统一规划，比如VLAN103作为服务器管理接入VLAN；VLAN104

作为服务器业务接入VLAN；VLAN122作为服务器IP存储接入VLAN等；

云平台各区域设备VLAN规划，详见《晋中联通系统集成云平台接口互联及IP地址规划配套表》。

3.1出口互联区地址规划

地址规划见下表

描述vlan分配地址段备注

外网互联区S9804出口汇聚交换机上连1、地址需和运营商确认；

2、S9804上起VPN-F5020

出口汇聚交换机S9804与云S9804上创建VPN-F5020,把

1126/29

核心防火墙F5020互连接口放到VPN-F5020中

出口汇聚交换机S9804与云S9804上创建VPN-F5020,把

核心防火墙F5020上租户虚109/24安全外网接口放到VPN-F5020

墙互联（安全外网）中

3.2核心交换区地址规划

分类描述vlan分配地址段备注

云核心防火墙F5020北向S9804的interfacevlanll2地址为

接口与云出口汇聚交换机NA6/297,F5020实墙上起一个子接口.112,

云核心防S9804路由口地址为8;

火墙互连云核心防火墙F5020上租

地址规划户虚墙北向接口与出口汇租户虚墙地址从地址池中10。9.2起顺序分

NA/24

聚交换机S9804（安全外酉己

网）

云核心交换机S9804与云核心交换机S9804interfacevlanlll地址

核心防火墙F5020南向接111/29为1000.15。F5020实墙上起一个子接

口互联□.111,路由口地址为4。

云核心交换机S9804与云

云核心交核心防火墙F5020上租户租户虚墙管理地址从地址池中10010.2起顺

110/23

换机互连虚墙南向接口互连序分配

地址规划（Context设备管理网）

预留云核心交换机与

L5000C上租户虚LB下行VLB管理地址从地址池中起顺序分

110/23

口互连（Context设备管理配

网）

预留后期云核心交换机核心交换机S9804interfacevlanlll地址为

111/29

与LB上行口互连5,LB上行路由口蜘为3;

对核心交换机、核心防火墙、负载均衡设备、

VTEP设备带内管理用。

核心交换机S9804interfacevlanlll地址为

云核心交换机与管理核心

111/295,管理核心上interfacevlanlll地

交换机互连

址为

管理核心上写去往VTEP的静态路由，保证

VCFC和VTEP之间联通。

服务器业服务器业务网网关在核心交换机上，地址

云服务器业务地址104/28

务接入规为.1。

划2001-4

VM上连业务接入S6800待定

(VTEP)000

云核心交换机与、云核心防

供各租户虚拟防火墙、虚拟LB和云核心交换

火墙上租户虚墙互连（安全/22

机三层互连使用。

内网）1001-2

云核心交

云核心防火墙、L500c与云000

供各租户虚拟防火墙、虚拟和云核心交换

换机租户LB

核心交换机互连（租户承载/22

机三层互连使用。

业务地址

网）

嫩」

云核心交换机租户业务接2001-4配置全局保留VLAN，供租户业务资源接入使

NA

入000用。

负载均衡服务虚拟IPNA/24

3.3带外网管区地址规划

区域分类描述vlan分配地址段备注

网络设备

管理口地服务器。地址

带外网关iL101/24

址

区

服务器服务器iLO地址102/24

3.4管理平台区地址规划

分类描述vlan分配地址段备注

服务器管理接口的网关在管理核心（网管区交换

服务器所有服务器的管理地址10310.03.0/24

机）上，地址为.254。

3.5业务系统区地址规划

分类描述vlan分配地址段备注

可配置网关

管理口地址103/24

-10.03.239

业务口只需要创建vSwitch，不需要配置vlan

业务服业务口地址NANA

和IP

务器

存储业务地址122/24

存储后端网123/24

3.6安全资源池区地址规划

分类描述vlan分配地址段备注

NFV

管理口地址103/24

Agent

物理服

业务口地址NANA

务器

网关在管理核心交换机上，地址为・254

VSR管理地址NA/24和管理接入交换机建OSPF邻居关系，实现

VCFC和VSR管理loopback地址路由可达

网关在业务接入交换机上，地址为.254

和业务接入交换机建OSPF邻居关系,实现其

VSR内网地址NA/24

VSR他VTEPIP和VSR业务loopback典路由

可达

管理loopback地-10.0.7.

NA

址254/32

VTEPloopback地-10.0.8.

NA

址254/32

4服务器资源规划

4.1服务器资源规划

4.1.1管理区服务器规划

云管理平台服务器使用7台R390G2机架服务器组成。其中3台R390G2服务器做CloudOS集群2

台R390G2部署管理CASCVM集群，另外需3台R690G2作为管理业务区装IMC、漏洞扫描、License

Server、NFVManager等虚拟机

云管理区的服务器如下:

序号管理服务器名称设备数量安装软件

MLIoudOS云管理平台服

3台R390G2

务器集群安装MLIoudOS云管软件，集群挂在

1本地盘两个盘做

(CloudOS01>CloudOS02ONEStor共享存储。

RAID1

和CloudOS03)

2云管理业务区3台R690G2安装CAS,通过虚机部署IMC、License

本地盘两个盘做Server、漏扫、NFVManager等。集群

RAID1挂载共享存储。

用于政务内服务器资源池虚机配置：

3云后端服务计算节点01VM

4C32G50G

4NFVManagerVMNFV管理节点，虚机配置：4C32G100G

用于完成License注册，虚机配置：4C

5LicenseServerVM

16G50G

虚拟机配置4C16G50G,表示4个CPU16G内存50G硬盘

管理平台服务器最小硬件资源要求参考下表

序号服务器名称配置要求

CPU：8核*2（单核＞=2.0GHz）

内存：64G

1MLIoudOS硬盘：500G

RAID|＜：1G缓存（建议RAID10）

网卡：1000M*4

CPU＞2GHz

CAS平台内存＞4GB

2

(CVM)硬盘＞120GB

网卡N1000M*2

CPU：8核（单核＞=2.0GHz）

内存：16G

3计算节点硬盘:500G*3

RAID卡：512M缓存（建议RAID5）

网卡：1000M*4

4.1.2业务区服务器资源池

•晋中机房的业务区使用2台R390G2服务器部署CVMHA,管理一套CAS,囊括10台R690G2

服务器。

•所有业务区服务器都安装MLCAS虚拟化软件中CVK组件。

5软件版本

5.1硬件设备版本列表

设备型号软件版本

1S9804R2150H04

2S6800F2432P01

3F5020E9310P15

4S6300

5运维审计E6704P01

6数据库审计E6702P01

5.2管理服务器软件版本

序号产品版本

1CloudOSE1137H10

2VCFCE2180P10

3CASE0306H11

4NFV：VSRE03222

5VNFManagerE2122

6OneStorR0118

7IMC

8MLLOUDOC

5.3其他工具软件

序号用途描述

1SSH客户端建议使用Xshell

2Telnet客户端建议使用SecureCRT

3浏览器建议使用Google浏览器1920*1080分辨率

4FTP工具建议使用WinScp

6搭建CASONEStor融合方案

CASONEStor融合方案搭建请参考《ML云计算CASONEStor融合解决方案安装部署》。

CVM节点设置：

CVM节点采用两台物理机通过双机热备方式,实现管理平台高可用，具体部署方式参考《ML云

计算CASCVM双机热备部署指导》。

NTPServer设置：

CVM采用双机热备方式进行高可用性的保证，CAS平台的NTPServer一般位于CVM,因此，

主备CVM也作为主备NTPServer来保证群集中所有设备的网络时间一致。

ONEStor节点设置：

Handy和CVM不在同一节点上，建议Handy管理节点部署在融合节点最小IP主机上。

CVM双机热备（物理机），双机不能作为CVK加入CAS集群，该两主机不允许部署存储服务

（MON、OSD）

监控节点必须为奇数个，一般建议部署3个监控节点。

监控节点和存储节点可以部署在同一个CVK主机上。监控节点对资源（CPU、内存）的消耗

较小，可以与存储节点部署在一起。

当存储集群中的节点数大于3时，管理节点、监控节点、存储节点三者建议不要部署在同一节

点上。

a、当存储集群中的节点数等于3时，受物理服务器的限制。管理节点、监控节点、存储节点

可以合一部署。

b、当存储集群中的节点数大于3时，单台服务部署同时部署3个角色，该物理服务器故障会

同时引起该节点上的监控节点、管理节点、存储节点同时故障。站在风险分担的角度，当物理

服务器有富余时，可以将存储节点、管理节点、监控节点分离在不同的物理服务器上。

c、管理节点（handy）可以单独部署在一台物理服务器上。

网络配置要求:

逻辑网络平面描述要求

管理网用户可以通过管理网络访问CAS和ONEStor千兆或者万兆网络

(vswitchO)集群，对虚机和存储进行管理和维护。

存储业务网上层客户端的IO业务通过存储业务网络与万兆网络

(stor_public)ONEStor集群进行通信。

存储后端网ONEStor集群内部的节点通过存储后端网络万兆网络

(stor_cluster)相互通信。并不对外提供服务。

虚机业务网虚机之间及与外部网络交互。千兆或者万兆网络

（vds1-br）

6.1服务器硬件规划

6.1.1总体规划

节点CPU累计值内存累计值硬盘累计值网卡

CVM支持Intel-VT或>16GB2200GB22个千兆或者

AMD-V万兆以太网口

CVK支持Intel-VT或>16GB>5块硬盘>2个千兆以太

AMD-V网口

其中2块系统盘做Raich,每块

2300GB；22个万兆以太

网口（光口）

》3块存储盘，每块做Raid。

管理Handy24GHz216GB系统盘》20GB

监控MON22GHz21GB系统盘220GB

存储OSD每个OSDNIGHz每个OSD进程/500MB；系统盘。20GB

并且每TB的硬盘容量分

配1GB内存

6.1.2CAS运行环境要求

1.客户端配置要求

MLCAS云计算管理平台基于标准的Web页面开发，用户访问时无需安装任何客户端，可以直接

通过Web浏览器（如GoogleChrome、MozillaFirefox等）进行访问。

2.版本使用限制

1）安装CAS软件的服务器的CPU必须支持硬件辅助虚拟化技术，如Intel-VT或AMD-V。

3.系统盘

•必配，每台服务器至少配2块硬盘。

•2块硬盘做Raid1用来安装ONEStor等系统软件。

6.1.3ONEStor运行环境要求

1.ONEStor存储热备空间的计算

在做业务规划时，必须预留存储的热备空间。热备空间的计算公式请参见附录5.3章节《ONEStor

规格计算工具》。

2.RAID卡

必配，存储节点必须开启Raid缓存，建议使用1GB以上的缓存卡，并配置电池或超级电容。

3.ONEStor数据盘

•必配，每个存储节点至少配3块硬盘。

•建议转速在10K以上，使用单块硬盘做Raid0。

•建议在集群内使用相同类型的硬盘。

•建议使用相同接口类型（SAS/SATA）、相同转速、相同容量的硬盘。

•原则上各物理服务器的数据盘个数要保持一致。

•如果不满足，则各物理服务器的数据盘数量差异不得超过20%（（硬盘数最大-最小）+最大

数）。

•建议使用3副本。

•ONEStor使用副本机制（2~N副本）来保障数据的可靠性。如果使用N副本，则可用容量

是裸容量的N分之1.

4.ONEStorCPU规划

•至少为管理节点（Handy）分配4GHz的CPU资源。

•建议ONEStor集群内部各节点的CPU型号保持一致。

•OSD组件为CPU敏感型组件，至少要为一个OSD进程分配1Ghz的CPU计算能力。

若物理服务器上部署了ONEStor集群中的逻辑角色“存储节点”,则需要考虑OSD进程对CPU

资源的消耗。一块硬盘对应一个OSD进程。

•建议为一个MON进程分配2GHz的CPU资源，一个MON进程对应一个监控节点。

若物理服务器上部署了ONEStor集群中的逻辑角色“监控节点”，则需要考虑MON进程对CPU

资源的消耗。

•规划时，需要考虑其他非存储服务对CPU资源的消耗。

5.ONEStor内存规划

•至少为管理节点（Handy）分配16GB内存。

•至少为1个MON进程分配1GB内存。

若物理服务器上部署了ONEStor集群中的逻辑角色」监控节点”，则需要考虑MON进程对内

存资源的消耗。

•至少为1个OSD进程分配500MB内存。

•部署有“存储节点’的物理服务器，要为每TB的硬盘容量分配1GB内存。

•规划时，需要考虑其他非存储服务对内存资源的消耗。

6.2CASONEStor融合方案安装

6.2.1部署方案图：

多节点（节点数＞5）融合部署集群

双机热备的CVM即作为CAS平台管理主机又作为NTP服务器。保

证CVM和NTP服务的高可用。将管理Handy、监控MON分别部署在不

同的CVK上分担负载。

6.3部署总体流程

6.4Raid卡酉已置

服务器初始化完成，并按要求配置好硬盘Raid。

服务器的Raid卡处于最佳性能模式。

硬盘的Raid配置要求简述如下：

•系统盘配置为Raid1；

・数据盘配置为Raid0；

•加速盘配置为Raid0

6.5CAS平台部署

6.5.1修改服务器BIOS选项

•启动服务器，进入BIOS界面。

•在BIOS界面中开启CPU的虚拟化特性，并修改BIOS启动优先级（设置CD-ROM为第一

优先级启动）。

•修改完成后，保存BIOS设置，退出并重启服务器。

6.5.2CAS安装部署注意事项

1.保证各节点root密码一致。

2.部署系统软件前，各节点的主机名要保持不同；各节点的主机名只能以字母、数字、中划线命

名，不得含有其它特殊字符。

6.5.3CAS安装

安装路线E0303->E0303H06,先安装E0303,再打E0303H06补丁。

CAS安装步骤请参考CASE0303的安装文档部署。

如果是CVM双机热备安装，请参考以下文档部署：

1.CVM双机热备在物理机方案

CVM双机热备功能开

局配置指导VI.1.do

6.5.4访问CAS管理服务器

访问CAS管理服务器有两种方式：HTTP和HTTPSo

HTTP访问方式：

直接运行Web浏览器（如GoogleChrome、MozillaFirefox等），在地址栏中输入

httD：//X.X.X.X:8080/cas（访问的IP地址应与安装管理服务器时配置的IP地址相同）。

HTTPS访问方式：

直接运行Web浏览器（如GoogleChrome、MozillaFirefox等），在地址栏中输入

https:〃XXX.X:8443/cas（访问的IP地址应与安装管理服务器时配置的IP地址相同）。

6.5.5创建CAS集群

1.创建主机池和集群，添加主机

登录CAS管理页面，默认用户名/密码都是admin。

01:8080/。，qin

云计算管理平台

H3C版&所内2012-2016碗州华三通«岐术柳R公司保黄所存长利

EeffiOvomeM（:t.）.fWo>1分1»垄为1440T0WI

2.增加主机池

点击左树“云资源”进入云资源页面，单击页面中〈增加主机池>按钮进行添加。无特殊要求请默

认“下一步”“完成”。

逗

云计篝管理平台产苫

令A@9K»«I8

昱云资源

:三概要§主机Q虚拟机套网络策造模板Q任务

-睡UIS8000

►屈Managerment基本属性T0p5主机CPU利用率

[3脚1机模板主机油

9虚拟共享存储

主机

E虎拟机遮

®虎拟机回收站cpueiQi80

B监控管理V内存93.2OG0

818%5.52%

4告警营理828.07GBHZ-UIS-CAS.HZ-UIS-CAS

本啥可用存储785.73GB

NSfitSS

会拟机8M,好】

底双矶同度4

主机状态统计T0p5虔拟机CPU利用率

G

「,CioudCi

■CloudC2

■CloudM

3.增加集群

在主机池页面中单击〈增加集群〉按钮进行添加。无特殊要求请默认“下一步”“完成”。

»f▼

云计其管理平台比：U188000

%18ttls[…

.KSL

国云也源

:三概要§主机D虚拟机导共享文件系统G任务

MUIS8000

»IfiSManagerment其卒底性Top5主1HCPU利用率

店投机模板主机

CPU54SJS

的虚拟机视图

巨内存

©电拟机回收站93.20GB

假本他白存描828.07GB

8.18%5.52%

本她总可用存785.73GB

告等苣理HZ-UIS-CAS.HZ-UIS-CA

的机8%陶”

q系烧苦理

虑拟机雷凄

主机状套统计Top5虚拟矶CPU利用率

■Cloud)

r—Cioudi