高校大学数据中心私有云平台建设方案

高校大学数据中心私有云平台

建

设

方

案

（规划设计方案）

目录

1概述5

1.1项目背景5

1.2现状分析7

1.3项目目标9

1.4建设原则10

2高校数据中心规划设计12

2.1计算资源规划13

2.2存储资源规划20

2.3网络资源规划30

2.4可用性规划36

2.5管理与监控规划41

3高校私有云规划设计48

3.13.1建设目标48

3.23.2业务架构49

3.33.3技术架构50

3.3.11应用云服务层50

3.3.22分布式平台层52

3.3.33基础设施服务层53

3.43.4云计算网络架构54

3.53.5实施流程56

4计算功能特性58

4.1虚拟机计算性能58

4.1.1CPU虚拟化58

4.1.2内存虚拟化64

4.2虚拟机性能70

4.3关键应用虚拟化70

4.4虚拟机迁移73

4.4.1vMotion简介73

4.4.2实现原理与工作机制77

4.5向大数据扩展81

4.6CPU和内存的热添加和磁盘的热扩展82

4.6.1功能描述82

4.6.2工作原理83

1

4.7分布式资源调度DRS83

4.7.1功能描述83

4.7.2工作原理86

4.8分布式电源管理DPM87

4.8.1功能描述87

4.8.2工作原理88

4.9NVIDIAGRIDvGPU89

5网络和安全功能特性91

5.1vSphere标准交换机(VSS)93

5.1.1VSS概念93

5.1.2VSS架构和网络特性94

5.2vSphere分布式交换机(VDS)95

5.2.1VDS概念95

5.2.2VDS架构96

5.2.3功能摘要97

5.2.4详细技术信息100

5.3网络I/O控制(NI0C)101

5.3.1功能摘要101

5.3.2详细技术信息103

5.4无代理终端安全防护105

5.4.1概览105

5.4.2主要优势107

5.4.3vShieldEndpoint工作原理111

5.4.4vShieldEndpoint主要功能特性111

6存储功能特性116

6.1虚拟化环境的存储116

6.2vSphere存储体系结构119

6.3StorageDistributedResourcesScheduler(DRS)121

6.3.1功能概览122

6.3.2详细技术信息123

6.4基于存储策略的管理125

6.5StoragevMotion128

6.5.1功能概览128

6.5.2详细技术信息131

6.6存储1/0控制134

2

6.6.1功能概览134

6.6.2详细技术信息135

6.7VirtualMachineFileSystem(VMFS)137

6.7.1功能概览137

6.7.2详细技术信息139

6.8StorageThinProvisioning141

6.8.1功能概览141

6.8.2详细技术信息143

6.9存储API144

6.10VirtualVolumes147

6.11vSphereFlashReadCache150

6.11.1高校数据中心私有云FRC介绍150

6.11.2高校数据中心私有云特性与优势151

6.11.3vFRC详细技术信息152

7可用性功能157

7.1高校数据中心私有云HighAvailability157

7.1.1概览158

7.1.2HA详细技术信息161

7.2高校数据中心私有云FaultTolerance165

7.2.1概览165

7.2.2FT详细技术信息168

7.3高校数据中心私有云DataProtection171

7.3.1功能特性172

7.3.2VDP详细技术信息174

7.4vStorageAPIsforDataProtection178

7.4.1概览178

7.4.2VADP的主要优势178

7.5vSphereReplication180

7.5.1概览180

7.5.2VR详细技术信息182

8管理和自动化192

8.1集中式控制和主动式管理192

8.1.1vCenterServer体系结构和组件192

8.1.2功能概览196

8.2自动化管理与调配199

3

8.2.1内容库199

8.2.2AutoDeploy202

8.2.3主机配置文件204

8.2.4UpdateManager205

9方案优势总结207

10配置清单及说明210

10.1硬件配置需求210

10.2虚拟化软件配置需求210

11专业服务212

11.1高校数据中心私有云专业服务介绍212

11.2专业咨询服务内容213

11.2.1高校数据中心私有云Accelerate咨询服务213

11.2.2技术咨询服务214

11.2.3技术客户经理(TAM)服务215

11.3专业服务实施流程217

11.3.1评估218

11.3.2规划与设计219

11.3.3实施220

11.3.4运维220

12支持服务概述222

12.1高校数据中心私有云支持的角色和职责222

12.2全球技术支持服务223

12.3自助服务支持225

12.3.1社会支持225

12.3.2其他资源226

4

概述

1.1项目背景

不断增长的业务对IT部门的要求越来越高，所以数据中心

需要更为快速的提供所需要的能力。如果不断购买新的服务器,

又会增加采购成本和运作成本，而且还会带来更多供电和冷却

的开支，同时，目前的服务器还没有得到充分的利用。通常情

况下，企业的服务器工作负载只利用了5%,这导致了大量的硬

件、空间以及电力的浪费。同时由于应用程序兼容性的问题，

IT人员只能通过在不同场所的不同服务器中分别运行应用的方

式，将应用程序隔离起来，而这又会导致服务器数量的增长。

购置新的服务器是一项漫长的过程，这使得IT部门更加难以应

对业务快速成长和不断变动的需求。例如，对于新业务系统平

台的供应和拆除需求，往往就需要消耗大量宝贵的资源和时间。

从IT管理员的角度来看，推动虚拟化技术发展的主要动力

是基础架构设施的迅猛增长，而硬件部署模式又进一步加剧了

基础架构的复杂程度。应用越来越多，也越来越复杂，因此就

变得更加难以管理、更新和维护。用户希望能采用各种桌面设

备、笔记本电脑、家用PC和移动设备来进行工作。服务器价格

急剧下降，服务器散乱现象仍然存在。随着图形和多媒体的发

展，数据也变得越来越丰富，文件的平均大小也在不断上升，

要求不间断的在线存储。纵观整个数据中心，技术不断增多，

5

分布也越来越广，另外，业界和法律法规也在不断要求企业加

强IT管理控制。

在这种环境下，虚拟化技术就体现了整合的优势。应用在

IT的不同层面，从逻辑层将物理层抽象出来意味着逻辑组件会

得到更一致的管理。

从安全监督来看，虚拟化技术提升了X86服务器的可靠性、

可用性，从基础架构层面获得了原先单机系统无法想象的功能,

大大提高了业务连续性的级别，降低了故障率、减少了系统宕

机的时间。

从服务器的角度来看，虚拟化技术让每台设备都能托管多套

操作系统，最大化了利用率，降低了服务器数量。

从存储的角度来看，虚拟化技术可网络化、整合磁盘设备，

并让多个服务器共享磁盘设备，从而提高了利用率。

从应用的角度来看，虚拟化技术将应用计算从用户设备中分

离出来，并在数据中心对应用及相关数据进行整合，通过集中

化技术改善了管理和系统的安全性。

XXX客户作为国内大型企业，信息化建设不断发展。目前信

息化网络以信息中心为运营维护单位，覆盖出单、收付等多套

业务系统，服务器资源庞大。出于经济效益和管理安全性考虑,

针对基础架构的虚拟化整合已势在必行。

根据CC智能战略的规划：做强终端、云平台建设、大数据

商业模式，CC正迈向大数据时代，当前正面向所有智能终端

6

提供优质的服务，同时通过终端传感器或数据采集服务能够获

取海量的数据，并且数据量会以TB级剧增。因此CC迫切需

要建设一套高性能、高安全性、高可靠性，可扩展性的云数据

采集中心，并搭建一个数据中心支撑平台，以满足当今高速增

长的数据存储、管理、计算的需求，同时便于将来拓展和进一

步的改造。

目前CC数据中心是主要基于CC黑电、白电、浏览器等产

品终端传感器采集的海量文本、图片数据以及用户数据，为

CC后续其他数据分析挖掘项目提供数据支撑的信息平台。对

应方针一一终端内容服务、云服务支撑与数据挖掘、个性化数

据价值探索。

建立统一有效的云数据采集中心有利于CC大数据的管理，

符合CC新的发展战略，CC黑电和白电产品终端传感器采集

的数据有用户行为的文本数据（log）、台标等图片数据以及

自建的影视知识库的结构化数据、电商平台的海量镜像数据。

当CC的用户量和采集的数据量与日俱增的时候，数据中心必

须能通过添加更多服务节点来扩展性能和负载能力，保证高可

扩展性和高可用性从而满足CC业务发展的需要。

1.2现状分析

XXX客户数据中心目前以X86服务器为主，运行着人力资源、

市场计费、生产经营、资产管理、网络管理、邮件、安全等业

7

务系统。具体的服务器配置如下所示，该表涵盖了主要业务系

统的服务器配置。

除了视频服务器和下载服务器外，其它服务器的负载都非常

小，远没有达到充分利用的状态。虽然视频服务器和下载服务

器的负载相对较高，但是也没有充分发挥硬件平台的资源效率。

另外还有一些运行边缘业务的服务器，由于设备老旧以及所

在位置等原因，本次尚未统计在内。

目前XXX客户的磁盘阵列划分孤立、分散，造成了磁盘阵列

的浪费以及数据的高风险性，而且十分不易于维护。随着之后

系统和数据量的不断增加，这一现象将会持续加剧。

通过对XXX客户服务器和存储现状的分析，目前IT基础架

构有以下几个问题亟待解决：

♦服务器的利用率低。现在机房内运行的大部分机器的利

用率都非常低，由于一台服务器只能有一个操作系统，

受系统和软件开发平台的限制，CPU、内存、硬盘空间

的资源利用率都很低，大量的系统资源被闲置。

♦可管理性差。首先是可用性低，几乎每个应用服务器都

是单机，如果某台服务器出现故障，相对应的业务也将

中断。其次是当硬件需要维护、升级或出现硬件故障时,

上层业务系统均会出现较长时间的中断，影响业务的连

续性，其中包括一些重要业务系统，一旦中断服务影响

很大，未来数据中心搬迁时会更加麻烦。

8

♦兼容性差。系统和应用迁移到其他服务器，需要和旧系

统兼容的系统。新的软件包括操作系统和应用软件无法

运行在老的硬件平台，而老的代码有时候也很难移植到

新的硬件平台上。例如：由于各种资源数据库不同公司

分别开发，需要的运行的软硬平台很多时候不能保证兼

容。为节省时间、物力和保持系统部署的顺利，只能用

增加服务器单独部署的方法来解决。

♦服务器和存储购置成本高，维护成本递增，也不得不考

虑。随着应用的不断增加，服务器数量也跟着增加，每

年要支出高额购置费用不说，还有部分服务器已经过保

修期，部件逐渐进入老化期，维护、维修预算费用也逐

年增加。

♦对业务需求无法做到及时响应，灵活性差。当有新的应

用需要部署时，需要重新部署服务器，存储系统，并需

要对网络系统进行调整以适应新的IT应用的需求。

♦目前为每套生产系统，在开发测试中心均要保留一套开

发测试环境，造成了资源很大的浪费。

高校数据中心私有云的服务器虚拟化解决方案可以很好地解

决上面这些问题，下面的章节将从方案的整体规划设计，体系

结构，计算，网络与安全，存储，可用性，管理与自动化等方

面对该方案进行全面地分析与介绍。

1.3项目目标

9

搭建分布式存储平台（能够存储海量非结构化数据和

结构化数据）、分布式并行计算平台等等，满足海

量数据的采集、存储、计算的需要，平台必须具备高

可用性，高扩展性，高可靠性要求。

为CC后面的产品（收视率统计，智能推荐系统，拍立

购，开放平台等等）的应用和实施打下坚实的基础，

为集团CC的大数据提供运营支撑。

云中心初期建立至少保证可以正常运营1〜2年，硬件

选型，软件开始要考虑到今后大规模扩容的要求。

技术平台要有能力支持数据量最高1000W终端数量的

数据存储、数据计算、信息推荐等的能力。

1.4建设原则

基于本项目的建设要求，本项目将遵循以下建设原则：

前瞻性和高标准整个项目要按照企业对大数据应用的需

要的高要求和高标准建设，参考行业标杆应用，建立满

足需求，面向未来的目标，整个项目具有一定前瞻性。

10

经济性和实用性整个项目以现有需求为基础，充分考虑

未来发展的需要来确定系统的架构，既要降低系统的初

期投入，又能满足服务对象的需求，同时系统设计应

充分考虑对已有投资的保护，对已建立的数据中心、

基础平台、应用软件应提供完备的整合方案。

先进性和成熟性为了确保项目具有较长的生命周期，

应充分考虑到管理创新、技术发展需要，按照先进的

建设理念，选择先进的技术架构和成熟技术，满足业

务需求。高性能和安全性规范地进行系统建设和开发,

提供合理且经济有效的应急方案，确保系统的稳定，

向各类服务对象提供可靠的服务。具有安全性，在系统

遭到攻击或崩溃时能快速恢复，确保重要数据的机密

性和完整性。

11

2高校数据中心规划设计

虚拟化技术的引入大大减少了需要维护和管理的设备，如服

务器、交换机、机架、网线、UPS、空调等。原先设备可以根据

制度进行折旧报废、或者利旧更新，使得IT管理人员有了更多

的选择。虚拟化可以提高资源利用率，降低硬件采购成本，更

加节能和节省空间，让整个数据中心更加灵活。

下图是实施了高校数据中心私有云虚拟化方案之后的IT整

体架构。

］存储阵列存储阵列存储阵列

图：数据中心整体架构图

服务器虚拟化后，我们搭建了虚拟化集群，并统一进行管理。

原有的服务器设备仍然可以正常运行，并且与虚拟化服务器融

合在一起。

12

随着虚拟化的不断应用，可以不断动态地增加虚拟化集群的

规模，搭建更健康的IT体系架构。客户端方面，延续了原先的

访问模式，对于虚拟服务器的数据交互等操作，等同于原先传

统物理服务器的的访问模式，不会对业务系统造成任何不利影

响。

本章节接下来的部分，将从计算，存储，网络，可用性，管

理与监控五个方面对XXX客户的数据中心进行全面高效的规划

设计。

2.1计算资源规划

虚拟机上运行着为各个用户和整个业务线提供支持的应用与

服务，其中有很多都是关键业务应用，因此，用户必须正确设

计、调配和管理虚拟机，以确保这些应用与服务能够高效运行。

高校数据中心私有云ESXi主机是数据中心的基本计算构造

块，这些主机资源聚合起来可构建高可用动态资源池环境，作

为数据中心各应用的整体计算资源。

本小节将根据XXX客户的生产环境，对计算资源进行整体规

划，包括物理服务器，虚拟机等资源。

＞指导原则与最佳实践

♦除非确实需要多个虚拟CPU(vCPU),否则默认配置一个,

使用尽可能少的虚拟CPU。操作系统必须支持对称多处

理(SMP)功能。应用必须是多线程的，才能受益于多个

13

虚拟CPU。虚拟CPU的数量不得超过主机上物理CPU核

心（或超线程）的数量。

♦不要规划使用主机的所有CPU或内存资源，在设计中保

留一些可用资源。要实现虚拟机内存性能最优化，关键

是在物理RAM中保留虚拟机的活动内存，应避免过量分

配活动内存。

♦始终将透明页共享保持启用状态，始终加载高校数据中

心私有云Tools并启用内存释放。

♦资源池CPU和内存份额设置不能用于配置虚拟机优先级。

资源池可用于为虚拟机分配专用CPU和内存资源。

♦在工作负载极易变化的环境中配置vSphereDPM,以降

低能耗和散热成本。

♦部署一个系统磁盘和一个单独的应用数据磁盘。如果系

统磁盘和数据磁盘需要相同的I/O特征（RAID级别、存

储带宽和延迟），应将它们一起放置在一个数据存储中。

♦应用要求应作为向虚拟机分配资源的主要指标。使用默

认设置部署虚拟机，明确采用其他配置的情况除外。

♦像保护物理机一样保护虚拟机的安全。确保为虚拟基础

架构中的每个虚拟机启用了防病毒、反间谍软件、入侵

检测和防火墙。确保随时更新所有的安全保护措施。应

用合适的最新补丁，要将虚拟机软件和应用保持在最新

14

状态，应使用补丁程序管理工具，或者安装和配置

UpdateManagero

♦为避免管理连接问题，应向每个ESXi主机分配静态IP

地址和主机名。为便于管理，应为DNS配置每个ESXi

主机的主机名和IP地址。

♦确保数据中心有足够的电源和散热容量以避免服务中断。

♦无论选择了哪个硬件平台，都应设计一致的平台配置，

特别是在高校数据中心私有云集群中。一致性包括CPU

类型、内存容量和内存插槽分配、网卡和主机总线适配

器类型，以及PCI插槽分配。

♦使用一个或多个启用了vSphereHA和DRS的集群，以

增加可用性和可扩展性。

♦使用横向扩展还是纵向扩展集群由集群用途、基础架构

规模、vSphere限制以及资金和运营成本等因素确定。

＞计算资源规划

基于上述指导原则与最佳实践，结合XXX客户数据中心的实

际情况，我们对计算资源进行如下的规划设计。

我们使用容量规划工具对XXX客户数据中心里的1000款不

同的应用进行了采样评测，以获取这些应用对CPU和内存的需

求情况，具体的分析结果如下所示。

15

项目数值

每个系统的平均CPU需求量2

平均CPU主频（平Z）2800MHz

每个系统的平均正常化CPU主频（MHz）5663MHz

每个系统的平均CPU使用率6.5%

(368.01MHz)

每个系统的平均CPU峰值使用率9%(509.67MHz)

1000台虚拟机的峰值CPU总需求量509,670MHz

表：CPU资源需求

项目数值

每个系统的平均内存需求量1024MB

平均内存使用率62%(634.88MB)

平均内存峰值使用率70%(716.80MB)

无内存共享时1000台虚拟机的内存峰值需求716,800MB

量

虚拟化后的内存共享预期收益率50%

16

项目数值

内存共享后1000台虚拟机的内存峰值总需求358,400MB

量

表：内存资源需求

我们建议如下的ESXi主机CPU与内存配置。

项目数值

每台主机的CPU数4

每颗CPU的核心数4

每个CPU核心的主频（MHz）2,400

每颗CPU的总主频（MHz）9,600

每台主机的总CPU频率（MHz）38,400

最大CPU使用率建议80%

每台主机的可用CPU30,720MHz

表：ESXi主机CPU配置建议

项目数值

17

项目数值

每台主机的内存容量32,768MB

(32GB)

最大内存使用率建议80%

每台主机的可用内存26,214MB

表：ESX1主机内存配置建议

对于上述配置的一些说明如下。

♦每台服务器的运算能力按照峰值而非平均值进行估算，

确保可以支持虚拟机应用同时运行的最高值。

♦CPU和内存的估算需要预留20%的空间用于突发的计算

能力过量。

♦内存共享按照50%的比例进行估算，这个数值是基于整

合的应用全部以WindowsServer2003服务器操作系统

进行核算的。

接下来，我们将根据上面这些应用需求与ESXi主机配置，

对计算资源进行估算。

下面这个公式用来估算可以满足数据中心中这些虚拟机在

CPU峰值时正常运行所需的ESXi主机个数。

所有虚拟机的CPU峰值频率需求量=需要的ESXi主机

18

每台ESXi主机的可用CPU仝箜

根据上述公式，XXX客户为了使这1000款应用可以在CPU

峰值时正常运行所需的ESXi主机个数是：

509,670MHz（CPU频率总体需求量）

30,720MHz（每台主机的可用CPU频=16-59个ESXi主机

率）

下面这个公式用来估算可以满足数据中心中这些虚拟机在内

存峰值时正常运行所需的ESXi主机个数。

所有虚拟机的内存峰值总需求量=需要的ESXi主机

每台ESXi主机的可用内存仝数

根据上述公式，XXX客户为了使这1000款应用可以在内存

峰值时正常运行所需的ESXi主机个数是：

358,400MB（内存总体需求量）

________________________________=13.67个ESXi主机

26,214MB（每台主机的可用内存）

从CPU的角来说，需要17台ESXi主机，而从内存的角度来

看，则需要14台物理主机。很显然，我们应该为该数据中心配

置17台ESXi主机并组建集群。为了使用vSphere的高可用功

能，我们还需要添加一台ESXi主机到该集群，因此，总的物理

主机数目为18台。

19

上述对计算资源的规划可以满足虚拟机环境资源突发时的资

源溢出要求。

2.2存储资源规划

正确的存储设计对组织实现其业务目标有着积极的影响，可

以为性能良好的虚拟数据中心奠定一定的基础。它可以保护数

据免受恶意或者意外破坏的影响，同时防止未经授权的用户访

问数据。存储设计必须经过合理优化，以满足应用、服务、管

理员和用户的多样性需求。

存储资源规划的目标是战略性地协调业务应用与存储基础架

构，以降低成本、改善性能、提高可用性、提供安全性，以及

增强功能，同时将应用数据分配到相应的存储层。

本小节将根据XXX客户的生产环境，对存储资源进行整体规

划，包括共享存储逻辑规划，存储空间规划，存储I/O控制规

划，存储分层规划等。

＞指导原则与最佳实践

在规划存储资源时，我们会遵循如下的指导原则与最佳实践。

♦构建模块化存储解决方案，该方案可以随时间推移不断

扩展，以满足组织的需求，用户无需替换现有的存储基

础架构。在模块化存储解决方案中，应同时考虑容量和

性能。

20

♦每个存储层具有不同的性能、容量和可用性特征，只要

不是每个应用都需要昂贵、高性能、高度可用的存储，

设计不同的存储层将十分经济高效。

♦配置存储多路径功能，配置主机、交换机和存储阵列级

别的冗余以便提高可用性、可扩展性和性能。

♦允许集群中的所有主机访问相同的数据存储。

♦启用高校数据中心私有云vSphereStorageAPIs-

ArrayIntegration（VAAI）与存储I/O控制。配置存储

DRS以根据使用和延迟进行平衡。

♦根据SLA、工作负载和成本在vSphere中创建多个存储

配置文件，并将存储配置文件与相应的提供商虚拟数据

中心对应起来。

♦对于光纤通道、NFS和iSCSI存储，可对存储进行相应

设计，以降低延迟并提高可用性。对于每秒要处理大量

事务的工作负载来说，将工作负载分配到不同位置尤其

重要（如数据采集或事务日志记录系统）。通过减少存

储路径中的跃点数量来降低延迟。

♦NFS存储的最大容量取决于阵列供应商。单个NFS数据

存储的容量取决于将访问数据存储的每个虚拟机所需的

空间，乘以在延迟可接受的情况下可以访问数据存储的

虚拟机数量。考虑将存储DRS配置为使其成员数据存储

的使用量保持在80%（默认设置）的均衡水平。

21

♦单个VMFS数据存储的容量取决于将访问数据存储的每

个虚拟机所需的空间，乘以在延迟可接受的情况下可以

访问数据存储的虚拟机数量。考虑配置存储DRS,使数

据存储使用量保持在80%的均衡水平。保留10%到20%的

额外容量，用于容纳快照、交换文件和日志文件

♦为促进对iSCSI资源的稳定访问，应该为iSCSI启动器

和目标配置静态IP地址。

♦对于基于IP的存储，应使用单独的专用网络或VLAN以

隔离存储流量，避免与其他流量类型争用资源，从而可

以降低延迟并提高性能。

♦根据可用性要求选择一个RAID级别，对大多数虚拟机

工作负载而言，如果阵列具有足够的电池供电缓存，

RAID级别对性能不会产生影响。

♦对于大多数应用，除非存在对RDM的特定需求，否则请

使用VMDK磁盘。

＞共享存储逻辑规划

考虑采用本地存储将无法形成整个虚拟化集群资源池，因此

无法有效地使用vSphere虚拟化环境的高可用，灵活配置等功

能。本方案将建议购置或利用现有的存储交换网络SAN网络，

并新增磁盘阵列作为共享SAN存储，同时做好相应的设备（SAN

HBA卡、交换机等）布线、空间、场地布局等相应的规划。

22

在设计存储架构时应该充分考虑到冗余和性能，因此存储架

构的选择根据国家和各省级数据中心整体应用对存储的IOPS和

吞吐量的需求进行规划，涉及到端到端的主机适配器选择、控

制器和端口数量选择以及磁盘数量和RAID方式选择等。

每台vSphere服务器到存储的连接示意图如下所示。

图：每台服务器的存储连接示意图

针对上图的一些说明如下。

♦确保每个ESXi主机内虚拟机并发10队列长度与HBA适

配卡设置保持一致。

23

♦底层LUN的需求根据实际虚拟机应用对存储IOPS的实

际需求进行规划。

♦根据应用的需要设置LUN的RAID结构，如对于随机读

写的数据库如Oracle、SQL数据库，建议在LUN级别采

用RAID1O结构，对于数据库日志通常为连续写或恢复

时连续读，建议在LUN级别采用RAID5结构。

♦对于10密集型的应用尽量采用单独的VMFS存储，避免

在存储端与其他应用产生10争用。

♦多个虚拟机共用一个数据存储或者多个主机共享一个数

据存储时，可以启用存储队列QoS确保核心应用的延时

在可控范围以及对数据存储读写的优先级。

♦通常情况下1〜2TB的LUN大小具有较好的性能和可管理

性。

♦磁盘阵列的选择应该满足整个虚拟化环境最大IOPS的

吞吐量需求，并配置足够的存储处理器、缓存和端口数。

♦对于双活ALUA磁盘阵列（非双活磁盘阵列），为了防

止链路抖动，对于每个LUN在同一时间配置只有一个

ESXi服务器通过一个存储处理器进行访问，这就需要在

多路径策略选择时设置为MRU（最近使用策略），该策

略可以保证只有在某个路径故障时才启用另一个存储处

理器连接LUNo

24

A存储空间规划

规划LUN容量时，建议每个LUN运行10到20个VM(数据事

务类应用可以适当减少)，并且每个LUN的使用量不超过容量的

80%o

若VM需要直接访问存储卷，如NTFS或EXT3,应在存储中

另外创建一LUN,以RDM方式映射到VM,VM以裸磁盘方式使用。

LUN容量规划的公式如下所示。

LUN容量=(Zx(X+Y)*1.25)

其中：

■Z=每LUN上驻留10个虚拟机

■Y=虚拟磁盘文件容量

■X=内存大小

根据XXX客户的实际生产环境的情况，即：1GB内存，单一

VMDK文件需要80GB,LUN容量计算如下：

LUN容量二(10x(1+80)*1.25)"1000GB

根据最佳实践，部署的每一个VMFS文件系统下最好分配一

个LUN磁盘，这样可以避免虚拟机文件VMDK跨LUN造成的性能

不一致等问题。因此在构建VMFS文件系统的空间时应该充分考

虑在其上运行的虚拟机数量和可增长空间，在规划时将LUN的

空间预留充足。虽然将来仍然可以利用vmkfstools等工具在线

25

扩充VMFS,但是仍然无法避免上述虚拟机磁盘跨LUN使用的问

题。

我们建议XXX客户采用如下的存储配置。

项目说明

存储类型FibreChannelSAN

存储处理器个数2（冗余）

交换机个数2（冗余）

每个主机上每个交换机的端1

口数

LUN大小1TB

LUN总数根据总量确定

每个LUN上的VMFS数据存储1

数

VMFS版本5

表：存储配置建议

＞存储分层规划

26

每个存储层具有不同的性能、容量和可用性特征，只要不是

每个应用都需要昂贵、高性能、高度可用的存储，设计不同的

存储层将十分经济高效。一个典型的存储分层实例如下图所示。

最高性能和可用性（5个9）、接近零停机、

关键任务数据成本最高

良好的性能和可用性（5个9）、恢复时间短

关键业务数据于8小时、成本适中

在线性能、良好的可用性（4个9）、恢复时

可在线访问的数据间短于8小时'成本较低

大型卷、受保护的数据（个、自动检索时

近线数据39）

间少于1小时、注重成本

离线数据与备份或合规性相关的存档数据、检索时间少于

72小时、非常注重成本

图：存储分层实例

在规划存储分层时，我们主要考量应用和服务的如下存储特

征。

♦每秒I/O操作数（IOPS）要求

♦每秒兆字节数（MBps）要求

♦容量要求

♦可用性要求

♦延迟要求

并依据下列信息将应用及服务移至设计有匹配特征的存储层。

♦考虑任何现有的服务级别协议（SLA）

♦数据在信息生命周期中可能会在存储层之间移动

27

基于上述原则，我们为XXX客户所做的存储分层规划如下所

不O

层接口应用速度RAID磁盘数注释

1光纤通-电子15K10810

鬻邮件RPMVMs/VMFS

-Web数据存储

服务器

-客户

资源管

理

2光纤通-薪酬15K5415

霰管理RPMVMs/VMFS

,人力数据存储

资源

3光纤通-测试10K5415

鬻一开发RPMVMs/VMFS

数据存储

表：存储分层实现

＞数据存储群集规划

28

数据存储以及与数据存储群集关联的主机必须符合特定要求,

才能成功使用数据存储群集功能。

创建数据存储群集时，应遵循下列准则。

♦数据存储群集必须包含类似的或可互换的数据存储。

一个数据存储群集中可以混用不同大小和I/O能力的数据

存储，还可以混用来自不同阵列和供应商的数据存储。但

是，下列类型的数据存储不能共存于一个数据存储群集中。

•在同一个数据存储群集中，不能组合使用NFS和VMFS

数据存储。

•在同一个启用了存储DRS的数据存储群集中，不能结合

使用复制的数据存储和非复制的数据存储。

♦连接到数据存储群集中的数据存储的所有主机必须是

ESXi5.0及更高版本。如果数据存储群集中的数据存储

连接到ESX/ESXi4.x及更早版本的主机,则存储DRS

不会运行。

♦数据存储群集中不能包含跨多个数据中心共享的数据存

储。

♦最佳做法是，启用了硬件加速的数据存储不能与未启用

硬件加速的数据存储放在同一个数据存储群集中。数据

存储群集中的数据存储必须属于同类，才能保证实现硬

件加速支持的行为。

29

基于上述原则，我们建议XXX客户采用如下数据存储集群规

划。

集群名存储自动是否启动空间使I/O延

DRS化I/O用率迟

Metric

DataClusters-启用全自是85%15ms

W/0动化

DataClusters-启用未自是85%15ms

W动化

菱：数据存储集群设计

2.3网络资源规划

正确的网络设计对组织实现其业务目标有着积极的影响，它

可确保经过授权的用户能够及时访问业务数据，同时防止未经

授权的用户访问数据。网络设计必须经过合理优化，以满足应

用、服务、存储、管理员和用户的各种需求。

网络资源规划的目标是设计一种能降低成本、改善性能、提

高可用性、提供安全性，以及增强功能的虚拟网络基础架构，

该架构能够更顺畅地在应用、存储、用户和管理员之间传递数

据。

本小节将根据XXX客户的生产环境，对网络资源进行整体规

划，包括虚拟交换机，网卡绑定等。

30

在规划网络设计时，我们主要从以下几个方面进行考量并进

行相关的设计。

♦连接要求

♦带宽要求

♦延迟要求

♦可用性要求

♦成本要求

＞指导原则与最佳实践

在规划网络资源时，我们会遵循如下的指导原则与最佳实践。

♦构建模块化网络解决方案，该方案可随时间的推移不断

扩展以满足组织的需求，使得用户无需替换现有的网络

基础架构，进而降低成本。

♦为了减少争用和增强安全性，应该按照流量类型

（vSphere管理网络（HA心跳互联网络）、vMotion在

线迁移网络、虚拟机对外提供服务的网络、FT、IP存储）

对网络流量进行逻辑分离。

♦VLAN可减少所需的网络端口和电缆数量，但需要得到物

理网络基础架构的支持。

31

♦首选分布式交换机，并应尽可能少配置虚拟交换机。对

于每一个虚拟交换机vSwitch应该配置至少两个上行链

路物理网络端口。

♦可以在不影响虚拟机或在交换机后端运行的网络服务的

前提下，向标准或分布式交换机添加或从中移除网络适

配器。如果移除所有正在运行的硬件，虚拟机仍可互相

通信。如果保留一个网络适配器原封不动，则所有的虚

拟机仍然可以与物理网络相连。

♦连接到同一vSphere标准交换机或分布式交换机的每个

物理网络适配器还应该连接到同一物理网络。将所有

VMkernel网络适配器配置为相同MTU。

♦实施网络组件和路径冗余，以支持可用性和负载分配。

♦使用具有活动/备用端口配置的网卡绑定，以减少所需

端口的数量，同时保持冗余。

♦对于多网口的冗余配置应该遵循配置在不同PCI插槽间

的物理网卡口之间。

♦对于物理交换网络也应该相应的进行冗余设置，避免单

点故障。建议采用千兆以太网交换网络，避免网络瓶颈。

♦对吞吐量和并发网络带宽有较高使用要求的情况，可以

考虑采用lOGbE,不过采用万兆网络在适配器和交换机

上的投入成本也会相应增加。简单的方法是通过在虚拟

32

机网络vSwitch或vPortGroup上通过对多块IGbE端口

捆绑负载均衡实现。

♦将直通设备与Linux内核2.6.20或更低版本配合使用

时，避免使用MSI和MSbX模式，因为这会明显影响性

能。

♦为了保护大部分敏感的虚拟机，要在虚拟机中部署防火

墙，以便在带有上行链路（连接物理网络）的虚拟网络

和无上行链路的纯虚拟网络之间路由。

＞虚拟交换机规划

为每台vSphere服务器规划的虚拟交换机配置如下。

标准虚拟交换机/分布式虚功能物理网卡端口

拟交换机数

VDS0管理网络2

VDS1vSphere2

vMotion

VDS2虚拟机网络2

表：每台服务器的虚拟交换机建议

上述配置的相关说明如下。

33

♦所选用的网卡必须在vSphere服务器的网络I/O设备兼

容列表里，请从http:〃www.高校数据中心私有

云.com/resources/compatibility/search.php上查找

最新的网络I/O设备来确认选用网卡设备是否满足要求。

♦对于虚拟交换机的双端口冗余，如果网卡自带软件支持

可以在ESX操作系统级别实现NICTeaming,本方案建

议通过在vSwitch交换机层面配置双网卡的负载均衡或

主备切换策略，负载均衡策略可以基于虚拟机源地址或

目标地址IP哈希值，也可以设置为基于MAC地址哈希

值。

♦对于虚拟机应用的网络，为了确保虚拟机在执行了

vMotion迁移到另一物理主机时保持其原有的VLAN状态,

建议根据实际需要在虚拟交换机端口启用802.lq的

VLAN标记(VST)方式。采用此方式可以确保迁移主机

可以保留原有的网络配置如网关等，并且建议在网络设

置中启用通知物理交换机功能，该功能可以确保迁移主

机通过反向ARP通知物理交换机虚拟机端口的更改，确

保新的用户会话可以被正确建立。

♦对于虚拟机存储，采用IPSAN网络，通过虚拟机

vmkernel包含的PSA多路径模块进行存储路径汇聚及故

障策略选择。

vSphere主机网络连接配置示意图如下所示。

34

图：主机网络连接示意图

＞网卡绑定

服务器整合会将各种故障影响混在一起，从而增加对冗余的

需要。而通过使用来自多个网卡和主板接口的端口配置网卡绑

定可进一步减少单点故障的数量。除此之外，网卡绑定还可以

增加网络路径的可用带宽

网卡绑定要求满足以下条件：

♦将两个或更多网卡分配到同一虚拟交换机

♦同一端口组中的所有网卡都位于相同的第二层广播域中

35

网卡绑定的示意图如下所示。

图：网卡绑定不意图

2.4可用性规划

本次规划充分考虑了虚拟化环境的可用性设计，例如：在网

络层面和存储层面分别利用了高校数据中心私有云vSphere内

置的网络冗余和存储多路径控制确保高可用。在服务器高可用

性上，vSphere内置了HA,DRS和vMotion等功能可以应对本

地站点多种虚拟机应用计划内和计划外意外停机的问题。

本小节将根据XXX客户的生产环境，对可用性进行整体规划。

可用性相关技术的说明与配置指导原则如下。

组件可用性故障影响

维护正在运行的工作负载

36

组件可用性故障影响

vSpher在高可用性集群中配置所如果某台主机出现故障，

e主机有vSphere主机，最少应vSphereHA可在13秒内

实现检测到故障，并开始在集

n+1冗余。这样可保护客户群内的其他主机上启动该

的主机的虚拟机。

虚拟机、托管平台门户/管

vSphereHA接入控制会确

理保集群内有足够的资源用

应用。于重新启动虚拟机。高校

数据中心私有云建议采用

一种名为“集群资源百分

比”的接入控制策略，因

为此策略不仅十分灵活，

而且能够实现资源可用

性。

此外，高校数据中心私有

云还建议对vCenter进行

配置，使之能够主动将虚

拟机从运行状况不稳定的

主机中迁移出来。

在vCenter中，可以定义

用于监控主机系统运行状

况的规则。

37

组件可用性故障影响

虚拟机vSphereDRS和vSphere无影响。通过vSphere

资源使StorageDRS可在主机之间DRS或vSphereStorage

用情况迁移虚拟机，以便平衡集DRS,无需停机即可在主

群资源和降低出现“邻位机之间迁移虚拟机。

干扰”虚拟机的风险，防

止虚拟机在主机内独占

CPU、内存和存储资源，从

而避免侵害相同主机上的

其他虚

拟机。无影响。StorageI/O

当检测到I/O冲突时，Control会根据虚拟机和

vSphereStorageI/OvSphere主机相应的份额

授权容量或配置的最大

Control会自动调节主机和

虚拟机，确保在数据存储IOPS数量来调节虚拟机和

中的虚拟机之间公平分配vSphere主机。

磁盘份额。这可确保邻位

干扰虚拟机不会独占存储

I/O资源。StorageI/O

Control会利用份额分配机

制来确保每个虚拟机获得

应得的

资源。

38

组件可用性故障影响

vSpher为端口组最少配置两个物无影响。即使发生故障切

e主机理路径，防止因单个链路换，也不会导致服务中

网络故障而影响到平台或虚拟断。

连接机连接。这包括管理和需要配置故障切换和故障

vMotion网络。可使用基于恢复以及相应的物理设置

负载的绑定机制来避免超（如PortFast）。

额使用网络链路的情况。

vSpher对于每个LUN或NFS共无影响。即使发生故障切

e主机享，将vSphere主机配置换，也不会导致服务中

存储为至少具有两个物理路断。

连接径，以防止因单个存储路

径故障而影响到服务。基

于存储供应商的设计指导

准则来甄选路径选择插

件。

保持工作负载可访问性

39

组件可用性故障影响

高校数vCenterServer作为虚拟vCenterServer

据中心机运行并使用vCenterHeartbeat针对vCenter

私有云ServerHeartbeatoServer提供一个集群解决

vCente