高校智慧校园云数据中心解决方案

高校智慧校园云数据中心解决方案

目录

1、大数据平台方案概述................................1

2、需求分析..........................................2

3、大数据平台方案设计................................4

3.1建设原则......................................4

3.2总体方案设计.................................6

3.2.1自主可控的教育云技术架构...............6

3.2.2数据中心总体架构规划...................8

3.3云计算平台建设...............................11

3.3.1计算资源池建设.........................11

3.3.1.1项目需求.........................11

3.3.1.2X86虚拟化实现...................12

3.3.1.3计算资源池分区建设..............20

3.3.2基于物理机部署的业务大数据平台方案.....22

3.3.3数据库大数据平台方案建设...............23

3.3.3.1项目需求.........................23

3.3.3.2数据库大数据平台方案建设.......23

3.3.4存储资源池建设.........................25

3.3.4.1项目需求........................25

3.3.4.2存储分类........................26

3.3.4.3数据库存储大数据平台方案.........28

3.3.5大数据平台方案设计.....................28

3.3.5.1基于虚拟化机头的方案..............28

3.3.5.2存储虚拟化工作原理和说明.........29

3.3.5.3虚拟化机头的基本概念..............30

3.3.5.4虚拟化机头的工作原理..............32

3.3.5.5虚拟化机头的可靠性、可用性.......36

3.3.6云管理平台建设..........................48

3.3.6.1项目需求..........................48

3.3.6.2云管理平台架构设计...............49

3.3.6.3云管理平台全方位的管理............52

3.3.6.4云资源管理.........................52

3.3.6.5服务管理..........................52

3.3.6.7运维管理..........................53

3.3.6.8统一时钟...........................53

3.3.6.9云管理平台特性描述................53

4、配置清单............................................59

1、大数据平台方案概述

高校智慧校园云数据中心建设是信息技术背景下学校的

一项基础性、长期性和经常性的工作，是学校建设和人才培

养的重要组成部分。高校智慧校园云数据中心的建设水平是

学校整体办学水平、学校形象和地位的重要标志。基于云计

算、大数据、HPC的高校智慧校园云数据中心建设是为了配

合学校的整体变革，提高学校核心竞争力，以期达到从分散

应用向集中应用转化，从固定服务向个性化服务转化，从部

门级应用向校级应用转化，从信息管理向信息服务转化。

以“物联网”、“云计算”、“大数据”等技术为支撑，通

过3-5年的建设，搭建“一个中心、三张网络、四大体系”

即：一个中心一一权威可信的数据中心；三张网络一一有线

网、无线网、物联网；四大体系一一智能化的教学体系、高

效灵活的管理体系、以人为本的服务体系、稳定可靠的安全

和保障体系。使之成为促进我校教育内容、教学手段和方法

的现代化支柱，创新人才培养、科学研究和服务社会模式，

推动文化传承创新，促进教育教学质量全面提高。

第1页

2、需求分析

1、建设适度超前的信息化基础设施，实现基础设施环

保、节能、智能化服务等高级功能

构建集多业务为一体的“云”校园网大数据平台方案。

基于“物联网”技术，对数据中心资产、设备、能源调度

等实现数字化、智能化的跟踪监控管理，实现全方位数据中

心机房内动态监视，机柜内智能监控并实现联网报警，并最

终统一到数据中心机群管理软件上，实现可视化数据跟踪和

监控管理。最终以基础架构。

2、搭建基础支撑平台，完善公共服务“云”平台

实现平台就是服务，通过统一WEB服务窗口，基础设施

即可实现计算资源、存储资源、应用大数据平台方案等资源

的全自动云计算技术智能化管理和一站式提供服务。

3、建立“HPC"高性能计算平台

以学校使用为主，满足当前物理、化学材料分析方面的

高性能计算服务，资源可通过统一云运营平台渠道可对外提

供收费计算服务。

4、建成高效节能的“云存储”数据中心

建设PB级并行云存储数据中心，服务与全院非结构化数

据、云计算数据、高性能计算数据集中统一存储、具有完善

的数据安全保障机制和数据恢复机制，为数据安全提供最后

一道安全防线，降低数据中心运维风险。以集中存储为基础,

第2页

为大数据分析挖掘做好数据准备，为学校“评估与决策”大

数据平台方案做好精细化数据管理服务。

5、建设统一身份认证平台

数据中心管理平台实现统一身份认证，云平台软件、高

性能平台、大数据平台、存储大数据平台方案需身份认证登

陆，实现平台使用的安全性。

6、建立大数据平台

以数据为支撑的评估与决策平台。建立好大数据软硬件

支撑平台，为实现信息管理向信息服务转化，利用深层次的

知识管理、大数据统计与分析、大数据挖掘等手段为评估与

决策服务，从整体上提升学校业务管理和行政决策的科学化

水平做好保障。

第3页

3、大数据平台方案设计

3.1建设原则

以《国家中长期教育改革和发展规划纲要(2010-2020)》

为指导，贯彻落实《教育信息化十年发展规划(2011-2020

年)》对高校教育信息化建设的总体部署和发展任务。从学

校发展的整体战略出发，与时俱进，满足师生对教学、科研、

管理、校园生活服务的需求，提升教育服务社会的职能。坚

持如下原则，实现我校信息化的可持续发展：

(1)坚持“统筹规划、分步实施”的原则。信息化建

设是一项跨部门、跨行业的综合性大数据平台方案工程，必

须坚持从学校全局的高度统一规划，各部门的相关业务和应

用大数据平台方案应统一部署，避免无序建设；要正确把握

基础设施与应用大数据平台方案、硬件与软件、专业数据与

信息共享、现实应用与扩展应用、成本与效益的关系。同时

根据实际情况分步、分期实施具体项目，保证规划的逐步落

实。

(2)坚持“突出应用，注重实效”的原则。坚持以需

求为导向、大力推动信息技术在教学、科研、管理、校园生

活服务中的普遍运用，不断提高教育质量和教育管理服务水

平。同时避免全面铺开，要抓重点项目，提高有限建设资源

的使用效率。

(3)坚持“统一标准、资源共享”的原则。信息化建

第4页

设应参考国家及行业有关技术标准和管理规范，树立“开放、

共享、交互、协作”的信息化理念，坚持信息资源标准统一、

共建共享；建立信息资源共享交换体系和更新维护机制，确

保信息资源的规范性、时效性、准确性。

(4)坚持“面向服务、加深融合”的原则。树立以用

户为核心的服务理念，利用先进网络和信息技术，整合资源,

促进教育内容、教育手段和方法的现代化；促进人才培养、

科学研究、文化传承和社会服务模式创新，推进信息技术与

学校教育的深度融合。

第5页

3.2总体方案设计

3.2.1自主可控的教育云技术架构

高校智慧校园云数据中心一期工程的建设采用先进成

熟的云计算、虚拟化存储池等相关技术，建设新校区高校智

慧校园云数据中心的基础资源云平台，实现业务的统一管理、

统一部署、自动化运维等内容，为学校各业务大数据平台方

案的运行提供良好的信息化支撑能力。

基础资源云平台的总体技术架构设计如上图，整个架构

包括基础设施层、云基础架构层、业务应用平台和云服务层

等。其中：

基础设施层：云平台的物理环境主要包括服务器、网络

设备以及存储等设备，以便在此基础上采用虚拟化、分布式

存储等云计算技术，实现服务器、网络、存储的虚拟化，构

第6页

建计算资源池、存储资源池和网络资源池，实现基础设施等

服务。

云基础架构层：在云基础设施的基础上，为了实现动态

资源池的构建，通过虚拟化技术对基础设施（网络、服务器

和存储设备等）进行资源池化、弹性管理，通过自主可控的

云计算操作大数据平台方案，实现云平台的服务管理及业务

管理的统一管理，提高运维及运营的效率。

业务应用平台：通过建立统一的信息标准，构建统一

的信息门户、统一的身份认证大数据平台方案和安全可靠的

公共数据交换大数据平台方案，在此基础上建设先进实用的

应用支撑大数据平台方案（包括办公自动化、教务管理、科

技管理、学生综合管理、人力资源管理、资产设备管理、财

务管理、图书管理、学报管理、后勤服务管理、一卡通管理、

网络教学平台、实践教学信息平台、教学评估管理、研究生

管理、成教生管理与留学生管理等），实现各个应用大数据

平台方案之间的数据交换与数据共享，最终实现我校各项管

理工作的信息化。

云服务层：是云计算中心与最终用于交互的接口和平台,

通过该平台能够实现云计算中心统一对外提供服务，为用户

提供整体的云应用和服务。

运维和业务支撑服务：包括云平台的计费审计、资源监

控、生命周期管理、容量规划、报表分析等多项内容。

第7页

3.2.2数据中心总体架构规划

数据中心架构图

|能耗雨座园安全||智能教学|智能办公HPC大数据j|*加

用数

统

层据云

住

一

资

运

源

维

统

管

一

理

管

平

理

台

平

数

台

据

存

储

rr层

非结构数结构化数筛份数归档数

据存储区据存储区据存储区据存储区

本项目规划包含云计算平台、大数据处理硬件平台、高

性能计算硬件平台几大部分。其中，云计算平台包括业务云

平台、数据库集群大数据平台方案、物理机部署的应用大数

据平台方案以及后端支撑的存储资源池。

业务云平台主要支撑办公大数据平台方案、一卡通上层

应用大数据平台方案、学生管理大数据平台方案、0A、财务、

教务等教育相关的业务大数据平台方案。通过虚拟化等技术

提高业务的敏捷性，使得教育应用在资源利用上弹性可伸缩。

通过将业务与具体物理机解耦合，实现业务在计算资源池内

灵活迁移，不受具体物理机故障的影响。业务云的管理平台

让教育业务应用的部署更加方便快捷，管理更加方便，运维

工作也得到大大简化。

第8页

对于部分I/O密集型的关键数据库大数据平台方案，如

一卡通数据库、学校基础数据库大数据平台方案采用物理服

务器的方式进行部署。同时，为了保证关键数据库的高可用

性，数据库采用集群RAC的方式部署，服务器采用可靠性很

高的高端4路X86服务器。本项目规划的数据库集群包括一

卡通后端的数据库服务器、数字校园基础数据库大数据平台

方案以及二期考虑的教务大数据平台方案。

数据库大数据平台方案后端存储采用存储池化的方案,

实现后端数据的简易管理，统一使用，并实现关键业务数据

的高可用性。同时，部署虚拟带库备份大数据平台方案对这

些结构化数据进行备份，保证数据的安全性，并且采用物理

磁带库方式，提供对历史数据的归档保存，对于备份软件选

择，采用业绩成熟先进的统一备份软件，实现Lan-free备

份。

数据中心的非结构化存储资源池对高校智慧校园云数

据中心中的各类非结构化数据进行支撑，对非结构化数据按

照其重要性，采用分级保存的方法，对于包括校园内700个

摄像头的监控数据可存放30天的数据的存储空间采用大容

量存储解决方案，对于包括多媒体、一卡通、教务大数据平

台方案、图书馆、视频点播、HPC计算等需要的非结构化数

据的存储空间采用高性能非结构化存储空间解决方案。高性

能非结构化方案，采用集群文件大数据平台方案，提供统一

第9页

的目录管理，性能的负载均衡管理，集群支持横向扩展，当

业务需要的时候，可以在线的扩展集群。

第10页

3.3云计算平台建设

3.3.1计算资源池建设

3.3.1.1项目需求

计算资源池为教育各项业务应用提供灵活敏捷的计算

能力。由于业务云平台需要处理前端各类教育业务应用进来

的海量数据，因此需要大量的计算机节点。传统的计算中心

强调整体的计算能力，当前的互联网数据中心强调密度、带

宽等因素。而作为整个学校信息化大数据平台方案后端处理

中心的教育云中心需要的是强大的“处理能力”，这个“处

理能力”包含了计算能力、传输能力，甚至存储能力。

同时，云计算的核心技术是虚拟化技术，CPU虚拟化技

术的原理是将核心的CPU运算资源基于时间分片进行切分,

CPU的选型就相当重要，因不同厂商的CPU之间是不能做到

一个虚拟化池的，因此整个平台如数据库4路平台，和胖节

点，及2路平台，建议采用一个厂商的CPU,并且考虑到运

行维护，以及采购来源，建议采用主流厂商，CPU厂商建议

采用在服务器市场占有率在70%以上的厂商。

其次，对云计算运营者来讲，在提供可靠服务的前提下,

通过大量先进技术降低总体拥有成本是云计算中心基础架

构建设的核心目标。因此，构建云计算中心的一个重要标准

就是利用标准化的、性价比高的通用部件或者产品。因为，

只有标准化、商品化的部件才有众多的采购来源，并因为其

第11页

具开放性，从而具有较低的运营成本。在虚拟化服务器的选

型上，既要考虑低部分的数据库类型需求，和一般应用需求,

所以少量的高端八路服务器作为云资源池里面的胖节点，低

端双路服务器相对成本较低适合大量使用，项目建设应该权

衡性价比、资源可扩展性、标准化以及通用性等各项因素，

因此，八路机架式服务器和两路机架式服务器是作为虚拟化

物理节点最好的选择，对于OLTP数据库，需要很高的稳定

性，建议采用模块化设计的服务器，这样可以保证，任何部

件损坏，可以快速维修，并且主要板卡支持热插拔。

再次，云计算平台的重要特征之一是实现资源的抽象和

封装、构建动态化、弹性化的计算资源池，而虚拟化技术和

分层数据存储是实现并达到这一目标的重要手段。因此，计

算子大数据平台方案应该在虚拟化和分层数据存储模型两

个方面有较好的解决方案。

最后，除了具有通用性、标准化、资源池化等特征之外，

计算子大数据平台方案还应该具有易管理、低能耗的特征,

从而大大降低教育云中心的能耗、降低运维成本。

3.3.1.2X86虚拟化实现

X86服务器虚拟化，就是在硬件和操作大数据平台方案

之间引入虚拟化层，如下图。虚拟化层允许多个操作大数据

平台方案实例同时运行在一台物理服务器上，动态分区和共

第12页

享所有可用的物理资源，包括：CPU、内存、存储和I/O设

随着服务器和台式机的计算能力急剧增加，虚拟化技术

应用广泛普及，很多用户已经在开发/测试、服务器整合、

数据中心优化和业务连续性方面证实了虚拟化的效用。虚拟

架构已经可以将操作大数据平台方案和应用从硬件上分离

出来，打包成独立的、可移动的虚拟机，从而带来极大的灵

活性。例如：可以通过虚拟架构，让服务器24小时*365天

运行，避免因为备份或服务器维护而带来的停机。

对于X86虚拟化，有两种常见的架构：寄居架构和裸金

属架构。

1、寄居架构：将虚拟化层运行在操作大数据平台方案之

上，当作一个应用来运行，对硬件的支持很广泛。

2、裸金属架构：直接将虚拟化层运行在X86的硬件大数

据平台方案上，可以直接访问硬件资源，无需通过操作大数

据平台方案实现硬件访问，因此效率更高。

项目中建议采用性能更优的裸金属架构作为底层的虚拟化

架构。

3、虚拟化层

虚拟化层是运行在虚拟机监控器(VMM,VirtualMachine

Monitor)上面、负责管理所有虚拟机的软件。如下图所示，

虚拟化层就是Hypervisor(管理程序)直接运行在硬件上，

第13页

因此，Hypervisor的功能极大地取决于虚拟化架构和实现。

运行在Hypervisor（管理程序）上的每个VMM进行了硬件抽

取，负责运行传统的操作大数据平台方案。每个VMM必须进

行分区和CPU、内存和I/O设备的共享，从而实现大数据平

台方案的虚拟化。

图:Hypervisor通过VMM管理虚拟机

4、CPU虚拟化

根据最初设计，X86上的操作大数据平台方案需要直接

运行在裸机上，因此默认拥有和控制所有的硬件。如下图所

示，X86架构提供了四种特权级别Ring0、1、2和3,通过

这四种级别来控制和管理对硬件的访问。通常，用户级的应

用一般运行在Ring3级别，操作大数据平台方案需要直接

访问内存和硬件，需要在Ring0执行它的特权指令。为了

虚拟X86架构，需要在操作大数据平台方案下面运行虚拟化

层，由虚拟化层来创建和管理虚拟机，进行共享资源分配。

而有些敏感指令不能很好的进行虚拟化，它们在Ring。以

外级别执行时，会出现不同的结果。如何在运行时捕获和翻

第14页

译这些敏感指令成为X86虚拟化的一大挑战，使得X86架构

虚拟化最初难以实现。

图：X86架构虚拟化前的特权级别

到目前为止，有三种典型的技术来解决X86虚拟化的难

题：

5、完全虚拟化；

6、操作大数据平台方案帮助下的虚拟化，即半虚拟化；

7、硬件帮助的虚拟化。

8、完全虚拟化

完全虚拟化技术翻译核心指令来代替那些不能虚拟化

的指令，通过翻译后的指令直接访问虚拟硬件。同时，所有

用户级指令还是可以直接在CPU上执行来确保虚拟化的性能。

每个VMM为每个虚拟机提供完整的硬件支持服务，包括虚拟

BIOS,虚拟设备和虚拟内存管理。

完全虚拟化实现后，客户操作大数据平台方案可以通过

虚拟化层从物理硬件上完全抽取出来，客户操作大数据平台

方案感知不到是否发生虚拟化，完全不需进行修改。完全虚

第15页

拟化是迄今为止唯一不需硬件或操作大数据平台方案协助

来进行敏感和特权指令虚拟化的技术，Hypervisor(管理程

序)可以翻译所有的操作大数据平台方案特权指令，并保存

在缓存里备用，而用户级指令完全可以全速直接执行。

完全虚拟化提供了最好的虚拟机隔离和安全性，简化了

客户操作大数据平台方案迁移和移植能力。

9、半虚拟化

半虚拟化需要修改操作大数据平台方案内核，替换掉不

能虚拟化的指令，通过超级调用(Hypercall)直接和底层

的虚拟化层Hypervisor来通讯，Hypervisor同时也提供了

超级调用接口来满足其他关键内核操作，比如内存管理、中

断和时间保持，如下图所示:

直接执

行用户

的请求

超级调用

虚拟化层

来替换不

可虚拟的

操作系统

指令

图：操作大数据平台方案协助的X86架构虚拟化

半虚拟化和全虚拟化不同，全虚拟化不需要修改上面的

操作大数据平台方案，敏感的操作大数据平台方案指令可直

接处理。半虚拟化的价值在于降低了虚拟化的损耗，基于Xen

第16页

的虚拟化是半虚拟化的代表，可通过修改Linux的内核来实

现CPU和内存的虚拟化，通过定制的操作大数据平台方案驱

动来实现I/O的虚拟化。

10、硬件辅助虚拟化

硬件厂商面对虚拟化投入了大量的精力来开发新的特

性用以简化虚拟化技术应用。第一代的虚拟化增强包括

IntelVirtualizationTechnology（VT-x）和AMD的AMD-V,

这两种技术都为CPU增加了新的执行模式root模式，可以

让VMM运行在root模式下，而root模式位于Ring0的下

面。如下图所示，特权和敏感指令自动在Hypervisor上执

行。客户操作大数据平台方案的状态保存在VT-x（Virtual

MachineControlStructure,虚拟机控制结构）中或

AMD-v（VirtualMachineControlBlock,虚拟机控制块）。

支持IntelVT和AMD-V的CPU从2006年开始推向市场。

图：硬件辅助的X86架构虚拟化

11、内存虚拟化

第17页

除了CPU虚拟化，下一个关键是内存虚拟化，通过内存

虚拟化共享物理大数据平台方案内存，动态分配给虚拟机。

虚拟机的内存虚拟化很像现在的操作大数据平台方案支持

的虚拟内存方式，应用程序看到邻近的内存地址空间，这个

地址空间无需和下面的物理机器内存直接对应，操作大数据

平台方案保持着虚拟页到物理页的映射。现在所有的X86CPU

都包括了一个称为内存管理的模块MMU(MemoryManagement

Unit)和TLB(TranslationLookasideBuffer),通过MMU

和TLB来优化虚拟内存的性能。

虚拟机1虚拟机2

进程1进程2

inw

图：内存虚拟化

为了在一台机器上运行多个虚拟机，需要增加一个新的

内存虚拟化层，也就是说，必须虚拟MMU来支持客户操作大

数据平台方案。客户操作大数据平台方案继续控制虚拟地址

到客户内存物理地址的映射，但是客户操作大数据平台方案

不能直接访问实际机器内存。VMM负责映射客户物理内存到

实际机器内存，它通过影子页表来加速映射。VMM使用TLB

硬件来映射虚拟内存直接到机器内存，从而避免了每次访问

进行两次翻译。当客户操作大数据平台方案更改了虚拟内存

第18页

到物理内存的映射表，VMM也会更新影子页表来启动直接查

询。MMU虚拟化引入了虚拟化损耗，第二代的硬件辅助虚拟

化将支持内存的虚拟化辅助，从而大大降低因此而带来的虚

拟化损耗，让内存虚拟化更高效。

12、设备和I/O虚拟化

最后一个模块是设备和I/O虚拟化，也就是如何管理和

路由物理设备和虚拟设备之间的I/O请求。

井口串口

SCSI控制器IDE控制器鼠标USB设备

图：设备和I/O虚拟化

基于软件的I/O虚拟化和管理为设备管理带来了新的特

性和功能，让设备的管理更容易。就拿网络为例，通过虚拟

网卡和交换机可以在一台物理机上不同虚拟机之间建立虚

拟网络，而这不会在物理网络上产生任何的流量；允许多个

物理网卡绑定成一个虚拟机网卡，提供了很好的容错能力，

同时保持了同一MAC地址。I/O虚拟化的关键是保持虚拟化

优势的同时，尽量降低虚拟化给CPU造成的负担。

第19页

Hypervisor虚拟化物理硬件，为每台虚拟机提供一套标

准的虚拟设备，如上图所示。这些虚拟设备高效模拟常见的

物理硬件，将虚拟机的请求发送到物理硬件。该硬件标准化

的过程也让虚拟机标准化，让虚拟机更容易在各种平台上自

由移动，而无需关心下面实际的物理硬件类型。

3.3.1.3计算资源池分区建设

云资源管理平台的底层虚拟化组件提供基础的虚拟化

功能，提供服务器、存储、网络的虚拟化功能，并向上对云

资源管理平台提供接口。一个物理集群中可以把多台服务器

划分成一个逻辑集群（又叫HA资源池），一个计算资源池有

相同的调度策略，为了使用热迁移相关的调度策略要求资源

池主机CPU同制。计算资源池不包括网络资源与存储资源。

一个物理集群中可以包含多个逻辑集群。

多个物理集群可以级联（多个云资源管理平台），由更

上层的云运营管理平台统一管理。

对于教育业务部门的主要业务应用大数据平台方案的

部署将采用全虚拟机部署方式，例如Web服务器、邮件服务

器等不同种应用服务器都建议采用虚拟化的部署方式。虚拟

化技术不仅可以提高资源的利用率，并且通过与X86平台计

算节点的配合，能够有效的降低总的投资成本，提高大数据

平台方案的安全性、可管理性，降低业务部署的复杂度和时

间需求。所以普通业务大数据平台方案推荐采用虚拟化与

第20页

X86平台的协同部署方式。

项目建设采用高端八路INTEL和低端2路多核心服务器

构建虚拟计算资源平台，实现高性能、高密度、可伸缩、按

需配置、方案灵活的产品设计要求，可满足虚拟化业务中多

样且动态变化的应用需求。这些服务器分为1个云资源管理

分区和1个业务应用分区。

1、业务应用分区

核心应用逻辑分区作为业务承载节点，用于部署虚拟化

平台，承载应用大数据平台方案。

业务节点为能承载更多的虚拟机并保证虚拟机性能，建

议配置多路处理器，每路处理器核心数尽可能多、主频尽可

能高，同时配置大容量内存。同时还考虑两方面：

1、高可用性：即承载某台虚拟机的物理节点如果出现

故障需要维护，那么需要进行虚拟机动态迁移，将故障节点

承载的虚拟机动态迁移到核心应用逻辑资源分区中其他正

常工作的物理节点上以实现高可用性，保证应用大数据平台

方案的不中断；

2、弹性扩展：即考虑到未来3-5年内部分部门会上新

的应用大数据平台方案，从而需要新的虚拟机资源，到时核

心应用逻辑资源分区还有资源可弹性分配给新的应用大数

据平台方案。

同时，按照云计算平台大项目建设经验，建议以1:3的

第21页

比例预留动态迁移及弹性可扩展虚拟机资源，即预留一部分

虚拟机资源。

业务节点放置在业务区的服务器中。为保证虚拟化动态

迁移时的大数据平台方案性能，建议业务区域内再按照业务

情况分为2〜3个逻辑分区。

3、云资源管理分区

云资源管理分区分为虚拟化管理节点和云运营管理节

点。虚拟化管理节点和云运营管理服务器都可采用虚拟机的

方式部署。

虚拟化管理节点：提供基本的虚拟机管理、监控、分配

和使用功能，提供资源静态分配及动态调度管理功能。每个

业务区域应该配置一套虚拟化管理平台，采用双机的模式形

成一套高可用大数据平台方案。

云运营管理节点：主要满足云计算中心管理需求，提供

对云资源管理节点的统一管理，同时提供审批管理、计费管

理、服务质量管理功能。云运营管理节点通常采用双机模式

构成高可用大数据平台方案，每组云运营管理节点可以管理

多组云资源管理节点。

3.3.2基于物理机部署的业务大数据平台方案

对于个别如多媒体、视频点播等这类业务大数据平台方

案，出于业务和项目需要，采用胖节点物理机来支撑。在教

育云中心规划一台高端八路服务器来部署此类应用。

第22页

3.3.3数据库大数据平台方案建设

3.3.3.1项目需求

本期项目中计划将一卡通数据库、数字校园基础数据库

部署在oracleRAC集群上，后期还将把教务大数据平台方

案的双机集群接入进来。为了保证数据库大数据平台方案的

高性能、高可靠性以及负载均衡，项目建设需要考虑如下因

素：

4、如何提高处理速度，实现数据库的负载均衡；

5、如何保证数据库的可用性、数据安全性，以及如何

实现数据集群可扩性。

6、数据库大数据平台方案对事务实时处理性要求比较

高，对于数据库服务器有性能上的要求，建议采用最新的处

理器型号，最新的UNIX服务器产品技术架构。

3.3.3.2数据库大数据平台方案建设

对于数据库的业务，教育云中心建议采用传统的物理服

务器架构来进行支持。一方面是由于物理数据库业务一般对

大数据平台方案和平台的限制，并非所有的数据库都可以移

植到像虚拟化这样的计算平台上，另一方面，由于数据库对

10的高要求，对于虚拟化的环境并不能提供充足的10支撑，

另外，数据库大数据平台方案的安全性要求很高，采用虚拟

化技术虽然可以提高大数据平台方案的灵活性，但是同物理

设备上的其他大数据平台方案会对数据库大数据平台方案

第23页

产生一定的影响，提高大数据平台方案的安全风险。所以综

合以上三方面的原因，数据库大数据平台方案在云计算中心

将采用物理设备集群的方式来部署。

为了使数据库实现高可用，满足高并发、高负载均衡的

需求，数据库节点采用数据库集群搭建，本项目采用实时应

用集群，能够实现多节点之间负载均衡，同时多个节点共享

一套存储大数据平台方案，能有效防止数据库单点故障；最

后，数据库集群架构具备动态添加数据库节点的功能，具有

良好的扩展性。

1.OLTP1■务*提供捌理分区技术。

2.督机务至少握供三个物理分区，等分区握

供4个物理CPU•16个计算梭心，，28G内1

提假5。万TPCC处理能力

3.JR务务为UNDd■符号

4.01AP9M摩JS符等单机提供12。计算核心

5.OLAP年合・努号提供2个物理分区技术

ittftSOQ8G*口

2.提偎trunkS：含技术.NI同络级或技术

3.存%虚拟化设备提供＞8。万2Ps能力•

提供48Gache.提供写■存技术

4.提供di网络40OG的SSD分层客■

£.存Nt*捺化单节点设答覆做＞10万

IOPS能力I量终塞到魁景的K)PS＞

Upto2.itt景采用12GSAS成术，

512GBSASiSft

Cache

Upto

Disks

本期项目中计划将一卡通数据库、数字校园基础数据库

部署在oracleRAC集群上，后期还将把教务大数据平台方

案的双机集群接入进来。

为提供数据库大数据平台方案的高可用性，后端使用存

第24页

储控制器连接高性能光纤盘阵的存储资源池双活架构来支

撑，保证数据不会丢失，业务不受影响。最后，通过虚拟化

带库的备份大数据平台方案对数据库业务数据进行备份，提

高数据的安全性，对于历史数据，采用物理带库归档保存技

术。

3.3.4存储资源池建设

3.3.4.1项目需求

存储资源池是教育云平台的重要组成部分，根据教育数

据的不同类型应该有着相应的差异化的数据存储处理方式。

按照数据类型主要可以分为两类，即结构化数据和非结

构化数据。

结构化数据：即行数据，存储在数据库里，可以用二维

表结构来逻辑表达实现的数据。例如一卡通刷卡记录、学校

招生就业的信息、学生学籍信息、选课信息、图书馆馆藏目

录、图书借阅信息等。其中一卡通数据库大数据平台方案的

数据需求在100G左右，数字校园基础数据库大数据平台方

案的数据量也应该在100G以内，再加上二期可能加入的教

务大数据平台方案数据几百GB,这部分的数据量在1T左右。

非结构化数据：相对于结构化数据而言，不方便用数据

库二维逻辑表来表现的数据即称为非结构化数据，包括所有

格式的办公文档、学生和老师的文本文件、电子图书、电子

期刊、各类报表、教学用的图像和音频/视频信息等。本期

第25页

项目中主要考虑校园视频监控数据以及虚拟机镜像数据等。

校园700个720P摄像头的监控数据存放30天的数据,700

个头需要的总容量及计算公式为：

256（码流）X3600（1小时）X24（1天）X30（1个

月）X700（路数）4-0.9（磁盘格式化损耗）心0.6PB。

另外数据中心自己的业务大数据平台方案的空间使用，

包含多媒体、一卡通、教务大数据平台方案、图书馆、视频

点播、HPC计算等空间需求，保证1.5PB的使用空间能满足

当前需求。

对于这两类数据，结构化数据的存储资源池可采用传统

的高性能磁盘阵列大数据平台方案支撑；非结构化数据存储

资源池采用底层SAN网络结构加上集群NAS机头，又能为用

户提供文件大数据平台方案的共享功能，是一个完全开放的、

共享的、跨平台的大数据平台方案，具有高性能、高可靠性、

使用维护简单、性能和容量可线性扩展的高端存储大数据平

台方案。差异化的存储方案利于保护投资，充分考虑今后的

可扩展性，最大限度的提升校园信息化服务的水平。

3.3.4.2存储分类

数据库存储：主要采用FCSAN存储模式，通过数据库

集群技术构建集中存储模式，按照不同的数据库实例的构建,

FCSAN还可以通过划分不同的LAN来支撑不同业务数据的存

储；通过存储虚拟化控制器实现性能的大幅度提升，以及冷

第26页

热数据的分层管理。

海量非结构化数据存储：我们根据业务属性不同，将非

结构化数据分为2个主要需求，和教学相关的教学类非结构

化存储，这样的存储需要双向读写访问，在教学高峰期，会

有较高的10访问，因此需要采用集群化的非结构数据解决

方案，在集群文件大数据平台方案选择上，需要选择成熟的,

商业化的集群文件大数据平台方案；对于安防数据的存储,

主要是考虑空间问题，这部分数据，以写入为主，基本上很

少会读访问，因此采用专用的NAS存储解决方案。

为了保证海量非结构化数据（校园视频监控、教学视频

等）存储和数据分析的需求，该部分数据采用专用NAS控制

器提供稳定可靠的10解决方案。

备份数据存储：备份数据包括结构化和非结构化数据,

备份源可以是数据库，也可以是操作大数据平台方案、文件

夹等。

虚拟机镜像数据存储：与非结构化数据共用一个存储空

间，也采用并行存储大数据平台方案构建，为虚拟机的迁移

提供支持。具体存储空间需根据虚拟机的个数和操作大数据

平台方案来划分。

第27页

3.3.4.3数据库存储大数据平台方案建设方案

3.3.5大数据平台方案设计

3.3.5.1基于虚拟化机头的存储虚拟化方案说明

生产中心存储虚拟化部署示意图

生产存错资源迹

存储双活、救据跨存错造像

图示说明：

通过在SAN网络层面，部署1套存储虚拟化引擎（2个节

点、实现高可用集群），实现生产中心的虚拟化存储基础架

构.

新购SAN网络存储，通过存储虚拟化技术,构建统一存储

资源池，实现存储资源的集中统一规划和分配、实现存储资

源的集中监控和管理.

通过存储虚拟化技术，实现2个存储之间双活架构.

第28页

存储虚拟化方案的优势

如今它在许多新的领域又展现了其盎然的生机：从虚拟服务

器到虚拟存储，优化的网络，虚拟环境中的工作站，以及应

用虚拟化。虚拟化技术为企业带来的潜在收益是巨大的，不

仅可以提高存储设备的利用率和业务灵活性，而且还可降低

处理的总成本并提高可靠性。

存储虚拟化有多年的发展历程和拥有业界最多的客户实际

使用案例，并支持虚拟化管理业界最广泛的第三方存储产品。

3.3.5.2存储虚拟化工作原理和技术实现说明

虚拟化机头实现了虚拟存储层的功能，采用“虚拟存储”

技术整合异构存储设备，可以支持包括各厂商在内的130多

种磁盘存储大数据平台方案。虚拟化机头是整个SAN网络的

控制器，将整个SAN网络中的各种存储设备整合成一个巨大

的“存储池”，使用户充分利用存储资源并可按需分配存储

空间、性能和功能。

虚拟化机头卷控制器产品要点包括：

可将不同磁盘大数据平台方案的存储容量整合至管理

更加高效的容量库中

可通过为主机应用程序提供更灵活的存储容量访问，帮

助提高存储利用率

可通过使用简单的通用界面实现异构存储大数据平台

方案的自动配置和便捷管理，从而帮助提高存储管理员的工

第29页

作效率

可通过消除几乎任何与存储相关的应用程序中断原因

以支持更高的应用程序可用性

可实现分层存储环境，从而使存储成本可以与数据的价

值更好地相配

可支持从高成本到低成本的设备以及跨多个供应商所

提供存储大数据平台方案的高级复制服务

可通过iSCSI主机连接降低成本并提高灵活性

可以在购置存储时提供更高的灵活性

可通过对固态设备（SSD）的创新和紧密集成支持为

关键工作负载提供超强的性能

3.3.5.3虚拟化机头的基本概念

虚拟化机头采用In-Band方式进行存储虚拟化。大数

据平台方案实际上是一个集群（Cluster）大数据平台方案,

它由node组成。一个虚拟化机头大数据平台方案至少包含

2个node,每2个node组成一个I/OGroup,它用来为

Host提供I/O服务。到现在为止，一个虚拟化机头大数据

平台方案最多包含8个node,即4个I/OGroupo

在一个虚拟化机头大数据平台方案中，存储子大数据平

台方案中的一个或多个存储单元被映射为虚拟化机头内部

的存储单元，一个或多个单元可以被虚拟化为1个存储池（称

为MDG）,所有的MDG对所有的I/OGroup均可见。MDG是

第30页

一个存储池，它根据一定的分配策略(如Striped,Image,

Sequential)分配虚拟的存储单元，称为VDisk。I/OGroup

以Vdisk为单位对Host提供LUNfasking(也称为

LUN-Mapping)服务，使得Host可通过HBA可访问被提供

LUN-Masking服务的VDisko如下图所示:

主机

Lun-Mapping

虚拟化机头中的MDisk和MDG以及VDisk之间的关系

第31页

加入葭鼠牝双头后加速对存储子大数据平台方案的访

问I/O

3.3.5.4虚拟化机头的工作原理

-不同级别的存储虚拟化技术设计思想

正如以上所述，在存储子大数据平台方案与主机之间引

入虚拟化机头后，主机所有的I/O必然要经过虚拟化机头内

部，相当于虚拟化机头要接管从主机过来的所有I/0o要做

到这一点，虚拟化机头内部必须实现一个虚拟层，使得主机

仿佛可以直接访问真正的物理存储大数据平台方案。这个虚

拟层的实现依赖于存储虚拟化技术。存储虚拟化的基本概念

是将实际的物理存储实体与存储的逻辑表示分离开来，应用

服务器只与分配给它们的逻辑卷(或称虚卷)打交道，而不用

关心其数据是在哪个物理存储实体上。为实现存储虚拟层,

虚拟化机头借鉴了已有的存储虚拟化技术：

»存储子大数据平台方案级别的虚拟化

存储子大数据平台方案级别的虚拟化如下图所示，使用

HostBusAdapter例如1394HostBusAdapter(Controller)

连接磁盘柜，通过1394controller驱动，物理磁盘被映射

为大数据平台方案中的sda.sdb.sdc等SCSI磁盘块设备，块

设备上层的虚拟化原理上和主机级别子大数据平台方案块

设备的虚拟化类似。

第32页

vglIvlvgllv2vgllv3vg2Ivlvg2lv2vg2lv3

「日一已-已「「百-日-gq

61逻辑层

vglvg2

----------—o-----------------------------------o------------------------------------

虚拟层

1394磁FC磁盘

盍控制控制器驱

招驱动动

存储子大数据平台方案级别的存储虚拟化（如Linux）

»网络级别的存储虚拟化

网络级别的存储虚拟化分两种:OutofBand和InBando

如下图所示是OutofBand存储虚拟化的一种方式，存储子

大数据平台方案通过SAN使得3个不同类别的操作大数据平

台方案在MetadataServer的Lock机制控制下共用存储子

大数据平台方案中的3个存储单元。在每个Host上，3个存

储单元被虚拟化为一个StripeGroup,使得各个Host可以

第33页

采用统一的Stripe策略控制各自的I/O行为。

网络级别(OutofBand)的存储虚拟化

In-Band的方式实际上是通过数据通道(DataPath)上的

虚拟化软件，把呈现在SAN中一个或多个存储子大数据平台

方案的存储单元虚拟化成另外一种方式的虚拟存储单元，称

为VDisks.。如下图所示是属于In-Band存储虚拟化。虚拟

化机头使用In-Band的虚拟化方式，也就是说，虚拟化机头

把主机级别的虚拟化实现在SAN的网络层次上实现。

第34页

Soloris主机Windows主机AIX主机

网络级别（InBand）的存储虚拟化

传统的SAN网络中，每种存储大数据平台方案都自成

一体，就像一个个独立的孤岛，无法构成一片统一的大陆。

而虚拟化机头，是存储业界又一次崭新的突破，就像存储历

史上的RAID,主机大数据平台方案的存储管理体系和虚拟磁

带技术。虚拟化机头是整个SAN网络的控制器，它将整个

SAN中的各种存储设备整合成一个巨大的存储池，充分利用

存储资源和按需分配存储空间、性能和功能。

虚拟化机头实现了虚拟存储层的功能，将存储智能加入

到SAN的网络中。现在用户可以按照应用不断变化的需求来

第35页

分配存储，而不再受制于存储子大数据平台方案设备在功能

和性能上的限制。虚拟化机头又是一个SAN网络的中心管理

控制点，而且它对服务器的操作大数据平台方案和存储子大

数据平台方案是透明的。

以下是存储池引入虚拟化机头前后的对比图：

SANsTodayBlockVirtualization

乌♦怎，

ServersaremappedtospecificphysicaldisksServersaremappedtoavirtualdisk

i.e.,"physicalmapping"i.e.,"logicalmapping1*

3.3.5.5虚拟化机头的可靠性、可用性

虚拟化机头采用了RAS的设计思想：通过冗余组件使

大数据平台方案具有极高的可靠性，可用性以及高服务性。

第36页

•高度冗余的部件：由于虚拟化机头是一个集群大数据

平台方案，当中的每个部件都有对应的备份(Backup)

部件，例如，Node与Node之间互为备份，前端

(Front-End)FC端口之间可以互为备份。后端

(Back-End)FC端口之间也可以互为备份，整个大数

据平台方案没有单一的故障点。如下图所示。虚拟化

机头具有非常高的可靠性。

•Cache的同步保证数据的完整性

在一个虚拟化机头I/OGroup中，当一个节点出现故障

时，通过这个节点的所有I/O就会切换到另外一个节点；

为了使节点中的Cache数据在出现故障时不丢失，该节点

在正常工作时会把每个I/O的Cache数据同步到另外一个

节点的Cache中，使得同一个I/OGroup里的2个节点维

护着相同的Cache元数据，如下图所示。因此，在某个节

第37页

点出现故障时，虚拟化机头能够保证100%的数据完整性。

主机10流

■

14

Cache

------SVC哼#2

3_____

1：主机W1节.8发起102：10¥咬妾1可&Cxh»*

3：1一立Cache击毁瑁引步芸.2节电Cache丰

4：10先也从1■立速亘

同构异构存储资源

虚拟化机头是一个存储虚拟化引擎，它屏蔽了各种所支

持的存储子大数据平台方案的差别，对Host提供的I/O服务

均以统一的存储单元Vdisk为单位。这种特征有利于提高

存储大数据平台方案的利用率，并且可进行集中管理。

虚拟化机头的加入并不影响现有SAN环境的拓扑，它

只是把自己连接到光纤交换机上。通过一定的配置操作，虚

拟化机头能够检测到各种存储子大数据平台方案中的存储

单元，并且把这些存储单元---■映射成一个个的MDiskSo

每个虚拟化机头的节点都看到统一的Mdisks集合。虚拟化

机头使用这些Mdisks创建MDG(MDiskGroup)，并从MDG

中划分VDisk(VirtualDisk)空间给主机使用。通过光纤

交换机的Zone划分，主机只能识别到虚拟化机头上的

Vdisko因此，虚拟化机头屏蔽了各种存储子大数据平台方

第38页

案的差别。同构异构的存储资源带来很多的好处：

＞使主机端只需使用一种多路径(MPIO)驱动

在加入虚拟化机头之前，主机所获得的存储资源可能来

自不同厂商的存储子大数据平台方案。为了提高I/O性能，

每个厂商根据自己存储子大数据平台方案的特性为主机端

提供专用的多路径软件。对于只使用一种厂商的存储子大数

据平台方案的用户来说，这并没有带来很大的影响；但是,

企业往往会使用不同厂商的存储子大数据平台方案，因此,

要使用不同厂商的存储子大数据平台方案，主机端的大数据

平台方案管理员必须把各个厂商提供的多路径软件都安装

在主机上。在槽糕的情况下，这些多路径软件之间可能引起

冲突，导致大数据平台方案无法正常使用。如下图所示：

加入虚拟化机头后，主机所有的I/O都由虚拟化机头

第39页

接管。为了优化I/O性能，主机端只需要安装虚拟化机头

提供的多路径软件，如下图所示：

统一管理存储资源

虚拟化机头能够对接入的存储子大数据平台方案进行

监控，并提供自动报警机制。例如A存储子大数据平台方

案中的一个磁盘出现故障，虚拟化机头能够检查到它，并通

过SNMP报告给管理终端，管理终端通过邮件或者电话通知

管理员。因此，虚拟化机头成为了一个集中管理点，统一了

存储资源的管理；否则，用户必须安装不同厂商的存储子大

数据平台方案管理软件。

＞可实现不同存储大数据平台方案中的容灾备份和数据

迁移

在没有加入虚拟化机头之前，企业中的数据可能存放在

不同厂商存储子大数据平台方案中。企业必须要使用各个厂

商存储子大数据平台方案的容灾备份策略来防止企业数据

丢失，而且，不同存储子大数据平台方案之间不能实现实时

的互为容灾备份，这给企业带来很多不便，尤其在企业数据

变得越来越关键和庞大的时候。更重要的是，由于没有统一

的容灾备份策略，企业往往需要在不同时刻，不同时间，投

入越来越多的成本保证企业数据不丢失。

使用了虚拟化机头后，企业中的数据采用了统一的容

灾备份策略，因为虚拟化机头提供的高级的CopyService

第40页

使得不同厂商之间可以轻松地实现实时的容灾备份以及数

据迁移，同时与其他厂商的容灾备份策略兼容。

QoS机制

虚拟化机头和许多存储子大数据平台方案一样，提供了

有效的QoS(QualityofService)机制。QoS是一种保证和

控制主机I/O流量和带宽的机制。例如，一个140MB每秒的影

像流必须精确地以140MB每秒的传输率传输到存储中