版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
XXX高校数字校S数据中心建设
方案建议书
目录
一、项目概述..................................................................4
1.1建设背景................................................................4
1.2建设目标................................................................5
1.3建设原则................................................................6
1.4云平台技术打造大数据与高性能优势......................................8
二、需求分析.................................................................10
2.1现状分析..............................................................10
2.2总体建设..............................................................10
2.2.1XXX高校校园云平台需求...........................................11
2.2.2大数据分析需求...................................................13
2.2.3高性能需求.......................................................15
三、数据中心总体规划........................................................16
四、云数据中心建设规划......................................................19
4.1资源池规划............................................................20
4.2资源池规划内容.........................................................22
4.3虚拟化软件选型规划....................................................25
4.4云管理平台建设规划....................................................26
4.5数据中心统一管理平台规划..............................................29
五、大数据建设规划..........................................................31
5.1大数据平台规划.........................................................31
5.2大数据架构介绍........................................................36
5.3新型分布式处理技术基础................................................37
5.4分布式文件系统........................................................37
5.5MapReduce计算框架....................................................38
5.6数据管理与分析........................................................40
5.7分布式数据库...........................................................40
5.8Hive数据仓库........................................................41
5.9大数据调优服务........................................................41
六、高性能建设规划..........................................................44
6.1高性能平台建设内容....................................................44
6.2高性能平台总体性能要求................................................44
6.3节点配置详解...........................................................45
6.3.1计算节点(大数据DataNode节点).................................45
6.3.2GPU节点........................................................45
6.3.3八路胖节点.....................................................46
6.3.4管理节点(NameNode节点)........................................47
6.3.510节点(JobTracker>TaskTracker节点).........................47
6.3.6存储系统..........................................................48
6.3.7计算网络..........................................................48
6.3.8TSDM集群部署软件介绍............................................53
6.3.9备份还原软件介绍.................................................55
6.3.10集群并行环境介绍................................................56
七、机房建设规划...........................................................57
八、方案配置清单...........................................................58
一、项目概述
1.1建设背景
遍布全球的互联网络正在无时无刻、无所不在地渗透到人们工作、生活和学
习中,成为推动社会发展的强大动力。在商业化的世界中,众多企业正在把自
己转变成一种称为“数字神经系统”的新型组织,让企业能够以数字神经系统
的方式对内部业务流程、知识共享和网络商务进行整合,快速响应全球化的竞
争。
高校不仅承担着人才培养的重任,还承担了一些前沿科技和技术的研究。同
样,作为培养和造就新世纪人才的教育系统和学校,也面临同样的社会环境变
化趋势。然而,很多学校却明显落在了互联网络时代的后面,尽管学校已经采
用了一些先进的设备和工具,但是还在沿用千百年来的传统教学方法和管理模
式。电化教学设备、电脑乃至校园网都变成了利用率很低的简单摆设,真正起
决定性变化的管理和教学的方法和模式却没有随着社会发展的大趋势进行相应
变革。面对知识全球化和民族素质提高的教育要求,以及一系列的教育市场化
竞争的挑战,“数字化校园”正在日臻成熟并发挥越来越重要的作用。
“数字化校园”的目标就是为了使校园的使用者可以更有效的利用校园来开
展教学、科研活动并更方便快捷地进行学习、生活。因此校园的主人:学生一
一教师一一管理人员就成为数字化校园的服务对象,他们的主要校园活动:教
学一一科研一一管理一一生活就成为数字化校园的内容主体。“数字化校园”的
目标用一个词来表示就是服务”,为学生、教师、管理人员提供更好的服务就是
数字化校园的宗旨。
目前云计算、互联网+、大数据分析、移动和物联网发展迅猛,数以亿计的
用户通过互联网服务时时刻刻都产生大量的交互,这些交互通过手持设备、RFID、
无线传感器产生大量的数据,IDC预计到2020年全球数据将增加到35ZB
(1ZB=1O24EB、1EB=1O24PB),是2009年的45倍,其中80%以上为非结构化数
据。这些需要处理的数据量越来越大、增长迅猛,而业务需求和竞争压力对数
据处理的实时性、有效性又提出来更高的要求,常规的数据库技术手段根本无
法应付与处理。由此而生产了BigData技术来处理此类问题。大数据技术将是
IT领域新一代的技术与架构,他将帮助人类从大量、复杂的数据中提取价值,
它可以帮助决策者在储存的海量信息中挖掘出需要的信息,并且对这些信息进
行分析研究,从而发现重要的趋势信息。因此大数据的有效管理和挖掘将成为
未来竞争和增长的基础,并日益成为企业的生产要素和战略资产,预计也将带
来新一轮生产率的提升和消费者体验改善,类似工业革命的大数据时代已经来
临,我们有理由相信未来大数据的产业规模将会至少以万亿美元来进行衡量。
大数据将给IT行业开拓一个新的黄金时代,作为成都重要的高校我们有义务在
这些前沿科技上做出对人类、社会、四川、成都有帮助的研究并造福人类、造
福四川和成都。
云计算是一种新型的信息资源管理和计算服务模式,是继大型计算机、个人
电脑、互联网之后信息产业的一次革命。云计算可将分散的计算、存储、服务
资源有机整合起来管理和服务,转变了传统IDC运行管理理念,是未来计算的
发展方向。云计算以其资源动态分配、按需服务的设计理念,具有低成本解决
海量信息处理的独特魅力。云计算+大数据将会为现有的数据中心增加可用性特
点能高效地、安全地运营;另一方面,并能降低数据中心的能源消耗和运行成
本;我们对云计算的理解是:云计算一种基于网络的支持异构设施和资源流转
的服务供给模型,它提供给客户可自治的服务,实现资源的按需分配、按量计
费。云计算导致资源规模化,促进分工的专业化,使得资源供应商和用户都更
加关注于自己的业务,有利于降低单位资源成本,促进全社会的开拓创新。
浪潮从事教育行业已经有数十年经验,致力于帮助教育用户提供一体化的数
字化校园解决方案,在教育行业有数量众多的成功案例,浪潮承诺站在用户角
度,寻求最为合理的解决方案,最大限度满足客户需求。
1.2建设目标
本次建设目标为:利用云计算技术打造XXX高校大数据分析、高性能应用等
高校科研基础平台。
云计算资源中心建设后,将包括校园云计算虚拟化中心、大数据分析、和
高性能计算中心,并为此三个中心提供统一管理平台。通过云计算资源中心的
建设,物理资源将被组织起来统一调配和供应,提供给学校各学院、部门、教
师及学生使用。并且通过云数据中心为学校提供大数据分析和高性能计算服务。
通过资源集中化,资源的共享得以实现,应用在资源之间的迁移也成为可能。
当资源集中后,对于相同资源进行管理的代价将大幅度降低,而资源的使用率
将成倍提升。从而解决数据中心当前面临的问题,更有效的推动信息化的发展。
基于云计算的大数据和高性能中心建设目标主要有以下几个方面:
1、资源纬度集约化。通过虚拟化方式,为各学院、部门和师生提供基础计
算服务和数据存储。
2、数据纬度一体化。方便数据共享,为大规模数据整合和交换提供可能。
3、管理纬度服务化。利用云计算方式,实现基础软硬件资源的统一管理、
按需分配、综合利用,降低各部门系统建设成本和日常运行维护费用。
高校数字校园云计算平台建设着重点为:提供IAAS服务的服务器虚拟化中
心,提供校园师生教学办公用的校园云盘中心和提供高性能计算服务的高性能
计算中心。
建设完成后的高校云计算平台实现以下功能:
1、建设服务器虚拟化中心;为学校各大业务平台提供IAAS服务,以虚拟服
务器的方式为校园各大业务平台提供业务支撑服务;
2、建设大数据分析;为前沿的大数据分析和研究提供服务,为部分在校学
生课题提供服务;
3、建设校园高性能计算中心;为学校一些需要进行高性能计算的部门提供
高性能计算基础平台,为业务部门高性能计算需求提供服务;
4、建设云计算中心统一管理平台;为校园云计算中心中的业务云平台、大
数据分析系统、高性能计算中心提供统一的管理平台,为不同管理用户和业务
用户提供统一入口;
5、通过建设云计算平台,学校实现对资源的大集中统一管理并提升整体计
算能力;通过虚拟化技术提高资源利用率,避免重复建设,节约整体成本。
1.3建设原则
结合本项目的实际应用和发展要求,在进行云计算+大数据+高性能平台方
案设计过程中,应始终坚持以下原则:
(1)可扩展性原则
为了保护已有的投资以及不断增长的业务需求,系统必须具有灵活的结构
并留有合理的扩充余地,以便根据需要进行适当的变动和扩充;主要业务平台
系统应采用开放的结构,符合国际标准、工业标准和行业标准,适应技术的发
展和变化。
(2)合理性原则
在一定的资金条件下,以适当的投入,建立性能价格比高的、先进的、完
善的业务系统。所有软硬件的选型和配置要坚持性能价格比最优原则,同时兼
顾与已有设备和系统的互联互通能力,以及与目前操作系统和应用系统的兼容
性。在满足系统性能、功能以及考虑到在可预见的未来不失去先进性的条件下,
尽量取得整个系统的投入合理性,以构成一个性能价格比优化的应用系统。系
统架构的设计应尽可能地运用虚拟化、云计算等新技术,以符合未来的技术发
展方向。这种设计方法可以最大化地利用投资,并在利用率、管理、能源等各
方面提高用户投资的效率,降低总体拥有成本,减少浪费的发生。
结合新技术的运用,也可以让各应用系统更好地融入未来整体IT建设规划
中,避免发生推到重建的现象,从而更好地保护学校在信息系统上的投入。
(3)可靠性原则
系统要具有高可靠性及强大的容错能力。该系统必须保证7X24全天候不间
断地工作,核心设备比如数据库服务器和存储设备具有全容错结构,并具有热
插拔功能,可带电修复有关故障而不影响整个系统的工作,设计应保持一定数
量的冗余以保证整体系统的高可靠性和高可用性。即便是在系统建设初期也要
着重考虑系统可用性、可靠性问题,防止出现系统停顿等问题造成信息系统的
中断服务。通过结合云计算等新技术,可以更好地提高系统的可靠性和可用性。
(4)可管理性原则
选择基于国际标准和开放的技术,采用标准化、规范化设计;同时采用先
进的设备,易于日后扩展,便于向更新技术的升级与衔接,实现系统较长的生
命力;保证在系统上进行有效的开发和使用,并为今后的发展提供一个良好的
环境;
在设计、组建中心机房系统时,采用先进的、标准的设备;在选购服务器、
存储和连接设备时,选用同一家公司的系列产品,确保系统部件间的严密配合
和无缝联接,并获得良好的售后服务和技术支持;整个系统建成后按照整理一
套完整的文档资料,以便提高整个系统的可管理性与可维护性。
1.4云平台技术打造高校数字化校园优势
通过建立云计算平台,通过服务的方式交付对物理硬件的需求,代替传统
硬件设备跟随着应有系统的增加而增加的模式,对现有应用系统进行整合,实
现IT服务的快速交付,节能响应国家号召,提升业务系统安全。
1、合理利用硬件资源,减少运行消耗
云计算平台可将服务器物理资源转换成池化的可动态分配的计算单元,从
学校业务具体需求出发,在资源池中划分出适合具体业务需要的服务计算单元,
不再受限于物理上的界限,从而提高资源的利用率,简化系统管理,让信息化
建设对学校业务工作的变化更具适应力,从而构建出信息系统平台的基础。
云平台建成后,可减少物理服务器数量至原有数量的一半以上,机房空间
占用面积大大减少,机房相应配套设施建设也可能够相应减少,在实际工作中
预计可节省能源达到70%以上,响应国家节能减排的要求。
2、增强业务部署速度,提高即时响应能力
云平台能够对学校业务系统提出的建设需求做到快速响应、快速部署,部
署更新工作时间由原来数天或数星期缩短为只需几分钟即可完成。如果总资源
池中的硬件计算资源告急,只需要添加相应的物理服务器,简单的将新购的服
务器部署到资源池集群中,云平台会根据整体资源池的动态资源平衡来自动分
配新增加的计算资源给应用程序,真正的实现新服务器的即插即用。
3、完善应急安全机制
云平台可以自动监控资源池中计算单元和应用单元的可用性,检测物理服
务器故障,如果检测到故障,可重新在资源池中其他物理服务器上重新启动相
关业务,整个过程无需人工干预。
通过专线光纤将同城异地的两个云平台连接起来,既可形成一个稳定的基
于云平台技术的容灾系统。可以实现应用级数据备份和业务系统的应用级容灾,
容灾系统切换时间可以实现分钟级,并且能进行容灾演练操作。
4、提供便捷的管理运维方式。
云平台可以通过一个统一的管理平台,来进行对平台中运行的各项业务设
立不同权限的管理账号,根据工作需要设置不同的管理权限,并可通过其管理
日志追溯操作过程。还可以通过在平台上安装第三方安全软件的方式,一次性
解决平台内所有计算单元的病毒防护、木马查杀、补丁升级等工作。
二、需求分析
2.1现状分析
随着信息技术的不断发展,学校在信息化建设方面加大投入,各部门陆续购
置了相关业务软件和服务器,越来越多的业务实现了信息化。学校目前使用的
服务器多数为一路、两路的小型PC架构服务器,每台服务器仅仅只能运行单一
操作系统和单个应用程序,且服务器使用时间基本上都在5年以上。目前的平
台建设模式导致服务器数量越来越多,产生了如下问题:
L服务器使用效率低。由于一台物理服务器对应一个应用系统,服务器的
计算、存储等资源得不到充分利用。
2.系统存在安全隐患。大多数服务器购置于5、6年前,设备老化,可靠性
下降;相当一部分服务器管理权在学院或者部门,缺乏技术人员管理;除学校
一卡通服务器采用双机热备模式以外,其余的应用没有做任何保护,每周需要
做一次手工备份,数据丢失危险时刻存在。
3.机房空间紧张。
4.电力系统告急,能耗增加,空调功率跟不上。
5.系统不便管理,新业务部署时间长。
6.校园师生对云盘的应用需求日益强烈,对移动办公、数据备份等需求明
显。
7.一些院系有高性能计算的业务需求,自建高性能中心涉及重复投资且高
性能计算中心维护复杂,分散维护困难。
2.2总体建设
现有应用系统与底层硬件之间存在的“竖井式”结构,需要根据海量数据
处理、实现应用弹性、构建多活数据中心等关键技术的发展,渐进式的对基础
架构进行全方位规划。现有的服务器、网络、存储、终端需要根据云计算平台
的发展需求,对硬件资源进行动态的统筹划分,充分发挥了现有硬件的整体效
能,以满足云计算平台的发展需要。
通过云计算中心平台建设,利用虚拟化技术、集中建设服务器虚拟化中心、
大数据分析系统和高性能计算中心,为校园提供弹性,即时,可定制的云计算
服务。节约建设成本,提升云计算服务质量,为校园内广大师生和业务部门提
供基于云计算的IAAS,云盘,高性能计算等业务支撑服务。
2.2.1XXX高校数字化校园云平台需求
在信息化建设的不断发展过程中,校园中业务不断发展,对服务器数量需
求不断增加,同时各部门各院系分散申购服务器,浪费极大,维护不方便,集
中部署服务器又造成机房空间压力不断增大,维护难度不断增大,服务器数量
不断增加等一系列问题。基于服务器虚拟化技术为基础的服务器虚拟化中心提
供弹性、可扩展、可定制的虚拟服务器系统,即IAAS服务。
2.2.2XXX高校常见业务系统分析需求
一卡通业务系统
校园“一卡通”系统是指利用智能卡技术、网络技术、数据存储技术、数据
加密技术、系统与网络安全技术、计算机控制技术和软件工程等技术;采用银
行卡社会金融功能与校园卡校务管理功能相结合的方式;遵循国家金融、技术
标准和行业规范;在校园内提供身份认证和金融服务的管理信息系统。
一卡通系统(以下简称“一卡通”)是数字化校园的基础工程和重要的有机
组成部分,旨在为广大师生员工的教学、科研和生活提供方便、快捷的电子化
服务,使其既可以代替学校目前使用的各种证件,又可以应用于各个消费场所,
还可以应用于需要身份认证的场所,同时又可通过银行转帐系统与指定的银行
进行转帐、圈存,实现校园无现金流通,从根本上实现“一卡在手,走遍校园”
的设想。给师生带来一种全新方便的现代生活,从而有效提升工作效率,提高
学校的现代化管理水平。
“一卡通”系统是以软件、硬件集成的综合信息集成系统,构建在数字化校
园之上的统一身份认证、数据中心平台、统一信息门户等基础平台,与学校其
它业务管理信息系统紧密结合,实现数据共享和交换,组成数字化校园的重要
信息采集网络,为学校提供实时可靠的信息来源和决策依据。
综合信息服务系统
综合信息服务系统以学校数据中心为基础,将分散在各部门的数据集中到一
起,以师、生角色为主线,提供跨部门立体式的人事、教学、学工、科研、设
备资产、财务经费等综合查询服务。查询服务以学校基表(由教育部制定的,
用以反映高等教育的各级各类学校基本情况的基层统计报表)为基础,支持面
向主题的多维查询。个人用户也可以查询自身相关基本情况(个人数字档案)。
同时通过全面的数据分析,给院系领导、校领导决策提供数据支持,可以对学
校的基本情况有一个全面的了解,通过其掌握学校发展的宏观情况。
校园网站系统
校园网站系统主要提供Web页面的浏览服务。整个网站系统提供了对外及对
外接口。对外访问接口提供了外界了解学校的途径,展示学校形象以及师资力
量,招生最新信息等。对内接口的主要适用对象为校内师生,为在校师生提供
内部信息展示,课程安排,最新活动咨询等相关信息。另外,目前Web、FTP、
BBS三类应用有极大的相关性,方便教师和学生进行课内外交流和授课内容、课
外辅导资料等的下载等。同时,可以将图书馆供公开使用的资料在Web服务器上
公布,即整合图书馆信息系统和校园网系统。
邮件系统
E-Mail服务器是一套电子邮局系统和信件发送、接收系统,主要为校园广大
的教师及学生提供方便、及时的电子通信手段。邮件系统主要使用对象为校内
教师,如果应用资源条件允许,可以考虑为学生开设独立的邮箱账户,方便师
生沟通。
办公0A系统
办公自动化服务器只为学校日常办公服务,现在的0A技术能够提供文字处理、
表格制作、公文流转、会议安排等等服务。
教务系统
主要承担教务处日常新闻发布、学生没学期课程安排和选课等应用,考虑峰
值同时选课学生在线人数。
数据库系统
数据库系统是整个系统中的核心业务系统,推荐使用两台物理服务器做RAC
部署,保证业务的连续稳定以及性能的充足。数据库主要存放师生注册信息,
一卡通消费信息记录,日常报表学生成绩等校园核心信息,是整个系统最为关
键的部分,推荐采用OracleRAC。
2.2.3大数据分析需求
当前中国正面临从粗放到可持续发展方式的转变挑战。大数据技术能够将
隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,
从而提高各个领域的运行效率,大大提高整个社会经济的集约化程度。在我国,
大数据将重点应用于以下三大领域:
商业智能
商务智能可有效提高企业运营活动的效率。如在零售行业,由于同类产品
的差异小,可替代性强的特点,零售企业销售收入的提高离不开出色的购物体
验和客户服务。零售企业需要根据销售有特色的本地化商品并增加流行款式和
生命周期短的产品,零售企业需要运用最先进的计算机和各种通信技术对变化
中的消费需求迅速做出反应。通过对大数据的挖掘,零售企业在选择上架产品
时,为确保提供式样新颖的商品,需要对消费者的消费行为以及趋势进行分析;
在制定定价、广告等策略时,需进行节假日、天气等大数据分析;在稳定收入
源时,需要对消费群体进行大数据分析,零售企业可以利用电话、Web、电子邮
件等所有联络渠道的客户的数据进行分析,并结合客户的购物习惯,提供一致
的个性化购物体验,以提高客户忠诚度。同时,从微博等社交媒体中挖掘实时
数据,再将它们同实际销售信息进行整合,能够为企业提供真正意义上的智能,
了解市场发展趋势、理解客户的消费行为并为将来制定更加有针对性的策略。
政府决策
通过对大数据的挖掘,可有效提高政府决策的科学性和时效性。如:日本
大地震发生后仅9分钟,美国国家海洋和大气管理局(NOAA)就发布了详细的
海啸预警。随即,NOAA通过对海洋传感器获得的实时数据进行计算机模拟,制
定了详细的应急方案,并将制作的海啸影响模型发布在YouTube等网站。
公共服务
一方面,政府利用大数据技术把积累的海量历史数据进行挖掘利用,可以
提供更为广深的公共服务,另一方面,政府可以通过对卫生、环保等领域的大
数据实时分析,提高危机的预判能力,为实现更好、更科学的危机响应提供了
技术基础。如在交通系统,随着汽车工业的发展,车辆保有量的不断攀升,车
与路,车与环境之间的矛盾日趋加剧,诸如交通堵塞、事故增多、能源浪费和
环境污染等问题的恶化,需要通过对历史以及现在的车辆情况、路网情况的实
时大数据分析,制定更为优化的系统方案,使车辆行驶在最佳路径上,缩小行
车时间、节省燃料、减少环境污染,提高路网通行能力和服务质量。
大数据虽然极具价值,但由于类型复杂、规模巨大,不论传统的OLAP数据
仓库技术还是新兴的分布式处理技术等单一方案都有特定的短板,不可能满足
所有的需求,因此,要真正释放大数据的能量,推动大数据应用并非易事,主
要面临着以下问题和挑战。
挑战一:基础设施的持续扩展问题
IDC公司2012年发布的数据显示,数据总量每两年至少增长一倍,但是硬
件基础设施由于摩尔定律失效很难进行无限制扩展,即使是MapReduce等分布
式技术的扩展性比OLAP等技术有了重大的提高,但是仍存在扩展上限,如
OracleRAC最大支持100个节点,Hadoop集群技术理论支持4000个节点,并
且其设计初衷是建立在大量廉价、低端服务器上的,在充分横向扩展架构的同
时也需要纵向扩展才能进一步提升整体性能。与此同时,基础设施规模不断增
大也会带来其他的问题,首先是系统的可用性,因为大规模分布系统只要其中
一个节点出现故障,就会引起整个系统的恢复,所以分布式系统应该采取多副
本、检查点等容错技术。另外,随着系统节点规模的扩展,网络流量的增加是
指数级的,网络瓶颈也会制约系统性能的提升,限制系统的可扩展性。
挑战二:数据处理的个性化、一体化需求问题
大数据时代同时催生了多种数据类型结构,无论是结构化、半结构化还是
非结构化的数据,从采集到挖掘都需要精细划分,形成准结构化数据,并在此
基础上进行关联性分析,最后呈现挖掘后的结果。在上述过程中,每一个环节
对于数据、软件和硬件的要求是不一样的,用单一的软硬件无法满足所有类型
应用。更为重要的是,作为大数据应用的主体的行业用户并非都是IT方面的专
家,不可能独立实现上述过程以及大数据相关技术方案的整合部署和应用的移
植、二次开发,因此就需要一个涵盖数据采集、归类、挖掘、呈现、部署和移
植的一体化解决方案。总之,多类型、多维度数据处理环节的复杂性决定了无
法依靠单一类型的设备完美处理,为不同的应用类型和数据处理阶段提供针对
性的软硬件一体化方案也是大数据应用面临的挑战。
挑战三:天价成本问题
目前数据存储越来越频繁,相对于存储的低廉价格,大规模数据处理成本
仍然较高,特别采用传统的方法,比如构建数据仓库技术通常需花费几千万元,
而能够处理数据规模不过是TB级的,平均每TB的成本超过十万元。以此推算,
若要处理PB级数据大概需100亿元,这个成本对于很多用户来说无法接受。如
何寻找低成本的方案帮助用户实现大数据的处理技术,也将为大数据的应用带
来挑战。
研究大数据领域对社会和人类、还有学校都具有很大的意义,所以XXX高
校建立大数据分析系统是很有必要性的。
2.2.4高性能需求
XXX高校作为人才培训和学术研究的重要机构,学科主要研究方向有:“网
络与通信技术”研究新型网络体系架构,转发与控制分离技术系列标准、关键
设备、产业化应用;“信息安全与量子通信”研究量子信息、密码技术、网络和
系统安全;“系统建模和先进控制”研究系统建模、智能检测、综合自动化、非
线性控制、Petri网;“信息传输与无线网络”研究泛在网络、计算机视觉、融
合网络;”信号检测与智能信息处理”研究信号检测、RFID、人工智能、模糊神
经系统等。随着研究的加深和项目的增多,现有的设备无法满足教学和研究的
需求,有效提升了和增加设备迫在眉睫。
三、数据中心总体规划
云资源中心加大数据分析与高性能主要分为计算资源、内存资源、存储资源、
网络资源,大数据分析系统,高性能作业调度系统,本项目在充分整合XXX高
校数据中心资源的基础上,配置必要软硬件设备,为XXX高校信息系统提供统
一的基础设施服务,在laaS层构建较为完整的XXX高校云计算平台。建设内容
包括以下几部分:
硬件设备:服务器、存储、、SAN交换机、交换机、负载均衡、VPN网关。
软件设备:物理服务器和虚拟服务器的操作系统、虚拟化软件、中间件、大
型数据库系统、云计算管理平台、Hadoop组件、高性能管理软件、高性能作业
调度软件、高性能集群存储系统。
安全系统:防火墙、入侵防御、防毒墙、网页防篡改、身份认证系统、运维
安全审计系统、数据库安全审计系统、漏洞扫描系统。同时采购专业机构提供
的云安全服务等。
机房配套设备:UPS、精密空调、标准机架。
XXX高校数字校园云数据中心总体部署架构
云存储资源池
如上图,XXX高校云计算中心将建设三大块业务中心,分别是云平台虚拟化
中心、大数据分析系统和高性能计算中心。并且通过统一管理平台提供对整体
云计算中心的统一软硬件管理,为学校云平台虚拟化应用、大数据分析系统、
高性能计算业务和管理提供统一界面入口,对服务器虚拟化中心软硬件设施、
大数据分析平台硬件设施、高性能计算软硬件设施以及三大业务中心的业务管
理提供统一管理运维平台。为学校云计算用户提供业务发布、业务使用、业务
管理等功能。
服务器虚拟化云中心:在校园云计算资源中心中利用服务器虚拟化技术、
存储虚拟化技术和网络虚拟化技术等建设集中统一的服务器虚拟化中心,利用
高性能云计算服务器组成虚拟化集群,为各院系提供数以百计,数以千计的弹
性虚拟服务器架构,并且提供虚拟服务器的生命周期管理、利用服务器虚拟化
的高可用技术提供业务连续性保障。为各院系和校园各业务系统提供弹性可扩
展、快速可恢复、安全可靠的服务器基础架构。为旧业务的迁移、新业务的部
署提供快速、安全、自动化的业务部署模式。
大数据分析系统:高校研究项目众多,教师教学任务等很多都会用到大数
据分析平台,大数据将给IT行业开拓一个新的黄金时代,作为成都重要的高校
我们有义务在这些前沿科技上做出对人类、社会、四川、成都有帮助的研究并
造福人类、造福四川和成都,为提高资源利用率所一建议建立统一的大数据分
析平台供学校各学科教学和个科研方向研究使用。
高性能计算中心:高校有很多院系都存在需要进行高性能计算的相关业务
需求,比如水文分析、化学分子分析、机械模型分析、数据建模等都有高性能
计算的需要。如果各院系都自己建设高性能计算平台的话,会造资源的极大浪
费。通过在云数据中心建设一套统一的高性能平台,在各院系需要进行相关计
算时,进行对应的软件部署,并进行相关业务运算。即可以提高硬件的使用效
率,又可以节约资源。本期方案将为学校在云数据中心建设一套高性能计算中
心,以便为学校各院系服务。
统一管理平台:高校云计算资源中心包括服务器虚拟化中心、校园云盘系
统、高性能计算中心等云计算系统,这些系统的维护均有自己的维护页面,再
加上云计算中心的硬件设施,维护会非常复杂,为了降低维护和使用难度,提
供统一管理平台,为各系统管理员提供统一管理的界面。对各系统进行统一维
护,且提供安全保障。
在硬件上实现散热、电源、管理功能等非IT资源的集中化和模块化,并利
用软件虚拟化技术实现计算、存储等IT资源的池化和集中管理;将非计算部分
的存储、网络等10设备进行池化,机柜内采用高速网络互联,并以软件定义的
计算、软件定义的存储和软件定义的网络来满足业务需求,并实现完全的软件
定义;将CPU、内存等所有的IT资源完全池化,从硬件上可实现任意组合,根据
应用需求智能地分配和组合相关资源,实现完全意义上业务驱动的软件定义数
据中心,软件上实现业务驱动和应用感知。
四、云数据中心建设规划
安全体系
云计算平台逻辑架构图
云设施即服务(laaS,CloudInfrastructureasaService):系统供应商
可以向用户提供同颗粒度的可度量的计算、存储、网络和单机操作系统等基础
资源,用户可以在之上部署或运行各种软件,包括客户操作系统和应用业务。
云平台即服务(PaaS,CloudPlatformasaService):云计算平台供应
商将业务软件的开发环境、运行环境作为一种服务,通过互联网提交给用户。
云平台即服务,需要构建在云基础设施之上。用户可以在云平台供应商提供的
开发环境下创建自己业务应用,而且可以直接在云平台的运行环境中上运营自
己的业务。
云软件即服务(SaaS,CloudSoftwareasaService):运营商通过互联
网,向用户提供软件服务的一种软件应用模式。传统的SaaS与云SaaS,在客
户体验上基本类似,如新浪邮箱和Gmail邮箱,客户感受是类似的。但传统的
SaaS直接构建在硬件设备之上,不能实现后台资源的多租户共享,也无法实现
资源的动态流转,实际并不属于云计算的范畴。云SaaS,要求这些软件业务运
行在云平台服务层或构建在云基础设施层之上。云SaaS的优势,体现在后台资
源的动态伸缩和流转上,资源可扩展性更强,这一重大优势是传统SaaS所不具
备的。
本方案中云计算平台由资源池、虚拟化平台、云管理平台组成。资源池部
分主要有物理设备组成,包括服务器,存储和网络等基础架构资源,通过虚拟
化平台对基础架构设备进行池化,从而形成资源池;虚拟化平台就是将物理资
源进行池化的软件组合;云计算管理平台就是对底层资源池和虚拟化软件进行
管理,并且,针对管理和运维需要,云计算管理平台实现云计算服务的交付和
云计算中心用户和流程的管理以及数据中心的监控。
4.1资源池规划
什么是资源池
云计算的核心特性是利用规模化效应降低单位资源的管理成本和使用成本,
而规模化的一个前提是资源的物理集中,因此被管理的资源最好集中在少数几
个中心,而不是分布在很多物理位置。
云计算资源池是采用池化的办法,把服务器、存储、网络等资源按照不同
的标准组织成不同的资源池。通过资源池的管理模式,云计算管理员无需去考
虑具体的服务器、存储和网络配置。
在一个资源池内,通常可以包括服务器、存储空间、网络端口等,这样,
在一个资源池中我们就可以为某一个应用系统提供它所需要的所有计算资源。
通过云计算的自动化功能,云计算平台管理员可以方便、快速的在资源池中定
制化的选择应用系统需要的计算资源数目,根据业务的应用类型进行云计算平
台资源的分配。
资源池的特征
(1)多实例
通过服务器虚拟化,在一个物理服务器上可以运行多个虚拟服务器,即可
以支持多个客户操作系统。服务器虚拟化将服务器的逻辑整合到虚拟机中,而
物理系统的资源,如CPU,内存,硬盘和网络等,是以可控方式分配给虚拟机
的。
(2)隔离性
在多实例的服务器虚拟化中,一个虚拟机与其他虚拟机完全隔离。通过隔
离机制,即便其中的一个或者多个虚拟机崩溃,其他的虚拟机也不会受到影响,
虚拟机之间也不会泄露数据。如果多个虚拟机内的进程或者应用程序之间想互
相访问,只能通过所配置的网络进行通信,就如同采用虚拟化之前的几个独立
的物理服务器之间需要通过网络来访问一样。
(3)封装性
即相对硬件独立性。在采用了服务器虚拟化智慧,一个完整的虚拟机环境
对外表现为一个单一的实体(例如一个虚拟机文件、一个逻辑分区),这样的
实体非常便于再不同的硬件间备份、移动和复制等。同时,服务器虚拟化将物
理机的硬件封装为标准化的虚拟硬件设备,提供给虚拟机内的操作系统和应用
程序,保证了虚拟机的兼容性。
(4)高性能
与之间在物理机上运行的系统相比,虚拟机与硬件之间多了一个虚拟化抽
象层。虚拟化抽象层通过虚拟机监视器VMM或者虚拟化平台来实现,并会产生
一定的开销。这些开销为服务器虚拟化的性能损耗。服务器虚拟化的高性能是
指虚拟机监视器VMM的开销要被控制在可承受的范围之内。
(5)兼容性
随着技术的不断推进,新的服务器无法运行原来比较古老的操作系统,例
如,某客户很久之前在某个服务器上安装了win2000的操作系统,应用的开发
团队因为某些原因解散了,因而用户失去了应用升级的支持。随着时间的发展,
原来的服务器已经损耗非常严重,用户希望对服务器进行升级。在没有做相应
新的驱动开发的情况下,无法在新的服务器上安装win2000。通过虚拟化技术
可以虚拟出一个标准的虚拟硬件设备,兼容稍微陈旧的操作系统。这样就能实
现用户应用运行在原有的系统环境中,但是支持用户应用系统是最新架构的、
性能强劲的新的服务器。
资源池规划要素
(1)硬件类型。应该支持同样的虚拟化引擎。例如X86服务器和Power服
务器的虚拟化技术不同,它们不能划入同一资源池。
(2)性能差异。高端和低端服务器在性能上存在较大差异,如果划入统一
资源池,会导致上面的应用体验到不同的性能指标。因此,应该采用统一档次、
统一类型的服务器。
(3)网络分区。同一资源池应该位于一个局域网,这样可以避免大量数据
的跨局域网传输。因此,对于多个数据中心的资源,推荐为每个数据中心独立
创建一个资源池。
(4)灵活扩展。能够对云计算平台进行设备的热添加。在业务不中断的情
况下对资源池进行扩充、对业务进行扩展,确保云计算平台资源池满足当下应
用及未来三至五年业务增长的需求。
(5)安全隔离。生产系统一般对应用的安全性有很强的要求,因此对服务
器及存储资源进行不同程度的隔离,如物理隔离、逻辑隔离(如VLAN)等。云
计算的引入不能破坏现有的安全要求,因此资源池的组织也需要按照相应的规
则进行。
4.2资源池规划内容
资源池建设硬件部分围绕着计算、存储和网络三个方面进行,包括服务器、
存储空间、网络端口等。
图1.资源池示意图
计算资源池建设规划
方案规划为用户云计算平台建设一个高性能计算能力的虚拟机的云计算平
台,从而满足用户业务的IT需求。云计算平台要求具备超高的扩展性,动态地
对云计算平台进行扩展,以满足业务快速增长的需求。
方案采用虚拟化技术,在虚拟化技术中物理服务器计算能力影响着虚拟机
性能。将单台物理服务器的计算能力最大化,以便于进行资源池资源动态分配,
有别于传统的部门级和企业级服务器。云计算中心的数据库较传统模式更大,
所处理的数据规模也将会十倍于、甚至百倍千倍于现在的系统,这些系统需要
更大的集中式处理的服务器,而不是集群系统。因此对于底层的硬件资源我们
应该从更大规模和尺度去考虑,系统需要有更高的计算性能、更大的内存、更
好的可扩展性,本方案中我们建议选择性能更加强劲、扩展性更好的x86八路
服务器平台。
目前浪潮4路服务器服务器,具备60个计算核心、120个逻辑核心,是传
统服务器计算能力的20倍以上。服务器整机采用模块化设计,支持物理分区,
具备高性能、高可靠、高扩展、高可用等特性。在性能及可靠性等方面均可与
IBM、HP、SUN等传统UNIX小型机竞争,填补了国产品牌的空白,是构建云计
算和物联网的最佳选择。
存储资源池建设规划
统一SAN存储系统:成熟的SAN网络技术,使用存储虚拟化技术进行不同
SAN协议和网络的融合,最终向云计算平台提供统一的数据存放接口。目前主
流采用8GbFC主机接口,提供海量存储空间,适合于对于海量数据存放的性能
和安全性有较高要求的高校业务应用系统。
业务高可用建设规划
图2.业务高可用示意图
由上图可以看出,系统采用多台x86服务器,每台服务器运行多个业务系
统,后端共同连接一个磁盘阵列。高可用方案能够不间断地监控资源池中的所
有服务器并监测服务器故障。放置在每台服务器上的代理会不断向资源池中的
其他服务器发送“心跳信号”,而心跳信号的中止会导致所有受影响的业务应
用在其他服务器上重新启动。高可用方案确保资源池中始终有充足的资源,以
便能够在出现服务器故障时在不同的物理服务器上重新启动业务应用。
当服务器上的任意一个业务系统运行出现故障的时候,通过高可用方案管
理节点可以在其他两台服务器上按照资源利用情况,重启一个故障的业务应用
环境,使业务继续运行下去。即使当一台服务器出现故障的时候,其他两台服
务器仍然能够根据资源利用的情况,通过高可用方案管理节点重启已宕服务器
上的所有业务应用环境,这样就使整个系统都处于一种HA状态,进而保证了整
个系统业务运行的连续性。同时减少了硬件投入数量和开销。
4.3虚拟化软件选型规划
虚拟化技术的诞生已经有将近30年的历史。它曾经用于一些大规模的、预
算充足的单位,而如今已经应用于计算机的方方面面,包括硬件、软件、通信
等等方面。在许多情况下,这项技术是免费的、开源的,或者是包含在一些收
费的产品中,例如操作系统或存储硬件中。
>在应用软件和硬件之间加入了一层抽象的层。
>能够降低IT设施的成本和复杂度。
>提供相互独立的计算资源,从而增加稳定性和安全性。
>提高服务层次以及服务质量(QoS)o
A能够使IT流程与单位目标相一致。
>尽可能减少IT设施中的冗余,最大化IT设施的利用率。
当今最常见的虚拟化形式都聚焦于服务器硬件平台的虚拟化,而这项技术
的实现及其实现目标其实对数据中心中关键而昂贵的组件也很有意义,例如存
储和网络基础设施。
虚拟化技术能够允许在一台计算机上同时运行多个操作系统实例。每个操
作系统实例都共享了同一物理硬件上的一定量的资源,就像下图所展示的那样。
一个称作虚拟机监视器(VirtualMachineMonitor,VMM)的软件控制着底层
虚拟化示意图
作为中国领先的云计算服务提供商,和业界领先的云计算解决方案供应商,
浪潮和vmware在2006年就开始在云计算领域进行深度合作,并于2008年与
VMware公司正式签订战略合作伙伴关系。与此同时,浪潮近些年投入强大的研
发科技力量着力进行云计算软件的开发,目前已开发出浪潮云海平台。其中
iVirtual3.2是浪潮云海虚拟化管理软件。
WEBUIAPI
系统配置虚机管理模板管理容灾备份
任务管理主机管理存储管理网络管理
系
统
系虚拟主机朗膜群
部
统
署
安资源调度镜像管理资源
与
全负载能耗高资源|资源故障
升wrmrwI
均衡感知可用佟护厂二复制监控I计量I管理
级
计算资源池存储资源池网络资源池
虚拟机监控器分布式存储集中式存储虚拟交换机虚拟路由器
浪潮虚拟化产品架构图
浪潮云海•服务器虚拟化系统是数据中心虚拟化基石,是业界最完善的虚拟
化平台。该产品不仅仅将IT硬件转变为可靠的云计算数据中心后台,而且还能
为用户的应用服务提供最高级别的可用性,安全性和扩展性。
浪潮云海・服务器虚拟化系统基于服务器,存储和网络设备构建资源池,
在资源池上通过资源的管理、调度和镜像管理实现系统的各种高级功能,例如
计算层面的系统负载均衡和虚拟机高可用,存储层面的镜像复制和冗余。系统
支持以主机或者虚拟群集为单位管理资源,虚拟群集为一组共享存储资源的物
理主机。
浪潮云海•服务器虚拟化iVirtual3.2系统为B/S架构,用户可以通
过浏览器访问并使用系统。具体系统使用功能包括:概览、主机、虚拟机、集
群、网络、日志、系统拓扑等等。另外系统对外提供API,支持用户进行二次
开发。
4.4云管理平台建设规划
本方案中推荐采用浪潮云计算操作系统云海OSV3.2作为云计算平台的云
管理平台。
租户界面
iResourceManager
(资源管理平台)
三
iDesktop(桌面虚拟化)第
网
方
管
平
台
iCharge(统计计要)台
iStorage(存储系统)
vSphereXenServerHyper-VKVM{Virtual
/-----------------------,-----------------------「-----------------------:\
服务器存储设备网络设备
I-----------------------------------------------------------------------*1------------------------------------
浪潮云海OSV3.2产品架构图
浪潮云海OSV3.2是云数据中心资源管理及资源交付软件,兼容不同的虚
拟化架构,监控、管理云资源和数据中心软、硬件资源,实现基础设施的服务
化。平台提供丰富的功能组件和API接口,帮助用户快速部署企业服务,有效
提升云数据中心管理运维效率。
浪潮云海OSV3.2为用户构建一个资源共享、安全可控的云计算平台,对
云计算平台内异构资源进行统一管理。通过添加VMWarevCenter、iVirtual
center,实现对异构虚拟化资源池的集中管理,可横向、动态扩展云资源规模
和容量,以适应未来发展的需求。
浪潮云海OSV3.2以模块化的设计理念,涵盖云数据中心的所有需求:
云海OSV3.2涵盖了服务提供所需各个环节的管理,可轻松实现用户对数
据中心各类资源的统一管理,提供一站式运维,便于用户维护,降低维护成本;
通过云资源管理主要实现对数据中心云资源的统一管理,包括虚拟控制中心管
理、集群管理、存储管理、虚拟数据中心管理、虚拟网络管理及镜像管理;通
过云海OSV3.2平台采用开放、灵活的架构设计和模块化设计,客户可以功能
模块按需组合,满足不同层次用户需求,便于扩展及定制化开发;云海OSV3.2
具备大规模、细粒度、高精度的监控系统,对资源进行完善的监控管理、故障
报警、日志记录等;系统支持自定义角色类型,可定义拥有不同权限的角色,
实现灵活而安全的系统权限管理,且拥有基于权限的用户控制技术和组织网络
隔离技术,可以保持多租户环境下的安全性和可靠性。针对用户业务,云海OS
V3.2提供灵活的业务审批流程,可自定义业务流程,实现业务申请审批流程的
可视化、自动化管理;精确的计费管理,终端用户可以通过Web界面在线自助
申请所需的计算、存储、网络资源,实现资源的按需获取并通过实时的资源使
用情况统计,让用户精确掌控自身资源和费用使用情况。
4.5数据中心统一管理平台规划
计算资源中心包括硬件基础设施、服务器虚拟化中心、大数据分析系统和
高性能计算中心,采用统一管理平台统一管理接口,保证统一管理平台,实施
基于ITIL的运维流程非常重要,同时,云计算资源中心提供包括IAAS、PASS
(高性能计算业务)和SAAS(云盘业务)等多种云业务,通过统一管理平台提
供业务发布平台,所有的云业务均通过业务发布平台进行业务发布,为用户提
供统一访问入口,将为用户提供极大的方便性。
统一管理平台方
统一管理平台基础架构如下:
定制化专属业务服务系统(EayunCloud平台)
专属云业务支撑平台云计算运维平台
I配置数据库、I工作流引孽统一混合云运方::多云管理权限管理
loose混含J云管理垩合___
「阿里云…
EayunStackAg
云.第三方云管理平台
云计算资源平台
虚拟化校园云盘系统高性能中心
统一管理平台通过配置数据库,调用底层各应用系统的API接口,和底层
各应用系统进行对接。运维人员通过统一界面对各业务系统进行监控和维护,
调用各业务系统的功能,进行相关业务发布。通过工作流引擎定义运维流程和
发布流程,为用户提供云业务。云计算中心统一管理平台提供了管理框架,通
过此管理框架,可以集成多种不同的云业务,并通过集成工作流引擎,灵活配
置管理和发布流程,和企业0A和ERP平台进行集成,提供符合公司企业业务流
程的管理平台。
统一管理平台基础功能
底层平台
■多云配置及管理
添加和管理平台支持的多个云业务平台,其中云业务平台接口集成需要
定制开发;
管理每个客户项目需要的虚拟化平台;
■Openstack接口集成
集成Openstack的常规管理接口,封装成可以直接被业务层调用的API。
通过API调用具体云平台业务。
■虚拟化层监控组件
监控平台计划中包括物理层、虚拟化层和应用层监控,其中虚拟化层监
控的功能从底层平台接入,物理层通过第三方厂商业务集成接入,应用
层通过业务定制组件集成接入。
需要管理的监控项通过虚拟化平台接口集成实现
客户自服务中心
■云业务管理
分数据中心、分不同云业务类型对云业务平台进行管理。
对所有的云业务管理提供三个维度的标签管理,业务类型、监控优先级
管理功能分类如下:
①日常运维管理类
当前用户权限范围内的已有资源数量、使用情况、资源池总量和使
用情况、报警信息、历史记录、操作日志
②网络类
网络相关的设置和管理,VPN、子网等配置
③资源变化类
资源池内资源的新建、扩容和销毁。
提供申请“资源扩容”的入口,低级管理员向高级管理员申请,顶
级管理员不提供功能入口
■物理层管理
数据中心、机柜、服务器、交换机等物理资源的管理和关系建立。
建立虚拟化平台和物理层的关联关系。
■监控展现
监控工具的功能展现,包括①报警项列表及管理②分资源监控页面
■用户及权限
对应到用户、角色、权限组的管理,包括角色之间的层级关系。
系统内各功能权限的设定基于角色建立,资源池配额基于用户建立。
■工单管理
系统提供工单和工作流管理,为用户发现问题,提交问题,云业务中心
管理员解决问题提供了跟踪流程。为业务上线、业务发布、业务回收提
供了完整的流程管理。
■
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 离婚协议的个“坑”
- 财务辞职报告范文
- 博士开题报告范文
- 《家居智能综合系统》课件
- 《回归本真品味语言》课件
- 《高考数学备考构想》课件
- 在建影视基地2024年度房产买卖协议
- 会计聘用合同书共
- 中国的自然资源复习课件新湘教版
- 2024年度碳排放交易合同:动力煤进口清关与碳排放权3篇
- 公司员工劳动手册
- 常见的护理诊断与护理措施
- 《影视美术设计》教学课件(全)
- 三级插花花艺师资格考试题库(重点培训400题)
- 30种植物简介课件
- 2022年物流公司组织架构图及部门职责
- 小学语文新课程标准最新版2022
- 小型割草机的设计
- 诉讼材料接收表
- 部编版四年级上册语文第二十六课《西门豹治邺》课文原文及练习题
- 卫生院紫外线消毒登记表
评论
0/150
提交评论