（教育技术学专业论文）基于云存储的教学资源整合研究与实现.pdf

摘要 教学资源是开展教学工作的基础，进行教学资源的整合有利于合理、高效的使用教 学资源，促进教学质量的提高。通过开展教学资源的整合，既可以应对高校扩招所形成 的对教学资源需求的持续增长与教育投入增长不足、教学资源相对短缺所形成的矛盾， 又可以实现教育资源的共享，提高优质教学资源的利用率，让更多的大学生获得优质的 受教育机会。然而现阶段教育资源的建设却存在很多问题。例如：教学资源分布不均， 教学资源更新成本高，更新速度慢，教学资源共享程度低等。这些问题一方面造成了重 复的教育资源投入，另一方面扩大了教学质量的差异。因此如何对教学资源进行最大程 度，最大范围的整合，成为减少教学成本，提高教学质量和国内高校教育水平的首要问 题。 云存储的运用可以很好的解决教学资源整合的问题。云存储通过虚拟化技术，将服 务器、存储设备和其他硬件视为一个资源池。利用云的无限存储能力，可将海量的教学 资源存储在该资源池中。这样不仅可以提高教学资源的利用率、节约资源和提高教育机 构的教学水平，而且还使云存储服务更加贴近人们的生活和学习，让人们切身感受到科 技给我们带来的巨大变革。 文章对教学资源的现状和云存储技术的原理和架构进行了理论研究，并在此基础上 提出一个基于云存储服务的教学资源整合框架。我们使用h a d o o p 搭建了一个云存储环 境，为教学资源提供各种服务。整合框架包含四个模块，分别是安全认证模块、资源管 理模块、系统监控模块和资源检索模块。在安全认证模块中，使用p k i 和l d a p 提供安 全服务，保障云环境的安全性。在资源管理模块中，参照教育资源建设规范中教育 资源分类标准，将资源分成了五类，并且选择了d u b l i nc o r e 元数据中的1 2 个元素作为 教学资源描述的记录字段。然后将系统的用户分为三种角色，每种角色被赋予相应的教 学资源管理权限。在系统监控模块中，使用g a n g l i a 搭建了一个分布式的监控模块，能 够监视云环境中每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能 起到重要作用。在资源检索模块中，使用l u c e n e 和j a v as o c k e t 设计了一个分布式的检 索模块，根据教学资源的分类，将索引数据分散在云中的节点中，通过多机处理能力， 集中解决索引和检索的问题。在文章的最后，对系统的性能做了相关测试，如资源上传 和下载的性能等。 关键词t 教学资源，整合，云存储，p o r t a l ，j s f ，h a d o o p ，l d a p ，p k i ，g a n g l i a ， l u c e n e i i l ( k i - l 。f f 加 a b s t r a c t e d u c a t i o n a lr e s o u r c e sa r et h eb a s i s f o rc a r r y i n go u tt e a c h i n gw o r k ，t h ei n t e g r a t i o no f e d u c a t i o n a lr e s o u r c e si sc o n d u c i v et or a t i o n a la n de f f i c i e n tu s eo fe d u c a t i o n a lr e s o u r c e sa n dt o p r o m o t ei m p r o v e m e n ti nt h eq u a l i t yo fe d u c a t i o n i tc a nn o to n l yd e a lw i t ht h ec o n t r a d i c t i o n s b e t w e e nt h ec o n t i n u e dg r o w t hi nd e m a n df o re d u c a i t o n a lr e s o u r c e sa n dt h el a c ko fi n v e s t m e n t i ne d u c a t i o na n dt h er e l a t i v es h o r t a g eo fe d u c a t i o n a lr e s o u r c e sc a u s e db yc o l l e g ee n r o l l m e n t ， b u ta l s oe n a b l e st h es h a r i n go fe d u c a t i o n a lr e s o u r c e st oe n h a n c et h eu t i l i z a t i o no f h i g h - q u a l i t y e d u c a t i o n a lr e s o u r c e s ，s om o r es t u d e n t sc a nh a v et h eh i g h - q u a l i t ye d u c a t i o n a lo p p o r t u n i t i e s h o w e v e r , t h e r ea r es t i l lm a n yp r o b l e m sa b o u tt h ec o n s t r u c t i o no fe d u c a t i o n a lr e s o u r c e sa tt h i s s t a g e f o re x a m p l e ，t h eu n e v e nd i s t r i b u t i o no fe d u c a t i o n a lr e s o u r c e s ，t h eh i g hc o s t sa n dt h e l o ws p e e do fu p d a t i n gt h ee d u c a t i o n a lr e s o u r c e s ，l o wl e v e lo fs h a r i n go fe d u c a t i o n a lr e s o u r c e s a n ds oo n t h e s ep r o b l e m sl e dt od u p l i c a t i o no fi n v e s t m e n t ，o nt h eo t h e rh a n d ，e x p a n d e dt h e d i f f e r e n c e si nt h eq u a l i t yo fe d u c a t i o n t h e r e f o r e ，h o wt om a k et h ew i d e s t r a n g eo fi n t e g r a t i o n h a sb e c o m ea v e r yi m p o r t a n ti s s u ei nr e d u c i n gt h ec o s to fe d u c a t i o n ，i m p r o v i n ge d u c a t i o n a l q u a l i t y t h eu s eo fc l o u ds t o r a g ec a ns o l v et h ei s s u eo ft h ei n t e g r a t i o no fe d u c a t i o n a lr e s o u r c e s e f f e c t i v e l y b yv i r t u a l i z a t i o nt e c h n o l o g y , c l o u ds t o r a g et r e a t e ds e r v e r s ，s t o r a g ed e v i c e sa n d o t h e rh a r d w a r ea sar e s o u r c ep 0 0 1 t a k ea d v a n t a g eo ft h eu n l i m i t e ds t o r a g ec a p a c i t yi nc l o u d ， w ec a ns t o r ev a s ta m o u n t so fe d u c a t i o n a lr e s o u r c e si nt h er e s o u r c ep 0 0 1 t h i sw i l ln o to n l y e n h a n c et h eu t i l i z a t i o no fe d u c a t i o n a lr e s o u r c e s ，s a v er e s o u r c e sa n di m p r o v et h es t a n d a r do f e d u c a t i o ni ns c h o o l s ，b u ta l s om a k et h ec l o u ds t o r a g es e r v i c e sc l o s e rt op e o p l e sl i v e sa n d l e a r n i n g t h i sp a p e rp r o p o s e dac l o u d - b a s e ds t o r a g es e r v i c ef r a m e w o r ko ft h e i n t e g r a t i o no f e d u c a t i o n a lr e s o u r c e sb a s e do nt h et h e o r e t i c a ls t u d yo ft h es t a t u so fe d u c a t i o n a lr e s o u r c e sa n d t h ep r i n c i p l e sa n ds t r u c t u r eo fc l o u ds t o r a g e w eu s e dh a d o o pt ob u i l dac l o u ds t o r a g e e n v i r o n m e n t ，p r o v i d i n g s e r v i c e sf o re d u c a t i o n a lr e s o u r c e s t h ei n t e g r a t e df r a m e w o r k c o n s i s t e do ff o u rm o d u l e s ，n a m e l yt h es e c u r i t ya u t h e n t i c a t i o nm o d u l e ，r e s o u r c em a n a g e m e n t m o d u l e ，s y s t e mm o n i t o r i n g m o d u l ea n dr e s o u r c er e t r i e v a lm o d u l e i nt h es e c u r i t y a u t h e n t i c a t i o nm o d u l e ，w eu s e dp k ia n dl d a pt op r o v i d es e c u r i t ys e r v i c e st op r o t e c tt h e s e c u r i t yo fc l o u de n v i r o n m e n t i nt h er e s o u r c em a n a g e m e n tm o d u l e ，w er e f e r e d t ot h e c l a s s i f i c a t i o nc r i t e r i ao fe d u c a t i o n a lr e s o u r c e si nt h e ”e d u c a t i o nr e s o u r c e sc o n s t r u c t i o n s t a n d a r d s ”，d i v i d e de d u c m i o n mr e s o u r c e si n t of i v et y p e s ，a n ds e l e c t e d12o f t h ed u b l i nc o r e m e t a d a t ae l e m e n t st od e s c r i b ea ne d u c a t i o n a lr e s o u r c e w ea l s od i v i d e dt h es y s t e mu s 6 t si n t o t h r e er o l e s ，e a c hr o l ew a sg i v e nt h ea p p r o p r i a t em a n a g e m e n ta u t h o r i t y i nt h e s y s t e m m o n i t o r i n gm o d u l e ，w eu s e dg a n g l i at ob u i l dad i s t r i b u t e dm o n i t o r i n gm o d u l e ，i tc a nm o n i t o r t h ew o r k i n gs t a t u so fe a c hn o d e ，a n dp l a y e da ni m p o r t a n tr o l eo nr e a s o n a b l ea d j u s t m e n ta n d m l o c m i o no fs y s t e mr e s o u r c e s i nr e s o u r c er e t r i e v a lm o d u l e ，w eu s e dl u c e n ea n dj a v as o c k e t t od e s i g nad i s t r i b u t e dr e t r i e v a lm o d u l e a c c o r d i n gt ot h ec l a s s i f i c a t i o no ft h ee d u c a t i o n a l r e s o u r c e s ，t h ei n d e xd a t as c a t t e r e di nt h en o d e s b yt h em u l t i m a c h i n ep r o c e s s i n gc a p a b i l i t i e s ， i tc a ns o l v et h ep r o b l e m so fi n d e xa n dr e t r i e v a l i nt h ee n d ，w em a d es o m er e l e v a n tt e s t sa b o u t t h ep e r f o r m a n c eo f s y s t e m ，s u c ha st h er e s o u r c eu p l o a da n dd o w n l o a dc a p a b i l i t i e s k e yw o r d s ：e d u c a t i o n a lr e s o u r c e s ，i n t e g r a t i o n ，c l o u ds t o r a g e ，p o r t a l ，j s f , i v h a d o o p , l d a p , p k i ，g a n g l i a ，l u c e n e l ， 产 d 一 l ， f i 扣 目录 摘要i a b s t r a c t i i i 目录v 第一章绪论1 1 1 研究背景1 1 2 国内外研究现状2 1 2 1 教学资源的现状2 1 2 2 教学资源存储方式的比较一3 1 3 研究内容和意义4 1 3 1 研究内容4 1 3 2 课题的意义4 第二章云存储的原理和实现技术7 2 1 云技术的发展7 2 2 云存储的原理1 1 2 3 云存储的分层模型1 2 2 4 云存储的架构1 3 第三章相关技术1 7 3 1p o r t a l 框架17 3 1 1p o r t l e t 概j 签17 3 1 2p o r t a l 的缺点1 7 3 2j s f 框架( j a v a s e r v e rf a c e s ，j s f ) 18 3 2 1j s f 框架的结构18 3 2 2j s f 框架的优势l8 3 3j s r3 0 1p o r t l e t 桥接规范( p o r t l e tb r i d g es p e c i f i c a t i o n ) 1 9 3 4 公开密钥体系( p u b l i ck e yi n f r a s t r u c t u r e p k i ) 一2 0 3 4 1p k i 的概念2 0 v jl。吣 3 4 2p k i 的优点2 1 3 4 3p k i 的缺点2 2 第四章系统设计2 3 4 1 系统整体框架设计2 3 4 2 云存储环境设计2 3 4 2 1 环境设计2 4 4 2 2 数据复制2 5 4 2 3 副本存放与选择2 6 4 2 4 文件系统元数据的持久化2 7 4 2 5 健壮性2 8 4 2 6 数据完整性2 8 4 2 7 数据组织2 9 4 2 8 云存储空间回收2 9 4 3 系统主要模块设计3 0 4 3 1 安全认证模块_ 3 0 4 3 2 资源管理模块3 2 4 3 3 系统监控模块3 4 4 3 4 资源检索模块3 7 第五章系统实现4 3 5 1 云存储环境的搭建4 3 5 1 1h a d o o p 的安装4 3 5 1 2h a d o o p 的配置。4 3 5 1 3h a d o o p 的丌启与停止4 4 5 2 安全认证模块4 5 5 2 1 安全认证模块的架构4 5 5 2 2 证书的申请与作废4 7 5 2 3 基于证书的应用4 7 5 3 资源管理模块4 8 5 3 1 资源发布4 8 v l 5 3 2 资源下载5 0 5 3 3 资源删除5 2 5 4 系统监控模块5 3 5 4 1s e r v e r 端的安装5 3 5 4 2c l i e n t 端的安装5 4 5 4 3w e b 前端的安装5 5 5 4 4 监控p o r t l e t 的实现5 5 5 。5 资源检索模块5 6 第六章系统性能测试6 1 第七章总结和展望6 3 7 1 总结6 3 7 2 创新点6 3 7 3 展望6 3 参考文献。6 5 致i 射。6 7 攻读学位期间发表的学术论文目录一6 9 独创性声明7 l 关于论文使用授权的说明7 l v i i 第一章绪论 1 1 研究背景 第一章绪论弟一早三百t 匕 随着教育信息化的深入发展，对教学资源的整合已经显得十分必要【l 】。对于教师来 说，高质量的备课和精美的课件制作，以及教师再学习等都是离不开教学资源的。而对 于学生来说，培养学生的创造力和学习的能力，培养学生研究性解决问题的能力，培养 学生利用信息技术的能力，不仅需要教学资源，而且其质量的高低直接影响到教学的效 果。对于教育信息化讲，教学资源理所当然是它的核心与灵魂。然而，尽管网上可用于 学习的教学资源系统在迅速增加，但是各教育机构的教学资源却好像一个个网络世界中 孤立的小岛，大量的教育资源被隔离在了各个“小岛”的存储设备中，使得教学资源没 有得到充分的共享【2 1 。这种情况造成了“学生 在远程学习下，不能充分地利用所有的 教学资源。还造成了各教育机构所掌握的大量优质教学资源大量闲置浪费。同时教学资 源本身又具有占用存储空间大的特点，所以存储设备的购买和维护也需要很大的丌销。 所以对于教学资源进行整合是十分必要的，这是一个新的研究领域，也将是一个新的发 展阶段，当然也是当仁不让的责任。而且当今网络时代的核心精神就是协作、融合。教 学资源的整合不是单一个教育机构能够完成的，必须大量的教育机构结成广泛的合作联 盟，最大限度地整合教学资源，共同建设、共同拥有、共同使用、共同运营。 对教学资源进行整合的方式有多种，利用云存储技术是其中一种【3 】。近两年来云存 储已经逐渐成为热门的话题，从g o o g l ed o s e 到a m a z o ms 3 ，云存储渐渐走近我们的生 活。很多国际i t 巨头都开始进行云存储的开发与应用。例如，2 0 0 9 年2 月，i b m 就宣 布与全球六所大学在云计算项目上进行合作，并且推出最新的产品与服务，而且还与 a m a z o n 联手提供w e b 服务。云存储服务是将海量的数据保存在网络中的集群服务器中， 用户只需通过客户端的浏览器就能实现应用需求。这一特点使得个人计算机能够以最小 化的性能完成最大化的功能。犹如a j a x 和d h t m l 这两种2 0 世纪9 0 年代的技术却在 1 0 年以后改变了w e b 的面貌一样，云存储基于虚拟化、可扩展的文件系统和开源的操 作系统及软件，可能会永久地改变资源存储服务。云存储在服务模式和技术上的创新理 念和基于云存储而构成的新的网络平台，为资源管理与服务提供了一个新的手段。从目 基丁云存储的教学资源整合研究与实现 前的发展来看，云存储与教学资源管理研究的内容十分广泛，如：将云存储理念引入教 学资源管理研究、云环境( 基于云存储平台与设施) 在教学资源整合中的应用问题、教 学资源的整合对云存储的质量与性能要求( 评价问题) 、云存储环境下教学资源的安全 与保密问题等等。本研究课题主要来源于河南省科技攻关计划项目网格p o r t a l 关键技 术应用研究和河南省教育科学“十一五 规划课题下一代互联网教育应用研究。 主要讨论云存储的发展及对教学资源整合所产生的影响，并以高校教育资源整合为例， 提出了利用云存储提高教学资源的共享能力和提高服务质量的具体方案，并进行了实 现。 1 2 国内外研究现状 1 2 1 教学资源的现状 教学资源是教学工作开展的基础，进行教学资源的整合有利于合理、高效的使用教 学资源，促进教学质量的提高。通过开展教学资源的整合，既可以应对高校扩招所形成 的对教学资源需求的持续增长与教育投入增长不足、教学资源相对短缺所形成的矛盾， 又可以实现教育资源的共享，提高优质教学资源的利用率，让更多的大学生获得优质的 受教育机会。然而现阶段教育资源的建设却存在很多问趔4 1 。 教学资源分布不均：师资力量大的学校有着得天独厚的优势，往往能够获得更好的 资源，比如试题库，教育视频等。而对于有些学校，由于资金来源、教育水平等的限制， 往往面临着教学资源不足等状况。这造成了教学资源分布的不平衡。 教学资源更新成本高，更新速度慢：技术飞速进步往往要求学校能够为学生提供最 新的教学资源，资源的数据量呈几何曲线性增长，意味着需要更多的成本，更多的硬件 设备投入和更多的机房环境设备投入，以及运行维护成本和人力成本的增加。而且现在 仍然有很多学校，特别是经济条件不好的学校没有资金购买独立的、私有的存储设备， 更没有存储技术工程师可以有效地完成存储设备的管理和维护。这都给院校的教学资源 建设带来了很大的压力。 教学资源共享程度低：近些年远程教育和网络教育的发展，现有各种教育资源之间 缺乏有效的互联互通机制，共享性差，协作困难。而且教学资源的数据量大，需要的储 存空间大，而各学校的教学资源的重复建设，造成了非常多的信息，使得信息垃圾增长过 快。 2 第一章绪论 这些问题一方面造成了重复的教育资源投入，另一方面扩大了教学质量的差异。因 此如何对教学资源进行最大程度，最大范围的整合，成了减少教学成本，提高教学质量， 加快国内高校教育水平的首要问题。 1 2 2 教学资源存储方式的比较 下面就原先的教学资源存储方式和云存储方式进行了相关的比较分析。 可靠性：原先的教学资源存储方式中，资源如果因为某些原因损毁时，用户就无法 进行访问，可靠性不高。而云中的数据是分布式的存储，教学资源被切分为多个数据块 分散的存储在云中的节点中。由于云存储中拥有副本备份机制，每一块数据都有若干备 份，存储在不同的节点中。当云中的某个节点发生错误时，不影响资源的完整性，具有 很高的可靠性。 可用性：原先的教学资源存储一般都是使用单个服务器，一旦服务器发生问题，用 户既不能存储资源，也无法访问资源。而云存储是一种分布式的结构，云中的控制节点 通过“心跳检测 不断的监视存储节点的状态，当发现存储节点已经失效时，控制节点 能够将工作负载交给那些运行正常的存储节点来完成。这使得云存储具有很高的可用 性。 存储成本：原先的教学资源的存储一般使用专业的存储设备，由于专业存储设备的 价格不菲，使得资源存储的成本也随之提高。而云中的存储设备都是廉价的商业机，跟 单一的大容量专业存储设备相比较，存储的容量更大，存储成本更低。 可扩展性：通过对云中的存储节点进行动态的添加和移除，可以方便改变云中的存 储容量，而且不影响云中的数据。所以云存储比原始的存储方式具有更高的可扩展性。 自动容错能力：因为低成本的存储设备的损耗率很高，云存储能够在软件层做到自动 容错而不是依赖硬件本身的容错。 管理性：将教学资源存储在云中，有利于对资源进行统一的管理，提高资源的使用 率。 服务性能：对于原先对教学资源进行单点的集中存储，当用户存储大量数据的时候， 很容易造成设备的压力过大，影响系统的性能。由于云中的数据是分布式的存储，能够 很好的分担存储的压力，从而提高系统的性能。 3 基丁云存储的教学资源整合研究与实现 1 3 研究内容和意义 1 3 1 研究内容 ( 1 ) 本课题主要开展的工作如下： 理论研究工作：云存储相关概念研究；教学资源库建设的技术标准和规范研究； p o r t a l 技术研究；j s f 技术研究；h a d o o p 的相关研究；p k i 技术研究；集群监控研究； 分布式搜索研究。 ( d 项目开发工作： 本课题在完成理论研究的基础上，实现了基于云存储的教学资源整合。在本项目中 主要包含：系统各模块的p o r t a l 页面和j s f 页面的编写、各模块封装的b e a n 类的编写、 各模块使用的s e r v l e t 的编写和整个云存储环境与相关模块的搭建。 1 3 2 课题的意义 云存储的提出让我们以全新的视角去审视目前的教学资源整合方式，云存储的思想 和理念势必为教学资源的整合带来变革。 对本课题研究的意义如下： ( 1 ) 提高各教育机构的软硬件共享 教育机构的硬件资源，如实验室电脑、服务器，甚至个人电脑都能够加入云存储坏 境中，不同的用户通过这个存储云就能访问这些教学资源。用户无论是在办公还是学习 或是日常生活，只要有需求都能通过存储云调用教学资源，获取服务。我们不仅能够通 过电脑，还能通过自己的p d a 、3 g 手机等数字设备访问云中的教学资源。不仅获得的 服务质量更加优化，还可以满足不同层次用户的需求。 ( 2 ) 提高资源的安全性 云存储可为教学资源带来前所未有的安全性和可靠性。将海量的教学资源存储在云 中众多集群节点中，我们不必担心因为某种疏忽造成了数据的丢失、存储硬件损坏或是 计算机病毒和网络黑客入侵所带来的数据安全问题。把教学资源存在云中，就好比把家 里的钱存在银行中一样，比自己藏着钱更加的安全。但是有人担心把教学资源放在那些 我们无法知晓或控制的位置，会存在巨大的风险。这种担心是由有一定道理。但是，只 要对云存储环境进行严格的控制，并且制定明确合法的网络协议，再加上相关监控，云 4 第一章绪论 存储是可以保证数据安全的，至少比存在单一p c 机和服务器上安全。因为，云存储的 存储服务将我们所面对的数据安全风险分散到了广大的云中节点上，资源的安全得到了 很大程度的提高。 ( 3 ) 提高教学资源的共享 随着教学资源的不断增多，许多有条件的教育机构都建立了教学资源库，为广大用 户提供了高质量的资源服务，取得了良好的社会效益。但美中不足的是，各教育机构的 教学资源库却好像一个个网络世界中孤立的小岛，大量的教育资源被隔离在了各个“小 岛”的存储设备中，使得教学资源没有得到充分的共享，使得教学资源无法最优化利用。 而一些优质的教学资源往往掌握在一些实力雄厚的教育机构，普通的教育机构如果要获 得优质的教学资源，则需要花昂贵的费用向教学资源的提供商购买，而购买之后也许会 发现本校用户的需求并不太多。这中情况必然造成教学资源的浪费和某些教育机构教学 成本的提升。 云存储就可以为教育机构提供这样一个方案：将某一地区、某一个城市、某一个省 甚至是一个国家内的教育机构联合起来，将其教学资源全部放入存储云中，任何用户都 可以访问云中资源，获取所需的信息。通过各教育机构将自己的特色资源上传至“云 中，使所有的用户得以分享。 5 第二章云存储的原理和实现技术 第二章云存储的原理和实现技术 2 1 云技术的发展 1 0 年前，s u n 的首席科学家j o h ng a g e 曾经说过一句很有名的话：t h en e t w o r ki s c o m p u t e r ( 网络即是计算机) 。这句话的涵义是：连接所有资源，无论它的创建者是谁； 连接所有的人，无论他们身在何处。可谓一语惊人，拉开了计算机的“云”之幕。 云计算的演进经历了超级计算、集群计算、网格计算和云计算四个阶段，如图2 1 所示。 田固 图2 - 1 云计算的演进 ( 1 ) 超级计算【5 】 关于超级计算和高性能计算的定义有很多，但到目前，没有一个被学术界、工业界 和应用现实所公认。不过，它们都表示了使用当今世界上最高性能的计算机进行计算的 含义。 计算速度是超级计算追求的第一目标。最快的速度，最大的存储，最庞大的体积， 最昂贵的价格。超级计算的名词出现于上世纪2 0 年代，概念形成于上世纪7 0 年代，和 c r a y 公司同步发展。 超级计算的主要用途为科学计算。早期的应用仅涉及格点差分模式计算( 气象预报 软件m m 5 ) ，有限元计算，空气动力学分析，但几乎和数据处理无关。而且，超级计算 致力于专业用户。昂贵的价格，超先进的计算机制造技术，特定的大型工程和大型企业 形成了极少的用户群，也形成了相对封闭的技术时代。 ( 2 ) 集群计算【6 】 7 基丁云存储的教学资源整合研究与实现 在计算机中，集群( c l u s t e r i n g ) 是使用多个计算机，如典型的个人计算机或u n i x 工作站，多个存储设备和记忆冗余的互连线路来组成一个对用户来说单一的、高可用的 系统。集群计算( c l u s t e r i n gc o m p u t i n g ) 能够被用来实现负载均衡。集群的倡导者提出， 对一个企业来说，集群在许多情况下能够达到9 9 9 9 9 的可用性。集群的一个主要思路 是，对外接来说，集群就像是一个唯一的系统。 集群的一个常用用途就是在一个高流量的网站中实现负载均衡。一个网页请求被送 到“管理者”服务器，然后该服务器决定此请求由几个相同w e b 服务器中的哪一个进 行处理。这种w e bf a r m ( 根据配置有时候这样称呼) 能够提升通信量和处理速度。 集群最早是在2 0 世纪8 0 年代d e c 的v m s 系统中出现的，i b m 的s y s p l e x 是与集 群接近的大型主机系统。微软、s u n 微系统以及其它主导硬件和软件流的公司提供有集 群包，并保证提供可扩展性和可用性。随着通信量和可用性保证的增加，集群的整个部 分或局部零件的大小与数量都可以增加。 集群计算还可以被用来进行低廉的并行计算，这些并行计算通常为科学研究或其它 需要并行运算的应用服务。一个著名的例子就是裴欧沃夫( b e o w u l f ) 计划，它使用一 定数量现成的个人计算机组成集群来实现科学应用。 ( 3 ) 网格计算【7 】 上世纪8 0 年代末，由于计算机性能比较低，不能满足大规模的科学计算及超速计 算，于是出现了应用大量系统来解决单一问题的网格计算。网格计算是伴随着互联网技 术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互 联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与 计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网 格 。 这一阶段，网络公司通过部署数以万计的服务器构成庞大的计算资源，得以提供此 前无法完成的新服务。而由此，这种分布式计算的概念将i t 计算世界推向了资源与服 务。 ( 4 ) 云计算8 1 云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机 或远程服务器中，使得人们能够将资源切换到需要的应用上，根据需求访问计算机和存 储系统。云计算集分布式科学计算的概念与服务的商业模式于一身，是科学计算概念的 8 第二章云存储的原理和实现技术 商业实现。 “云”是一个虚拟化的计算机资源池。它可以： 托管多种不同的工作负载，包括成批的后端作业和面向用户的交互式应用程序。 通过快速提供虚拟机器或物理机器，迅速部署和增加工作负载。 支持冗余、自我恢复且具有高可扩展性的编程模型，以使工作负载能够从多种不 可避免的硬件软件故障中进行恢复。 实时监控资源使用情况，在需要时重新平衡资源分配。 云计算概念是对超级计算、集群计算、网格计算概念的继承和发展。这是一种新兴 的模型，利用该模型，用户可以在任何地方通过连接的设备访问其应用程序。应用程序 位于可大规模伸缩的数据中心，计算资源可在其中动态部署并进行共享，以便能够实现 显著的经济规模。随着智能移动设备、高速无线连接以及基于浏览器的功能丰富的w e b 2 0 【9 】接1 2 1 的不断增加，使得基于网络的云计算模型不仅切实可行，而且还有助于降低i t 资源的复杂性。从最根本的意义来说，云计算就是利用互联网上的软件和数据的能力。 云的优势在于其基础架构管理，虚拟化技术的同益成熟和不断进步为这种管理提供 了强大的支持，使云能够通过自动部署、重新构建映像、重新均衡工作负载、监控并系 统地处理变更请求，以便管理并更好地利用底层资源。 通过云，企业或者个人能够通过互联网利用那些大网络公司所释放出来的计算资 源，进行应用部署或者向外提供服务。 云存储系统是一个多设备、多应用、多服务协同工作的集合体，它的实现要以多种 技术的发展为前提。 ( 1 ) 宽带网络的发展 真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用 系统，使用者需要通过a d s l 、d d n 等宽带接入设备来连接云存储，而不是通过f c 、 s c s i 或以太网线缆直接连接一台独立的、私有的存储设备上。只有宽带网络得到充足 的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正 享受到云存储服务，否则只能是空谈。 ( 2 ) w e b 2 0 技术 w e b 2 0 技术的核心是分享。只有通过w e b 2 0 技术，云存储的使用者才有可能通过 p c 、手机、移动多媒体等多种设备，实现数据、文档、图片和视音频等内容的集中存储 9 基丁云存储的教学资源整合研究与实现 和资料共享。w e b 2 0 技术的发展使得使用者的应用方式和可得服务更加灵活和多样。 ( 3 ) 应用存储的发展 云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软 件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务 器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从 而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环 节，提供系统性能和效率，保证整个系统的高效稳定运行。 ( 4 ) 集群技术、网格技术和分布式文件系统 云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点 的存储系统都不是云存储。 既然是由多个存储设备构成的，不同存储设备之间就需要通过集群技术、分布式文 件系统和网格计算等技术，实现多个存储设备之间的协同工作，使多个的存储设备可以 对外提供同一种服务，并提供更大更强更好的数据访问性能。如果没有这些技术的存在， 云存储就不可能真正实现，所谓的云存储只能是一个一个的独立系统，不能形成云状结 构。 ( 5 ) c d n 内容分发、p 2 p 技术、数据压缩技术、重复数据删除技术、数据加密技术 c d n 内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访 问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自 身的安全和稳定。如果云存储中的数据安全得不到保证，想来也没有人敢用云存储，否 则，保存的数据不是很快丢失了，就是全国人民都知道了。 ( 6 ) 存储虚拟化技术、存储网络化管理技术 云存储中的存储设备数量庞大且分布在多不同地域，如何实现不同厂商、不同型号 甚至于不同类型( 如f c 存储和i p 存储) 的多台设备之问的逻辑卷管理、存储虚拟化 管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是 整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性 能扩展难等问题【1 0 】。 云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营 管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心，但对于云存储的运营 单位来讲，却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障 i o 第二章云存储的原理和实现技术 维护难、人力成本高等问题。因此，云存