基于云存储的教学资源整合研究与实现

1、*基金项目:2008年河南省科技攻关项目 (No.082102210106 网格 Portal 关键技术研究 收稿日期:2009年 8月 5日97第 20卷 现代教育技术 V o1. 20 2010年第 3期 Modern Educational Technology No.3 2010基于云存储的教学资源整合研究与实现 *高宏卿 汪 浩(河南师范大学 教育技术系,河南新乡 453007【摘要】 互联网的迅速发展,促进了现代远程教育的兴起。而教学资源的建设又是现代远程教育发展的基础。文章分析了 教学资源的现状和面临的问题,介绍了云存储的基本概念、结构模型和构建云存储的工具,给出了基于云存储的教

2、育资源整合 方案的体系结构,最后对该体系结构进行了实现和性能测试。【关键词】 云存储;教学资源;整合【中图分类号】 G40-057 【文献标识码】 A 【论文编号】 10098097(2010 03009705引言互联网的迅速发展,促进了现代远程教育的兴起。现代 远程教育是一种基于计算机技术、网络技术和通信技术进行 知识传输和知识学习的新型教育模式,在现代教育中扮演着 非常重要的角色。而教学资源的建设又是现代远程教育的重 要组成部分,是现代远程教育的基础。各种教学资源通过网 络跨越时间和空间的限制,满足人们在自主学习中对教学资 源的需要。但是,随着教学资源的不断建设,一些弊端也凸 显出来。教学

3、资源本身具有数量大、形式多样等特点,使得 原先集中管理、集中存储的资源组织管理模式已经不能适应 网络发展、资源应用等多种实际需求,而且教学资源的重复 建设,也造成了资源的极大浪费。云存储作为一种新的服务形式能够很好解决这些问题。 将云存储运用到教学资源的整合中,学校不仅能节省投资费 用,简化复杂的设置和管理任务,而且把教学资源放在云中 还便于从更多的地方访问资源,实现教学资源的共享 1。一 教学资源的现状教学资源 2是教学工作开展的基础,包括文本资源、图形 图像资源、动画资源、声音资源和视频资源等类型。进行教学 资源的整合有利于合理、高效地使用,促进教学质量的提高。 通过开展教学资源的整合活动

4、,既可以应对高校扩招所形成的 对教学资源需求的持续增长与教育投入增长不足、教学资源相 对短缺所形成的矛盾,又可以实现教学资源的共享,提高优质 教学资源的利用率,让更多的大学生获得优质的受教育机会。 然而现阶段教育资源的建设却存在如下问题。教学资源分布不均:师资力量大的学校有着得天独厚的优势,往往能够获得更好的资源,比如试题库,教育视频等。 而对于有些学校,由于资金来源、教育水平等限制,往往面 临着教学资源不足等状况,造成了教学资源分布的不平衡。教学资源更新成本高:技术飞速进步往往要求学校能够 为学生提供最新的教学资源,资源的数据量呈几何曲线性增 长,意味着需要更多的成本,更多的硬件设备投入和更

5、多的 机房环境设备投入,以及运行维护成本和人力成本的增加。 而现在仍然有很多学校,特别是经济条件不好的学校没有资 金购买独立的、私有的存储设备,更没有存储技术工程师有 效地完成存储设备的管理和维护。这都给院校的教学资源建 设带来了很大的压力。教学资源共享程度低:近些年远程教育和网络教育的发 展,造成现有各种教育资源之间缺乏有效的互联互通机制, 共享性差,协作困难。而且教学资源的数据量很大,占用极 大的储存空间,各学校教学资源的重复建设,致使信息垃圾 增长过快,造成存储空间的浪费。这些问题一方面造成了重复的教育资源投入,另一方面 扩大了教学质量的差异。 因此如何对教学资源进行最大程度, 最大范围

6、的整合,成为减少教学成本,提高教学质量,加快 国内高校教育水平的首要问题。二 存储方式的比较下面就原先的教学资源存储方式和云存储方式进行了相 关的比较分析。可靠性:在原先的教学资源存储方式中,资源如果因为 某些原因损毁时,用户就无法进行访问,可靠性不高。而云 中的数据是分布式的存储,教学资源被切分为多个数据块分 散存储在云中的节点中。由于云存储中拥有副本备份机制,每一块数据都有若干备份存储在不同的节点中。当云中的某 个节点发生错误时,不影响资源的完整性,具有很高的可靠 性。可用性:原先的教学资源存储一般使用单一服务器,一 旦服务器发生问题,用户既不能存储资源,也无法访问资源。 而云存储是一种分

7、布式的结构,云中的控制节点通过“心跳 检测”不断地监视存储节点的状态,当发现存储节点已经失 效时,控制节点能够将工作负载交给那些运行正常的存储节 点来完成。这使得云存储具有很高的可用性。存储成本:原先的教学资源的存储一般使用专业的存储 设备,由于专业存储设备价格不菲,使得资源存储的成本也 随之提高。而云中的存储设备都是廉价的商业机,跟单一的 大容量专业存储设备相比较,存储容量更大,存储成本更低。 可扩展性:通过对云中的存储节点进行动态的添加和移 除,可以方便地改变云中的存储容量,而且不影响云中的数 据,比原始的存储方式具有更高的可扩展性。自动容错能力:因为低成本的存储设备的损耗率很高, 云存储

8、能够在软件层做到自动容错而不依赖硬件本身的容 错。管理性:将教学资源存储在云中,有利于对资源进行统 一的管理,提高资源的使用率。服务性能:在原先对教学资源进行单点集中存储的方式 中,当大量用户存储和访问数据的时候,很容易造成设备的压 力过大,影响系统的性能。由于云中的数据是分布式的存储, 能够很好地分担存储和访问的压力,从而提高系统的性能。三 云存储云存储是在云计算概念上延伸和发展起来的一个新概 念。云存储通过虚拟化技术,将服务器、存储设备和其他硬 件视为一个资源池,而不是离散系统,从而可以根据需要分 配这些资源。这样,一个存储云就相当于一个虚拟化的存储 资源池,用来容纳各种不同的工作模式,这

9、些模式可以快速 部署到物理设施上,并且按照用户需求动态地调用资源。云 存储主要是通过将庞大数据自动分拆成无数个较小的数据 块,交由多部存储资源所组成的计算机集群系统进行分布式 的存储。云存储的核心是将应用软件与存储设备相结合,通 过应用软件来实现存储设备向存储服务的转变。1 相关概念云计算是分布式处理、并行处理和网格计算的发展。云 计算通过网络将庞大的计算处理程序自动分拆成无数个较小 的子程序,然后提交给由多部服务器所组成的庞大系统,经 系统计算分析之后再将处理结果返回给用户 3。 云计算在互联 网充分应用的前提下,将计算资源以及存储资源放在网上, 在网上建立一个具有更加广泛含义的计算平台,为

10、人们提供 动态资源池、虚拟化和高可用性的下一代计算平台。通过云 计算技术,网络服务提供者可以在数秒钟之内,处理数以千 万计甚至亿计的信息,提供与超级计算机同样强大的网络服 务。云计算的一个关键之处是它对开发人员和最终用户隐藏 了基础设施的复杂情况。他们不知道或不需要知道云的内部 构造,只需关心云计算提供给他们的服务。云存储的概念与云计算类似,它是指通过集群应用、网 格技术或分布式文件系统等功能,将网络中大量各种不同类 型的存储设备通过应用软件集合起来协同工作,共同对外提 供数据存储和业务访问的功能 4。云存储的思想类似于互联 网。当我们使用互联网时,我们只需要知道是什么样的接入 网和用户名、密

11、码就可以连接到互联网,并不需要知道互联 网中到底有多少台交换机、路由器、防火墙和服务器,不需 要知道数据是通过什么样的路由到达我们的电脑,也不需要 知道网络中的服务器分别安装了什么软件,更不需要知道网 络中各设备之间采用了什么样的连接线缆和端口。互联网对 于具体的使用者是完全透明的,虽然这个互联网包含了许许 多多的交换机、路由器、防火墙和服务器,但对具体的互联 网用户来讲,这些都是不需要知道的。互联网带给大家的互 联互通的网络服务,无论我们在任何地方,都可以通过一个 网络接入线缆和一个用户名、密码,就可以接入互联网,享 受网络带给我们的服务。如同互联网一样,云存储对使用者 来讲,不是指某一个具

12、体的设备,而是指一个由许许多多个 存储设备和服务器所构成的集合体。使用者使用云存储,并 不是使用某一个存储设备,而是使用整个云存储系统带来的 一种数据访问服务。所以严格来讲,云存储不是存储,而是 一种服务。采用云存储, 我们无须像使用某一个独立的存储设备时, 要清楚这个存储设备是什么型号,什么接口和传输协议,存 储系统中有多少块磁盘,分别是什么型号、多大容量,存储 设备和服务器之间采用什么样的连接线缆。而且对于保证数 据安全和业务的连续性,无须自己建立相应的数据备份系统 和容灾系统。除此之外,用户也无需关心存储设备的状态监 控、维护、软硬件更新和升级。云状存储系统中的所有设备 对使用者来讲都是

13、完全透明的,任何地方的任何一个经过授 权的使用者都可以通过一根接入线缆与云存储连接,对云存 储进行数据访问,如图 1所示。 图 1 云存储服务2 结构模型与传统的存储设备相比,云存储不仅仅是一个硬件,而 是一个由网络设备、存储设备、服务器、应用软件、公用访9899问接口、接入网、和客户端程序等多个部分组成的复杂系统。 各部分以存储设备为核心,通过应用软件对外提供数据存储 和业务访问服务。云存储系统的结构模型由 4层组成,自下 而上分别为存储层、基础管理层、应用接口层和访问层,结 构模型如图 2所示。 图 2 云存储结构模型存储层:存储层是云存储最基础的部分。存储设备可以 是 FC 光纤通道存储

14、设备, 可以是 NAS 和 iSCSI 等 IP 存储设 备,也可以是 SCSI 或 SAS 等 DAS 存储设备。云存储中的存 储设备往往数量庞大且分布在不同地域,彼此之间通过广域 网、 互联网或者 FC 光纤通道网络连接在一起。 存储设备之上 是一个统一存储设备管理系统,可以实现存储设备的逻辑虚 拟化管理、多链路冗余管理,以及硬件设备的状态监控和故 障维护。基础管理层:基础管理层是云存储最核心的部分,也是 云存储中最难以实现的部分。基础管理层通过集群、分布式 文件系统和网格计算等技术,实现云存储中多个存储设备之 间的协同工作,使多个的存储设备可以对外提供同一种服务, 并提供更大更强更好的数

15、据访问性能。 CDN 内容分发系统、 数据加密技术保证云存储中的数据不会被未授权的用户所访 问,同时,通过数据备份和容灾技术等措施可以保证云存储 中的数据不会丢失,保证云存储自身的安全和稳定。应用接口层:应用接口层是云存储最灵活多变的部分。 不同的云存储运营单位可以根据实际业务类型,开发不同的 应用服务接口,提供不同的应用服务。比如视频监控应用平 台、视频点播应用平台、网络硬盘引用平台和远程数据备份 应用平台等。访问层:任何一个授权用户都可以通过标准的公用应用 接口来登录云存储系统,享受云存储服务。但是云存储的运 营单位不同,所提供的访问类型和访问手段也不同。3 Hadoop的分布式文件系统

16、HDFS云存储作为一种新型的服务模式, 还处于早期发展阶段, 全球各大 IT 公司现在都在进行投资和推广。很多 IT 厂商比如 IBM 、 Google 、 Amazon 等也推出了自己的云存储平台。其 中比较常用的是 Apache 基金会开发的开源项目 Hadoop 5。 Hadoop 实现了 Google 的 GFS 和 MapReduce 算法, 提供了简 单易用的编程接口,是一种易于处理和保存大量数据的分布 式云计算平台,并且具有扩容能力高、成本低、高效率、高 可靠性的特点。 另外, Hadoop 是一款完全用 Java 开发的开源 软件,因此它可以运行在多种操作系统和商用硬件上。HD

17、FS (Hadoop Distributed File System是 Hadoop 的分 布式文件系统,具有高容错性,并且可以被部署在低价的硬 件设备之上。 HDFS 提供对数据读写的高吞吐率, 很适合那些 有大数据集的应用。 HDFS 是一个 master/slave的结构,就通 常的部署来说, 在 master 上只运行一个 Namenode , 而在每一 个 slave 上运行一个 Datanode 。HDFS支持传统的层次文件组织结构,同现有的一些文件系统在操作上很类似,比如创建和删除一个文件,把一个 文件从一个目录移到另一个目录,重命名等操作。 Namenode 管理着整个分布式文

18、件系统,对文件系统的操作(如建立、 删除文件和文件夹都是通过 Namenode 来控制。 Datanode 是数据的实际存储节点。 HDFS 的架构如图 3所示。HDFS 采取了副本策略, 其目的是为了提高系统的可靠性 和可用性。 HDFS 的副本个数默认为三个副本, 一个放在本节 点上,另一个放在同一机架中的另一个节点上,最后一个放 在另一个不同的机架中的一个节点上。 图 3 HDFS架构四 基于云存储的教学资源整合模型与实现在使用云存储整合教学资源之前,首先要构建一个云环 境。在这个云环境中,由动态可扩展的和虚拟化的存储资源 来提供教学资源存储和访问服务。透过云,可以将庞大的教 学资源自动

19、分拆成大量较小的数据块,交由多个节点所组成 的庞大计算机集群系统进行分散存储。1 基于云存储的教学资源整合模型基于云存储的教学资源整合模型可以划分为 5层。至上 而下分别为客户端、 Portal 6层、应用服务层、存储层和基础 设施层。如图 4所示。 100图 4 基于云存储的教学资源整合模型客户端:客户端用来显示基于云存储的各种应用服务的 Portal 页面。 客户端一般是各种 Web 浏览器, 比如 IE 、 Firefox 、 Chrome 等。 Portal 页面一般是由多个窗口(Portlet 组件组 成。每个 Portlet 是一个云服务,负责显示自己的服务内容。Portal 层:

20、Portal 层由 Portal Server和 Portlet 容器组成。 Portal Server负责接收来自客户端的 HTTP 请求,在 Porlet 容 器中调用 Portlet ,并将 Portlet 产生的内容聚集到 Portal 页面 返回给客户。应用服务层:应用服务层负责各种服务的具体实现。包 括用户的管理、资源的管理、资源目录的管理等。存储层:存储层负责将基础设施层的存储资源虚拟成一 个文件系统, 提供数据的分布式存储。 如使用 Hadoop 的分布 式文件系统(HDFS 。基础设施层:基础设施层主要包括各种存储资源,如硬 盘、数据库等等。2 模型的实现我们使用一般的商业机

21、作为底层的存储设备。使用 Hadoop 作为构建云存储环境的平台,管理底层的商业机,并 虚拟出一个文件系统, 即 HDFS 。 在 HDFS 的基础上, 开发整 合教学资源的应用服务模块,主要包括用户的管理,目录管 理、资源管理、系统管理等。我们使用 Liferay 作为 Portal 容 器,将每一个服务模块封装为一个 Portlet 。在云存储环境中对教学资源存储和访问的具体过程如图 5所示。 图 5 云存储中教学资源的存储与访问过程用户将一个教学资源存储在云环境的过程为:用户通过 Web 浏览器访问教学资源的 Portal 页面,首先在用户认证的 Portlet 中输入用户名和密码。 用

22、户的认证通过 MyProxy 实现, 根据用户提供的用户名和密码,从 MyProxy 得到用户的合法 代理证书。此证书代表了用户的身份,通过证书可以合法访 问相应的应用服务。然后在访问资源存储服务 Portlet 时,用 户需要提交本地资源的路径和资源存储在云中的路径。存储 服务会在本机上的临时文件夹中缓存这些数据,当临时文件 夹中的数据块达到了设定的 Block 值 (默认是 64M 时, Portlet 便会通知云中的名称节点,名称节点便响应 Portlet 的请求, 将资源的文件名插入云中的文件系统层次中并且在数据节点 中找到一块空间存放该数据块,同时将该数据节点和对应的存储空间信息告诉

23、 Portlet , Portlet 便将本地临时文件夹中的数 据块写入指定的数据节点,一个数据块存储完毕后,当临时 文件夹中的数据块再次达到了设定的 Block 值时, Portlet 会向 名称节点申请下一个数据块的存储空间。 由于 Hadoop 拥有副 本备份功能,每块数据块可以存在多个副本并存储在云中的 其它节点上,起到改善服务伸缩性和容错的目的。用户访问云环境中教学资源的步骤为:用户通过 Web 浏 览器访问教学资源的 Portal 页面并且通过身份认证。在资源 访问的 Portlet 中选择自己感兴趣的资源,然后 Portlet 将资源 读取请求发送给名称节点,名称节点返回该资源的

24、所有数据 块所在的数据节点以及各个数据节点的当前负载情况。 Portlet 从数据节点选取合适的节点并且并行地发出读请求,并行的 读请求可以是针对不同的块也可以是同一个块的不同部分, 但是不会是同一个块的同一个部分。不同的请求一般会发送 到不同的数据节点。 Portlet 从不同的数据节点接收到数据后 进行内容汇聚,然后显示给用户。3 性能分析下面我们将对云存储系统读取和写入教学资源的速度进 行测试。在系统的实际运行中将包含几百台的数据节点存储 教学资源,而且拥有大量的用户对资源进行访问。但是为了 便于测试,我们使用 19台电脑构建云存储环境,其中 1台设 置为名称节点, 18台为数据节点。

25、并且另外使用 16台电脑作 为客户端。名称节点和数据节点的配置均为双核 CPU , 2GB 内存, 320G 硬盘,一块 100M 全双工网卡,并以一台交换机 相连。 16台客户端都配备一块 100M 全双工网卡,并以另一 台交换机相连。两台交换机之间使用 1 Gbps的链路相连。(1 数据读取分别测试 1到 16个客户端从云中读取教学资源的速度。101每一个客户端从云中读取 1G 的数据。 50100150147101316客户端数量读 取 速 度 (M B /s 图 6 数据读取速度图 6展示了客户端的合计读取速度和理论上限。合计的 理论上限是在两个交换机之间的 1 Gbps链路饱和的情况

26、下达 到,即 125MB/s的速度,或者当客户端的 100M 网卡饱和的 情况下, 即 12.5MB/s的速度。 当只有一个客户端读取的时候, 观测到的读取速度是 10MB/s, 为理论上限的 80%。 16个客户 端的合计读取速度达到了 94MB/s,大约是理论上限的 75%。 由 80%降低到 75%的原因是由于读取者的增多,导致多个读 取者同时从相同数据节点读取得可能性增加,导致的读取性 能有所下降。(2 数据写入分别测试 1到 16个客户端向云中写入教学资源的速度, 每一个客户端向云中写入 1G 的数据, 如图 7所示。 因为每一 个数据块有 3个副本,需写入云中的 3个数据节点,所以

27、理 论上总的写入速度的上限为 67MB/s。 图 7 数据写入速度因为网络协议栈的原因,每一个客户端的写入速度是 6.3MB/s。而且数据从一个副本传输到另一个副本产生了延 时,导致了整个写入速度降低。 16个客户端的合计写入速度差不多是 35MB/s(每个客户端大概 2.2MB/s,差不多是理 论极限的一半。和读取情况比较类似,这样的情况多半发生 于多个客户端同步写入同一个数据节点时导致的性能下降。 此外, 16个写入者要比 16个读取者更容易产生冲突, 这是因 为每一个写入要写入三份副本的原因,写入速度比我们预期的要慢一点。在实际情况下,这并不是一个大问题,因为即 使在单个客户端上能够感受

28、到延时,也不会对大量客户端的 情况下,对整个写入带宽造成明显的影响。五 结束语教学资源的建设是远程教育发展的重要的环节,对教学 资源进行整合有利于教学资源的共享,减少教学的成本,提 高教学的质量。而云存储作为一种新的服务形式,能够很好 地解决教学资源整合中产生的问题。云存储作为教育资源整 合的有力手段,对教育资源的建设和发展有着积极的促进作 用。随着云存储的不断发展和完善,必然会在高等院校和教 育网络中有着越来越多的应用。 参考文献1 高宏卿 , 李静 . 网格技术及校园网资源建设研究 J.河南师范大学学报 ,2005,33(3:26-28.2 孔繁之 , 王春梅等 . 数字校园中教学资源库的建设与应用研 究 J.