基于Hadoop的云教学资源平台设计与实现

1、第34卷第16期企业技术开发2015年6月VoL34No16 TECHNOLOGICAL DEVELOPMENT OF ENTERPRISEJun2015基于Hadoop的云教学资源平台设计与实现张拥华(湖南工业职业技术学院，湖南长沙410208)摘要：随着教学资源的不断增加，海量的数据资源如何实现有效的管理已经成为高校研究的一个新难题。文章的研究内 容是基于Hadoop的云教学资源平台的研究和设计。目标在于经过实现基于Hadoop的云教学资源平台，提高系统的安全 性，解决教育资源在存储方面的问题，给教学提供一个安全、稳定、方便的教育资源平台。关键词：Hadoop；教学资源；云平台中图分类号：

2、TP333 文献标识码：A 文章编号：10068937(2015)16002404DoI：10141650cnkihunansci201516008 Design and implementation of cloud based teaching resource platform basedon HadoopZHANG Yong-hua(Hunan Industry Polytechnic，Changsha，Hunan 410208，China)Abstract：With the continuous increase of the teaching resources，how to re

3、alize the effective management of the huge amount of data resources has become a new research in the university difficult problemThe research content of this paper is based on the research and design of the cloud platform of teaching resources based Oil HadoopGoal is through implementation based on

4、Hadoop cloud platform of teaching resources，improve the security of the system，solve problem of educational resources in storage，for students to provide a safe， stable and convenient platform for the resources of educationKeywords：Hadoop；teaching resources；cloud platform云计算，是当前现代信息技术领域非常前沿的一种年2月，NDF

5、S(Nutch分布式文件系统)和MapReduce由于 技术，利用云计算技术可以将分布在不同地理位置的计 在Nutch项目中应用良好，所以，分离出来成为一套命名 算机集成在一个平台下，实现大型的超级计算机，获得 为Hadoop的独立而完整的软件。 强大的计算能力，并且可以实现对所管辖的计算机资源Hadooop是Apache旗下的用于分布式计算的一个开 全方位的管理和控制【11，目前，全球众多研究人员、科研 源平台21。HDFS(Hadoop分布式文件系统)和MapReduce 机构致力于云计算的研究，并获得了不少成果。 (谷歌MapReduce的开源实现)是Hadoop的核心，使用利用云计算的

6、优势，将其应用到教学领域将有利于Hadoop的用户可以清晰地了解系统底层的分布式架构3。 促进学生自主学习，提升教学质量和效果，作为云计算Hadoop的整合资源的能力可以使用户轻松构建自己的 的常用框架Hadoop，目前已经在很多应用中被广泛使用，分布式云计算平台，同时，Hadoop集群存储和计算的能 本文将利用Hadoop技术设计并实现一个云教学的资源 力，也使用户更好地处理海量的数据。 平台，从而有效的整合学校的各类教学资源，保证教师随着Hadoop的发展，越来越多的项目加入到这个大 和学生都能便捷的从该资源平台获取教学资源，提高教集合中，除了HDFS和MapReduce#"，H

7、Base、Hive、Chukwa、 学质量，提升教学效果。Common、Pig、Avro等项目也已经成为其不可缺少的一部分，它们之间协同工作，为用户提供更好的服务41。1 Hadoop平台概述2系统设计框架Hadoop是在Apache Nutch的基础上发展起来的，Nutch项目作为Lucene项目的一部分开始于2002年。200621系统需求分析 基：J：Hadoop的云教学资源平台主要是需要为用户提收稿日期：20150427 供所需要的教学资源，因此，平台必须资源丰富、功能完作者简介：张拥华(1977一)，女，湖南宁乡人，硕士研究生，讲师，研究整、用户具有良好的体验，通过对笔者所在学院进行

8、调方向：大数据分析和云计算研究。项目基金：湖南省教育厅科学研究项目“云计算环境下的精准营销团 研走访，可以将本系统的需求总结为以下六个方面。购网站关键技术研究”(12C1032) 降低存储成本。教学资源随着信息技术在教育领万方数据第34卷第16期 张拥华：基于Hadoop的云教学资源平台设计与实现域的发展呈现爆炸式增加，传统的教学资源平台存储这观地使用系统，将自己的请求发送给系统，系统接收到 些海量数据的成本是非常高的。因此，新的系统应该严格请求后就会产生响应将用户所需要的东西发送给用户。 控制存储成本，用比较低的成本来存储海量的教学资源。本系统主要的功能就是能够存储并管理海量的教学要保证教学

9、资源数据以及用户信息的安全性。任资源。该教学资源平台主要是由教学资源管理、系统平何一个系统的安全性都是非常重要的，特别是用户的个 台管理、管理员模块和用户模块4个功能模块构成，如图 人资料信息。2所示。工要能够整合教学资源。将各种教学资源进行统一角色。教辑、学生、院梭、企业、社会存储，整合旧有的教学资源，并不断添新，丰富平台的教学资源。基于H·d口的云教学在完成基本功能的基础上，要能够给用户提供个资霉平台性化的服务。比如，能够自动为用户推荐自己感兴趣的平台管瑶ll教学资源管瑶教学资源以及要为用户提供自己的专属空间等。用户在资源平台的发展。 到国斟剧剧圉引圉l|l圉目剖圉匡这个平台上应

10、该是可以相互交流的，这样更有利于教学这个系统应该是一个开放的系统，而不是封闭的。图2平台的功能模块设计 虽然系统的服务对象主要是教师和学生，但是对于其他教学资源模块：包括教学资源的分类管理、教学资 的群体也应该是来者不拒的。 源的上传、查询、下载和删除等功能；要保证系统具有很好的扩展性。用户的需求是不平台管理模块：包括报警管理、故障管理以及服务 停变化的，该系统要能够具备良好的扩展性，使系统上器管理等功能；线后仍能继续增加满足用户需求的功能。管理员模块：包括普通用户的权限管理、用户的日22系统总体框架志管理、用户管理等功能；本教学资源平台从下到上大致分为4层：数据资源 用户管理模块：包括用户的

11、注册、用户的登陆、用户层、数据存储层业务逻辑层以及用户层。基：=Hadoop的个人资料的编辑以及用户文件的增删改查功能。，f云教学资源果毛采的总体框架模型，如图1所示。23系统功能设计在基于Hadoop的云教学资源平台中，管理员和用户都可以通过浏览器注册登录后按照自己的意愿进行一 定的操作，这些操作都是在他们各自权限允许的范围内。I普通用户使用本系统时的情况，如图3所示。和普通用户目录管理系统管理安全臂蓬用户管理 相关的功能有：文件评价、文件下载、文件上传、查看教资源管理权限臂瑾l，芋学资源详细信息、查看教学资源列表、登录与注册、修改i个人资料以及密码找回等。i图1平台整体框架的设计数据资源层

12、：主要用于管理和存储大量的教学资源 数据，由多台廉价的Pc构成，属于系统的硬件资源，是整 个系统的最底层。数据存储层：为教学资源平台提供分布式存储和计图3用户用例图算，主要负责任务的分配和数据的管理，是由MapReduce普通用户在注册通过之后，可以通过登录本系统来和HDFS共同组成的。 获取自己所需要的教学资源，同时也可以将自己的拥有业务逻辑层：提供了系统平台的资源管理、目录管 的教学资源共享给其他的用户。 理、安全管理和设置等功能，主要用于存储系统和应用在设计开发本系统的时候，我们要在实现基本功能程序之间的沟通。 的基础上更多地为用户考虑。因此，我们设计了资源关用户层：是整个系统的最顶层。

13、用户可以在这一层直注和资源评价功能。在教学资源平台中，有很多教学资源是持续更新的，用户可以使用系统的资源关注功能来万方数据企业技术开发2015年6月关注自己喜欢的教学资源，当这些教学资源更新后，系表2 mapred-sitemall的配置信息表 统会自动提醒关注该教学资源的用户。另外，用户下载ParameterValue 资源之后需要对该资源进行评价，系统会根据评价的高mapredjobtrackerhttp：19216814：9001 低来对不同用户上传的相似资源进行排序。同时，其他(要)hdfssitexml文件的配置。 用户也可以根据资源评价来判断某一资源是不是自己 这个文件主要的作用是

14、设置HDFS相关的信息，该 想要的，资源评价功能的推出能让用户更快、更好地找文件在基=J：Hadoop的云教学资源平台中的具体配置信到最优的教学资源。 息，见表3。管理员使用本系统时的情况，如图4所示。与管理表3 hdfssitexml的配置信息表 员相关的功能有：审核教学资源、管理普通用户信息、普ParameterValue 通用户权限控制以及集群信息管理等。坐!：堡!塑! !coresitexml文件的配置。这个文件主要的作用是设置Hadoop集群的全局性参 数，如I，O属性、日志文件以及临时目录等，该文件在基于 Hadoop的云；教学资源平台中的具体配置信息，见表4。裹4 coresit

15、emall的配置信息表ParameterValRehadooptmpdirusrHadoopltmp图4管理员用例图fsdefaultnalne hdfs：19216814：9000与普通用户相似，系统也只对管理员开发器权限之32分布式计算模型实现 内的功能模块。管理员可以查看和更改系统的某些配置，本文所设计的基于Hadoop云-教学资源平台的分布式 还可以管理用户的信息和教学资源，监控系统运行的错 计算模型包括两部分，分别是Map和Reduce，其模型，如误日志信息，保证系统的正常运行，给用户带来最佳的图5所示。 体验。A土，(毒)主3系统实现f乡( M ，审 (M jU丫31Hadoop平

16、台搭建1(4：黼：v“：vKI：V蛆：y为了完成本文所设计的基=f：Hadoop的教学资源平，上、KI：vl【l：v眨：7Kl：vK3y酣：Y如n·p姆K台，首先，需要搭建Hadoop平台。Hadoop的配置文件分为L一一l只读类型的默认文件和定位设置文件两类，默认文件包Grelt喇lKl：VK2：v 髓：vl【3：vT94：v,vK5：T括mapredqueuesxml、mapreddefaultxml、hdfsdefaultxml牵牵() 孛牵以及coredefaultxml，定位设置文件包括mapredqueuesxml、mapredsitexml、hdfssitexmlVA及

17、coresitexml。我们owttmt 通常使用configuration类来读取hadoop的配置文件，通过图5系统分布式计算模型 xml形式的resource来定位Hadoop的配置，每个resource都将云教学资源平台中的海量资源数据分割为M个片 包含很多的namevalue对。下面对需要重点进行配置的文段进行Map映射操作，产生键值对，然后，对k值进行Group 件进行说明。操作，产生新的元组，将这些新产生的元组分给为R个片(!)Hadoopenvsh文件的配置。段进行Reduce归约操作，将输出的数据保存到分布式数 这个文件主要的作用是设置安装在计算机上的JDK 据库中，从而实现

18、分布式计算模型。的位置，还可以设置Hadoop守护进程的环境变量，该文33主要模块实现流程图 件在基于Hadoop的云教学资源平台中的具体配置信息，限于篇幅，本文主要对用户登录和注册模块、资源 见表l。推送模块的流程图进行说明。表1 lhdoopenvsh的配置信息表 用户登录和注册模块。Parameter ValHe 只有经过注册登录的用户才可以使用系统的功能。java_homeusrjav叫dkl6用户登录注册的流程图，如图6所示。当用户在系统登录)mapredsitexml文件的配置。界面输入账号的时候，系统会判断该用户名是否已经存 这个文件主要的作用是设置MapReduce的位置信息

19、在于数据库的用户信息表中，如果存在就进行用户名和和运算参数等，该文件在基于Had00p的云教学资源平台 密码的验证工作，否则，系统会提示用户进行注册。 中的具体配置信息，见表2。在用户注册的时候，用户名、密码、邮箱以及性别等万方数据第34卷第16期张拥华：基于Hadoop的云教学资源平台设计与实现 27否古图6用户登录注册流程图信息都是必填的，验证注册信息的时候我们采取邮箱验图7教学资源推送流程图 证的方式。同时，注册成功的用户在登录之后会拥有自 册登录到云教学资源平台中搜索自己所需要的教学资 己的个人空间，还可以修改自己的资料，添加和关注自源，提高了老师科研和学生学习的效率。同时，教师和 己

20、感兴趣的教学资源类别。 学生还可以在本系统中进行互动交流，增强师生之间的教学资源推送模块。 关系。教学资源推送功能就是系统智能地、主动地将用户可能需要的教学资源推送给用户。系统记录用户平常查参考文献：看、下载、上传和关注的教学资源类型，然后，对这些记【l】刘鹏云计算【M】北京：电子工业出版社，2010录进行分析，从而找出用户对那一类型的教学资源感兴【2】饶丹鹃多媒体教学资源云共享平台设计研究【D】南京：趣。最后，再将云服务器中评分较高的或者是最新更新南京师范大学，2013的这一类型教学资源推送给用户。由于这个功能是系统【3】闫娟，耿凯峰，刘丽基：J：Hadoop平台的教育资源库建设的主动行为，因此，用户可以选择是否开启此功能。教学【J】河南师范大学学报(自然科学版)，2013，41(2)：161资源推送功能的流程图，如图7所示。 1644结语【4柳俊基于Hadoop的海量教学资源存储平台的设计与研究【J】电脑与电信，2