（计算机系统结构专业论文）基于网络教学资源归并的云存储模型研究.pdf

r e s e a r c ho fc l o u d s t o r a g em o d e l b a s e do nt h ei n t e g r a t i o no fo n l i n e t e a c h i n g r e s o u r c e s 彳砌e s i s s u b m i t t e di np a r t i a lf u l f i l l m e n to f t h er e q u i r e m e n t f o rt h em sd e g r e ei nc o m p u t e rs c i e n c e b y q i nx i a o p i n g p o s t g r a d u a t ep r o g r a m d e p a r t m e n to fc o m p u t e r s c i e n c e c e n t r a lc h i n an o r m a lu n i v e r s i t y s u p e r v i s o r ：z h e n gs h i j u e a c a d e m i ct i t l e ：p r o f e s s o rs i g n a t u m a y 2 0 1 1 硕士学位论丈 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者鲐鲁衅 日期： 口f 1 年萝月毒日 学位论文版权使用授权书 学位论文作者完全了解华中师范大学有关保留、使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属华中师范大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅； 学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手 段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密，在年解密后适用本授权书。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 作者签名：覃啦萍 日期：年y 月。方f 日 导师签名： 日期：矽f 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库 中全文发布，并可按“章程 中的 规定享受相关权益。回意途塞量变质澄卮；旦圭生；旦二生；旦三生筮查! 作者签名：荤略薄 日期：加f f 年岁月弓1 日 导师签名： 日1 年厂月；日 硕士学位论炙 m a s t e r st h e s i s 摘要 随着互联网技术和多媒体技术的迅猛发展，网络技术和教育技术日益融合，由 此构成了一种新兴的教育方式一远程教育。远程教育已成为现代教育技术的重要手 段，这种教育方式也越来越被大众所接受。这标志着我们已经步入了教育信息化时 代。而在远程教育系统中，教育资源是非常重要的组成部分，网络教育资源的建设 是远程教育平台建设的基础，越来越多的学习者期望能快速、方便地获取他们需要 的学习资源。在开展远程教育的过程中，建设高水平的网络教育资源会起到巨大的 促进作用。但是，随着远程教育平台的不断涌现，网络教学资源的数量越来越多， 资源的种类和形式也越来越多。因此，先前对教学资源的存储管理模式已经不能满 足实际教与学的需要，而且各个教育机构所建设的教育资源缺乏共享，资源重复开 发的情况比较严重，导致了资源的浪费。所以，我们需要对海量的网络教学资源进 行整合，实施规范的存储和管理。 针对上述问题，我们考虑将新兴的存储模式一云存储运用到网络教育资源的整 合中来，由此构建一个“教育云”。这样能够实现教学资源的充分共享，降低远程 教育系统的建设成本，规范网络教学资源的存储管理0 1 。 本论文的整体研究思路为：首先重点分析了网络教学资源的建设现状，然后简 单介绍了数据挖掘及k m e a n s 聚类算法的相关概念；由于本论文采用的是h a d o o p 分 布式文件系统( h d f s ) 来实现云存储的存储管理，因此论文在第三章对h d f s 进行重 点分析；本文对数据挖掘中的k - m e a n s 聚类算法进行了改进和扩展，并进行了对比 实验和结果分析，期望运用改进的算法对存放在远程教育系统上的教育资源进行聚 类，从而实现教学资源的分类存储。最后，本文构建了一个基于网络教学资源归并 的云存储模型。在这个应用模型中，学习者可以便捷地从“教育云 中获取所需的 学习资源，网络教学资源的存储和管理也更为简单。 关键词：远程教育；教学资源；云存储；h d f s ；k m e a n s 算法 硕士学位论炙 m a s t e r st h e s i s a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e m e tt e c h n o l o g ya n dm u l t i m e d i at e c h n o l o g y ， n e t w o r kt e c h n o l o g ya n dt h ee d u c a t i o n a lt e c h n o l o g yb e c o m ei n c r e a s i n g l yi n t e g r a t e d ， w h i c hc o n s t i t u t e san e wf o r mo fe d u c a t i o n d i s t a n c ee d u c a t i o n d i s t a n c ee d u c a t i o nh a s b e c o m ea ni m p o r t a n tm e a n so fm o d e me d u c a t i o n a lt e c h n o l o g y ，t h i se d u c a t i o n a lm e t h o d i si n c r e a s i n g l yb e e na c c e p t e db yt h ep u b l i c ，as i g nt h a tw eh a v ee n t e r e dt h ea g eo f e d u c a t i o ni n f o m a t i o n i z a t i o n i nt h ed i s t a n c ee d u c a t i o ns y s t e m ，e d u c a t i o n a lr e s o u r c e si sa v e r yi m p o r t a n tp a r t ，a n dt h eb u i l d i n go ft h en e t w o r ke d u c a t i o n a lr e s o u r c e si st h eb a s i so f t h ed i s t a n c ee d u c a t i o np l a t f o r m m o r ea n dm o r el e a r n e r se x p e c tq u i c k , e a s ya c c e s st o l e a r n i n gr e s o u r c e st h a tt h e yn e e d i nt h ep r o c e s so fc a r r y i n go u td i s t a n c ee d u c a t i o n ，b u i l d ah i g hl e v e lo fo n l i n ee d u c a t i o nr e s o u r c e sw i l lp l a yah u g er o l e h o w e v e r , w i t ht h e c o n t i n u o u se m e r g e n c eo fd i s t a n c ee d u c a t i o np l a t f o r m ，t h en u m b e ro ft h e t e a c h i n g r e s o u r c e sl o c a t e di nt h ed i s t a n c ee d u c a t i o np l a t f o r mi sg r o w i n gr a p i d l y , a n dt h ef o r mi s a l s oi n c r e a s i n g t h e r e f o r e ，t h ep r e v i o u s l yw a yo fs t o r e da n dm a n a g e m e n to ft e a c h i n g r e s o u r c e sc a nn o tm e e tt h ea c t u a ln e e d so ft e a c h i n ga n dl e a r n i n g ，a n dt h ee d u c a t i o n a l r e s o u r c e st h a ta r ec o n s t r u c t e db yv a r i o u se d u c a t i o n a ls t r u c t u r ea r el a c ko fs h a r i n g ，t h e d u p l i c a t i o no fr e s o u r c e sd e v e l o p m e n ti sv e r ys e r i o u s ，w h i c hl e a d st ow a s t eo fr e s o u r c e s t h e r e f o r e ，w en e e dt oi n t e g r a t ev a s ta m o u n t so fo n l i n et e a c h i n gr e s o u r c e s ，a n d i m p l e m e n tt h es t a n d a r d i z e ds t o r a g ea n dm a n a g e m e n to fr e s o u r c e s i nr e s p o n s et ot h e s ep r o b l e m s ，w ec o n s i d e rt h en e ws t o r a g em o d e l c l o u ds t o r a g e ， t oi n t e g r a t eo n l i n ee d u c a t i o n a lr e s o u r c e s ，t h u sb u i l d i n gt h e ”e d u c a t i o nc l o u d t h i s e n a b l e sf u l ls h a r i n go ft e a c h i n gr e s o u r c e s ，r e d u c et h ec a p i t a lc o s to fd i s t a n c ee d u c a t i o n s y s t e m s ，a n ds t a n d a r d i z es t o r a g em a n a g e m e n to fo n l i n et e a c h i n gr e s o u r c e s1 1 1 r e s e a r c hi d e a si nt h i sp a p e ri s ：f i r s t ，w ea n a l y z e dt h ec o n s t r u c t i o ns t a t u so fo n l i n e t e a c h i n gr e s o u r c e s ，a n dt h e ni n t r o d u c e st h er e l a t e dc o n c e p t so fd a t am i n i n ga n dc l u s t e r i n g ； a si nt h i sp a p e rw eu s eh a d o o pd i s t r i b u t e df i l es y s t e m ( h d f s ) t or e a l i z et h es t o r a g e m a n a g e m e n to fc l o u ds t o r a g e ，s ow ea n a l y z e sh d f si nt h et h i r dc h a p t e ro ft h i sp a p e r s ； i nt h i sp a p e r ，k m e a n sc l u s t e r i n g a l g o r i t h mi nd a t am i n i n gh a sb e e ni m p r o v e da n d e x t e n d e d ，a n dw ed ot h ee x p e r i m e n t sa n da l s oa n a l y s i st h er e s u l t s w eu s et h ei m p r o v e d a l g o r i t h mt oc l u s t e r i n gt h ee d u c a t i o n a lr e s o u r c e st h a ta r es t o r e di nt h ed i s t a n c ee d u c a t i o n s y s t e m ，i no r d e rt oa c h i e v et h ec l a s s i f i c a t i o no ft h et e a c h i n gr e s o u r c e ss t o r a g e ；f i n a l l y ，w e c o n s t r u c tac l o u ds t o r a g em o d e lb a s e do nt h em e r g i n go fo n l i n et e a c h i n gr e s o u r c e s i n t h i sa p p l i c a t i o nm o d e l ，l e a r n e r sc a ne a s i l yg e tt h en e c e s s a r yl e a r n i n gr e s o u r c e sf r o mt h e ”e d u c a t i o nc l o u d ”，a n di ti sv e r ys i m p l et os t o r ea n dm a n a g et h eo n l i n et e a c h i n g r e s o u i c e s k e y w o r d s ：d i s t a n c ee d u c a t i o n ；t e a c h i n g r e s o u r c e ；c l o u ds t o r a g e ；h d f s ； k - m e a n sa l g o r i t h m i u 硕士学位论丈 m a s t e r st h e s i s 摘 目录 a b s t r a c t n 第一章绪论1 1 1 研究背景与意义1 1 2 国内外研究现状1 1 2 1 国内研究现状及分析2 1 2 2 国外研究现状及分析2 1 2 3 云存储研究现状3 1 3 网络教学资源建设现状4 1 3 1 远程教育平台4 1 3 2 远程教育发展现状5 1 3 3 网络教学资源定义5 1 3 4 网络教学资源建设现状及分析6 1 4 本文的主要工作。7 第二章聚类算法综述 2 1 数据挖掘8 2 1 1 数据挖掘定义8 2 1 2 数据挖掘分类。1 0 2 1 3w e b 挖掘定义1 1 2 1 4w 曲挖掘分类1 1 2 1 5w e b 挖掘过程1 2 2 2 聚类算法13 2 2 1 聚类分析过程13 2 2 2 聚类分析应用1 4 2 2 3k m e a n s 算法15 2 2 4 算法描述l5 2 2 5 算法特点17 2 3 本章小结17 硕士学位论丈 m a s t e r st h e s i s 第三章基于网络教学资源归并的云存储模型1 8 3 1 云计算18 3 1 1 云计算定义1 8 3 1 2 云计算特点1 9 3 2 云存储1 9 3 2 1 云存储定义2 0 3 2 2 国内云存储发展现状2 1 3 2 3 云存储架构2 2 3 3 基于h d f s 的云存储模型2 3 3 3 1h a d o o p 简介2 3 3 3 2 基于h d f s 的云存储体系结构。2 4 3 4 基于网络教学资源归并的云存储模型2 5 3 4 1 整合网络教学资源的必要性。2 5 3 4 2 模型构建。2 6 3 4 3 模型说明2 8 3 4 4 系统实现关键技术2 8 3 5 本章小结2 9 第四章k - m e a n s 算法改进和扩展。 4 1 传统k m e a n s 算法的不足3 0 4 2k m e a n s 算法的改进31 4 2 1 改进原理3 1 4 2 2 改进算法描述3 1 4 2 3 实验分析。3 2 4 2 4 改进k m e a n s 算法的运用3 3 4 3k m e a n s 算法的扩展3 5 4 3 1 扩展思想3 5 4 3 2 算法描述3 7 4 3 3 算法流程3 8 4 3 4 实验分析3 9 ， 4 4 本章小结3 9 第五章总结与展望 4 0 5 1 总结4 0 5 2 展望4 0 参考文献4 2 攻读硕士学位期间发表的论文和参与的项目4 5 致谢。4 6 硕士学位论文 m a s t e r st h e s i s 第一章绪论 1 1 研究背景与意义 随着信息技术时代的到来，网络通讯技术和多媒体技术也得到了前所未有的发 展，并融入到教育技术的发展中，由此带来了远程教育的兴起。这种蕴含着高科技 的教育模式在教育教学中起着极其重要的作用，给学习者提供了众多的学习资源， 极大地推动了我国教育事业的发展。在整个远程教育系统中，教学资源是其最重要 的组成部分。学习者跨越时间和空间，通过网络教学平台获取各自所需的各种学习 资源。因此，资源库建设的好坏直接关系到一个远程教学平台建设的好坏。近几年 来，随着远程教育用户需求的不断增长，以及社会对教育事业的高度重视，国家投 入了大量的人力、物力和财力建设远程教学资源，也取得了一定的成果。但是，随 着建设过程的深入开展，也出现了许多问题。由于教学资源的数量和种类逐渐增多， 教学资源库已经不是简单的数据库能够胜任存储和管理的角色，原先的资源集中管 理方式无法适应实际应用中的需要。这种类似“闭门造车”的存储管理方式也使得 教学资源缺乏足够的共享，从而导致资源的重复开发，造成教学资源很大程度的浪 费。因此，急需用一种高效的存储技术对现有的网络教学资源进行整合归并，对资 源实行统一管理卜1 。 云存储的产生正好可以解决上述问题。我们考虑将这一新兴的存储模式运用到 网络教育资源的整合中来，构建一个拥有海量教学资源的“教育云”，这样便可提 高教学资源的共享程度，大大降低远程教育平台的建设成本，从而对海量网络教学 资源实现较为规范的存储管理，使用户能够更加方便、快速地获取学习资源。因此， 本研究课题具有很好的现实意义和广阔的应用前景。 1 2 国内外研究现状 网络技术和多媒体技术的迅猛发展，给远程教育的发展带来了新的契机。计算 机信息处理技术与教育技术的紧密结合极大地推动了教育信息化的步伐。基于 i n t e m e t 的远程教育已经成为信息技术和多媒体在教学领域的一种最典型的应用。这 种先进的教学模式具有传统远程教育无法比拟的优势，具有数字化、交互性等特点。 在不同的时间和空间下，为学习者创设一种虚拟的课堂环境，从而实现教学资源的 传播和学生的自主学习。网络教学资源的构建是网络教育的基础，目前已有许多这 方面的研究成果和相关产品。由于人们对知识需求的不断提升，对知识的获取方式 的多样性促使网络教育越来越受到人们的青睐，也提出了越来越高的要求。云计算 的提出，更加扩展了学习终端设备的范围。在一个云计算的网络中，不再需要坐在 电脑前，越来越迷你化的设备使得人们可以在任何地方、任何时间从“云 中获得 所需的学习资料。在云存储中，用户只需拥有最简单的终端设备( 个人计算机，o l p c 或智能手机等) ，运行浏览器，就能随时随地进行学习、资料处理和实验p j 。 1 2 1 国内研究现状及分析 国内现有的与数据管理相关的云计算研究工作暂时还处于起步阶段，运用云存 储技术对远程教育平台上的教学资源进行整合的研究也只是处于理论研究阶段，还 未进入实际建设阶段。当前中国的云计算发展还出于成长期，有关专家预计，五年 之后，中国的云计算产业将进入较为成熟的时期，广大互联网用户将享受云计算这 种服务模式所带来的便利。埃森哲( a c c e n t u r e ) 2 0 1 0 云计算研究调查报告中指出，在 未来的两年内中国的众多大企业将开始提供和使用云计算服务【4 】。国内拥有丰富计 算资源和数据资源的企业将会在云计算发展上占有很大的优势，例如百度、华为、 迅雷、腾讯等。在开发云计算服务的过程中，这些企业除了要突破带宽、软硬件设 施管理、安全性等技术瓶颈，还要尽快开拓出云计算的新的应用领域。本文所选取 的网络教学资源的整合正是一个很好的研究和应用领域。 1 2 2 国外研究现状及分析 目前，世界各国的教育机构都在充分利用互联网技术的优势，积极建设和共享 网络教学资源。美国的凤凰大学是美国开办最早的网络教育机构，可以说是现代远 程教育的开拓者【5 1 。根据美国有关部门调查，到本世纪初，大约9 0 的美国高等院 校都开展了众多的远程教育课程。英国也早在1 9 9 3 年就开始创建电子校园，现在， 英国开放大学的o c i ( o p e nc o n t e n ti n i t i a t i v e ) 项目也具有相当大的影响力。此外，还 有卡耐基梅隆大学的开放学习计划( o l d 、麻省理工学院( m i t ) 的开放课件运动 ( o c w ) 等等都是较为成功的远程教育的代表。 在e l s e v i e rs c i e n c e 全文期刊中检索发现，关于网络教学资源的研究也相对较少， 而关于远程教育和网络学习的文献较多。以篇名为检索项，以d i s t a n c ee d u c a t i o n 、 e 1 e a r n i n g 或d i s t a n c el e a r n i n g 为检索词，精确匹配，检索近十年的全部文献，有5 0 0 篇左右数量的文献，其中以e 1 e a r n i n g 为检索词时文献数量最多。可见，国外关于 网络教学资源的研究也还不多，当然也有可能在远程教育中会涉及到这方面的研 究，只是把教学资源作为重点研究对象的文献资料不是很多，而且这些文献从2 0 0 1 年才开始大批量出现的。 2 1 2 3 云存储研究现状 云存储1 6 1 是由云计算延伸和发展而来的，它是指通过集群应用、网格技术和分 布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起 来协同工作，共同对外提供数据存储和业务访问功能的一个服务系统。 为了对国内的云存储文献研究情况进行较为详细的分析，本文选取了目前国内 最大的连续动态更新的数据库一中国期刊全文数据库( c j f d ) 作为文献检索来源。在 中国期刊全文数据库中检索从2 0 0 3 年到2 0 1 1 年的文献，以云存储为检索词，篇名 为检索项，精确匹配，共检索出全部文献5 0 条，核心期刊共8 条纪录，电子技术 及信息科学类共有4 6 条记录，其中教育与社科综合类仅5 篇文献。 表1 1中国期刊全文数据库中云存储文献统计 从表1 1 可以看出，国内关于云存储研究的文献资料是从2 0 0 8 年才开始出现的。 其实早在2 0 0 6 年，谷歌推出“g o o g l e1 0 1 计划 的时候就正式提出了“云 的概 念和理论，但在头两年内国内还鲜有这方面的研究文献出现。直到2 0 0 8 年才出现 了为数很少的文献，2 0 0 9 年的文献数量也不多。2 0 1 0 年研究成果显著，核心期刊 出了5 篇文献，而且文献的数量比前几年多了几倍，其中电子技术及信息科学类出 的文献数量最多，教育与社科类也出了4 篇文献。据此推测，2 0 1 0 年应该是刚掀起 对这一领域研究的高潮，大量专家学者开始关注云存储的发展并投入到研究中来。 但由于云存储在中国的起步较晚，所以总的来说目前国内关于这方面的研究还比较 欠缺，对这一领域的研究力度不够。 从表1 1 中的统计结果我们还可以看出，从2 0 0 8 年出现云存储方面的文献开始 到2 0 1 1 年，文献的总数量为5 0 篇，但是核心期刊上的文献只有8 篇，所占百分比 为1 6 。这更加说明国内云存储的研究才刚起步，因为核心期刊上的文献多是代表 了一个领域里比较权威的观点，文章都有一定的含金量。因此对核心期刊的研究更 能反映这一领域的发展情况。 1 3 网络教学资源建设现状 网络教学资源是远程教育平台的重要组成部分，是现代远程教育的基础。远程 教育平台提供给学习者的就是各种各样的学习资源，所以教学资源建设的好坏直接 关系到远程教育平台建设的好还。为了更加透彻地了解网络教学资源的内涵和对其 进行规范建设的重要性，下面先对远程教育系统做一个简单的介绍。 1 3 1 远程教育平台 远程教育( d i s t a n c ee d u c a t i o n ) ，又称远程教学，是指使用电视及互联网等传播媒 体进行远距离教育的的教学模式。这种教学模式突破了时间和空间的界限，学习者 不需要集中到特定的地点上课，可以随时随地获取自己所需的学习资源，进行自主 学习。可见，远程教育这种教育方式满足了人们对廉价而又易于企及的教育需求， 给学习者带来了极大的方便。远程教育发展到现在已经有一百多年的历史，它是教 育发展、科技进步及社会发展综合作用的结果，特别是科技的进步，对远程教育的 发展起到了巨大的推动作用。 远程教育的最初形式，是以邮政传递、电子邮件为主要通信手段的函授课程。 这种学习方式为学校将学习资料发给学生，学生主要通过自己阅读的方式进行自 学，学生和老师的交流是通过书信、电子邮件等方式进行的，包括问题咨询和解答， 作业也通过信件或电子邮件等方式上交。这种课程在当时是很新颖的，并因其民主 的特性而成为令人振奋和收效显著的学习方式。 我国的远程教育发展到现在已有1 0 0 多年的历史。按照媒体发展的不同阶段， 远程教育在我国的发展主要经历了三个阶段【8 】：函授教育，广播电视教育，以及现 代远程教育。1 9 1 4 年商务印书馆成立函授学社，这是我国函授教育的萌芽。新中国 成立后的1 9 5 1 年，中国人民大学创办函授教育部。到1 9 8 5 年，国内共有三百多所 高等院校开办了函授教育课程，参加函授学习的学生接近4 0 万人。在互联网技术 还不是很发达的年代，广播电视教育就成为了国内远程教育的主要形式。我国的第 一所广播电视大学北京广播电视大学，于1 9 6 0 年正式成立。随着互联网的日益 普及，计算机网络技术和多媒体技术融入n - j 远程教育的发展中，由此产生了一种 新的远程教学形式一现代远程教育。相对于电视、广播等媒体为传输媒介的第二代 远程教育，人们把基于互联网的现代远程教育称之为第三代远程教育，也称为网络 教育。这种教育模式摆脱了传统教学受限于时间和空间的束缚，还可以针对学习者 的不同学习情况，为学习者提供个性化的学习内容【7 】。 现代远程教育是一种跨学校、跨地区的教育体制和教学模式，有效地发挥了远 4 硕士学位论丈 m a s t e r st h e s i s 程教育的特点，不需要学生和教师面对面地交流。它的特点是：教师与学生分离； 采用互联网作为传输媒体进行教学资源的传输；学习的方式和场所不固定，灵活可 变。与传统的课堂教育相比，网络教育可以给学习者提供更多的学习机会，更丰富 的学习资源；可以扩大教学规模，提高教育教学质量，降低办学的成本。因此，发 展现代远程教育具有重大的社会意义和良好的应用前景。 网络通讯技术的进步，使得教学资源的开发与传播变得更为方便有效。从2 0 世纪9 0 年代中期开始，互联网技术和多媒体技术的空前发展，极大地促进了现代 远程教育的革新。现阶段由于3 g 网络的普及和智能手机的功能越来越强大，通过 手机上网学习成了新的学习途径。这种方式更为便捷，给远程教育的发展带来了更 加有力的技术支撑。 虽然现代远程教育不能解决世界上所有教育资源的传送问题，但是它却不无助 益。如果发展得当，加上世界各国公共和私营机构的通力合作，远程教育可借助日 益普及的通讯技术将教育资源提供给学习者。学习者不管在美国，还是欧洲，或是 全球任何角落，只要有卫星传播、光纤网络、电视、计算机或各种形式的电子平台 的地方，就能接受远程教育。 1 3 2 远程教育发展现状 我国教育部从1 9 9 8 年9 月开始“现代远程教育工程 的实施，经过二十几年 的建设，网络教育已经取得了巨大的成就。截止到2 0 0 5 年底，教育部共批准了六 十多所高等院校进行“现代远程教育 试点，在远程教育平台上注册的总人数达到 四百多万人，这些试点院校开发完成了上万门网络课程。远程教育的推广和普及是 教育信息化处理的关键，而网络课程是远程教育平台建设的关键和核心资源。近年 来，网络课程的数量增长十分迅速，但质量不尽如人意。相关部门调查发现，“大 量的远程教育课程并没有按照教育部颁布制定的规范进行设计和开发”【9 】，导致远 程教育的优势并没有被充分地发挥出来。 1 3 3 网络教学资源定义 教学资源是网络教学的核心，包括各种各样的电子资料，对繁杂的资料库进行 归并整合管理，并能快速、合理、高效的使用，是提高网络教学质量的关键【1 0 1 。网 络教育资源实际上是借助网络手段进行教育资源的自我传播，最大程度发挥学习用 户学习的自主性。人们根据远程教育信息资源本身的特点，运用各种技术方法和工 具，对远程教学资源进行加工和整理，从而有利于远程教育信息的存储、传播、检 索和利用，以满足人们对网络教育信息的需求【l 。 5 硕士学位论炙 m a s t e r st h e s i s 网络通讯技术的快速发展与完善，为网络教学资源实现大规模的开放共享提供 了有力的技术支撑。越来越多的教育机构开始关注教学资源的开发和建设，这给学 习者带来了更多、更好的学习资源。但是，另一方面，也出现了很多教育资源的应 用问题。许多网络教学平台只是将互联网通讯技术当作简单的通讯工具，如通过 e m a i l 进行问题咨询或疑难解答，或者是将网络媒体仅仅当作“电子书本 ，在网 上发布一些文本化的教学资源 1 2 1 ，学习者也只是把这些教学资源当作电子化的教 材。 网络教学资源库依托网络环境，依据一定的分类规则，将各种素材进行分类整 理，随着网络教育的飞速发展，教学资源越来越丰富，各个院校都建立起自己的教 学资源库，为学生提供方便快捷的学习途径，从而提高教学资源的利用率，促进网 络教育飞速发展。具体资源形式包括各种素材，即目前教师所使用的各种数字教学 内容，包括：电子文档、p p t 教案、音视频素材、图片、网页课程等，这就是我们 要去整合的资源。 至今，用于远程教育的教学资源多是集中存放在相关服务器的数据库中，用户 在学习的过程中通过网络从数据库读取相关内容。常规的网络教学资源库系统主要 由教师资源库、学生资源库、企业资源库以及网络资源，并配备资源管理系统、资 源查询系统、教师角色应用接口和学生角色应用接口这七大部分构成。 1 3 4 网络教学资源建设现状及分析 随着国家对中华文化对外推广的重视，以及人们对知识的需求越来越大，网络 教育资源的建设越来越受到重视，我国也投入大量的人力财力进行资源的建设，但 是与发达国家相比，我国网络教学资源建设依然存在很大的差距。 ( 1 ) 国内网络教育资源建设现状及分析 据统计，2 0 0 9 年中国网络教育市场规模同比增长近3 0 ，达到4 5 6 亿元，网 络教育用户规模接近2 0 0 0 万【1 3 1 。促使市场保持高速发展的主要动力来自于网络教 育在高等学历教育市场的应用，由此带来的收入约占网教市场整体规模的8 0 。经 济危机的到来，职业人士为了保住饭碗，在周末时间进行充电，加强自身能力的提 高，职业培训市场火爆，对网络教育的发展起到了直接的推动作用。2 0 1 0 年，我 国网络教育发展迅速进入成长期，市场规模超过5 0 0 亿元。 但是我国的资源覆盖和建设途径还存在着地域性差异，教育信息资源建设和管 理还存在着不合理的现象。目前，各类教育信息资源和软件数量急剧增加，资源种 类逐渐丰富，如何整合大量的教育信息资源和各种各样的存储设备就成为促进优质 6 资源共享的基础。现有资源数量虽然众多，但分类不科学，资源重复，无法高度共 享；资源表达方式不合理，效率不高导致很多优秀资源无法展示等诸多问题。教育 资源的应用状况也不容乐观，在远程教育发展水平不同的地区，教育资源的应用效 果也参差不齐。资源的建设缺乏后续的支持服务是造成资源闲置、建设与应用相脱 离的主要原因。但总体来看，我国远程教育建设的情况良好，随着国家对远程教育 软硬件设施建设的加强，远程教育的发展情况会越来越好。 ( 2 ) 美国网络教育资源建设的现状分析 美国教育部资助锡拉丘慈大学美国教育资源信息中心信息技术交换所建立的 美国教育资源门户，于1 9 9 8 年正式上线【1 4 1 。使用对象主要为教育行业相关人士， 通过对网络教育资源的管理和组织，提供给用户一站式的服务。该门户并不制作和 生产资源，也不拥有任何资源，它通过一套资源管理规范，采取资源认证和归并管 理机制，吸引各种教育资源加入，并通过技术来管理联盟中的所有资源，使得它的 资源利用率超过了美国任何一个其他的教育资源网站。 1 4 本文的主要工作 本文针对目前网络教学资源的建设弊端，提出利用云存储技术对教学资源进行 整合，搭建了一个基于网络教学资源归并的云存储模型，其中云存储的底层存储技 术用h a d o o p 分布式文件系统实现。为了实现对网络教学资源的高效聚类，本文还 对k m e a n s 聚类算法进行了改进和扩展。 本论文各章节的主要内容安排如下： 第一章，绪论部分，介绍本研究课题的背景和意义，选题的国内外研究现状， 还介绍了网络教学资源的建设现状。 第二章，简要介绍了数据挖掘、w e b 挖掘的相关概念，以及数据挖掘中聚类算 法的定义、应用和分类，k m e a n s 算法的原理和执行步骤。 第三章，简单介绍了云计算和云存储的相关知识，重点分析了基于h d f s 的云 存储模型，阐述了运用云存储技术整合远程教育资源的必要性，并在此基础上搭建 了一个基于云存储技术的网络教学资源整合模型，对模型进行了解释说明。 第四章，对k m e a n s 算法进行了簇中心产生的改进，还针对k m e a n s 算法不能 处理非数值型的缺陷对其进行了扩展，并进行了模拟仿真实验，对实验结果进行了 对比分析。 第五章，对本文所做的研究工作进行了总结，提出了有待改进的地方，并对今 后的研究工作进行了规划。 7 第二章聚类算法综述 2 1 数据挖掘 计算机技术和互联网网通信技术的迅猛发展将我们带入了信息时代。随着数据 库技术的广泛普及和应用，人类积累的数据量急剧增大。互联网数据中，i 二, ( i d c ) 的 研究报告显示，从2 0 0 6 年到2 0 1 0 年，不到五年时间内全球信息总量的增长超过六 倍。技术的发展使得存储容量变得更大，为用户存储大量信息提供了便利。据统计： 全球拥有的数据量每2 0 个月翻一番。不仅数据量非常庞大，而且其数据类型越来 越复杂，结构越来越多样。人们一直在寻找存储大型数据和快速访问数据的相关技 术。如果不能运用有效的方法，从信息海洋中提取我们所需的有用的知识，那么这 些庞大的信息数据将对我们没有任何用处。为了进一步提高数据信息的利用率，基 于数据库的知识发现k d d ( k n o w l e d g ed i s c o v e r yi nd a t a b a s e ) 及其核心技术数据挖 掘( d a t am i n i n g ) 便应运而生了【l 5 。 2 1 1 数据挖掘定义 从发展的时间来看，数据挖掘诞生于三十多年前，是- - i - j 新兴的学科，目前学 术界对其还没有一个正式统一的定义。简单来看，数据挖掘是从大量的、不完全的、 有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是 潜在有用的信息和知识的过程n 6 】。随着信息技术的高速发展，信息总量越来越多， 存储设备的容量也随之越来越大，如何从信息海洋中提取有用的知识便成为亟待解 决的一个技术难题。数据挖掘就是为顺应这种需要发展起来的数据处理技术。在数 据挖掘发展的最初阶段，研究者更多地把注意力集中在对存放在数据库中的数据进 行挖掘，k d d 的概念就是在这种情况下提出的。1 9 8 9 年8 月，在美国底特律召开 的第十一届国际人工联合会议的专题讨论会上首次出现k d d 这个术语。数据挖掘 的概念包含丰富的内涵，是- f - 交叉学科，涉及到人工智能、数据库技术、统计分 析、模式发现、机器学习、可视化技术等许多领域【1 7 】。仅从从事研究和开发的人员 来说，其涉及范围之广恐怕是其他领域所不能比拟的，既有高校及一些研究机构的 研究学者，也有商业公司的技术人员，他们会从不同的角度来看待数据挖掘的概念。 一个常见的数据挖掘系统模型的结构如图2 1 所示。 8 一m a s t e r s t h e 潞 翟翟曼it 挖掘 的数据挖掘li 茗巢 y i 用户交互界面( 可视化工具) j 领域知识专家f +十 模式评估。 上 十t 元知识和元数据获取工具