![一种改进K―means聚类算法的MapReduce并行化实现Word文档_第1页](http://file4.renrendoc.com/view/9d2b6601b1a3917194a12d6bb524380a/9d2b6601b1a3917194a12d6bb524380a1.gif)
![一种改进K―means聚类算法的MapReduce并行化实现Word文档_第2页](http://file4.renrendoc.com/view/9d2b6601b1a3917194a12d6bb524380a/9d2b6601b1a3917194a12d6bb524380a2.gif)
![一种改进K―means聚类算法的MapReduce并行化实现Word文档_第3页](http://file4.renrendoc.com/view/9d2b6601b1a3917194a12d6bb524380a/9d2b6601b1a3917194a12d6bb524380a3.gif)
![一种改进K―means聚类算法的MapReduce并行化实现Word文档_第4页](http://file4.renrendoc.com/view/9d2b6601b1a3917194a12d6bb524380a/9d2b6601b1a3917194a12d6bb524380a4.gif)
![一种改进K―means聚类算法的MapReduce并行化实现Word文档_第5页](http://file4.renrendoc.com/view/9d2b6601b1a3917194a12d6bb524380a/9d2b6601b1a3917194a12d6bb524380a5.gif)
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
一种改进K―means聚类算法的MapReduce并行化实现[Word文档]K―meansMapReduce实现关键字:一种,改进,means,聚类,聚类算法,算法,mapreduce,K―meansMapReduceWordK-meansK-meansMapReduceK-meansK-meansK-means关键词:MapReduceK-meansTP301A1007-9416(2016)12-0134-01引言聚类分析是一种无监督的机器学习方法,不需要预先对数据集进行训练和测试等操作,是数据挖掘中对数据进行分析处理的重要工具和方法[1]。由于聚类分析K-means其串行计算的处理能力的局限性更加明显,于是分布式聚类的思想被广泛关注[2-3MapReduceK-means布式聚类。该算法在执行过程中只需要传递各个聚簇信息,就能实现分布式聚类,降低了整个执行过程的通信开销。K-meansMapReduce算法基本思想K-meansK-meansMapReduceMapCombinerMapIDMap算法描述输入:数据集,聚类中心点个数输出:个聚类中心点HDFS,HadoopStage1.初始聚类中心的计算。Map类集合。ReduceMapK-means个聚类中心点。clusterHadoop(DistributedCache)中用来作为下一阶段聚类迭代时的全局共享信息。Stage2.K-means算法的MapReduce实现。Mapsetup()信息。MapIDkey,valueMapCombinerMapID并,以此减轻数据的网络传输开销。6),1)。结束。实验结果与分析实验环境VMwareWorkstation61JobTracker5DataNodeTaskTracker节点,每台机器的配置为:Inteli31G,CentOS6.4,Hadoop0.20.2。单机处理实验分析UCIOULAD31、2、3,2000K-means1K-means更好的收敛速度。集群加速比性能实验分析加速比是用来衡量并行系统或并行程序扩展性的重要指标[4],是指一个任务在单处理器系统中运行所消耗的时间与并行处理系统中运行所消耗时间的比值。通S1、S2、S3:1G、2G、4G,MapReduce1、2、3、4、51示,从图1可以看出:当节点数逐渐增加时,加速比也随之增加,但逐渐变慢,这是由于增加节点导致通信开销变大;当数据量逐渐增大时,加速比的值也逐渐增大,这表明该并行算法在处理大数据集时,具有较高的效率。该实验数据表明本文改进的聚类算法在MapReduce上执行具有良好的加速比。结语K-means中心点的选择敏感的缺陷,为提高改进算法的计算效率,将该改进算法并行化设Hadoop参考文献[1]孙吉贵,刘杰,赵连宇.聚类算法研究[J].软件学报,2008,19(1):48-61.[2]宋玲,戚云枫,齐东阳.分布式k-means聚,算法的改进[J].广西大学学报(自然科学版),2014(5):1060-1065.MapReduce[D].南京师范大学,2014.江小平,李成华,向文,等.k-meansMapReduce华中科技大学学报(自然科学版),2011,39(s1):120-124.K―meansMapReduce电设备状态监测装置可用性判断中的研究与应用计算机终端及网络故障定位分析ProE电蚊香加热器上盖注塑模具的设计研究浅析大型分布式数据中心的集中监控管理XenUSB中的应用探讨电子通讯的多
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 第14课《背影》教学实录 统编版语文八年级上册
- 慢性阻塞性肺部疾病查房课件
- 第39讲+十月革命的胜利与苏联的社会主义实践(课件)-2024年高考历史一轮复习讲练测(新教材新高考)
- 吉兰巴雷综合征诊治
- 潜江业祥花园产品规划建议
- 2024年铸铁及相关金属制卫生、厨房器具、餐具项目建议书
- 离婚婚内协议书
- 2024年奥硝唑药物项目发展计划
- 2024年高纯铟及氧化铟项目合作计划书
- 劳务派遣经营许可证需要的租赁合同
- 部编人教版五年级道德与法治上册 《自主选择课余生活》教学课件
- “三全育人”实施方案3篇
- GB∕T 28799.2-2020 冷热水用耐热聚乙烯(PE-RT)管道系统 第2部分:管材
- (新版教材)苏教版一年级上册科学全册教案(教学设计)
- 冀教版小学英语四年级上册全册优质教案
- 水库闸门远程控制系统方案
- 客户投诉处理、工作标准和危机处理
- 施工现场安全防护文明施工标准化图集(图文并茂)
- 拼多多旗舰店授权书-模板
- 医疗器械生产企业管理者代表管理指引
- 全过程造价咨询工作合理化建议
评论
0/150
提交评论