一种改进K―means聚类算法的MapReduce并行化实现Word文档

一种改进K―means聚类算法的MapReduce并行化实现[Word文档]K―meansMapReduce实现关键字:一种,改进,means,聚类,聚类算法,算法,mapreduce,K―meansMapReduceWordK-meansK-meansMapReduceK-meansK-meansK-means关键词:MapReduceK-meansTP301A1007-9416(2016)12-0134-01引言聚类分析是一种无监督的机器学习方法，不需要预先对数据集进行训练和测试等操作，是数据挖掘中对数据进行分析处理的重要工具和方法[1]。由于聚类分析K-means其串行计算的处理能力的局限性更加明显，于是分布式聚类的思想被广泛关注[2-3MapReduceK-means布式聚类。该算法在执行过程中只需要传递各个聚簇信息，就能实现分布式聚类，降低了整个执行过程的通信开销。K-meansMapReduce算法基本思想K-meansK-meansMapReduceMapCombinerMapIDMap算法描述输入:数据集，聚类中心点个数输出:个聚类中心点HDFS，HadoopStage1.初始聚类中心的计算。Map类集合。ReduceMapK-means个聚类中心点。clusterHadoop(DistributedCache)中用来作为下一阶段聚类迭代时的全局共享信息。Stage2.K-means算法的MapReduce实现。Mapsetup()信息。MapIDkey，valueMapCombinerMapID并，以此减轻数据的网络传输开销。6)，1)。结束。实验结果与分析实验环境VMwareWorkstation61JobTracker5DataNodeTaskTracker节点，每台机器的配置为:Inteli31G，CentOS6.4，Hadoop0.20.2。单机处理实验分析UCIOULAD31、2、3，2000K-means1K-means更好的收敛速度。集群加速比性能实验分析加速比是用来衡量并行系统或并行程序扩展性的重要指标[4]，是指一个任务在单处理器系统中运行所消耗的时间与并行处理系统中运行所消耗时间的比值。通S1、S2、S3:1G、2G、4G，MapReduce1、2、3、4、51示，从图1可以看出:当节点数逐渐增加时，加速比也随之增加，但逐渐变慢，这是由于增加节点导致通信开销变大;当数据量逐渐增大时，加速比的值也逐渐增大，这表明该并行算法在处理大数据集时，具有较高的效率。该实验数据表明本文改进的聚类算法在MapReduce上执行具有良好的加速比。结语K-means中心点的选择敏感的缺陷，为提高改进算法的计算效率，将该改进算法并行化设Hadoop参考文献[1]孙吉贵，刘杰，赵连宇.聚类算法研究[J].软件学报，2008，19(1):48-61.[2]宋玲，戚云枫，齐东阳.分布式k-means聚,算法的改进[J].广西大学学报(自然科学版)，2014(5):1060-1065.MapReduce[D].南京师范大学，2014.江小平，李成华，向文，等.k-meansMapReduce华中科技大学学报(自然科学版)，2011，39(s1):120-124.K―meansMapReduce电设备状态监测装置可用性判断中的研究与应用计算机终端及网络故障定位分析ProE电蚊香加热器上盖注塑模具的设计研究浅析大型分布式数据中心的集中监控管理XenUSB中的应用探讨电子通讯的多