hadoo学习视频教程Mahou数据挖掘工具_第1页
hadoo学习视频教程Mahou数据挖掘工具_第2页
hadoo学习视频教程Mahou数据挖掘工具_第3页
hadoo学习视频教程Mahou数据挖掘工具_第4页
hadoo学习视频教程Mahou数据挖掘工具_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Hadoop大数据解决方案进阶应用Hadoop讲师：迪伦（北风网版权所有）Mahout数据挖掘工具(5)Mahout测试

聚类算法实战-K-means课程目标Mahout测试查看hdfs的输出结果转换成普通文本Mahout测试查看转换的结果转换原始数据聚类算法实战-K-meansK-means计算步骤步骤一：提取feature步骤二：将feature向量化步骤三：利用K-means算法实现聚类实例有1TB的新闻网页数据，如何使用K-mean对其分成若干类？步骤一：提取feature步骤1：提取新闻正文，并分词步骤2：对词编码，从1开始步骤3：每个新闻文档是一个向量，每个元素为0或者1比如：步骤二：将feature向量化向量的表示形式DenseVector：元素数目即为feature总数，不管是0还是1RandomAccessSparseVector：采用hashmap保存，更省空间SequentialAccessSparseVector：经优化，便于随机存取向量转化方式通过Lucene相关库

$mahoutlucenevector…通过mahout自带工具

$mahoutseqdirectory…

$mahoutseq2sparse…自己编写程序将数据保存成SequenceFile格式步骤三：利用K-means算法实现聚类-i：指定待分类数据集所在的路径-c：指定初始类别所在路径-o：输出聚类后的结果存放路径-k：随机选取的类别数目-dm：采用的向量距离计算方法，在此指定实现类-x：最多迭代终止次数-cd：聚集偏移量，即本轮迭代次数与上一轮迭代相比，变动点总量变化值-ow：结果目录已经存在时是否对其覆盖-cl：是否首先通过canopy选取k个点，然后再运行k-means聚类-xm：sequential或者mapreduce，顺序执行还是分布式执行Mahout自带的向量距离计算类位于java包org.apache.mahout.distance中比如：org.apache.mahout.distance.CosineDistanceMeasureK-means聚类实例步骤1：下载测试数据（格式为SGML）：

$wget/resources/testcollections/reuters21578/reuters21578.tar.gz步骤2：将数据解压

$mkdir–p~/dataset/reuters-sgm~/dataset/reuters-out

$cddataset/reuters-sgm&&t

人人文库> 全部分类> 教育资料 > 课设设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论