




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Hadoop大数据解决方案进阶应用Hadoop讲师:迪伦(北风网版权所有)Mahout数据挖掘工具(5)Mahout测试
聚类算法实战-K-means课程目标Mahout测试查看hdfs的输出结果转换成普通文本Mahout测试查看转换的结果转换原始数据聚类算法实战-K-meansK-means计算步骤步骤一:提取feature步骤二:将feature向量化步骤三:利用K-means算法实现聚类实例有1TB的新闻网页数据,如何使用K-mean对其分成若干类?步骤一:提取feature步骤1:提取新闻正文,并分词步骤2:对词编码,从1开始步骤3:每个新闻文档是一个向量,每个元素为0或者1比如:步骤二:将feature向量化向量的表示形式DenseVector:元素数目即为feature总数,不管是0还是1RandomAccessSparseVector:采用hashmap保存,更省空间SequentialAccessSparseVector:经优化,便于随机存取向量转化方式通过Lucene相关库
$mahoutlucenevector…通过mahout自带工具
$mahoutseqdirectory…
$mahoutseq2sparse…自己编写程序将数据保存成SequenceFile格式步骤三:利用K-means算法实现聚类-i:指定待分类数据集所在的路径-c:指定初始类别所在路径-o:输出聚类后的结果存放路径-k:随机选取的类别数目-dm:采用的向量距离计算方法,在此指定实现类-x:最多迭代终止次数-cd:聚集偏移量,即本轮迭代次数与上一轮迭代相比,变动点总量变化值-ow:结果目录已经存在时是否对其覆盖-cl:是否首先通过canopy选取k个点,然后再运行k-means聚类-xm:sequential或者mapreduce,顺序执行还是分布式执行Mahout自带的向量距离计算类位于java包org.apache.mahout.distance中比如:org.apache.mahout.distance.CosineDistanceMeasureK-means聚类实例步骤1:下载测试数据(格式为SGML):
$wget/resources/testcollections/reuters21578/reuters21578.tar.gz步骤2:将数据解压
$mkdir–p~/dataset/reuters-sgm~/dataset/reuters-out
$cddataset/reuters-sgm&&t
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 二零二五版跨区域搬运承包服务合同
- 二零二五年度物流园区代建合同标准范本
- 2025版农业贷款担保委托合同(针对新型农业经营主体)
- 二零二五年度建筑吊车购置及租赁合同
- 2025版汽车整车及零部件第三方物流运输与全球贸易合同
- 二零二五年广告传媒打字员专业服务合同
- 二零二五年度动产抵押担保合同范本1
- 法院指导离婚协议书编制与审查规范
- 2025版跨境电商物流仓储抵押担保合同纠纷诉状
- 二零二五年度等额本息中小企业贷款合同规范
- 《震击器分类大全》
- 2023年宜城市事业单位笔试真题
- 公交车保洁服务投标方案(技术标)
- 第十二课 餐桌上的对话 课件 2023--2024学年江苏版初中心理健康八年级全一册
- 员工食堂调查问卷表
- 全国优质课一等奖中等职业学校公共艺术(音乐)教师微课堂比赛《走进钢琴世界》微课展示课件
- 《翻糖蛋糕制作技术》课件
- 标准化管理(程序化、流程化、规范化)
- 全国各省市邮编对照表
- GB/T 714-2015桥梁用结构钢
- GB/T 6003.3-1999电成型薄板试验筛
评论
0/150
提交评论