




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Hadoop大数据项目开发——单词统计分析-Reducer代码实现目录content02Reducer类的编写01Mapper类的编写03Driver类的编写Reducer类的编写Mapper类编写完成之后,需要编写Reducer类新建WordCountReducer类,该类继承了org.apache.hadoop.mapreduce.Reducer类。并重写了reduce()方法,键值相同的数据会在同一个Reduce任务中处理,WordCountReducer类的代码如图所示:Reducer类的编写importjava.io.IOException;importjava.util.Iterator;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Reducer;publicclassWordcountReducerextendsReducer<Text,IntWritable,Text,IntWritable>{ @Override protectedvoidreduce(Textkey,Iterable<IntWritable>values, Contextcontext)throwsIOException,InterruptedException{ intcount=0; Iterator<IntWritable>iterator=values.iterator(); while(iterator.hasNext()){ IntWritablevalue=iterator.next(); count+=value.get();//对相同键值的单词键值进行累加 } context.write(key,newIntWritable(count)); }}Reducer类的编写在代码中使用extends关键字继承Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>类;该Reducer功能主要用来实现对相同键值的单词键值进行累加;此时Mapper的输出,经过Shuffle过程,成为Reducer的输入;所以Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>数据类型与Mapper输出的数据类型一致,即Reducer<Text,IntWritable,Text,IntWritable>。Reducer类的编写KEYIN为Mapper任务key的输出类型,也等同于Reducer任务key的输入类型;VALUEIN为Mapper任务value的输出类型,也等同于Reducer任务value的输入类型;KEYOUT为Ruducer任务中reduce方法要返回的结果Key-Value中的key的数据类型,在WordCount逻辑中,需要输出的单词是字符型,在MapReduce中使用Text;VALUEOUT为Ruducer任务中reduce方法要返回的结果Key-Value中value的数据类型,在wordcount逻辑中,需要输出的单词数量是整数,在MapReduce中使用IntWritable。重写reduce方法然后需要重写reducer方法;上述代码中对map方法的重写,可以通过快捷键实现,使用Alt+Insert组合键会出现提示,如下所示:重写reduce方法在生成类的各项基本方法界面中选择OverrideMethods,出现可以重写的方法,选择重写方法界面如右图所示:重写reduce方法删除此行选中要重写的方法之后,会出现如图代码,将代码中的super.reduce(key,values,context);删除。intcount=0;Iterator<IntWritable>iterator=values.iterator();while(iterator.hasNext()){//判断是否还有元素 IntWritablevalue=iterator.next();//获取下一个元素 count+=value.get();//对相同键值的单词键值进行累加}context.write(key,newIntWritable(count));重写reduce方法在reduce
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024-2025学年高中历史 6.3 中国地质力学的奠基人李四光教学实录 新人教版选修4
- 5《绿水青山欢笑多》教学设计-2023-2024学年泰山版小学信息技术五年级下册
- 2024年六年级道德与法治下册 第四单元 让世界更美好 9 日益重要的国际组织教学实录 新人教版
- 2《学会沟通交流-正确对待不同看法》(教学设计)2023-2024学年统编版道德与法治五年级上册
- 1《我们爱整洁》教学设计-2023-2024学年道德与法治一年级下册统编版
- 3《公民意味着什么》第二课时 认识居民身份证 教学设计-2024-2025学年道德与法治六年级上册统编版
- 2024-2025学年高中地理下学期 4.2 工业地域的形成教学实录
- 6我们神圣的国土 第一课时 教学设计-2024-2025学年五年级道德与法治上册统编版
- 源远流长的中华文化教学设计高中政治人教版必修三
- 5《走近科学家》教学设计-2024-2025学年道德与法治三年级上册统编版
- 延长石油招聘笔试试题
- 2020-2021年度广东省职业院校学生专业技能大赛(高职组)CAD机械设计赛项竞赛规程
- DB-T 29-22-2024 天津市住宅设计标准
- 2024年赣州职业技术学院单招职业适应性测试题库及答案解析
- DL∕T 5209-2020 高清版 混凝土坝安全监测资料整编规程
- 孙子生日宴会爷爷致辞范文
- 2024年湖南新课标卷高考生物真题试卷(无答案)
- 【正版授权】 IEC 60072-3:1994 EN-FR Dimensions and output series for rotating electrical machines - Part 3: Small built-in motors - Flange numbers BF10 to BF50
- 养老院老人走失免责协议书
- 加固工程施工技术交底内容
- 2024年湖南铁路科技职业技术学院单招职业适应性测试题库附答案
评论
0/150
提交评论