5.5单词统计分析代码实现-Reducer实现(完)_第1页
5.5单词统计分析代码实现-Reducer实现(完)_第2页
5.5单词统计分析代码实现-Reducer实现(完)_第3页
5.5单词统计分析代码实现-Reducer实现(完)_第4页
5.5单词统计分析代码实现-Reducer实现(完)_第5页
已阅读5页,还剩6页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

Hadoop大数据项目开发——单词统计分析-Reducer代码实现目录content02Reducer类的编写01Mapper类的编写03Driver类的编写Reducer类的编写Mapper类编写完成之后,需要编写Reducer类新建WordCountReducer类,该类继承了org.apache.hadoop.mapreduce.Reducer类。并重写了reduce()方法,键值相同的数据会在同一个Reduce任务中处理,WordCountReducer类的代码如图所示:Reducer类的编写importjava.io.IOException;importjava.util.Iterator;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Reducer;publicclassWordcountReducerextendsReducer<Text,IntWritable,Text,IntWritable>{ @Override protectedvoidreduce(Textkey,Iterable<IntWritable>values, Contextcontext)throwsIOException,InterruptedException{ intcount=0; Iterator<IntWritable>iterator=values.iterator(); while(iterator.hasNext()){ IntWritablevalue=iterator.next(); count+=value.get();//对相同键值的单词键值进行累加 } context.write(key,newIntWritable(count)); }}Reducer类的编写在代码中使用extends关键字继承Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>类;该Reducer功能主要用来实现对相同键值的单词键值进行累加;此时Mapper的输出,经过Shuffle过程,成为Reducer的输入;所以Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>数据类型与Mapper输出的数据类型一致,即Reducer<Text,IntWritable,Text,IntWritable>。Reducer类的编写KEYIN为Mapper任务key的输出类型,也等同于Reducer任务key的输入类型;VALUEIN为Mapper任务value的输出类型,也等同于Reducer任务value的输入类型;KEYOUT为Ruducer任务中reduce方法要返回的结果Key-Value中的key的数据类型,在WordCount逻辑中,需要输出的单词是字符型,在MapReduce中使用Text;VALUEOUT为Ruducer任务中reduce方法要返回的结果Key-Value中value的数据类型,在wordcount逻辑中,需要输出的单词数量是整数,在MapReduce中使用IntWritable。重写reduce方法然后需要重写reducer方法;上述代码中对map方法的重写,可以通过快捷键实现,使用Alt+Insert组合键会出现提示,如下所示:重写reduce方法在生成类的各项基本方法界面中选择OverrideMethods,出现可以重写的方法,选择重写方法界面如右图所示:重写reduce方法删除此行选中要重写的方法之后,会出现如图代码,将代码中的super.reduce(key,values,context);删除。intcount=0;Iterator<IntWritable>iterator=values.iterator();while(iterator.hasNext()){//判断是否还有元素 IntWritablevalue=iterator.next();//获取下一个元素 count+=value.get();//对相同键值的单词键值进行累加}context.write(key,newIntWritable(count));重写reduce方法在reduce

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论