一个WordCount执行过程的实例_第1页
一个WordCount执行过程的实例_第2页
一个WordCount执行过程的实例_第3页
一个WordCount执行过程的实例_第4页
一个WordCount执行过程的实例_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

一个WordCount执行过程的实例学习目标2知识目标●Map过程●未定义Combiner的Reduce过程●定义Combiner的Reduce过程能力目标●了解Map过程●熟悉是否定义Combiner的Reduce过程Map过程未定义Combiner的Reduce过程3目录定义Combiner的Reduce过程Map过程4假设执行单词统计任务的MapReduce作业中，有3个执行Map任务的Worker和1个执行Reduce任务的Worker。一个文档包含3行内容，每行分配给一个Map任务来处理。Map操作的输入是<key，value>形式，其中，key是文档中某行号，value是该行的内容。Map操作会将输入文档中每一个单词。Map过程5以<key，value>的形式作为中间结果进行输出，如图1所示。未定义Combiner的Reduce过程6在Map端的Shuffle过程中，如果用户没有定义Combiner函数，则Shuffle过程会把具有相同key的键值对归并（Merge）成一个键值对，如图2所示。具体而言，对于若干个具有相同key的键值对<k1，v1>，<k1，v2>…<k1，vn>，会被归并成一个新的键值对<k1，<v1，v2,…vn>>。比如，在图1最上面的Map任务输出的结果中，存在key都是“World”的一个键值对<“World”，1>，进过Map端的Shuffle过程以后，这两个键值对会被归并得到一个键值对<“World”，1>，这里不再给出Reduce端的Shuffle结果。然后，这些归并后的键值对会作为Reduce任务的输入，由Reduce任务为每个单词计算出总的出现次数。最后，输出排序后的最终结果就会是<“am”,1>、<“China”,2>、<“from”,1>、<“Hello”,2>、<“Hadoop”,1>、<“I”，2>、<“love”，1>、<“World”,1>。未定义Combiner的Reduce过程7图2用户未定义Combiner时的Reduce过程定义Combiner的Reduce过程8在实际应用中，每个输入文件被Map函数解析后，都可能会生成大量类似<“the”,1>这样的中间结果，很显然，这会大大增加网络传输开销。在Shuffle过程时，对于这种情形，MapReduce支持用户提供Combiner函数来对中间结果进行合并后再发送给Reduce任务，从而大大减少网络传输的数据量。定义Combiner的Reduce过程9对于图2中的Map输出结果，如果存在用户自定义的Com

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论