Hadoop大数据开发基础与案例实战（微课版）课件 5.2MapReduce工作流程（完）

Hadoop大数据项目开发——MapReduce工作流程目录content02Reduce过程Map过程0405写入文件01分片和格式化数据源03Shuffle过程MapReduce工作流程概述MapReduce编程简单且功能强大。专门为并行处理大规模数据而设计。对于简单数据处理，只需要执行Map任务。对于复杂任务，根据实际的业务需求设置合适的Reduce任务数。MapReduce工作流程MapReduce工作流程第一步：分片和格式化数据源将存储在分布式文件系统中数据集切分成独立的输入分片。每一个输入分片对应一个Map任务(有多少输入分片就会存在多少Map任务）。输入分片是逻辑概念。输入分片中存储了一些元数据信息。输入分片处理成<key1,value1>形式的数据，再传递给Map任务。第二步：Map过程TWITTERSKYPEFACEBOOK经过map()函数处理后，获得一系列<key2,value2>形式的输出。Map过程利用map()函数来处理数据。map()函数中具体的数据处理方法由用户自己定义。map()函数接收<key1,value1>形式的数据输入。1234YOUTUBE第三步：Shuffle过程

Shuffle过程map()函数的输出并不会直接交给Reduce任务，而是需要经过分区、排序、合并、溢写、归并等处理，将处理后的数据作为Reduce任务的输入。这一系列处理过程称为Shuffle。第三步：Shuffle过程

Map的Shuffle过程1．Map端的Shuffle过程（1）map()函数的输出并不会立即写入磁盘，MapReduce会为每个Map任务分配一个环形内存缓冲区（bufferinmemory），用于存储map()函数的输出。（2）在将环形内存缓冲区中的数据写入磁盘之前，需要对数据进行分区、排序和合并（可选）操作。第三步：Shuffle过程

Map的Shuffle过程1．Map端的Shuffle过程分区:主要目的是将数据均匀地分配给Reduce任务，以实现MapReduce的负载均衡。排序:MapReduce的默认操作，主要是将Map任务的输出按key进行排序。每个分区中的数据都是有序的。合并:排序结束后，合并操作可根据需求选择是否要执行;合并操作是将具有相同key的<key,value>的value加起来,从而减少溢写的数据量。第三步：Shuffle过程

Map的Shuffle过程1．Map端的Shuffle过程(3)环形内存缓冲区中的数据一旦达到阈值，后台线程便开始把数据溢写到本地磁盘的临时文件（即溢写文件）中。(4)系统需要将所有溢写文件中的数据进行归并，以生成一个大的溢写文件。归并操作就是将相同key的value归并成一个集合，形成新的键值对。(5)文件归并操作完成后生成最终的Map任务输出文件，文件保存在Map任务所在节点的本地磁盘上，Map任务执行结束。第三步：Shuffle过程2．Reduce端的Shuffle过程(1)Map任务结束，Reduce任务启动相同数量的复制线程并行复制Map任务的输出文件。（2)当缓存中的数据达到阈值，即需要溢写到磁盘时，Reduce任务会将复制数据进行归并排序（MergeSort），生成溢写文件。

Reduce的Shuffle过程Reduce过程Reduce任务接收归并排序后的数据流，并对已有序的相同key的键值对调用一次reduce()函数。Reduce任务输入是<key2,list(value2)>形式的中间结果，输出的是<key3,value3>形式的计算结果。Reduce任务输出结果经过输出格式化后再输出到文件系统中，并且每个作业输出文件默认以“part-r-00000”开始，并用后5位数递增的方式命名。123

Reduce过程写入文件MapReduce框架会自动把ReduceTask生成的<key,value>传入Ou