mapreduce作业运行机制

Mapreduce作业运行机制1、掌握mapreduce作业运行机制1、流程图

2、作业提交

3、作业初始化

4、任务分配

5、任务执行

6、进度和状态更新

7、作业完成

流程图 MapReduce2中的作业提交是使用与MapReduce1相同的用户API（步骤1）。MapReduce2实现了ClientProtocol，当MapR设置为yarn时启动。提交的过程与经典的非常相似。从资源管理器（ResourceManager，而不是JobTracker）获取新的作业ID，在YARN命名法中它是一个应用程序ID（步骤2）。作业客户端检查作业的输出说明，计算输入分片并将作业资源（包括作业JAR、配置和分片信息）复制到HDFS（步骤3）。最后，通过调用资源管理器上的submitApplication()方法提交作业（步骤4）。作业提交

资源管理器收到调用它的submitApplciation()消息后，便将请求传递给调度器（Scheduler），调度器分配一个容器（Container），然后资源管理器在节点管理器（NodeManager）的管理下在容器中启动应用程序的master进程作业初始化

如果作业不适合作为uber任务运行，那么ApplicationMaster就会为该作业中的所有map任务和reduce任务向资源管理器（ResourceManager）请求容器（Container）（第8步）。附着心跳信息的请求包括每个map任务的数据本地化信息，特别是输入分片所在的主机和相应机架信息。调度器使用这些信息来做调度决策（像JobTracker的调度器一样）。理想情况下，它将任务分配到数据本地化的节点，但如果不可能这样做，调度器就会相对于非本地化的分配优先使用机架本地化的分配。任务分配

一旦资源管理器的调度器为任务分配了容器（Container），ApplicationMaster就通过与节点管理器（NodeManager）通信来启动容器（步骤9a和9b）。该任务由主类为YarnChild的Java应用程序执行。在它运行任务之前，首先将任务需要的资源本地化，包括作业的配置、JAR文件和所有来自分布式缓存的文件（步骤10）。最后，运行map任务或reduce任务（步骤11）。任务执行

在YARN下运行时，任务每三秒钟通过脐带（umbilical）接口向ApplicationMaster汇报进度和状态（包含计数器Counter），作为作业的汇聚视图（aggregateview）。这个过程如下图所示。相比之下，MapReduce1通过TaskTracker到JobTracker来实现进度更新。

客户端每秒钟（通过MapRgressmonitor.pollinterval设置，默认值是1000milliseconds）查询一次ApplicationMaster以接收进度更新，通常都会向用户显示。进度和状态更新

除了向ApplicationMaster查询进度外，客户端每5秒钟还通过调用Job的waitForCompletion()来检查作业是否完成。查询的间隔可以通过MapRpletion.pollinterval属性（默认值是5000milliseconds）进行设置。

作业完成后，ApplicationMaster和任务容器（Container）清理其工作状态，OutputCommiter的作业清理方法