2023学年完整公开课版YARN 运行机制

YARN运行机制1、了解YARN运行机制01目录导语02YARN运行机制导语1导语

yarn运行机制图解。YARN运行机制2YARN运行机制

1、作业提交。该过程与MR1的很相似。步骤1使用的API以及过程与MR1的相同，让后从ResourceManager中获取新的ID，这是一个应用程序的ID（步骤2）。接着客户端检查作业的输出分片，计算输入分片并将作业资源复制到HDFS中。最后，调用ResourceManager调用submitApplication()提交作业。YARN运行机制

2、作业初始化。(1)首先，ResourceManager里的ApplicationManager会为每一个application(比如一个用户提交的MapReduceJob)在NodeManager里面申请一个container，schedule则在NodeManager里面分配申请的container。然后在该container里面启动一个ApplicationMaster(步骤5a，5b)。(2)ApplicationMaster的主类是MRAppMaster。其通过创造一些bookkeeping对象来监控作业的进度,得到任务的进度和完成报告(步骤6).然后其通过分布式文件系统得到由客户端计算好的输入分片(split)(步骤7).然后为每个输入分片创建一个map任务,根据mapreduce.job.reduces创建reduce任务对象。YARN运行机制

2、作业初始化。(3)ApplicationMaster决定如何运行构成整个作业的任务。如果作业很小,ApplicationMaster会选择在其自己的JVM中运行任务,这种作业称作是被unerized,或者是以uber模式的方式运行。(4)在任务运行之前,作业的setup方法被调用来创建输出路径，在YARN中是由ApplicationMaster调用的。YARN运行机制

3、任务分配。如果不是小作业,那么应用管理器向资源管理器请求container来运行所有的map任务和reduce任务(步骤8)，每个任务对应一个container，且只能在该container上运行。这些请求是通过心跳来传输的,包括每个map任务的数据位置,比如存放输入分片的主机名和机架(rack).调度器利用这些信息来调度任务,尽量将任务分配给存储数据的节点,或者退而分配给和存放输入分片的节点相同机架的节点。请求也包括了任务的内存需求,默认情况下map和reduce任务的内存需求都是1024MB，可以通过mapreduce.map.memory.mb和mapreduce.reduce.memory.mb来配置。YARN运行机制

4、任务执行。当一个任务由ResourceManager的调度器分配给一个container后,ApplicationMaster通过节点管理器来启动container(步骤9a，步骤9b)。任务有一个主类为YarnChild的Java应用执行，在运行任务之前首先本地化任务需要的资源