08hadoop2.0系统课程-分类2yarn应用程序设计方法

1、14566625R 14566625R 7737ap euce askap 2 Storm StormApplication Master Web 4 R sttrap 客户客户5MapReduce客户将MapReduce作业提交到YARN上MapReduce客户将MapReduce作业提交到YARN上查询MapReduce作业运行状态与NodeManager通信以启动6MapReduceOnYARN和MapReduce为MapReduce作业运行在YARN上提供跟一个通用需要与YARN由MapReduceOnYARN和MapReduce为MapReduce作业运行在YARN上提供跟一个通用需

2、要与YARN由客户端和ApplicationMaster两部分组成用户使用编程API（包括新旧两种）由、；程序提交到YARN上后，将由已经写好的7如何开发类似于YARN的应对开发者基本能力要求很高熟悉Java（其他语言不支持熟悉如何开发类似于YARN的应对开发者基本能力要求很高熟悉Java（其他语言不支持熟悉HadoopRPC89C(用于ntResourceManager之间nt通过该协议将应用程序提交到ResourceManager上、查询应(用于ApplicationMasterResourceManager之C(用于ntResourceManager之间nt通过该协议将应用程序提交到Re

3、sourceManager上、查询应(用于ApplicationMasterResourceManager之间ApplicationMaster使用该协议向ContainerManagementProtocol (用于ApplicationMasterNodeManager之间ApplicationMaster使用该协议要求NodeManager启动/撤销步骤1 nt通过RPC函ntProtocol#getNewApplication从中获取唯一的application步骤1 nt通过RPC函ntProtocol#getNewApplication从中获取唯一的application步骤2 n

4、t通过RPC函ntProtocol#submitApplication将提交到ResourceManager上ApplicationApplication步骤1 ApplicationMaster通过RPCrotocol#registerApplicationMaster步骤1 ApplicationMaster通过RPCrotocol#registerApplicationMaster；步骤2 ApplicationMaster通过RPCrotocol#allocate向ResourceManager申请步骤3 ApplicationMaster通过RPCrotocol#finishAppl

5、icationMaster告ResourceManager应用程序执行完毕，并退出+List(released +List(released 步骤1 ApplicationMaster将申请步骤1 ApplicationMaster将申请到的资源二次分配并通过RPC函数ContainerManagementProtocol#startContainer步骤2 ApplicationMaster可通过RPCusNodeManager询问Container运行状态，一旦发现某个步骤3 一旦一个Container运行完成后，ApplicationMaster (auxiliary GetContai

6、nerS GetContainerS ContainerS ContainerId,ContainerS e, ExitS us, Diagnostics (auxiliary GetContainerS GetContainerS ContainerS ContainerId,ContainerS e, ExitS us, Diagnosticsntnt =c（3）ntnt =c（3）启动ntApplication app = （5）ContextappContextntApplication app = （5）ContextappContext=); /ResourceManager“回调

7、函数”，用户只需实现这些回调函数，当某种事件发生时，会调用对用的（用户“回调函数”，用户只需实现这些回调函数，当某种事件发生时，会调用对用的（用户实现的）回调函数。定义一个回提供函数实现的一方在初始化的时候，将回调函数的函数指针者；给调用当特定的事件或条件发生的时候，调用者使用函数指针调用回调函数对事件进行处可以把调用者与被调用者分开，调用者不关心谁是被调用者。它只需知道存在一个具有特定原型和限制条件的被调用函数。用户实现一个MyCallbackHandler，实ntAsync.CallbackHandler用户实现一个MyCallbackHandler，实ntAsync.CallbackHa

8、ndler接口class MyCallbackHandler implements （1） 构造一个MyCallbackHandler对（2）构造一个ntAsync句（1） 构造一个MyCallbackHandler对（2）构造一个ntAsync句nt（3）初始化并启动nt.init(conf); /通过传入一个YarnConfiguration对象进行nt.start(); /启动（3）ApplicationMaster向ResourceManager RegisterApplicationMasterResponseresponseasyncC（3）ApplicationMaster向Re

9、sourceManager RegisterApplicationMasterResponseresponseasyncCus,appMsg,用户实现一个MyCallbackHandler，实ntAsync.CallbackHandler用户实现一个MyCallbackHandler，实ntAsync.CallbackHandler接class MyCallbackHandler implements ntAsync句ntAsync nt=newntAsync句ntAsync nt=newnt.start(); /启动ContainerLaunchContextctx=设置ctx启动nt.st

10、artContainerAsync(container,ContainerLaunchContextctx=设置ctx启动nt.startContainerAsync(container, YARN自己带的ApplicationUnManaged 和命s。AM演示了如何将ApplicationMaster运行在客端，而不是由RM启动和YARN自己带的ApplicationUnManaged 和命s。AM演示了如何将ApplicationMaster运行在客端，而不是由RM启动和bin/hadoopjarshare/hadoop/yarn/hadoop-yarn-applications-*.jar bin/hadoop share/hadoop/yarn/hadoop-yarn-applications-bin/hadoopjarshare/ha