分布式资源管理框架yarn

1、企业级Hadoop 2.x应用开发基础课程分布式资源管理框架YARN讲师-大数据m【】和讲义等为大数据网络课程的教学资料，所有资料只能在课程内使用，不允许在课程以外范围散播，违者将可能被法律和经济责任。课程详情大数据培训企业级Hadoop 2.x应用开发基础课程 第三期2云计算三层服务企业级Hadoop 2.x应用开发基础课程 第三期3Hadoop 1.x & Hadoop 2.x企业级Hadoop 2.x应用开发基础课程 第三期4企业级Hadoop 2.x应用开发基础课程YARN 架构讲师-大数据mYARN 设计目标通用的资源管理系统同时运行长应用程序和短应用程序长应用程序通常情况下，永不停

2、止运行Servipark、Storm）、HTTP Server等短应用程序短时间（秒级、分钟级、小时级）内会运行结束的程序MR job、Spark Job等企业级Hadoop 2.x应用开发基础课程 第三期6Apache Slider企业级Hadoop 2.x应用开发基础课程 第三期7YARN 架构图企业级Hadoop 2.x应用开发基础课程 第三期8YARN 架构图企业级Hadoop 2.x应用开发基础课程 第三期9YARN 架构图企业级Hadoop 2.x应用开发基础课程 第三期10YARN 架构图企业级Hadoop 2.x应用开发基础课程 第三期11YARN服务组件组件CntResour

3、ceManager、Application MasterNodeManager、Container文档 HYPERLINK http:/z/hadoop/yarn/ http:/z/hadoop/yarn/-hadoop-yarn/其他组件JobHistoryServer、Timelirver企业级Hadoop 2.x应用开发基础课程 第三期12YARN服务组件YARN 总体上仍然是Master/Slave 结构，在整个资源管理框架中，ResourceManager为Master，NodeManager 为Slave。ResourceManager 负责对各个NodeManager 上的资源进

4、行管理和调度当用户提交一个应用程序时，需要提供一个用以和管理这个程序的。ApplicationMaster，它负责向ResourceManager 申请资源，并要求NodeManger 启动可以占用一定资源的任务。由于不同的ApplicationMaster 被分布到不同的节点上，因此它们之间不会相互影响企业级Hadoop 2.x应用开发基础课程 第三期13ResourceManager全局的资源管理器，整个集群只有一个，负责集群资源的统一管理和调度分配。功能处理客户端请求启动/ApplicationMasterNodeManager资源分配与调度企业级Hadoop 2.x应用开发基础课程14

5、第三期NodeManager整个集群有多个，负责单节点资源管理和使用功能单个节点上的资源管理和任务管理处理来自ResourceManager处理来自ApplicationMaster令令NodeManager管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态。企业级Hadoop 2.x应用开发基础课程 第三期15Application Master管理一个在YARN 内运行的应用程序的每个实例功能数据切分为应用程序申请资源，并进一步分配给任务任务与容错负责协调来自ResourceManager的资源

6、，幵通过NodeManager监视容器的执行和资源使用（CPU、内存等的资源分配）。企业级Hadoop 2.x应用开发基础课程 第三期16ContainerYARN中的资源抽象，封装某个节点上度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM向AM返回的资源便是用Container表示的。YARN 会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。功能对任务运行环境的抽象描述一系列信息任务运行资源（节点、内存、CPU）任务启动命令任务运行环境企业级Hadoop 2.x应用开发基础课程 第三期17YARN 优势更快地MapReduce计算Y

7、ARN利用异步模型对MapReduce框架的一些关键逻辑结构（如JobInprogress、TaskInProgress等）进行了重写，相比于MRv1，具有更快地计算速度。对多框架支持YARN不再是一个单纯的计算框架，而是一个框架管理器，用户可以将各种各样的计算框架移植到YARN之上。框架升级更容易在YARN中，各种计算框架不再是作为一个服务部署到集群的各个节点上（比如MapReduce框架，不再需要部署JobTracler、TaskTracker等服务），而是被封装成一个用户程序库（lib）存放在客户端，当需要对计算框架进行升级时，只需升级用户程序库即可，多么容易！企业级Hadoop 2.x

8、应用开发基础课程 第三期1824机柜3企业级Hadoop 2.x应用开发基础课程 第三期19RACK24机柜1机柜2企业级Hadoop 2.x应用开发基础课程YRAN 通信协议讲师-大数据mYRAN 通信协议企业级Hadoop 2.x应用开发基础课程 第三期21YRAN 通信协议企业级Hadoop 2.x应用开发基础课程 第三期22企业级Hadoop 2.x应用开发基础课程mands讲师-大数据mYarnds企业级Hadoop 2.x应用开发基础课程 第三期24Yarnds企业级Hadoop 2.x应用开发基础课程 第三期25企业级Hadoop 2.x应用开发基础课程YARN 资源管理讲师-大

9、数据mYARN 资源管理资源调度和资源是YARN作为一个资源管理系统，最重要和最基础的两个功能。资源调度由ResourceManager完成，而资源由各个NM实现。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）后，NodeManager需按照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行提供基础的保证，这就是所谓的资源。当谈及到资源时，通常指内存，CPU和IO三种资源。Hadoop YARN同时支持内存和CPU两种资源的调度。内存资源的多少会会决定任务的生死，如果内存不够，任务可能会运行失败；相比之下，CPU资源则不同

10、，它只会决定任务运行的快慢，不会对生死产生影响。企业级Hadoop 2.x应用开发基础课程 第三期27YARN 资源管理YARN允许用户配置每个节点上可用的物理内存资源，注意，这里是“可用的”，因为一个节点上的内存会被若干个服务共享，比如一部分给YARN，一部分给HDFS，一部分给HBase等， YARN配置的只是自己可以使用的，配置参数如下：企业级Hadoop 2.x应用开发基础课程 第三期28YARN 资源管理默认情况下，YARN采用了线程的方法判断任务是否超量使用内存，一旦发现超量，则直接将其杀死。由于Cgroups对内存的控制缺乏灵活性（即任务任何时刻过内存上限，如果超过，则直接将其杀

11、死或者报OOM），而Java进程在创建瞬间内存将翻倍，之后骤降到正常值，这种情况下，采用线程的方式更加灵活（当发现进程树内存瞬间翻倍超过设定值时，可认为是正常现象，不会将任务杀死），因此YARN未提供Cgroups内存隔离机制。企业级Hadoop2.x应用开发基础课程 第三期29YARN 资源管理目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。在YARN中，CPU相关配置参数如下：企业级Hadoop 2.x应用开发基础课程30第三期大数据网络课程大数据是国内首家坚持实时授课、提供高端开发课程网络培训机构。采用新兴的互联网教育模式，坚持实时授课模式，既继承传统教育的学习交流特点，又发挥互联网的无处不在的时空特性，将天南地北有志向的组织在一起学习交流，使原先孤立的学习，组有组织的人能学的学习探讨，并且把原先的学费用降低到十分之一