如何把资源分配给Spark_第1页
如何把资源分配给Spark_第2页
如何把资源分配给Spark_第3页
如何把资源分配给Spark_第4页
如何把资源分配给Spark_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲：张义目录0102Spark与YARN的关系YARN如何获取分配资源Spark与YARN的关系1Spark与YARN的关系当在YARN上运行Spark时，Hadoop看不到任何关于YARN的事情，它只是另一个应用程序，就像MapReduce是运行在YARN上的应用程序一样。这非常好，因为在YARN上运行Spark时，我们所知道的关于YARN架构、资源分配和调优的所有知识都能派上用场。Spark与YARN的关系也就是YARN依赖于两个关键实体：ResourceManager（用于管理Hadoop集群中可用的资源），以及ApplicationMaster（负责从ResourceManager请求资源并将其分配给在每个节点上运行的NodeManager,以便集群可以执行各个任务）。ApplicationMaster是应用程序特有的（在讨论MapReduce执行之前，指的是MapReduce框架特有的ApplicationMaster）。当运行Spark作业时，YARN使用Spark专门的ApplicationMaster。YARN如何获取分配资源2YARN如何获取分配资源YARN通过容器的逻辑抽象来分配资源，其是一组资源，如内存和CPU。例如，容器可以由2个CPU内核和4GB的RAM组成。当Spark的ApplicationMaster从ResourceManager请求资源时，通过估计作业的资源需求，请求特定数量的容器来完成该作业。基于集群中资源的可用性，ApplicationMaster要求NodeManager在工作节点上启动特定数量的容器。YARN如何获取分配资源当在YARN上运行Spark时，Spark就处于YARN架构之上，如所有其他框架和应用程序一样，它们使用相同的过程请求资源。因此，YARN容器是YARN向Spark作业分配资源的方式。无论Spark如何使用每个作业的驱动程序和执行器等实体，在实际分配资源时，所有的Spark看到的都是一堆YARN资源容器。所有的执行器和驱动程序在这些容器内运行。ApplicationMaster处理所有的容器内通信。YARN如何获取分配资源ApplicationMaster本身在单个容器中运行。执行器也在YARN容器中运行（每个容器1个执行器）。第18章讨论MapReduce资源分配时，讨论过map和reduce容器。在某种意义上，每个map或reduce任务都被假定在自己的容器内运行。当涉及Spark执行器时，在执行器容器任务中有一个粒度更细的实体。每个执行器容器都有一组实际执行工作的任务。Spark使用YA

人人文库> 全部分类> 教育资料 > 中学教育

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论