内存与CPU之间的关系_第1页
内存与CPU之间的关系_第2页
内存与CPU之间的关系_第3页
内存与CPU之间的关系_第4页
内存与CPU之间的关系_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲：张义目录0102配置Application容器大小内存与CPU之间的关系配置Application容器大小1配置Application容器大小前面我们配置了map和reduce任务容器的大小，还需要配置ApplicationMaster容器的大小，也就是配置ApplicationMaster内存，以满足集群的处理要求。每个应用程序都要生成一个ApplicationMaster容器。通过将ApplicationMaster容器的大小调整为1GB或2GB可以获得具有较少数据量的应用程序。对于更大的应用程序，将容器配置得更大为明智之举。配置Application容器大小如在yarn-site.xml中进行如下配置：<property><name>yarn.app.mapreduce.am.resource.mb</name><value>3072</value></property><property><name>mand-opts</name><value>-Xmx2364m</value></property>配置Application容器大小第一个参数yarn.app.mapreduce.am.resource.mb设置ApplicationMaster容器的大小，这是ApplicationMaster需要的内存量。第二个参数mand-opts设置了运行ApplicationMaster代码的JVM的大小。JVM的默认大小为1GB，因此参数的默认值显示为-Xmx1024m。内存与CPU之间的关系2内存与CPU之间的关系如果有足够的可用内存，则可以创建更多的容器，请记住，每个容器都需要一个CPU才能运行。因此，实际集群运行的容器上限为所有节点上的CPU总和。这就是为什么要使用有足够RAM的服务器，并且还需要有足够的CPU来运行任务。疑问的是，如果用户运行需要数千个map和reduce的任务会发生什么呢？该用户可以不让其他作业运行，直到完成这个作业。幸运的是，在现实生活中，情况并非如此。当集群的容量只有一千个容器时，用户通常会提交需要数万甚至数十万个容器的作业。内存与CPU之间的关系Hadoop的调度器(公平调度器和容量调度器）通过在多个应用程序之间合理地分配可用资源，保证多个作业和

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论