监控公平调度器_第1页
监控公平调度器_第2页
监控公平调度器_第3页
监控公平调度器_第4页
监控公平调度器_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲：侯磊监控公平调度器目录0102如何监控公平调度器公平调度器抢占如何监控公平调度器1如何监控公平调度器与容量调度器一样，通过http://<URLforResourceManager>/cluster/scheduler在ResourceManagerWebUI查看与公平调度器有关的队列和其他信息。可以从此界面看到以下内容:分配给一个队列中容器的全部资源队列中的活跃应用数目等待接收容器的待处理应用数量为队列配置的最小和最大的保证资源瞬时和稳定的公平共享公平调度器抢占2公平调度器抢占在一个繁忙的集群中，当作业被提交给一个空队列时，作业不会立即启动，直到集群上已经运行的作业被释放了资源。为了使作业从提交到执行所需的时间可测，公平调度器支持“抢占”功能。公平调度器抢占所谓抢占，就是允许调度器中止那些占用资源超过了其公平共享份额的队列的容器，这些容器资源释放后可以分配给资源数量低于应得份额的队列。注意，抢占会降低整个集群的效率，因为被中止的容器需要重新执行。公平调度器抢占通过将yarn.scheduler.fair.preemption设置为true，可以全面启用抢占功能。有两个相关的抢占超时设置：一个用于最小共享，另一个用于公平共享，两者设定时间均为秒级。默认情况下，两个超时参数均不设置。所以为了允许抢占容器，需要至少设置其中一个参数。如果队列在“最小共享”设置指定的时间未获得被承诺的最小共享资源，调度器就会抢占其他容器。可以通过配置文件中的顶层元素defaultMinSharePreemptionTimeout为所有队列设置的默认超时时间，还可以通过设置每个队列的minSharePreemptionTimeout元素来为单个队列指定超时时间。公平调度器抢占类似，如果队列在“公平共享”设置指定的时间内未获得的资源仍然小于其公平共享份额的一半，那么调度器就会抢占其它容器。可以通过配置文件中的顶层元素defaultFairSharePreemptionTimeout为所有队列设置默认的超时时间，还可以通过设置每个队列的fairSharePreemptionTimeout元素来为单个队列指定超时时间。通过设置defaultFairSharePreemptionThreshold和fa

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论