版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Hadoop大数据技术——搭建YARN分布式集群湖南软件职业技术大学YARN架构设计与工作原理YARN产生背景MapReduce1.0系统架构湖南软件职业技术大学YARN产生背景MapReduce1.0架构缺陷扩展性差JobTracker同时兼备了资源管理和作业控制两个功能,严重制约了Hadoop集群扩展性。湖南软件职业技术大学YARN产生背景MapReduce1.0架构缺陷资源利用率低MRv1采用基于slot的粗粒度的资源分配模型,包含Mapslot和Reduceslot。某个任务用不完的资源其他任务也不能用,因为map和reduce的资源完全不能共享的。当一个作业刚提交时,只会运行MapTask,此时ReduceSlot闲置。湖南软件职业技术大学YARN产生背景MapReduce1.0架构缺陷通用性差随着互联网高速发展导致数据量剧增,MapReduce这种基于磁盘的离线计算框架已经不能满足应用要求,从而出现了一些新的计算框架以应对各种场景,包括内存计算框架、流式计算框架和迭代式计算框架等,而MRv1不能支持多种计算框架并存。湖南软件职业技术大学YARN产生背景MapReduce1.0架构缺陷单点故障MRv1采用了master/slave结构,其中master存在单点故障问题,一旦它出现故障将导致整个集群不可用。湖南软件职业技术大学YARN产生背景MapReduce1.0架构缺陷扩展性差:兼具资源管理和作业调度资源利用率低:基于粗粒度slot资源分配通用性差:不支持多种计算框架单点故障:master没有实现高可用湖南软件职业技术大学YARN是什么YARN是Hadoop2.0版本新引入的资源管理系统,直接从MR1演化而来。ApacheHadoopYARN(YetAnotherResourceNegotiator,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。核心思想:将MR1中JobTracker的资源管理和作业调度两个功能分开,分别由ResourceManager和ApplicationMaster进程来实现。ResourceManager负责整个集群的资源管理和调度。ApplicationMaster负责应用程序相关的事务,比如任务调度、任务监控和容错等。湖南软件职业技术大学YARN的作用湖南软件职业技术大学YARN的基本构架湖南软件职业技术大学YARN的工作原理湖南软件职业技术大学湖南软件职业技术大学MapReduceONYARN工作流程MapReduceONYARN工作流程湖南软件职业技术大学湖南软件职业技术大学YARN的容错性YARN的容错性ResourceManager的容错性保障ResourceManager存在单点故障,但是可以通过配置实现ResourceManager的HA(高可用),当主节点出现故障时,可以切换到备用节点继续对外提供服务。NodeManager的容错性保障NodeManager失败之后,ResourceManager会将失败的任务通知对应的ApplicationMaster,由ApplicationMaster来决定如何去处理失败的任务。ApplicationMaster的容错性保障ApplicationMaster失败后,由ResourceManager负责重启即可。其中,ApplicationMaster需要处理内部任务的容错问题。ResourceManager会保存已经运行的任务,重启后无须重新运行。湖南软件职业技术大学湖南软件职业技术大学YARN的高可用YARN的高可用湖
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2023年机械五金塑料件项目成效分析报告
- 2023年机场行李输送系统项目评价分析报告
- 2023年橡胶、橡塑制品项目综合评估报告
- 2024-2025学年小学生个人发展与体育教学设计的关系
- Unit 1 (Section B 3a-3c) 教学设计 2024-2025学年人教版(2024)七年级英语上册
- Unit 6 An old man tried to move the mountains.2023-2024学年八年级下册英语阅读素养小册教学设计(人教版)
- Module 1 Unit 1 What Can You See(教学设计)-2023-2024学年牛津上海版(试用本)英语二年级下册
- 两位数乘两位数笔算质量自测试题带答案
- 高碑桥课程设计招聘信息
- 旅游课程设计思路
- 电动三轮车使用安全技术交底
- 支气管扩张教案
- 液化石油气风险管理及隐患排查制度
- 企业调查报告10202xPPT模板下载
- 东方灵秀-中华才艺技能课堂知到章节答案智慧树2023年昆明理工大学
- 2023年河北建投能源招聘笔试参考题库附带答案详解
- (完整版)小学数学教师三年发展规划
- 人版小学数学二年级(上册)(全册)课件(第一单元全部)
- 人体的基本生理活动
- 《安全运动促健康》课件
- 《商品信息采集与处理》相关资源 职业活动教学设计(第三章)
评论
0/150
提交评论