已阅读5页，还剩3页未读， 继续免费阅读
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
MapReduce架构设计21.MapReduce1.0、2.0区别
32.MapReduce架构42.MapReduce架构每一个应用的ApplicationMaster是一个详细的框架库，它结合从ResourceManager获得的资源和NodeManagr协同工作来运行和监控任务。ResourceManager支持分层级的应用队列，这些队列享有集群一定比例的资源。从某种意义上讲它就是一个纯粹的调度器，它是基于应用程序对资源的需求进行调度的;每一个应用程序需要不同类型的资源因此就需要不同的容器。可以看出，这同Mapreduce固定类型的资源使用模型有显著区别，它给集群的使用带来负面的影响。资源管理器提供一个调度策略的插件，它负责将集群资源分配给多个队列和应用程序。调度插件可以基于现有的能力调度和公平调度模型。NodeManager是每一台机器框架的代理，是执行应用程序的容器，监控应用程序的资源使用情况(CPU，内存，硬盘，网络)并且向调度器汇报。每一个应用的ApplicationMaster的职责有：向调度器索要适当的资源容器，运行任务，跟踪应用程序的状态和监控它们的进程，处理任务的失败原因。53.MapReduce整体流程6
并行读取文本中的内容，然后进行MapReduce操作。7Map过程：并行读取文本，对读取的单词进行map操作，每个词都以<key,value>形式生成。Reduce
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2023年贵州红水河劳务有限公司招聘普惠金融网格员考试真题
- 2023年嘉兴市海盐县交通投资集团有限公司招聘考试真题
- 2024年本地网传输系统项目合作计划书
- 地势和地形教学课件
- 上海市闵行区2021届高三地理一模考试试题
- 指导活动的作文课件
- 展览馆墙面刷新合同范本
- 2024年红木帆船项目发展计划
- 皮革店高端装修合同样本
- 大兴区房屋买卖合同模板
- 青春期教育(男生)课件
- 印刷行业管理难点及解决方案
- 品质稽核管理制度
- 营养配餐员中级技能
- 行车验收标准规范
- 辣椒病虫害防治课件
- 电影赏析-爱乐之城
- 南京中医药大学针灸学外科学西医内科学题库
- 新鲁教版初中数学教材目录(五四制)
- 西南科技大学833材料科学基础2016-2022年考研初试真题
- 欧姆龙E5CWL-E5CSL温控器说明书
评论
0/150
提交评论