![云计算与大数据技术 课件9.3 MapReduce计算框架_第1页](http://file4.renrendoc.com/view4/M01/0E/0B/wKhkGGaOUz6AEU_MAAA2m2lo8T4710.jpg)
![云计算与大数据技术 课件9.3 MapReduce计算框架_第2页](http://file4.renrendoc.com/view4/M01/0E/0B/wKhkGGaOUz6AEU_MAAA2m2lo8T47102.jpg)
![云计算与大数据技术 课件9.3 MapReduce计算框架_第3页](http://file4.renrendoc.com/view4/M01/0E/0B/wKhkGGaOUz6AEU_MAAA2m2lo8T47103.jpg)
![云计算与大数据技术 课件9.3 MapReduce计算框架_第4页](http://file4.renrendoc.com/view4/M01/0E/0B/wKhkGGaOUz6AEU_MAAA2m2lo8T47104.jpg)
![云计算与大数据技术 课件9.3 MapReduce计算框架_第5页](http://file4.renrendoc.com/view4/M01/0E/0B/wKhkGGaOUz6AEU_MAAA2m2lo8T47105.jpg)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
MapReduceMapReduceMapReduce是一个分布式运算程序的计算框架,其核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序,从而并发运行在一个Hadoop集群上。MapReduce的基本思路是先对庞大的数据集进行划分,将其分解成若干个小的数据集,再将每个(或多个)数据集交由集群中的某个普通计算节点运行,得到一个中间的输出结果。之后,将这些中间的输出结果根据一定的规则进行汇聚,归并出最后的输出结果到HDFS上。MapReduce架构MapReduce2.0采用了主从(MasterSlave)结构,ResourceManager(资源管理器)是Master,NodeManger(节点管理器)是Slave。ResourceManager分为Scheduler(调度器)和ApplicationsManager(应用程序管理器)。Scheduler负责作业的调度并将集群中的资源分配给应用,ApplicationManager负责接收任务。MapReduce2.0架构Container(容器)是YARN中资源的抽象,将操作系统中多维度的资源(如CPU、内存、网络I/O和磁盘I/O等)封装在一起,是YARN中资源的基本单位。客户端提交一个作业(应用程序)到ResourceManager上,ResourceManager先与集群中的NodeManager通信,然后根据集群中NodeManger的资源使用情况,确定运行作业的NodeManager;MapReduce2.0架构MapReduce2.0架构确定了运行的节点后,作业马上向ResourceManger申请资源,资源被封装成Container的形式响应给应用,申请到资源后,ResourceManger马上在NodeManger上启动作业。所有任务运行完成后,ApplicationMaster向ResourceManager发出注销指令,结束整个应用程序的运行。MapReduce的执行流程MapReduce的执行流程下面以一个基于MapReduce的WordCount例子的执行流程来展示MapReduce的执行流程MapReduce的shuffle机制MapReduce的shuffle机制Shuffle是MapReduce框架中Map阶段与Reduce阶段之间数据传递的关键流程,其每个处理步骤都在不同的MapTask和ReduceTask节点上分布式地进行。具体而言,它负责将MapTask输出的结果数据发送给ReduceTask,并在这一过程中,根据Key对数据进行分区和排序。MapReduce的shuffle机制Shuffle的核心机制包括数据分区(Partition)、数据排序(Sort,根据Key进行
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- Android安卓系统分析报告-外文版培训课件2024.7
- 奥地利聊天软件用户分析报告:FaceTime-外文版培训课件2024.7微信支付宝
- 保护眼睛的小班教案健康
- 绍兴市嵊州市黄泽镇社区工作者招聘考试试题及答案2024
- 编制水利标书常见的115个错误
- 第20章文明施工保证体系与环境保护措施
- 水库除险加固工程监理技术交底
- 2024年物流合同范文物流合作协议书写啊
- 山东省胶州一中2025届高三二诊模拟考试生物试卷含解析
- 2025届山西省大同市云冈区高三一诊考试生物试卷含解析
- 2022装修公司市场部工作计划5篇
- 二方连续图案课件
- 癌症筛查与早诊培训考试试题及答案
- 最全《中国中铁集团有限公司工程项目管理手册》
- 国寿产险备案2009n106-n107董事、监事及高级管理人员职业责任保险费率规章
- DB11T 2000-2022建筑工程消防施工质量验收规范
- 春节与圣诞节的差异课件
- 永磁同步电机无位置传感器矢量控制课件
- 城乡公交公司车辆技术管理办法
- 2021年温二高、瓯海中学、龙湾中学提前招生语文试卷
- 供应商认证与审核流程培训试题
评论
0/150
提交评论