2023学年完整公开课版MapReduce的重要概念_第1页
2023学年完整公开课版MapReduce的重要概念_第2页
2023学年完整公开课版MapReduce的重要概念_第3页
2023学年完整公开课版MapReduce的重要概念_第4页
2023学年完整公开课版MapReduce的重要概念_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

MapReduce的重要概念目录一、什么是MapReduce二、MapReduce核心思想三、MapReduce特点四、MapReduce适用的开发场景一、什么是MapReduce

MapReduce起源，在介绍大数据编年史时有提到Google最早在04年发表论文MapReduce，之后DougCutting基于这篇论文通过Java做了开源实现，Mapredce如今是作为Hadoop的核心组件之一，而HDFS是Hadoop的另外一个核心，此外还有Hadoop2.X之后推出的YARN。什么是MapReduce二、MapReduce核心思想“分而治之”，分治思想是MapReduce当中一个非常重要的思想。大数据场景当中我们处理的数据量非常之大，任务也很重，于是我们通常采用分治的思想，把这样一个大任务拆分为数个本质相同却又互相独立的小任务（就像将一个大面包切分成多块小的面包），这些小任务同时进行计算，后对计算结果进行汇总，这样子的话会比我们单进程的计算速度要快很多。分而治之，分布式计算二、MapReduce核心思想在HDFS中数据已经按不同的block拆分之后分散的存储在不同的DataNode服务器上，可以让每一台数据存放结点（服务器）先将各自结点上的数据块计算完，然后再将最终结果做一个整理，也就是说数据在哪里、就在哪里计算，过程当中只是将计算任务移动到对应的数据结点来进行处理。这样计算速度显然会非常的高效。移动计算，而非移动数据三、MapReduce特点分布式计算，计算跟着数据走，数据存放在哪就在哪里进行计算，极大的减少了IO的开销。移动计算而不移动数据良好的扩展性分布式计算框架拥有相当良好的扩展性，随着节点数量的增加，单个节点的计算量减小，整体的计算能力近乎线性的递增。高容错性计算任务失败，会自动恢复计算，拥有良好的容错性。三、MapReduce特点提交任务之后，任务具体执行在哪个节点，具体执行到哪个阶段，在后台或者监控界面，我们都能实时的进行监控。状态监控适合于海量数据的离线批处理

MapReduce在设计之初的目标就是面向离线批处理，特别是大吞吐量的离线处理场景，更适合于MapReduce。降低了分布式编程的门槛大部分操作MapReduce已经实现，我们仅仅需要在特定的部分编写我们自己的业务逻辑，极大的减少了工作量，同时也降低了编程的门槛。四、MapReduce适用的开发场景对于高吞吐量要求的离线批处理场景，MapReduce都是适用的，如数据统计，搜索引擎构建索引，海量数据查询等。并且对于复杂数据分析算法的实现，MapReduce也是十分适用的。MapReduce适用的开发场景习题：1、请解释一下MapReduce核心思想“分而治之”的含义？2、请解释一下MapReduce核心思想“移动计算而非移动

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论