MapReduce技术平台详解

1、技术创新，变革未来MapReduce技术平台详解内容MapReduce介绍MapReduce优缺点MapReduce基本流程 MapReduce编程范例MapReduce练习案例MapReduce介绍MapReduce 是一个分布式计算框架基于它写出来的应用程序能够运行在由上千个商用机器组 成的大型集群上以一种可靠容错的方式并行处理PB级别的数据集Hadoop MapReduce 其实就是 Google MapReduce 的一 个开源版本MapReduce优点易于编程：简单的实现一些接口，类似于写一个简单的串 行程序，就可以完成一个分布式程序，这个分布式程序可以 分布到大量廉价的 PC 机器

2、运行良好的扩展性：计算资源不够的时候，可以通过简单的增 加机器扩展计算能力高容错性：例如其中一台机器挂了，会自动把上面的计算任务转移到另外一个节点上运行，不至于任务运行失败，整 个过程不需要人工参与离线处理PB 级以上海量数据：适合离线处理MapReduce缺点实时计算： MapReduce 无法像 Mysql 一样，在毫秒或者 秒级内返回结果流式计算： MapReduce 自身的设计特点决定了数据源必 须是静态的，不能动态变化，而流式计算的输入数据是动态 的DAG计算：涉及多次迭代计算，MapReduce 可以做，但是每个MapReduce 作业的输出结果都会写入到磁盘，造成 大量的磁盘IO

3、，导致性能低下MapReduce基本流程（1）MapReduce是一种编程模型，用于大规模数据集的并行 计算，主要思想是Map(映射)和Reduce(化简)。MapReduce程序将输入数据列表变成输出数据列表。MapReduce程序由两个阶段组成：Map和Reduce，用户 只需要实现map()和reduce()两个函数，即可实现分布式计 算。MapReduce基本流程（2）map任务处理对输入文件的每一行，解析成key、value对，每一个键值 对调用一次map函数写自己的逻辑，对输入的key、value处理，转换成新的key、value输出对输出的key、value进行分区对不同分区的数

4、据，按照key进行排序、分组，相同key的value放到一个集合中(可选)分组后的数据进行归约MapReduce基本流程（3）reduce任务处理对多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点对多个map任务的输出进行合并、排序写reduce函数逻辑，对输入的key、value处理，转换成新 的key、value输出把reduce的输出保存到文件中MapReduce的基本设计思想对大数据并行处理：分而治之上升到抽象模型：Map与Reduce上升到框架：以统一框架为程序员隐藏系统细节MapReduce编程范例PatentMapReduce练习某旅行APP每天产生

5、大量访问日志，用户【uuid-x】每一次操作会产生一条 日志记录，假设用户可通过单程搜索【search-dancheng】，往返搜索【 search-wangfan】等多个入口进入，可通过报价详情页【detail】选择航班 并完成最后的下订单，可通过【submit】完成购票操作日志格式如下，请计算20150521这一天该旅行APP有多少单程搜索，有多 少往返搜索MapReduce练习合并文档去重：资源文件a1：hadoop test hello word资源文件a2： happy birthdaythis isa test最终结果： hadoop testhello word happy birthday thisis a如果不去重呢？MapReduce练习统计结果：1-3年经验3-5年经验5-10年经验8-30k10-33k20-35kMapReduce练习气象数据集：由分布在美国全国各地区的很多气象传感器每隔一小时进行 收集MapRedu