hadoop基础课件4-使用mapreduce程序分析数据

使用MapReduce程序分析数据课程目标

掌握MapReduce的基本原理第一个MapReduce程序

MapReduce的序列化

MapReduce的排序

MapReduce的分区什么是Combiner？什么是Shuffle？MapReduce的基本概念和原理问题：怎样解决海量数据的计算？MapReduce的基本概念MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入信息。第一个Map-Reduce程序实现WordCountMapReduce的高级编程MapReduce的序列化MapReduce的排序MapReduce的分区什么是Combiner？MapReduce的序列化序列化（Serialization）是指把结构化对象转化为字节流。反序列化（Deserialization）是序列化的逆过程。即把字节流转回结构化对象。Java序列化（java.io.Serializable）Hadoop序列化的特点序列化格式特点：紧凑：高效使用存储空间。快速：读写数据的额外开销小可扩展：可透明地读取老格式的数据互操作：支持多语言的交互Hadoop的序列化格式：Writable

Hadoop序列化的作用序列化在分布式环境的两大作用：进程间通信，永久存储。Hadoop节点间通信。实现Hadoop的序列化输出员工信息MapReduce的排序在Map和Reduce阶段进行排序时，比较的是key2。value2是不参与排序比较的。如果要想让value2也进行排序，需要把key2和value2组装成新的类，作为key2，才能参与比较。MapReduce的排序示例按照员工薪水进行排序MapReduce的分区Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。MapReduce有一个默认的分区规则：只会产生一个分区MapReduce的分区示例按照员工的部门号进行分区输出分区1中的数据分区2中的数据分区3中的数据什么是Combiner？每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。Combiner注意注意Combiner的输出是Reducer的输入，如果Combiner是可插拔的，添加Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致，且不影响最终结果的场景。比如累加，最大值等。什么是Shuffle