《Hadoop技术原理》课件-7.MapReduce进阶

Hadoop技术原理MapReduce进阶MapReduce进阶01MapReduce进阶01MapReduce输入格式逻辑分片（按照200字分片）MapReduce进阶02MapReduce输入格式逻辑分片有了逻辑分片，就可以逐行获取数据MapReduce进阶03MapReduce输入格式InputFormat类实现了两个功能数据切分，获得SplitInput（逻辑切片），FileInputFormat.getSplits()获取到。为Mapper提供输入数据。有多少个SplitInput，就有多少个Mapper由于没有定义InputFormat，默认使用TextInputFormat逐行获取文本MapReduce进阶04MapReduce输出格式OutputFormat主要用于描述输出数据的格式，通过RecordWriter能够将用户提供的key/value对写入特定格式的文件中TextOutputFormt调用toString()方法把它们转换为字符串NullWritable来省略输出的key或valueMapReduce进阶05分区(partition)Partition定义Mapper任务划分数据的过程称作Partition。负责实现数据的类称作Partitioner，默认的分区是Hash分区(HashPartition)。Partition作用将map阶段产生的所有<key,value>对分配给不同的Reducer处理，可以将Reduce阶段的处理负载进行分摊。把数据打散进行处理，最终是为了避免热块（数据倾斜）Partition的数量决定Reducer的数量。MapReduce进阶06分区分区的基本原理计算某个值的hash值，如果结果相同，则放入同一个分区MapReduce进阶07合并是一种特殊Reducer，在Mapper端，先执行一次Reducer作用：减少Mapper输出到Reduce的数据量，缓解网络传输瓶颈，提高reducer的执行效率。需要注意的问题：一定要谨慎使用Combiner，有些情况不能使用Combiner---->如：求平均值保证引入Combiner以后，不能改变原来的逻辑

合并（Combiner）合并简介MapReduce进阶08合并（Combiner）使用Combiner差异MapReduce进阶09合并（Combiner）不能使用Combiner情况-->举例：求平均值MapReduce工作机制02MapReduce工作机制01Yarn中运行MapReduce的工作原理MapReduce工作机制02Yarn中运行MapReduce的工作原理整个过程涉及五个独立的实体：客户端：提交MapReduce作业YARNResourceManager：负责协调集群上计算机资源的分配YARNNodeManager：负责启动和监视集群中机器上的计算容器(container)MapReduce的ApplicationMaster，负责协调运行MapReduce作业的任务。它和MapReduce任务在容器中运行，这些容器由资源管理器分配并由节点管理器进行管理。分布式文件系统（一般为HDFS）：共享作业文件MapReduce工作机制03状态更新在MapReduce中的传递流程MapReduce工作机制04状态更新在MapReduce中的传递流程map任务或reduce任务运行时，向自己的MRAppMaster报告进度和状态。MRAppMaster形成一个作业的汇聚视图客户端每秒钟轮询一次MRAppMaster获取最新状态。Shuffle（MapReduce的核心）05MapReduce确保每个reducer的输入都是按键排序的。系统执行排序、将map输出作为输入传给reducer的过程称为Shuffle。Shuffle是MapReduce奇迹发生的地方。Shuffle（MapReduce的核心）06Shuffle：把中间结果里相同键值的数据送给同一个Reducer一个Reducer处理多个键值一个Reducer处理的所有键值称为一个“分片”(Partition)Mapper任务输出中间结果后，需要确定每个键值对所对应的分片MapReduce编程案例07排序基本数据类型（1）数字默认：升序举例：查询员工的薪水，按照升序排序降序：重写一个比较器 （2）字符串字典顺序举例：WordCount单词计数非基本