课题一分组去topN统计温度案例

分组取topN统计温度案例掌握分组取topN统计温度案例

1、需求2、设计思路3、阶段4、代码编写5、结果展示需求：从一组数据中，统计每一年的每一个月中，气温最高的前两天。输入样例：1949-10-0114:21:0234c1949-10-0214:01:0236c1950-01-0111:21:0232c1950-10-0112:21:0237c1951-12-0112:21:0223c1950-10-0212:21:0241c1950-10-0312:21:0227c1951-07-0112:21:0245c 1951-07-0212:21:0246c1951-07-0312:21:0347c需求输出样例：1949-10-2-361949-10-1-341.对于输出结果，如何保证，选取两条气温最高的记录？将相同的年月下的记录按照温度降序排列。这样，在最终获取结果时，前两条记录一定是气温最高的两天。2.如何获得相同的年月下的气温最高的记录呢？对于reduce端拉取的数据，保证reduce每次处理的数据为同一年同一个月份下的数据，将同年同月的数据排序（这个阶段可由group做），取前两条记录，即为该年该月下，气温最高的前两条记录。3．上一个wordCount案例中的排序，是按照MapReduce程序默认的字典排序规则，进行排序，但对于本示例，既要对日期进行升序排列（默认），又要对温度做降序排列，那么如何操作？设计思路map阶段：负责将数据切分，对应存入JavaBean中。将JavaBean传入partition阶段。partition阶段：继承Partitioner，复写getPartition()方法，指定相同年份的数据分到同一个reduce中，这样，一个reduce任务，对应输出一个文件。sort阶段：确保每个传递过来的JavaBean，确定排序规则：相同的年份，比较月份；月份相同，比较温度。group阶段：此阶段为shufflereduce端的分组排序。Reduce阶段：统计每一年中每一个月中每天的温度，并选择其中温度最高的两条记录。阶段Configurationconf=newConfiguration();conf.set("fs.defaultFS","HDFS://Master:9000");Jobjob=Job.getInstance(conf);//设置程序入口job.setJarByClass(runJob.class);//设置map类job.setMapperClass(mapper.class);//设置map的输出类型job.setMapOutputKeyClass(weather.class);job.setMapOutputValueClass(IntWritable.class);//设置reduce类job.setReducerClass(reduce.class);job.setPartitionerClass(TQpartition.class);job.setSortComparatorClass(sort.class);job.setGroupingComparatorClass(group.class);job.setNumReduceTasks(3