基于hadoop生态系统的大数据解决方案tp

1、ACCP8.0职业教育研究院北京阿博泰克北大青鸟信息技术有限公司Y2第七章 天气查询系统预习检查n HBase适合实时查询吗？为什么？n MapReduce适合实时查询吗？为什么？n 为什么在Mapper或Reducer类中定义的System.out.println()语句不会在客户端中输出？n 请解释配置项“io.serializations”的作用集中测试集中测试2/33训练的技能点n 会使用HDFS FS 命令n 能够进行MapReduce 编程n 能够让Mapper输出到HBasen 能够让Reducer输出到HBasen 会使用HBase Java API进行内容查询n 能够使用HB

2、ase过滤器进行内容查询n 能够部署作业驱动客户端3/33n 系统概述任务描述2-1天气查询系统天气查询系统天气数据导入查询某一天的天气数据查询每年的最高气温查询每年查询每年的最低气的最低气温温查询每年的平均气温查询每年下雨天数预测明天气温4/33任务描述2-2n 用例图演示案例：天气查询系统5/33问题分析1：整体开发思路n 系统开发步骤u明确需求u准备气象数据u创建项目u编码顺序u测试作业驱动主作业驱动主程序程序查询某天天查询某天天气数据气数据查询每年最查询每年最高（最低、高（最低、平均）气温平均）气温查询每年的查询每年的下雨天数下雨天数预测明天的预测明天的气温气温231546/33问题分

3、析2：界面交互设计n 界面交互设计的原则u易用性原则操作方式自然、操作方式自然、易理解易理解u友好性原则输入错误或系统发生错误有及时的提示输入错误或系统发生错误有及时的提示7/33问题分析3：技术分析n 技术实现中需要考虑的问题u原始数据格式u数据存储设计u导入数据u工具选择离线计算：离线计算：MapReduce实时查询：实时查询：HBaseu统计年最高、最低、平均气温年最高、最低、平均气温年下雨天数年下雨天数u天气预测8/33难点分析：理解业务n 统计年最高气温、最低气温、平均气温umap阶段:依次读取每一条气象数据，分别输出MAX、MIN、TEMP值，key应为年份ureduce阶段：分别

4、求出最大值、最小值、平均值n 统计一年中下雨天数u统计记录字段FRSHTT，如果R为1则计数一次n 天气预测功能u根据历史气象数据，统计不同年的同一日期的TEMP、MAX、MIN，再分别求得平均数模拟预测功能9/33开发计划n 准备数据30分钟n 用例1：查询某一天的天气数据30分钟n 用例2：查询每年的最高气温50分钟n 用例3：查询每年的最低气温25分钟n 用例4：查询每年的平均气温25分钟n 用例5：查询每年下雨的天数30分钟n 用例6：预测明天的气温50分钟10/33准备数据n 使用Mapper逐条导入u解析气象数据格式u使用TableOutputFormat格式输出输出键：输出键：“

5、STN + YEARMODA”输出值：解析后的输出值：解析后的Put实例实例n Configuration conf.setStrings(io.serializations, conf.get(io.serializations),MutationSerialization.class.getName(),ResultSerialization.class.getName(),KeyValueSerialization.class.getName();使得使得MapTask可以对可以对TableOutputFormat的输出键的输出键/值类型进行序列化值类型进行序列化演示案例：导入数据完成时

6、间：30分钟11/33用例1：查询某一天的天气数据 2-1n 需求说明u用户选择功能【1】，系统提示用户输入日期格式u根据输入日期返回天气数据n 方法一u使用Get对象查询行键“STN+YEARMODA”n 方法二u使用Scan对象对表扫描u为Scan添加过渡器SingleColumnValueFilter指导指导讲解需求说明分析分析完成时间：30分钟scan.setFilter(new SingleColumnValueFilter(Bytes.toBytes(“info”),Bytes.toBytes(“YEARMODA”), CompareOp.EQUAL,Bytes.toBytes(“

7、20080808”);12/33n 启动后是否正确显示菜单n 输入“0”，程序关闭n 输入除“0”以外的操作编号，是否继续显示菜单n 输入“1”并输入正确日期，结果是否达到预期n 要求u互相验证完成的程序功能u小组长检查本组完成情况功能测试功能测试用例1：查询某一天的天气数据 2-213/33共性问题集中讲解n 常见问题及解决办法n 代码规范问题n 调试技巧共性问题集中讲解 14/33用例2：查询每年的最高气温 2-1n 需求说明u用户选择功能【2】，作业被提交到Hadoop，并将统计结果输出到“results”表的列“statistic:max”u作业结束后，查询表并输出n 实现Mapper

8、umap()：获得每一天的最高气温，作为本年度最高气温的候选项n 实现Reducerureduce()：从本年度每天的最高温度中选择最大值，作为本年度最高气温输出指导指导讲解需求说明完成时间：50分钟分析分析15/33n 输入“2”，是否正确显示结果n 要求u互相验证完成的程序功能u小组长检查本组完成情况功能测试功能测试用例2：查询每年的最高气温 2-216/33共性问题集中讲解n 常见问题及解决办法n 代码规范问题n 调试技巧共性问题集中讲解 17/33用例3：查询每年的最低气温 2-1n 需求说明u用户选择功能【3】，作业被提交到Hadoop，并将统计结果输出到“results”表的列“s

9、tatistic:min”u作业结束后，查询表并输出n 实现Mapperumap()：获得每一天的最高气温，作为本年度最低气温的候选项n 实现Reducerureduce()：从本年度每天的最低温度中选择最小值，作为本年度最低气温输出讲解需求说明完成时间：25分钟练习练习提示提示18/33n 输入“3”，是否正确显示结果n 要求u互相验证完成的程序功能u小组长检查本组完成情况功能测试功能测试用例3：查询每年的最低气温 2-219/33共性问题集中讲解n 常见问题及解决办法n 代码规范问题n 调试技巧共性问题集中讲解 20/33用例4：查询每年的平均气温 2-1n 需求说明u用户选择功能【4】，

10、作业被提交到Hadoop，并将统计结果输出到“results”表的列“statistic:avg”u作业结束后，查询表并输出n 实现Mapperumap()：获得每一天的平均气温，作为本年度平均气温的候选项n 实现Reducerureduce()：从本年度每天的平均温度中再求平均值，作为本年度平均气温输出讲解需求说明完成时间：25分钟练习练习提示提示21/33n 输入“4”，是否正确显示结果n 要求u互相验证完成的程序功能u小组长检查本组完成情况功能测试功能测试用例4：查询每年的平均气温 2-222/33共性问题集中讲解n 常见问题及解决办法n 代码规范问题n 调试技巧共性问题集中讲解 23/

11、33用例5：查询每年的下雨天数 2-1n 需求说明u用户选择功能【5】，作业被提交到Hadoop，并将统计结果输出到“results”表的列“statistic:rain”u作业结束后，查询表并输出n 实现Mapperumap()：输出的前提条件是该行的“FRSHTT”中第1位（由0开始）为1n 实现Reducerureduce()：对输入key的所有值求和，并按“results”表的行键key输出该求和值到列“statistic:rain”讲解需求说明完成时间：30分钟练习练习提示提示24/33n 输入“5”，是否正确显示结果n 要求u互相验证完成的程序功能u小组长检查本组完成情况功能测试功

12、能测试用例5：查询每年的下雨天数 2-225/33共性问题集中讲解n 常见问题及解决办法n 代码规范问题n 调试技巧共性问题集中讲解 26/33用例6：预测明天的气温 2-1n 需求说明u用户选择功能【6】，作业被提交到Hadoop，并将统计结果输出到“forecast”表的列族“item”u作业结束后，查询表并输出列族“item”所有列n 实现Mapperumap()：获得每年“明天”天气数据，以MapWritable封装后输出u输出键/值：n 实现Reducerureduce()：统计所有当天的TEMP、MAX、MIN，并分别求出平均值指导指导讲解需求说明分析分析完成时间：50分钟27/33n 输入“6”，是否正确显示结果n 要求u互相验证完成的程序功能u小组长检查本组完成情况功能测试功能测试用例6：预测明天的气温 2-228/33共性问题集中讲解n 常见问题及解决办法n 代码规范问题n 调试技巧共性问题集中讲解 29/33项目总结n 讲解要点u完成情况、技能总结、经验分享、项目收获n 表达要求u清晰流畅、有条理、重点突出作品展示作品展示30/33技能总结n 技术实现u灵活利用Hadoop提供的MapReduce编程模型Mapper在多节点间并行、逐行分解数据原始记录在多节点间并行、逐行分解数据原始记录Reducer合并合并Mappe