大数据项目实战第4章 数据预处理 -教学设计

PAGE2黑马程序员《大数据项目实战》教学设计课程名称：大数据项目实战授课年级：20xx年级授课学期：20xx学年第一学期教师姓名：某某老师2019年9月1日课题名称第4章数据预处理计划学时6课时内容分析由于海量数据的来源是广泛的，数据类型也是多而繁杂的，因此，数据中会夹杂着不完整的、重复的以及错误的数据，如果直接使用这些原始数据的话，会严重影响数据决策的效率。因此，对原始数据进行预处理是大数据分析和应用过程中的关键环节。本章将编写数据数据预处理程序对第3章采集的数据进行预处理。。教学目标及基本要求了解数据预处理流程掌握编写MapReduce程序熟悉HDFSShell的基本使用掌握MapReduce程序的两种运行模式教学重点编写MapReduce数据预处理程序MapReduce程序的两种运行模式HDFSShell的基本使用教学难点编写MapReduce数据预处理程序教学方式教师课堂教学要以讲演法讲授为主，并结合多媒体进行教学教学过程第一课时（分析预处理数据、设计数据预处理方案）一、回顾数据采集章节内容（1）对数据采集章节遇到的问题进行答疑（2）回顾数据采集章节内容，引出本节课主题通过上一章节课程的学习，学生对采集系统收集到的日志数据有了基本了解，下面就可以讲解数据预处理的开发。2.明确学习目标（1）分析预处理数据（2）设计数据预处理方案（3）数据数据预处理过程二、进行重点知识讲解1．分析预处理数据教师可以参考课件以讲演法的方式讲解，将采集数据文件中的内容，即JSON格式数据放在JSON格式化工具中进行格式整理，将整理后的数据展示给学生观察，并讲解整体数据中实际应用到的几个数据字段。2．设计数据预处理方案教师可以参考课件进行讲解，对原始数据的获取到预处理结果数据的输出通过MapReduce程序的执行过程进行讲解。三、归纳总结，随堂练习，布置作业1．对课堂上讲解的知识点进行总结。2．让学生自己动手对原始数据文件动手操作观察，以此来巩固本节的学习内容。第二课时（数据预处理环境准备、创建数据转换类）一、回顾上一节内容1．对上一节课遇到的问题进行答疑2．回顾上节课内容，引出本节课的主题通过上一节内容我们了解到需要从原始数据中提取哪些有用数据，并对MapReduce数据预处理程序的执行过程有了初步认识，在本节课中我们将实现编写需处理程序的环境准备工作并编写一个在预处理程序中对数据起到主要处理工作的数据转换类。3．明确学习目标（1）创建数据预处理环境（2）创建数据转换类二、进行重点知识的讲解1.创建数据预处理环境教师可以参考课件以讲演法的方式来讲述如何在Eclipse中创建Maven工程，并配置工程中的pom.xml文件，添加程序所需要的依赖包。并提醒学生在运行该程序前需要在Linux中启动大数据集群环境。2.创建数据转换类配套提供的源代码复制过来对类中涉及的多个方法进行讲解，编写数据转换类，实现对薪资、职位所在城市、技能要求和福利这四类数据进行提取与处理。三、归纳总结，随堂练习，布置作业1．对课堂上讲解的知识点进行总结。第三课时（上机操作）上机一：环境准备与创建数据转换类按照教材中4.3.1和4.3.2小节的内容及在教师辅导下完成。第四课时（创建实现Map任务的Mapper类、创建MapReduce主程序并执行程序）一、回顾上节课内容1.对上节课遇到的问题进行答疑2．回顾上节课内容，引出本节课的主题上一节中，我们对实现数据预处理程序的环境进行创建并编写了数据转换类，在本节课中将讲解如何实现MapReduce程序，编写Map程序即主程序，在Map程序中调用之前创建的数据转换类，真正实现通过MapReduce程序是现实数据的预处理功能。3．明确学习目标（1）实现Map任务的Mapper类（2）创建MapReduce主程序并执行程序二、进行重点知识的讲解实现Map任务的Mapper类教师可以参考课件以讲演法的方式来讲述Map任务的Mapper类创建，教师可将教材配套提供的源代码复制过来进行讲解。2．创建MapReduce主程序并执行程序教师可以参考课件以讲演法的方式来讲述MapReduce主程序类创建，教师可将教材配套提供的源代码复制过来进行讲解，讲解完代码后，通过主程序在本地运行MapReduce程序，让学生观察预处理后的数据内容。三、归纳总结，随堂练习，布置作业1．对课堂上讲解的知识点进行总结。第五课时（上机练习）上机二：实现Map任务的Mapper类和创建MapReduce主程序并执行程序按照教材中4.3.3和4.3.4小节的内容及在教师辅导下完成。第六课时（将数据预处理程序提交到集群中运行，上机操作）一、回顾前几节课内容，1.对上一节遇到的问题进行答疑2．回顾上一节内容，引出本节课的主题在上一章节内容中，我们讲解了如何通过编写MapReduce程序实现数据预处理，并进行本地运行，本节课中针对已完成的MapReduce程序进行修改，将MapReduce程序打包提交到大数据集群环境下运行。3．明确学习目标（1）将数据预处理程序提交到集群中运行二、进行重点知识的讲解1．将数据预处理程序提交到集群中运行教师可以参考课件以讲演法的方式来讲述MapReduce提交到进群环境下运行需要对程序进行哪些修改，怎样将程序打包并提交到集群环境下运行，教师可将教材配套提供的源代码复制过来进行讲解