《大数据采集与预处理》大数据Hadoop平台的Flume数据采集框架-日志数据采集应用案例-02

《大数据采集与预处理》课程教案开课学院课程名称授课学期授课教师授课班级总课时64

模块/项目九任务9《大数据Hadoop平台的Flume数据采集框架——日志数据采集应用案例》教学设计方案一、教学分析课题名称Flume的配置和案例应用授课方式线上线下、理实一体授课学时2授课地点授课时间教学内容掌握Flume的Source、Channel和Sink的结构及配置要点；学会查阅官方文档确定配置项；针对web日志和TCP端口的数据采集能进行实施学情分析通过前面的学习，学生已经初步了解了大数据情况下数据采集将面临的挑战，对Hadoop生态圈和Flume有了基本的了解。教学目标知识目标掌握Flume的配置方法和步骤掌握web日志采集的场景下，如何实现对文件夹的监控和采集掌握TCP端口的数据采集能力目标能根据业务场景设计采集方案能根据官网文档进行配置文件的编写能够解决运行过程中遇到的异常能够灵活组合Flume，实现多级数据采集素质目标课程思政育人目标：线上线下结合，引导学习方式，培养自主学习能力；培养学生分析方法、孜孜不倦；通过小组协作学习，提高学生解决问题能力和培养学生团队合作精神；在实践教学中培养学生精益求精的工匠精神；劳动教育目标：在学生进行数据采集、HDFS操作实践练习过程中培养学生勤俭、奋斗、创新、奉献的劳动精神。教学重点掌握Flume配置编写的过程；掌握文件夹监控，TCP端口监控采集的配置过程教学难点解决运行过程中遇到的异常二、教学策略教学资源教材页、多媒体课件、重庆高等教育智慧教育平台任务模块五、国家职业教育智慧教育平台大数据技术专业教学资源库、理实一体化实训室、教学方法与手段通过学情调研，分析学情，根据学生基础情况，设计教学策略；通过多媒体演示的方法进行讲授，讲授过程中根据学生的掌握情况调整教学策略，进行课堂互动讨论；通过情境教学法营造情境，进行实践操作演示，耐心地进行学生实践指导；通过小组协作的方式，提高学生解决问题的能力，培养学生团队合作意识；通过理论与实践相结合的方式，让学生在实践中加深对理论知识的理解；采用线上线下混合教学模式，提升教学质量。教学重点解决措施根据学生基础情况自然引入课程内容；通过多媒体演示、课堂互动讨论等方式提高讲授质量；通过小组协作的方式，提高学生参与课堂的积极性；通过细致地进行实践操作演示，让学生理解实践操作步骤；通过线上线下混合教学模式，丰富教学方式，为学生提供反复学习的机会，并开展线上答疑。教学难点解决措施由于本次课教学难点主要在实践操作方面，所以本次课将从以下三个方面解决本次课教学难点：通过线上线下混合教学模式，丰富教学方式，为学生提供反复学习的机会，并开展线上答疑；通过细致地进行实践操作演示，让学生理解实践操作步骤；通过课堂互动，解除学生疑惑，让学生一步一步解决问题；三、教学实施第X次课（2课时）课前准备教学内容教师活动学生活动设计意图备注教学环境准备调试好教室的硬件设备和软件环境准备好教学需要使用的工具发布教学资料准备任务准备好教材、课堂记录本、笔等学习用品。培养学生养成良好的学习习惯、督促学生进入良好的学习状态教学内容准备根据学情分析、教学内容和教学环境，研究和准备教学内容、设计和制作教学资源（包括多媒体课件，教学案例等）预习学习内容更好地开展课堂教学激发学生主动学习、提高学生信息整理能力教学策略准备根据学情分析、教学内容和教学环境，设计教学策略学习小组进行课前预习知识讨论、研究本次课学习方法更加有效地提高教学质量、促进学生对本次课知识的理解和技能的掌握课中探究教学内容教师活动学生活动设计意图课程引入-复习前面学习的内容、引入本次课内容复习之前的HDFS基本操作，重温面临的挑战认真听讲、思考回答问题、积极参与课堂讨论让学生复习上次课学习内容的重点培养学生积极探索、勇于创新的科学素养掌握Flume的Source、Channel和Sink的工作原理讲解Flume的设计理念，特别注意讲解散入散出的概念；同时讲解级联采集的理念；认真听讲、小组讨论、课堂提问通过小组协作学习，提高学生解决问题能力和培养学生团队合作精神在实践教学中培养学生精益求精的工匠精神培养勤俭、奋斗、创新、奉献的劳动精神Flume的配置基础以一个监控文件内容的案例，讲解配置文件的配置方式，尤其注意讲明如何根据官网文档进行对应项的配置；同时，讲解如何执行Flume进行数据采集。认真听讲，认真进行实践练习，完成实践练习项目让学生理解并掌握如何利用官网文档进行Flume的配置，以及如何启动Flume采集，通过小组协作学习，提高学生解决问题能力和培养学生团队合作精神Web日志采集和TCP端口数据采集基于两个典型的大数据采集场景。讲解如何进行web日志采集和TCP端口采集。注意讲解如何实现级联采集，如何设置Source为文件夹，Sink为HDFS；尤其注意讲解如何解决执行过程中出现的各类异常。认真听讲、小组讨论、课堂展示让学生理解并掌握基于文件夹和TCP的采集，同时理解级联采集的应用场景。通过小组协作学习，提高学生解决问题能力和培养学生团队合作精神培养学生语言表达能力培养勤俭、奋斗、创新、奉献的劳动精神课后拓展教学内容教师活动学生活动设计意图完成课后作业布置课后任务、进行课后答疑根据文档实现采集数据放入MySQL中。掌握本次课的知识与技能总结本次任务，预习新知识布置总结及预习任务完成课后总结及预习任务培养学生课后总结复习、课前预习的良好习惯。考核评价本次课通过对学生课前、课中、课后的综合表现情况评价完成本