大数据项目实战第3章 数据采集 -教学设计

PAGE1黑马程序员《大数据项目实战》教学设计课程名称：大数据项目实战授课年级：20xx年级授课学期：20xx学年第一学期教师姓名：某某老师2019年9月1日课题名称第3章数据采集计划学时7课时内容分析数据是开展本书项目重要的基础，有了这些数据才能明确我们的分析内容。本章将实现网络数据采集程序。教学目标及基本要求了解HTTP协议了解爬虫的基本原理掌握HDFSAPI的基本使用熟悉HttpClient爬虫的使用方法教学重点通过HttpClient编写网络爬虫程序HDFSAPI的应用HTTP请求过程教学难点HttpClient编写网络爬虫程序教学方式教师课堂教学要以讲演法讲授为主，并结合多媒体进行教学教学过程第一课时（数据源分类、HTTP请求过程、认识HttpClient）一、网络数据采集1.网络数据采集知识概要在编写数据采集程序前，对网络数据采集所涉及的知识点做简单介绍，奠定网络数据采集的基础知识。本节课将针对这些知识点进行讲解。2.明确学习目标（1）了解采集数据源的分类（2）了解HTTP请求过程（3）了解HttpClient网络框架二、进行重点知识讲解1．采集数据源的分类教师可以参考课件对三大类数据源：系统日志采集、网络数据采集和数据库采集进行简要讲解，并介绍本项目使用的数据源。2．HTTP请求过程教师可以参考课件以讲演法的方式讲解，在浏览器中输入URL链接打开网页，通过浏览器提供的开发者工具对HTTP请求过程、HTTP请求以及HTTP响应进行详细讲解，并对相应请求中包含的参数及内容进行介绍，使学生在后续编写爬虫程序使用这些参数时有一定来了解。3．HttpClient网络框架教师可以参考课件讲解HttpClient发送请求到接收响应的过程，为后续以HttpClient为基础编写的爬虫程序奠定基础。三、归纳总结，随堂练习，布置作业1．对课堂上讲解的知识点进行总结。2．让学生自己动手通过浏览器动手操作，以此来巩固本节的学习内容。第二课时（分析网页数据结构、数据采集环境准备）一、回顾上一节内容，讲解通过HTTP请求获取的数据内容1．对上一节课遇到的问题进行答疑2．回顾上节课内容，引出本节课的主题通过上一节内容我们了解到网络数据采集的一些基础知识，帮助我们从理论知识方面了解网络数据采集，在本小节主要对要采集的数据结构进行分析以及创建编写数据采集程序的环境，为最终编写数据采集程序做准备工作。3．明确学习目标（1）分析网页中的数据结构（2）准备数据采集环境二、进行重点知识的讲解1.分析网页数据结构教师可以参考课件以讲演法的方式来讲述怎么通过浏览器提供的开发者模式找到存放网页数据的位置及查看数据文件的内容。2.准备数据采集环境教师可以参考课件以讲演法的方式来讲述数据采集环境的准备，并提醒学生在运行数据采集程序前要启动Linux虚拟机中的大数据集群环境。在Eclipse中创建Maven项目在pom.xml文件中配置本程序所应用的jar包三、归纳总结，随堂练习，布置作业1．对课堂上讲解的知识点进行总结。第三课时（上机操作）上机一：环境准备与查看数据文件按照教材中3.2小节的内容及在教师辅导下完成。第四课时（创建响应结果JavaBean类、封装HTTP请求的工具类）一、回顾上节课内容1.对上节课遇到的问题进行答疑2．回顾上节课内容，引出本节课的主题上一节中，我们对要采集的数据文件进行了分析并创建了数据采集所需要的环境，本节课将通过编写程序内容来实现数据采集程序两部分内容，即定义HTTP请求的类和储存响应结果数据的类。3．明确学习目标（1）创建响应结果JavaBean类（2）封装Http请求工具类二、进行重点知识的讲解1．创建响应结果JavaBean类教师可以参考课件以讲演法的方式来讲述响应结果JavaBean类的创建。介绍创建这个类的作用在创建的Maven项目中创建包即对应的类。教师可将教材配套提供的源代码复制过来进行讲解。2．封装Http请求工具类教师可以参考课件以讲演法的方式来讲述Http请求工具类的封装。（1）介绍创建这个类的作用。（2）在已有的包下创建该类（3）教师可将教材配套提供的源代码复制过来对类中涉及的多个方法进行讲解。三、归纳总结，随堂练习，布置作业1．对课堂上讲解的知识点进行总结。第五课时（上机练习）上机二：创建HTTP请求的工具类和响应结果JavaBean类按照教材中3.3.1和3.3.2小节的内容及在教师辅导下完成。第六课时（封装存储在HDFS数据工具类、实现网页数据采集）一、回顾前几节课内容，1.对上一节遇到的问题进行答疑2．回顾上一节内容，引出本节课的主题在上一节中，通过编写Java类实现HTTP请求和存储响应结果数据的两个类，本节课将讲解将采集的数据存储到HDFS上类，并将这些类合并到一个主类中以实现网页数据采集的功能。3．明确学习目标（1）封装存储在HDFS数据工具类（2）实现网页数据采集二、进行重点知识的讲解1．封装存储在HDFS数据工具类教师可将教材配套提供的源代码复制过来对类中涉及的内容进行讲解。2．实现网页数据采集（1）教师通过浏览器的开发者模式讲解该程序需要设置哪些请求头参数（2）教师可将教材配套提供的源代码复制过来对类中涉及的内容进行讲解。（3）运行程序，让学生查看