大数据项目实战教学大纲

《大数据项目实战》课程教学大纲（课程英文名称）课程编号：201800522062学分：5学分学时：46学时（其中：讲课学时24上机学时：22）先修课程：Hadoop后续课程：Spark适用专业：大数据应用技术开课部门：一、课程的性质与目标《Hadoop项目实战》是互联网+创业教育学院软件工程（大数据、人工智能）专业的一门校定必修专业课。通过学习课程有助于学生综合运用大数据课程知识以及各种工具软件实现大数据分析全流程操作，并通过编写程序与理论讲解相结合的形式加深了解；同时对Hadoop离线数据分析项目的开发过程有所了解，如数据的采集、数据的预处理、数据的分析以及最终达到数据可视化的目的。开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。二、教学条件要求操作系统：CenterOSHadoop版本：Hadoop2.7.4Hive版本：Hive1.2.1Sqoop版本：Sqoop1.4.6Mysql版本：Mysql5.7.25虚拟化工具：VMwareWorkstation开发工具：Eclipse三、课程的主要内容及基本要求第1章项目概述章名项目概述学时2学习目标掌握项目需求和目标了解项目架构设计和技术选型了解项目环境和相关开发工具理解项目开发流程知识点了解掌握重点难点项目需求和目标√预备知识√项目架构设计及技术选取√开发环境和开发工具介绍√项目开发流程√√第2章搭建大数据集群环境章名搭建大数据集群环境学时10学习目标了解虚拟机的安装和克隆熟悉虚拟机网络配置和SSH服务配置掌握Hadoop集群的搭建掌握Hive的安装掌握Sqoop的安装知识点了解掌握重点难点虚拟机安装与克隆√虚拟机网络配置√SSH服务配置√JDK安装√Hadoop安装√Hadoop集群配置√√√Hadoop集群测试√√通过UI界面查看Hadoop运行状态√√Hive的安装模式√Hive安装√√√Sqoop安装√√√第3章数据采集章名数据采集学时7学习目标了解HTTP协议了解爬虫的基本原理掌握HDFSAPI的基本使用熟悉HttpClient爬虫的使用方法知识点了解掌握重点难点数据源分类√HTTP请求过程√认识HttpClient√分析网页数据结构√数据采集环境准备√创建响应结果JavaBean类√封装HTTP请求的工具类√√√封装储存在HDFS数据工具类√√√实现网页数据采集√√√第4章数据预处理章名数据预处理学时8学习目标了解数据预处理流程掌握编写MapReduce程序熟悉HDFSShell的基本使用掌握MapReduce程序的两种运行模式知识点了解掌握重点难点分析预处理数据√设计数据预处理方案√数据预处理环境准备√创建数据转换类√√创建实现Map任务的Mapper类√√创建MapReduce主程序并执行程序√√将数据预处理程序提交到集群中运行√√√第5章数据分析章名数据分析学时7学习目标了解数据分析了解数据仓库掌握Hive的操作掌握HQL语句的使用知识点了解掌握重点难点数据分析概述√什么是Hive√设计Hive数据仓库√实现数据仓库√√√职位区域分析√√职位薪资分析√√公司福利分析√√职位技能要求分析√√第6章数据可视化章名数据可视化学时15学习目标掌握Sqoop数据迁移工具的使用熟悉关系型数据库MySQL掌握SSMJAVAEE开发框架的整合及应用掌握Echarts前端框架的使用知识点了解掌握重点难点系统介绍√系统架构√创建关系型数据库√√通过Sqoop实现数据迁移√√平台环境搭建√√√实现职位区域分布展示√√√实现薪资分布展示√√√实现福利标签词云图√√√实现技能标签词云图√√√平台可视化展示√四、学时分配章目讲课上机合计第1章项目概述2学时0学时2学时第2章搭建大数据集群环境4学时6学时10学时第3章数据采集4学时3学时7学时第4章数据预处理3学时3学时6学时第5章数据分析3学时2学时5学时第6章数据可视化8学时8学时16学时合计24学时22学时46学时五、考核模式与成绩评定办法本课程为考试课程，期末考试采用百分制的闭卷考试模式。学生的考试成绩由平时成绩（30%）和期末考试（70%）组成，其中，平时成绩包括出勤（5%）、作业（5%）、上机成绩（20%）。 六、选用教材和主要参考书 本大纲是根据教材《Hadoop项目实战》所设计的。七、大纲说明本课程的授课模式为：课堂授课+上机，其中，课堂主要采用多媒体的方式进行授课，要求学生掌握项目内容及程序设计思想