Hadoop大数据技术与项目实战 课程标准

《Hadoop大数据技术与项目实战》课程标准一、课程基本信息课程名称Hadoop大数据技术与项目实战课程代码0917005学时108学分5.5授课时间第二学期适用专业大数据技术课程性质专业核心课程先修课程Linux操作系统、Java程序设计、MySQL数据库后续课程Spark大数据技术与应用、数据可视化技术二、课程定位本课程是大数据技术专业的专业核心课程，目的是通过课堂教学和实践教学相结合，满足大数据相关岗位的人才需求。我们结合学生实际情况，选择企业真实项目，并进行了教学化处理，以项目实施过程为主线，贯穿Hadoop大数据技术的核心内容，挖掘思政元素，融入大数据平台运维“1+x”证书、华为大数据工程师认证、相关技能比赛内容等，使学生在学习本课程后具有毕业直接上岗能力，并且毕业时已具备初级大数据平台部署实施，监控、管理、运行维护的经验。三、课程设计思路本课程基于大数据平台运维、大数据分析、数据采集师等对应岗位，基于大数据平台运维等“1+x”职业技能等级、华为等行业企业认证、技能大赛等能力要求，由课程组教师通过充分调研，最终选取了当下热点应用—电商平台的用户行为数据分析作为项目载体，对电商平台运营的几个关键指标进行统计分析。课程团队认真梳理选定项目的知识点和技能点，岗课赛证”一体化设计课程内容，梳理确定了课程的内容脉络体系。课程以企业真实项目“电商平台的用户行为数据分析”的实施过程为主线贯穿所有知识点，课程结构主线为：绪论→项目需求→大数据平台部署→数据采集→离线数据仓库的设计与开发→数据可视化展示。全课程分五章、22节，70个知识点，旨在使学生实施项目的过程中，掌握Hadoop平台的结构、部署过程、各组件的工作原理及应用，为提升数据分析能力打下良好的基础。四、课程目标（一）职业知识目标1.了解项目业务背景、项目实施计划、项目字典2.掌握大数据相关开发软件安装方法3.了解Linux操作系统环境配置4.掌握Hadoop分布式集群环境搭建方法5.了解HDFSShell基本命令6.掌握HDFS客户端开发环境配置及测试方法7.掌握HDFSAPI基本操作流程8.了解MapReduce工作原理9.掌握MySQL环境配置过程10.掌握Hive数据仓库配置过程11.了解Flume原理及安装部署流程12.了解Sqoop原理及应用13.掌握Zookeeper集群环境搭建方法14.掌握Kafka集群环境搭建方法15.掌握Flume数据采集与消费原理及工作流程16.了解数据仓库各个数据层的定义17.掌握Pyechars数据可视化方法18.掌握项目开发流程（二）职业能力目标1.会安装VMware、Xshell、Xftp、IDEA等大数据开发相关软件2.能正确搭建Hadoop分布式集群环境3.能正确安装部署Hive、Flume、Sqoop、Zookeeper、Kafka等Hadoop生态组建4.会使用Flume-Kafka-Flume的架构实现数据采集5.能设计与开发离线数据仓库6.能使用pyecharts工具进行数据可视化7.具备基本项目开发能力（三）职业素质目标1.具备家国情怀2.具备工匠精神3.具备专业使命感与责任感4.具备团队协作操作能力和良好的沟通能力5.具备终身学习能力五、课程内容及要求序号教学内容能力目标知识目标教学方法及手段学时1项目业务背景介绍、项目实施计划、项目字典介绍。掌握开发Hadoop离线数据仓库的设计思想，掌握项目实施流程规划，掌握技术选型及版本要求，掌握项目实施的教学路径1.了解数据仓库设计与开发的原因2.了解项目实施的规划路径3.了解数据仓库的分层架构4.了解数据源以及数据表的字段要求由教师讲解、指导学生小组学习项目实施计划以及项目数据字典22大数据相关开发软件安装，VMware.Xshell.Xftp.IDEA软件安装能够正确安装VMware、Xshell、Xftp、IDEA软件1.了解VMware软件的基本功能2.掌握Xshell、Xftp软件的基本功能由教师示范、指导学生小组学习安装大数据各个软件43Linux操作系统环境配置：安装虚拟机，配置虚拟机运行环境掌握虚拟机，CentOS7,主机的网络属性配置集群的网络连通配置集群主机之间SSH免密登录1.了解虚拟机概述2.掌握虚拟机的安装方式，掌握CentOS系统的安装方式3.能熟练配置主机网络环境4.能配置集群局域网络连通由教师示范、指导学生小组学习安装虚拟机，熟悉网络环境的配置84Hadoop分布式集群环境搭建：JDK安装，HDFS集群配置，YARN集群配置能正确配置Java环境能正确安装配置Hadoop集群能正确安装配置YARN集群1.能正确配置JDK、Hadoop、YRAN的环境变量2.能正确配置Hadoop及YARN的各项文件参数3.能正确启停Hadoop、YARN集群，会查看集群进程由教师示范、指导、学生独立安装部署Java环境、Hadoop集群以及YARN集群85HDFSShell命令行操作、HDFS客户端开发环境配置及测试能够熟练的通过Shell命令行和HDFS进行交互，会配置HDFS客户端开发的环境1.能够熟练使用HDFS的Shell命令2.会配置Hadoop及Java的Windows环境变量3.能正确将Windows系统中的文件上传至HDFS由教师示范、指导、学生完成HDFSShell命令的操作，实现访问Hadoop集群，最终把Windows系统中的文件上传到HDFS86HDFSAPI基本操作MapReduce原理MapReduce案例能实现HdfsClientAPI类中各个方法的功能，能理解MapReduce原理，会编写MapReduce程序1.掌握以封装的方式以及流的方式，将文件从Winodws系统中上传至HDFS2.掌握以封装的方式以及以流的方式将文件从HDFS下载到Windows系统中3.会编写MapReduce词频统计代码由教师示范、指导、学生小组协作完成HDFSAPI代码以及MapReduce代码的编写及测试87MySQL环境配置Hive数据仓库配置HQL语句基本操作HQL统计分析案例掌握MySQL的安装配置掌握Hive的三种安装模式熟悉Hive的SQL语句数据操作1.掌握MySQL的安装与配置2.熟悉Hive结构体系及数据模型3.掌握Hive数据仓库的安装与配置4.掌握Hive与MySQL整合及Hive服务启动5.熟悉Hive的SQL命令由教师示范、指导、学生自独立安装MySQL环境以及Hive环境，启动Hive命令行完成HQL操作88Flume原理及安装部署Sqoop原理及应用Zookeeper集群环境搭建能正确搭建Flume环境能正确安装部署Sqoop环境能正确搭建Zookeeper集群1.掌握配置Flume的文件参数2.掌握配置Sqoop环境变量，修改配置文件，远程连接到MySQL3.能理解Zookeeper集群选举机制4.能正确启动和停止Zookeeper服务由教师示范、讲解、学生自主完成Flume搭建、Sqoop环境部署、Zookeeper集群搭建69Kafka环境搭建及应用能正确搭建Kafka集群，熟练掌握Kafka基本命令1.掌握配置Kafka环境变量，相关配置文件2.掌握Kafka的常用命令由教师示范、指导、学生自主学习完成搭建Kafka集群、练习Kafka常用命令410项目数据源及产生方法Flume数据采集脚本设计能正确产生模拟数据，能正确编写Flume采集脚本的配置文件1.掌握执行Java程序的命令2.掌握修改集群时间的命令3.能够按照数据源产生方法生成一天的模拟数据4.理解Flume采集脚本配置文件中各项参数意义由教师示范、指导、学生自主学习项目数据源产生的方法，编写Flume采集脚本配置文件。811拦截器创建流程ETL拦截器业务逻辑分析分流标记拦截器业务逻辑分析理解Flume拦截器的作用，会编写Flume拦截器程序1.创建ETL拦截器LogETLInterceptor类2.创建ETL拦截器LogETLInterceptor类3.LogUtils工具类由教师示范、指导学生小组学习了解Flume拦截器，了解代码中的方法。612Flume数据采集执行脚本及实现Flume数据消费脚本设计Flume数据消费执行脚本及实现熟悉Shell命令，会编写数据采集脚本掌握数据采集及消费流程会编写Flume消费配置文件能正确启动Flume数据消费脚本1.会编写数据采集启动及停止的脚本2.理解Flume消费脚本配置文件中各项参数意义3.会编写数据消费启动及停止的脚本4.了解Hadoop及Flume中guava版本冲突问题由教师示范、指导学生小组学习Flume数据采集执行脚本，编写数据消费脚本配置文件及执行脚本613离线数据仓库概述ODS层设计与开发DWD层设计与开发DWS层设计与开发掌握离线数据仓库的架构理解ODS层开发的设计思想理解DWD层开发的设计思想理解DWS层开发的设计思想1.掌握ODS层启动日志表、事件日志表设计及数据加载2.熟悉项目JSON解析函数及应用3.掌握DWD层启动日志表设计及数据加载4.掌握每日设备行为表设计及数据加载由教师示范、指导学生小组学习完成数据仓库的建设，完成ODS层、DWD层、DWS层数据表的创建及数据加载。814DWT层设计与开发ADS层设计与开发理解DWT层开发的设计思想理解ADS层开发的设计思想1.掌握HQL语句的关联查询2.掌握设备主题表设计及数据加载3.掌握活跃用户数据表设计及数据加载4.掌握每日新增用户数据表设计及数据加载5.掌握沉默用户数据表设计及数据加载6.掌握本周回流用户数据表设计及数据加载7.掌握用户留存率数据表设计及数据加载由教师示范、指导学生小组学习，完成DWT层、ADS层数据表的创建及数据加载。815构建MySQL数据表Sqoop数据迁移会根据需求使用SQL命令建表能根据Sqoop命令完成数据迁移1.熟练掌握SQL建表语句2.能将HDFS上的数据导入到MySQL数据库由教师示范、指导学生小组学习，完成MySQL数据库中的表创建。能将数据HDFS的数据导入到MySQL数据库。416数据可视化掌握安装python环境的流程熟悉Pyecharts第三方库熟悉如何将数据库文件导入到MySQL数据库中熟悉使用pyechars绘制各类型图表1.了解Pyecharts可视化工具2.能在Python环境中导入数据、绘制大屏标题绘制柱状图、象形柱状图、水球图、柱状图与折线图的叠加图、轮播图3.掌握使用Page的add方法实现图表的组合由教师示范、指导学生小组学习，完成python可视化环境的部署，通过学习各类型图表实现数据大屏展示。12六、课程实施建议（一）教学建议1.教学团队基本要求课程教学团队专兼职师资团队成员不少于5人。其中,行业企业授课教师不低于40%,“双师型”授课教师中60%应具有中级或高级职称,技术服务团队成员不少于1人。2.教学条件硬件要求：微机、运行内存8G以上、广域网络。软件要求：VMwareWorkstation16、Xshell7、Xftp7、IntelliJIDEA2021.1x64等软件。3.教学方法与手段线上线下混合式教学,理论加实践项目型实战操作。4.课程资源的开发与利用课程资源开发：（1）提供课程所需软件（2）结合课程内容开发视频，供线上教学。（3）与企业专家合作编写符合课程内容的实训指导书。（4）提供网络资源学习平台，使学生不拘泥于固定的时间、地点学习，提高学生学习的灵活性。（5）配备拓展学习资源，如图片、视频、音频、动画等。（6）挖掘课程思政元素，制作思政微课课程资源使用：（1）线上教学部分，课程团队教师有效利用课程资源、智慧树网络资源、课程互动交流平台。其中课程资源中包含的实训指导书、开源技术安装包及依赖包、基础开发软件等资源实行高效分类管理；课程资源中的拓展资源，可以满足学生在学习时的困惑。充分利用网络资源，了解最新的技术策略和实施方法；在课程互动交流平台上，学生可以发布疑难问题，会有专业的老师进行解答。让教学资源的传输能克服地域上的局限、从而让网络教学形式具有和新的内涵。（2）线下教学部分，建立翻转课堂，教师引导学生对知识主动探索、主动发现，并实现对所学知识的自主构建，利用与华为合作共建的华为鲲鹏大数据实训室组织实践教学。实训室计算机操作环境与课程要求契合，网络环境能达到日常教学要求。通过以上方式，开展线上线下混合式教学，进行课堂革命，改革评价方式等。5.教材选用选用的教材必须经过教学指导委员会审核，必须符合《职业院校教材管理办法》等有关要求，必须坚持以质量为标准，在同类教材中优先选用近三年出版的国家级、省部级规划及重点教材和获奖教材，教育主管部门或教学指导委员会推荐的教材。必须符合本校人才培养方案、教学计划和课程标准要。求，符合教育教学的基本规律。必须结合国家人才培养要求及山西区域经济发展需求，教材内容科学先进、针对性强、体现学科特点、突出职业教育特色，对接科技发展趋势和市场需求。建议选用教材：书名：Hadoop大数据平台构建与应用（第2版）（“十四五”职业教育国家规划教材）书号：9787040596915作者：米洪陈永出版社：高等教育出版社出版时间：2023年5月书名：《Hadoop大数据技术与项目实战》书号：978-7-121-45896-5作者：王小洁丰泽陈炯出版社：电子工业出版社出版时间：2023年8月推荐参考资料：（1）《Hadoop实战2》（2）《Hadoop权威指南》（3）《Hive编程指南》（4）《大数据平台运维（中级）》（二）考核建议学生的考核方式，教师可以根据学情制定合适的成绩比例规则，以引导激励学生的学习方向和学习侧重点，采用线上和线下融合、过程性评价、增值