《Hadoop大数据平台构建》课程标准（含课程思政）

《Hadoop大数据平台构建》课程标准一、课程基本信息课程名称Hadoop大数据平台构建课程代码034321026课程性质R必修课£专业选修课£公共选修课开课部门软件与大数据学院课程类型£理论课（A类）R理论+实践课（B类）£实践课（C类）课程类别£公共课£专业基础课R专业核心课£专业实践课学分4学时64理论学时32实践学时32适用专业（方向）大数据技术开设学期第3学期先修课程计算机网络、Linux操作系统后续课程Docker容器技术与应用、专业综合实训对接1+X证书名称“1+X”大数据平台运维职业技能等级证书证书级别中级使用职业教育国家规划教材1+X系列教材，《大数据平台运维》（中级），新华三技术有限公司主编，电子工业出版社，2021年4月第1版二、课程性质与任务（一）课程性质《Hadoop大数据平台构建》课程是教育部大数据技术专业标准规定的专业核心课程，是我校大数据技术专业的专业核心课程，是面向大数据运维工程师岗位的一门综合项目实战课程，授课内容对标教育部“1+X”大数据平台运维职业技能等级证认证考试，涉及大数据和Hadoop基础知识、Hadoop集群及其高可用集群部署、大数据组件的运维、大数据平台的监控，要求掌握大数据平台的部署，能够熟练进行大数据组件的维护，能够对大数据平台实现监控。（二）课程任务本课程主要讲授大数据和Hadoop基础知识、Hadoop集群及其高可用集群部署、大数据组件的运维、大数据平台的监控，本专业培养能够践行社会主义核心价值观，德智体美劳全面发展，具有一定的科学文化水平，良好的人文素养、科学素养、职业道德和创新意识，精益求精的工匠精神，较强的就业创业能力和可持续发展的能力，掌握本课程的相关知识点后，学生能够从事大数据实施与运维、大数据平台管理、大数据技术服务等工作的高素质技术技能人才。（三）课程设计理念以习近平总书记在全国高校思想政治工作会议上讲话为指导，坚持把立德树人作为中心环节，把思想政治工作贯穿教育教学全过程，校企双方对接大数据运维工程师岗位典型工作任务和“1+X”、行业认证证书标准，实现全程育人、全方位育人。三、课程目标要求（一）总体目标《Hadoop大数据平台构建》从大数据平台运维工程师的角度，全方位介绍了大数据平台构建的相关实践知识和核心实操。将课程思政融入理论案例，强化大国情怀与责任担当，激发学生的社会责任担当与民族自豪感。（二）具体目标1.素质目标具有良好的工作态度和责任心；具有较强的团队意识和协作能力；具有新时代下，大胆创新创业、勇于探索拼搏的信念；具有较强国家通用语言表达能力和较强的沟通能力；培养具有大国情怀的技术英才；具有国家利益、集体利益和个人利益相结合的社会主义集体主义精神。2.知识目标掌握大数据平台架构；掌握Hadoop集群及其高可用集群部署；掌握大数据组件的运维；掌握大数据平台的监控。3.能力目标能熟悉大数据平台架构能熟练掌握Hadoop集群及其高可用集群部署；能够对大数据组件进行运维；能熟练掌握大数据平台监控。（三）课程要求课程单元教学任务要求第1章大数据和Hadoop概述任务1：大数据概述任务2：大数据应用场景任务3：Hadoop概述了解大数据及其特征；熟悉大数据的典型应用；掌握Hadoop的生态体系。第2章Hadoop集群安装部署任务1：VMware中安装CentOS7任务2：常用Linux命令任务3：Linux系统基础配置任务4：SSH免密登录任务5：安装和配置Java任务6：Hadoop集群基本概念任务7：伪分布式安装任务8：配置Hadoop任务9：集群启动任务10：完全分布式安装任务11：启动集群了解安装虚拟机和克隆；熟悉Linux系统的网络配置和SSH配置；熟悉伪分布式安装；掌握完全分布式安装。第3章分布式文件系统HDFS任务1：HDFS简介任务2：HDFS架构和原理任务3：HDFSShell操作了解HDFS演变；掌握HDFS特点及架构和原理；掌握HDFS的Shell操作。第4章分布式计算框架MapReduce任务1：MapReduce概述任务2：MapReduce运行机制任务3：MapReduce任务流程任务4：MapReduce实现单词计数理解MapReduce的核心思想；掌握MapReduce的任务流程；握MapReduce的运行机制。第5章分布式协调框架Zookeeper任务1：Zookeeper简介任务2：Zookeeper选举机制任务3：Zookeeper安装任务4：Zookeeper文件参数配置任务5：Zookeeper集群启动任务6：ZookeeperShell操作了解Zookeeper的概念和特性；掌握Zookeeper的Watcher机制和选举机制；掌握Zookeeper集群部署、Zookeeper的Shell操作。第6章Hadoop高可用集群搭建任务1：HDFS高可用任务2：YARN高可用任务3：HDFSHA搭建任务4：YARNHA搭建任务5：Hadoop高可用集群启动任务6：HDFS自动故障转移测试任务7：YARN自动故障转移测试了解YARN和HDFS的高可用架构；掌握HadoopHA集群部署；熟悉HadoopHA集群启动。第7章分布式列存储数据库HBase任务1：HBase组件概述任务2：HBase组件部署任务3：创建HBase库任务4：HBase库操作任务5：HBase表管理任务6：HBase数据操作了解HBase基本概念；掌握HBase数据模型；掌握HBase集群架构与原理、搭建；掌握HBase的Shell操作。第8章数据仓库Hive任务1：Hive组件原理任务2：Hive组件部署任务3：Hive库操作任务4：Hive表操作任务5：Hive查询了解Hive的相关功能和特点；熟悉Hive的安装部署；掌握HiveQL的相关操作；掌握Hive宕机恢复方法。第9章数据迁移工具Sqoop任务1：Sqoop组件概述任务2：Sqoop数据导入导出了解Sqoop的基本概念；掌握Sqoop的安装配置及导入导出操作。第10章日志采集工具Flume任务1：Flume组件概述任务2：Flume安装与使用了解Flume的基本概念；熟悉Flume的安装部署；掌握Flume的数据采集。第11章分布式消息队列Kafka任务1：Kafka组件概述任务2：Kafka组件部署了解Kafka的基本概念；掌握Kafka集群搭建；掌握Kafka组件数据处理。第12章大数据平台管理与监控任务1：平台管理与监控概述任务2：常用监控工具介绍任务3：Nagios服务端安装任务4：Nagios监控Node1任务5：Nagios监控Node2任务6：Nagios监控HDFS任务7：Nagios监控HDFS了解常见的大数据管理与监控平台；掌握Nagios监控Hadoop集群。四、课程结构与内容（一）课程结构与学时分配情景名称项目名称任务名称（含子任务）任务学时项目学时认识大数据第1章大数据和Hadoop概述任务1：大数据概述任务2：大数据应用场景任务3：Hadoop概述22Hadoop集群部署第2章Hadoop集群安装部署第3章分布式文件系统HDFS第4章分布式计算框架MapReduce第5章分布式协调框架Zookeeper第6章Hadoop高可用集群搭建任务1：Hadoop集群基础环境配置任务2：伪分布式安装任务3：完全分布式安装任务4：分布式文件系统HDFS任务5：分布式计算框架MapReduce任务6：Zookeeper部署任务7：HadoopHA搭建3030大数据组件运维第7章分布式列存储数据库HBase第8章数据仓库Hive第9章数据迁移工具Sqoop第10章日志采集工具Flume第11章分布式消息队列Kafka任务1：HBase组件运维任务2：Hive组件运维任务3：Sqoop组件运维任务4：Flume组件运维任务5：Kafka组件运维2020大数据平台监控第12章大数据平台管理与监控任务1：平台管理与监控概述任务2：常用监控工具介绍任务3：Nagios服务端安装任务4：Nagios监控Node1任务5：Nagios监控Node2任务6：Nagios监控HDFS任务7：Nagios监控HDFS1212（二）课程内容与要求教学情境教学项目教学内容教学目标教学重难点教学建议学时认识大数据第1章大数据和Hadoop概述大数据及其特征；大数据的典型应用；Hadoop的生态体系。素质目标：1培养岗位职业规范和严谨的工作态度；2.培养学生国家使命感、民族精神；知识目标：1.了解大数据及其特征2.熟悉大数据典型应用3.掌握Hadoop体系重点：大数据特征及其应用难点：Hadoop的生态体系教学方法：讲述教学法，案例教学法。教学环境：实训室。2Hadoop集群以及HadoopHA部署第2章Hadoop集群安装部署第3章分布式文件系统HDFS第4章分布式计算框架MapReduce第5章分布式协调框架Zookeeper第6章Hadoop高可用集群搭建Hadoop集群搭建；HDFSshell操作；单词计数；Zookeeper集群搭建；HA集群的搭建素质目标：1.培养学生的自主学习能力和探究意识；2.培养小组合作培养团队协作精神；知识目标：1.Hadoop集群搭建2.HDFSshell操作3.单词计数4.Zookeeper集群搭建5.HadoopHA搭建能力目标：提高团队协作能力重点：5.Hadoop集群搭建难点：HadoopHA集群搭建教学方法：讲述教学法，引导教学法，任务驱动法，案例教学法。教学环境：实训室。30大数据组件维护第7章分布式列存储数据库HBase第8章数据仓库Hive第9章数据迁移工具Sqoop第10章日志采集工具Flume第11章分布式消息队列KafkaHBase组件运维；Hive组件运维Sqoop组件运维；Flume组件运维；Kafka组件运维。素质目标：1.培养团结合作意识；2.培养学生敬业、诚信、友善的社会主义核心价值知识目标：掌握组件的安装和维护能力目标：提高组件运维能力重点：Hive组件的运维；HBase组件的运维；难点：ETL组件的运维教学方法：讲述教学法，引导教学法，任务驱动法，案例教学法。教学环境：实训室。20大数据平台监控第12章大数据平台管理与监控Nagios监控节点、HDFS和DataNode。素质目标：1.培养学生严谨细致的职业素养；2.深刻理解国家信息技术自主可控的重要性，增强“四个自信”；知识目标：1.掌握Nagios安装；2.Nagios监控节点3.Nagios监控HDFS4.Nagios监控DataNode能力目标：提高平台监控的能力。重点：Nagios监控节点；Nagios监控HDFS；Nagios监控DataNode难点：Nagios安装教学方法：讲述教学法，引导教学法，任务驱动法，案例教学法。教学环境：实训室12项目一认识大数据（2学时）序号工作任务主要内容教学要求学时1介绍大数据的特点及发展趋势、大数据的实施和运维流程、大数据的应用场景与案例掌握大数据实施和运维工程师的工作能力素养要求；能理解理解大数据平台架原理2项目二Hadoop集群及HadoopHA部署（30学时）序号工作任务主要内容教学要求学时11.VMware中安装虚拟机2.Linux基础环境配置3.SSH免密登陆任务1：Hadoop集群基础环境配置能熟练配置Linux基础环境配置实现SSH免密登陆821.Java软件的安装2.Hadoop软件的安装3.修改Hadoop配置文件4.启动和测试集群5.HDFS和MapReduce使用任务2：Hadoop集群的配置和启动任务3：HDFS和MapReduce使用能熟练配置和启动Hadoop；HDFS和MapReduce使用123Zookeeper集群部署任务4：Zookeeper集群部署能熟练部署Zookeeper441.HDFSHA2.YARNHA任务5：HadoopHA集群的配置能熟练配置HadoopHA451.启动HadoopHA2.测试自动故障转移任务6：HadoopHA集群的启动；自动故障转移测试能熟练启动HadoopHA，测试自动故障转移2项目三大数据组件的维护（20学时）序号工作任务主要内容教学要求学时11.HBase介绍2.HBase安装3.HBase使用任务1：HBase组件的维护能熟练安装HBase、掌握HBase的使用621.Hive介绍2.Hive安装3.Hvie使用任务2：Hive组件的维护能熟练安装Hive、掌握Hive的使用831.Sqoop的安装和使用2.Flume的安装和使用3.Kafka的安装和使用任务3：ETL组件的维护能熟练安装ETL工具、掌握ETL工具的使用6项目四大数据平台监控（12学时）序号工作任务主要内容教学要求学时1Nagios安装任务1：监控端安装Nagios能熟练安装Nagios42Nagios监控节点任务2：监控节点能熟练使用Nagios监控节点43Nagios监控HDFS任务3：监控HDFS能熟练使用Nagios监控HDFS24Nagios监控DataNode任务4：监控DataNode能熟练使用Nagios监控DataNode2（三）课程思政本课程主要讲授大数据和Hadoop基础知识、Hadoop集群及其高可用集群部署、大数据组件的运维、大数据平台的监控。在堂理论学习中贯穿企业文化、时事政治，培养具有大国情怀的技术英才：国家使命感、民族精神、团结统一、博大胸襟。利用所学的大数据知识，投入到为国家、民族社会的贡献中去。在实践案例的练习下，培养新时代科技人才精神：改革创新、科技创新、国際视野。新时代下，抓住机遇，大胆创新创业、勇于探索拼搏的信念。形成良好的职业素养：一丝不苟、严谨细致、责任担当、吃苦耐劳、数据安全意识。提升学生优秀的职业道德品质，尽早适应岗位需求。（四）1+X融入大数据专业是国家教育部“1+X”大数据平台运维职业技能等级证书试点专业，本课程对应证书的中级考核目标。五、学生考核与评价形成性评价教学阶段考核项目考核方式考核占比课前（20%）预习任务布置任务提交40%课中（50%）考勤、提问、表现考勤、提问等课堂表现实验报告和源码提交课堂练习和实验课后（20%）作业提交增值评价（10%）（职业核心能力和职业素养）素质目标达成考察日常考察课程考试笔试闭卷60%增值评价（社会价值）参加技能大赛、职业资格证书考核、职业技能等级证书考核等情况计分学分认定、成绩置换六、教学实施与保障（一）教学要求1.教学楼的多媒体教室。2.大数据运维实训室。（二）教学方法本课程的教学模式采用“教、做、学”为一体的任务驱动式教学模式，针对具体的教学内容和教学过程需要，制定教学方法。注重对学生分析问题，解决问题能力的培养，从完成某一方面的“任务”着手，通过引导学生完成“任务”，从而实现教学目标。同时在部分章节采用探究式教学模式，即以解决实际问题为中心开展教学，在解决实际问题的过程注重学生的实践能力和创新开发能力。将课程思政元素融入课程教学改革时，充分挖掘授课要点和思政元素的融合点，将实际案例项目引入Hadoop大数据平台构建全流程，导入大数据的应用场景，激发学生家国情怀、大国担当的使命感。。在教学方法上本课程采用讲述教学法，引导教学法，任务驱