《大数据平台部署与运维》课程教学大纲、授课计划

《大数据平台部署与运维》课程教学大纲一、课程基本信息开课单位：******学院（部）适用专业：大数据技术课程名称：大数据平台部署与运维课程代码：课程类型：专业核心课总学时：64理论学时：32实验（上机）学时：32考核方式：考试先修课程：后续课程：《数据仓库技术应用》、《大数据分析技术》等二、课程简介（一）课程性质和任务①课程性质：本课程是大数据技术专业必修的专业核心课程。②课程任务：本课程是依据大数据技术相关专业人才培养目标和相关职业岗位（群）的能力要求而设置的，对本专业所面向的信息化服务与大数据工程师所需要的知识、技能和素质目标的达成起支撑作用。本课程目的为学生搭建起通向“大数据知识空间”的桥梁和纽带，以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则，为学生在大数据领域“深耕细作”奠定基础、指明方向。课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、分布式并行编程模型MapReduce、Hadoop生态圈常用组件HBase、Hive、Flink和Spark等部署与运维。在各单元的教学环节中，安排了大量的实践操作任务，通过任务驱动让学生更好地学习和掌握平台部署和运维关键技术。（二）课程目标（学生在知识、能力、素质和课程思政方面应达到的目标要求）1.知识目标（1）掌握大数据的概念及特点、了解常用的大数据技术平台；（2）掌握Hadoop集群的安装及部署；（3）掌握大数据分布式存储系统HDFS的原理及应用；（4）掌握大数据分布式处理框架MapReduce的原理及计算流程；（5）掌握大数据分布式处理框架MapReduce的应用方法，会编写MR程序进行数据分析；（6）掌握分布式数据库Hbase的部署及运维；（7）掌握大数据Hive平台的部署及运维；（8）掌握Spark、Flink的安装部署与运维。2.能力目标（1）能够准确理解并描述大数据的概念及特点；（2）具备分布式大数据平台Hadoop的安装部署与运行维护能力；（3）能够熟练运用HDFS进行大数据存储管理；（4）能够准确理解MapReduce的原理及算法步骤；（5）具备运用MapReduce分布式计算框架进行数据分析的能力；（6）能够熟练进行分布式数据库Hbase的安装部署；（7）能够熟练进行Hive、Flink、Spark的部署。3.素质目标（1）良好的沟通能力、团队合作及协调能力；（2）良好的编程习惯；（3）查阅相关手册及资料能力；（4）掌握系统设计方法，培养严谨工作态度；（5）自我展示与语言表达能力；（6）分析和解决问题的能力；（7）科学的创造能力和创新精神；三、教学内容及要求单元1大数据简介（总学时：2）任务1.1认识大数据（学时：2）1.1.1大数据的概念1.1.2大数据的特点1.1.3大数据的发展背景1.1.4大数据技术的发展历程1.1.5大数据的应用现状1.1.6大数据的意义和未来教学目标和要求：通过本单元的学习，能够理解大数据的由来、大数据的发展历程、大数据常用组件和大数据的应用场景。对大数据及大数据技术有初步的了解。教学方法：演示法、讲授法作业：单元1课后作业实验内容及要求：无。单元2Hadoop伪分布式安装部署（总学时：5包含理论和实验）任务2.1搭建Hadoop伪分布式（学时：4）2.1.1Hadoop原理与体系架构2.1.2Hadoop的发展历程与应用现状2.1.3Hadoop安装方式任务2数据库设计规范化（学时：1）2.2.1Hadoop启动关闭等操作命令2.2.2基于WebUI监控Hadoop平台教学目标和要求：通过本单元的学习，使学生了解Hadoop的发展历程和生态系统中各组件的功能，理解Hadoop的原理与体系架构，理解Hadoop的核心组成，掌握Hadoop伪分布式安装步骤，能够通过启动、关闭等命令操作Hadoop，并通过WebUI监控Hadoop运行。教学方法：任务驱动、演示法、实验法作业：单元2课后作业实验内容及要求：（所用学时：2）任务2.1搭建Hadoop伪分布式实验；任务2.2启动与访问Hadoop实验。单元3Hadoop集群部署与监控（总学时：5包含理论和实验）任务3.1搭建Hadoop集群（学时：4）3.1.1什么是集群3.1.2Hadoop集群规划3.1.3Hadoop集群的特点3.1.4Hadoop集群部署过程任务3.2监控Hadoop集群（学时：1）3.2.1通过浏览器监视集群运行状态3.2.2集群搭建常见问题及解决办法总结教学目标和要求：通过本单元的学习，使学生掌握大数据集群的架构体系，掌握大数据集群内部各组件的功能和特点，了解大数据集群的特点及使用场景。培养学生一步步搭建大数据集群的技能。培养学生掌握大数据集群规划的能力。培养学生的动手实操的能力。教学方法：任务驱动、演示法、实验法作业：单元3课后作业实验内容及要求：任务3.1搭建Hadoop集群实验、任务3.2监控Hadoop集群实验。单元4HDFS分布式存储（总学时：10包含理论和实验）任务4.1认识HDFS分布式存储（学时：1）4.1.1HDFS原理与体系架构4.1.2HDFS读写文件流程4.1.3HDFS特点与优势任务4.2HDFS的文件系统操作（学时：2）4.2.1HDFS的操作方法介绍4.2.2HDFS的shell命令操作任务4.3HDFS的系统管理操作（学时：2）4.3.1HDFS的安全模式操作4.3.2HDFS增加扩容操作4.3.3HDFS数据平衡4.3.4HDFS存储策略4.3.5HDFS快照任务4.4本地开发环境部署（学时：1）4.4.1认识JDK4.4.2认识Maven4.4.3认识IDEA任务4.5HDFS的JavaAPI操作（学时：4）4.5.1HDFS的常用API介绍教学目标和要求：通过本单元的学习，使学生掌握HDFS的原理和体系架构，掌握HDFS文件系统shell操作，掌握HDFS的基本运维操作，掌握HDFS文件系统的java编程操作。培养学生使用使用HDFS的技能。培养学生的动手实操的能力。教学方法：任务驱动、演示法、实验法作业：单元4课后作业实验内容及要求：任务4.1HDFS分布式存储命令实验、任务4.2HDFS的文件系统操作实验、任务4.3HDFS的系统管理操作实验、任务4.4本地开发环境部署实验、任务4.5HDFS的JavaAPI操作实验。单元5MapReduce实现电商销售数据统计（总学时：12包含理论和实验）任务5.1认识MapReduce（学时：2）5.1.1MapReduce概念与原理5.1.2MapReduce体系架构5.1.3MapReduce发展现状5.1.4YARN运行机制任务5.2MapReduce实现词频统计（学时：4）5.2.1MapReduce数据处理流程5.2.2MapReduce相关JavaAPI及应用5.2.3MapReduce驱动类任务5.3MapReduce完成电商销售数据统计（学时：4）5.3.1MapReduce完成电商销售数据统计的流程任务5.4MapReduce任务管理机制（学时：2）5.4.1MapReduce任务执行方式5.4.2任务失败处理机制教学目标和要求：通过本单元学习，使学生理解MapReduce的原理与体系架构，了解MapReduce的发展现状，掌握YARN运行机制，理解MapReduce的数据处理流程与任务管理机制，掌握MapReduce的任务执行方式与监控方式，能够通过JavaAPI实现分词统计的操作方法。培养学生运用MapReduce实现电商销售数据统计的能力。培养学生认真仔细的工作作风和精益求精的工匠精神。教学方法：问题导入、演示法、实验法作业：单元5课后作业实验内容及要求：任务5.1运行MapReduce自带样例程序实验、任务5.2MapReduce实现词频统计实验、任务5.3MapReduce完成电商销售数据统计实验、任务5.4MapReduce任务管理机制实验。单元6Hadoop高可用集群规划部署（总学时：8包含理论和实验）任务6.1部署与访问ZooKeeper（学时：4）6.1.1ZooKeeper概述及特性6.1.2ZooKeeper应用场景6.1.3ZooKeeper工作原理6.1.4ZooKeeper部署方式任务6.2部署Hadoop高可用集群（学时：4）6.2.1Hadoop高可用集群工作原理6.2.2Hadoop高可用集群主要配置项及含义教学目标和要求：通过本单元的学习，使学生了解ZooKeeper的应用场景和特性，理解ZooKeeper的原理与体系架构，掌握ZooKeeper的部署和访问方法，理解Hadoop高可用的原理，掌握Hadoop高可用的配置和操作方法，能够通过WebUI监控Hadoop高可用集群的运行状态。培养学生对Hadoop高可用的配置、监控与运维技能。教学方法：任务驱动、演示法、实验法作业：单元6课后作业实验内容及要求：任务6.1部署与访问ZooKeeper实验、任务6.2部署Hadoop高可用集群实验。单元7分布式数据库HBase部署与应用（总学时：6包含理论和实验）任务7.1搭建伪分布式HBase（学时：2）7.1.1HBase原理7.1.2HBase体系架构7.1.3HBase与JDK、Hadoop版本兼容关系任务7.2部署HBase完全分布式集群（学时：2）7.2.1HBase集群规划7.2.2HBase主要配置选项及其含义7.2.3HBase访问命令7.2.4基于WebUI监控HBase的状态任务7.3HBase集群运维（学时：2）7.3.1HBase监控工具介绍7.3.2HBase集群优化教学目标和要求：通过本单元的学习，使学生理解HBase的原理与体系架构，掌握HBase伪分布式安装步骤，掌握HBase完全分布式集群的部署过程，能够通过启动、关闭等命令操作HBase，能够通过WebUI监控HBase运行。培养学生分布式数据库的安装部署与运维技能。培养学生精益求精的工匠精神以及良好的法治意识。教学方法：演示法、实验法作业：单元7课后作业实验内容及要求：任务7.1搭建伪分布式HBase实验、任务7.2部署HBase完全分布式集群实验、任务7.3HBase集群运维实验。单元8数据仓库Hive部署与应用（总学时：4包含理论和实验）任务8.1部署Hive本地模式（学时：2）8.1.1Hive介绍8.1.2Hive安装方式任务8.2部署Hive远程模式（学时：2）8.2.1Hive远程模式部署规划8.2.2Hive远程模式部署步骤教学目标和要求：通过本单元的学习，使学生理解数据仓库Hive的原理与体系架构，理解Hive的不同部署方式，掌握Hive本地模式安装方法，掌握Hive远程模式安装部署的方法，掌握Hive格式化和启动相关命令。培养学生分布式数据仓库的安装部署与运维技能。培养学生认真仔细的工作作风和精益求精的工匠精神。教学方法：演示法、实验法作业：单元8课后作业实验内容及要求：任务8.1部署Hive本地模式实验、任务8.2部署Hive远程模式实验。单元9Spark计算框架部署（总学时：6包含理论和实验）任务9.1部署与操作SparkLocal（学时：2）9.1.1Spark原理与体系架构9.1.2Sparklocal部署过程任务9.2部署与操作SparkStandalone9.2.1SparkStandalone部署步骤9.2.2SparkStandalone运行访问任务9.3部署与操作SparkonYARN9.3.1SparkonYARN部署过程9.3.2SparkonYARN运行访问教学目标和要求：通过本单元学习，了解Spark常用计算框架，了解不同计算框架的调度模式，掌握Spark的部署操作，培养学生部署Spark集群的技能。培养学生的实操动手能力。教学方法：演示法、实验法作业：单元9课后作业实验内容及要求：任务9.1部署与操作SparkLocal实验、任务9.2部署与操作SparkStandalone实验、任务9.3部署与操作SparkonYARN实验。单元10Flink流式计算框架部署与操作（总学时：6包含理论和实验）任务10.1部署本地模式（local）flink（学时：2）10.1.1Flink介绍10.1.2Flink部署模式介绍任务10.2部署独立模式Flink集群（学时：2）10.2.1Flink体系架构10.2.2Flink集群运行模式任务10.3部署运行Flinkonyarn（学时：2）10.3.1Flinkonyarn的运行方法10.3.2故障调试与恢复教学目标和要求：通过本单元的学习，使学生理解Flink流式计算框架的原理与体系架构，掌握Flink安装部署方法，掌握Flink的local、standalone、yarn三种不同的安装运行方式，能够通过命令提交运行Flink任务，能够通过WebUI监控Flink任务的执行状态。培养学生分布式流式计算框架的安装部署与应用技能。培养学生认真仔细的工作作风和精益求精的工匠精神。教学方法：演示法、实验法作业：单元10课后作业实验内容及要求：任务10.1部署本地模式（local）flink实验、任务10.2部署独立模式Flink集群实验、任务10.3部署运行Flinkonyarn实验。四、学时分配章次学时分配小计理论实验（上机）备注单元1大数据简介220单元2Hadoop伪分布式安装部署523单元3Hadoop集群搭建532单元4HDFS分布式存储1055单元5MapReduce实现电商销售数据统计1266单元6部署高可用Hadoop集群844单元7分布式数据库HBase部署与应用633单元8数据仓库Hive部署与应用422单元9Spark计算框架部署633单元10Flink流式计算框架部署与操作633合计643232五、考核说明考核方法：笔试考试成绩评定方法：总成绩=期末考试成绩×40%+过程性考核成绩×60%六、主要教材及教学参考书目主要教材汇智和山东电子职业技术学院的专业教师共同研发的《大数据平台部署与运维》教材、电子工业出版社，以及汇智开发的丰富的数字化教学资源和实训平台。（二）主要参考书目无学期授课计划至学年第学期课程名：大数据平台部署与运维开课班级：任课教师：教研室主任签名：系（部）主任签字：分管院长签字：教研室通过日期年月日学期授课计划编制说明本课程总时数已授学时数尚需学时数本学期周学时本学期课时分配课堂教学学时实验学时实习设计周数复习考试机动总学时本学期的主要内容及基本要求教材增删的状况及理由学期授课计划表序号周次星期节次授课章节课题及内容摘要重点难点课外作业题号备注1一四1-2第1章大数据概述：大数据概念特点等介绍大数据的概念及特点2四3-4第1章大数据概述：大数据相关平台或工具介绍，Hadoop安装准备3二四1-2第2章大数据处理架构Hadoop：Hadoop的由来、发展历史、应用现状、应用特点等介绍Hadoop的伪分布式安装部署在个人电脑上完成Hadoop伪分布式部署4四3-4实训：大数据处理架构Hadoop：Hadoop伪分布式安装5三四1-2第2章大数据处理架构Hadoop：Hadoop完全分布式安装步骤及注意事项讲解Hadoop完全分布式集群部署在个人电脑上完成Hadoop完全分布式集群部署6四3-4大数据处理架构Hadoop完全分布式安装部署演示7四四1-2大数据处理架构Hadoop完全分布式安装部署分组实施8四3-4大数据处理架构Hadoop完全分布式安装部署分组实施9五四1-2第3章分布式文件系统HDFS：HDFS的原理及体系架构、操作命令讲解HDFS的原理及体系架构HDFS的命令操作10四3-4应用命令操作分布式文件系统HDFS完成HDFS的命令练习11六四1-2第3章分布式文件系统HDFS：HDFS的读写过程及JavaAPI讲解HDFS的JavaAPI操作12四3-4过程性考核：HDFS的操作练习HDFS的JavaAPI应用13七四1-2HDFS的JavaAPI操作应用讲解14四3-4HDFS的JavaAPI操作应用练习HDFS的JavaAPI应用学期授课计划表序号周次星期节次授课章节课题及内容摘要重点难点课外作业题号备注15八四1-2HDFS的JavaAPI综合应用编程讲解16四3-4HDFS的JavaAPI综合应用编程讲解IDEA环境下练习HDFS编程17九四1-2MapReduce：大数据分布式处理框架MapReduce原理及特点分HDFS的原理与执行过程18四3-4MapReduce：