《Hadoop大数据原理与应用》教案

《Hadoop大数据原理与应用ISBN978-7-5606-5579-6》教案编写者：徐鲁辉教案首页（第1次课）（以2课时为单元）课序授课日期授课班次授课教师批准人1课程描述《大数据技术原理及应用》是学习大数据技术的入门课程，是计算机科学与技术、数据科学与大数据技术、人工智能等专业的一门学科基础与专业核心课程。该课程着重讲述大数据技术的知识体系，阐明其基本原理，引导学生进行初级实践和了解相关应用，培养学生运用大数据平台搭建、大数据收集与预处理、大数据迁移、大数据存储与管理、大数据处理与分析、数据可视化等方法和技术工具完成大数据应用的能力，在整个大数据课程体系中起着承前启后重要作用。该课程由理论教学和实验教学两个部分组成，其先修课程包括面向对象程序设计、Python语言程序设计、操作系统、数据库原理等，后续课程包括数据采集与预处理、大数据存储与管理技术、数据挖掘、大数据开发技术、大数据高级编程、数据可视化技术等。总学时理论教学实践教学周学时学分483216单4双23课程教学目标《大数据技术原理及应用》围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，着重讲述大数据技术的基本原理、基本方法、技术工具和相关应用，帮助学生构建完整的大数据技术知识体系，使学生了解大数据技术在行业领域中的最新发展趋势和前沿知识，熟悉大数据应用的整个生命周期，能够熟练使用Hadoop、Spark等主流大数据平台及其生态系统中的技术工具完成基本的大数据应用闭环操作，达到知行合一、以用促学的目的。知识目标：1.理解大数据基本概念，了解大数据与云计算、物联网、人工智能的关系，了解当前大数据的岗位及需求、学习路线；2.认识大数据处理平台Hadoop，熟练掌握全分布模式Hadoop集群的部署基本过程；3.理解分布式文件系统HDFS的体系架构、文件存储机制和数据读写过程，熟练掌握HDFSWebUI的使用、HDFSShell常用命令的使用和HDFS编程；4.理解分布式计算框架MapReduce的编程思想和作业执行流程，掌握MapReduce简单编程，了解当前其他主流的大数据计算框架如Spark、Storm、Flink等；5.理解YARN体系架构和工作原理，掌握YARNWebUI、YARNShell的基本使用，了解ResourceManager高可用机制的原理与配置，了解HDFSNameNode课程教学目标高可用机制、HDFSNameNodeFederation、HDFSSnapshots；6.理解分布式协调框架ZooKeeper的执行原理和应用场景，掌握ZooKeeper集群的部署和ZooKeeperShell常用命令的使用；7.理解NoSQL数据库与关系数据库的区别、分布式数据库HBase的数据模型、体系架构和运行机制，熟练掌握HBase集群的部署、HBaseShell常用命令的使用；8.理解Hive的体系架构和执行流程，掌握Hive的部署和连接方式，熟练掌握Hive基本操作包括HiveDDL、HiveDML的书写和HiveShell命令的使用；9.理解数据迁移框架Sqoop、日志采集系统Flume、分布式发布/订阅消息系统Kafka的作用、架构和工作原理，掌握Sqoop、Flume、Kafka的部署和使用；10.了解数据可视化的概念、作用和过程，理解常用的数据可视化图形，了解当前主流的数据可视化工具。能力目标：培养学生学以致用，能够综合利用Hadoop大数据平台及其生态中各个工具解决实际大数据应用方面的基本问题，提高学生阅读外文科技文献能力，增强学生发现问题、分析问题、解决问题能力，与学科竞赛和项目紧密结合，稳步培养和提高学生的动手实践能力、自主创新能力、团队协作能力、写作表达能力。情感目标：通过对我国大数据技术、传统优秀文化的介绍，增强学生的民族自豪感，提升学生的爱国主义精神，增强文化自信；将专业知识与服务社会相结合，培养学生的社会责任感，树立正确三观，使学生更为深刻的理解专业内涵，提高学习内驱力，培养科学素养，内化为道德准则、科学思维和行为规范。课题第1讲开学第一课&大数据概述授课教材参考资料教材：[1]徐鲁辉.Hadoop大数据原理与应用[M].西安:西安电子科技大学出版社,2020年3月.参考资料：[2]徐鲁辉.Hadoop大数据原理与应用实验教程[M].西安:西安电子科技大学出版社,2020年1月.[3]林子雨.大数据技术原理与应用（第2版）[M].北京:人民邮电出版社,2017年1月.[4]吕林涛.大数据技术及其应用[M].北京:科学出版社,2019年5月.[5]维克托·迈尔-舍恩伯格,肯尼思·库克耶.盛杨燕等译.大数据时代:生活、工作与思维的大变革[M].杭州:浙江人民出版社,2013年1月.[6]TomWhite.Hadoop:TheDefinitiveGuide(4thEdition)[M].O’ReillyMedia,April2015.[7]TomWhite,著.王海,译.Hadoop权威指南（第4版）[M].北京:清华大学出版社,2017年7月.[8]BillChambers,MateiZaharia.Spark:TheDefinitiveGuide[M].O’ReillyMedia,February2018.[9]BillChambers,MateiZaharia,著.张岩峰,译.Spark权威指南[M].北京:中国电力出版社,2020年4月.[10]LarsGeorge.HBase:TheDefinitiveGuide[M].O’ReillyMedia,September2011.[11]LarsGeorge,著.代志远,译.HBase权威指南[M].北京:人民邮电出版社,2013.[12]EdwardCapriolo,DeanWampler,JasonRutherglen.ProgrammingHive[M].O’ReillyMedia,September2012.[13]EdwardCapriolo,DeanWampler,JasonRutherglen,著.曹坤,译.Hive编程指南[M].北京:人民邮电出版社,2013.[14]蔡斌.Hadoop技术内幕:深入解析HadoopCommon和HDFS架构设计与实现原理[M].北京:机械工业出版社,2013年5月.[15]董西成.Hadoop技术内幕：深入解析MapReduce架构设计与实现原理[M].北京:机械工业出版社,2013年5月.[16]董西成.Hadoop技术内幕：深入解析YARN架构设计与实现原理[M].北京:机械工业出版社,2014年1月.[17]ApacheHadoopProject..[18]ApacheSparkProject..[19]TheHadoopEcosystemTable.https://hadoopecosystemtable.github.io[20]高校大数据课程公共服务平台./post/bigdata-teaching-platform.[21]林子雨.中国大学MOOC《大数据技术原理与应用》./course/XMU-1002335004.其它教学资源学堂云：大数据技术原理及应用目的要求开学第一课1.明确该课程的教学目标。2.明确该课程的教学进度、教材、参考资料、上机软件。3.明确该课程的考核方式。4.熟悉学堂云、雨课堂的使用方法。第1章大数据概述1.理解大数据的概念（重点），了解大数据的内涵。2.理解大数据的4V特征：Volume（海量化）、Variety（多样化）、Value（价值密度低）、Velocity（快速化）。（重点）3.了解大数据处理关键技术：数据采集与预处理、数据存储与管理、数据处理与分析、数据可视化。（难点）4.了解大数据产业。5.理解大物云智5G技术，掌握大物云智5G之间的关系。（重点难点）6.了解大数据的岗位。7.了解大数据的学习路线。教学内容开学第一课1.自我介绍。2.课程地位、先修及后续课程。3.教学目标及知识图谱。4.课时分配（理论+实验）及进度、教材、参考资料、上机软件。5.考核方式：平时+实验+期末。6.学堂云、雨课堂的使用方法。第1章大数据概述1.1大数据内涵（重点）1.2大数据特征（重点）1.3大数据关键技术（难点）1.4大数据产业1.5大数据与物联网、云计算、人工智能、5G的关系（重点，难点）1.6大数据岗位介绍1.7大数据学习路线重点难点重点：大数据概念，大数据特征，大物云智5G之间的关系。难点：大数据关键技术，大物云智5G之间的关系。教学方法手段讲授法，讨论法，任务驱动法教学步骤开学第一课1.进行自我介绍。2.进行头脑风暴，提问问题，引入为何学习此课程。3.阐述课程地位、先修及后续课程。4.明确该课程教学目标，了解该课程知识思维导图。5.介绍该课程的课时分配及进度、教材、参考资料、上机软件。6.公布考核方式：平时考核30%（在线考勤、课堂表现、作业、在线测试）+实验考核20%（实验态度、实验报告）+期末考核（笔试或大作业）。7.介绍学堂云、雨课堂的使用方法。8.完成在线测试，对先修课程的知识和技能进行综合测试。第1章大数据概述1.提问问题引入“大数据”。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.当今IT界的热门技术有哪些？2.你平时用的哪些应用使用到了云计算和大数据技术？作业1.章节测试完成线上测试“章节测试1-大数据概述”。2.预习作业预习“初识Hadoop”。3.思考题（1）根据自己的专业领域和研究兴趣，调研大数据技术在自己所属领域中的应用现状？（2）调查分析大数据从业人员常用方法、技术与工具。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算)）10701532

教案首页（第2次课）（以2课时为单元）课序授课日期授课班次授课教师批准人2课题第2讲初识Hadoop目的要求1.理解Hadoop是什么（重点），了解Hadoop的发展简史、特点、版本。2.理解Hadoop生态系统组成及各组件基本功能。（重点）3.理解Hadoop体系架构。（重点）4.了解Hadoop在国内外应用现状。5.理解部署Hadoop集群所需系统环境、Hadoop运行模式，熟练掌握在Linux下部署全分布模式Hadoop过程：规划集群、准备机器及软件环境（配置静态IP、修改主机名、编辑域名映射、安装和配置Java、安装和配置SSH免密登录）、安装和配置Hadoop集群（hadoop-env.sh、yarn-env.sh、mapred-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves）、关闭防火墙、格式化文件系统、启动和验证Hadoop、关闭Hadoop。（重点难点）教学内容第2章初识Hadoop2.1Hadoop概述（重点）2.2Hadoop生态系统（重点）2.3Hadoop体系架构（重点）2.4Hadoop应用现状2.5部署和运行Hadoop（重点，难点）重点难点重点：Hadoop是什么，Hadoop生态系统，Hadoop体系架构，部署和运行Hadoop。难点：部署和运行Hadoop。教学方法手段讲授法，讨论法，演示法，案例法教学步骤第2章初识Hadoop1.复习提问，讲评章节测试1，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.根据你的理解，何为大数据？2.大数据有哪些特征？3.大数据关键技术有哪些？作业1.章节测试完成线上测试“章节测试2-初识Hadoop”。作业2.思考题（1）准备Hadoop系统环境时，安装SSH是必须的，但是配置SSH免密登录并不是必须的，试述为何还要配置SSH免密登录。（2）配置Hadoop是部署Hadoop过程中较为繁琐的步骤，试述配置Hadoop伪分布模式和全分布式模式的异同。预习内容预习线上资源“实验指导书-实验1部署全分布模式Hadoop集群”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

实验教学教案首页（第3次课）（以2课时为单元）课序：3实验日期：实验教师：****批准人：****一、实验名称实验1部署全分布模式Hadoop集群二、实验目的﹑要求1.熟练掌握Linux基本命令。2.掌握静态IP地址的配置、主机名和域名映射的修改。3.掌握Linux环境下Java的安装、环境变量的配置、Java基本命令的使用。4.理解为何需要配置SSH免密登录，掌握Linux环境下SSH的安装、免密登录的配置。5.熟练掌握在Linux环境下如何部署全分布模式Hadoop集群。三、实验重点﹑难点重点：配置全分布模式Hadoop集群。难点：配置SSH免密登录。四、实验器材﹑设备本实验所需的软硬件环境包括PC、VMwareWorkstationPro、CentOS安装包、OracleJDK安装包、Hadoop安装包。教学设计：一、复习提问，回顾部署和运行Hadoop的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。实验步骤如下：图实验1部署全分布模式Hadoop集群知识地图1.规划部署。2.准备机器。3.准备软件环境：配置静态IP；修改主机名；编辑域名映射；安装和配置Java；安装和配置SSH免密登录。4.获取和安装Hadoop。5.配置全分布模式Hadoop集群。6.关闭防火墙。7.格式化文件系统。8.启动和验证Hadoop。9.关闭Hadoop。三、布置课后作业1.完成本次实验的电子版《实验报告》，并与本周日前上传至平台。2.预习“HDFS体系架构和文件存储机制”。

教案首页（第4次课）（以2课时为单元）课序授课日期授课班次授课教师批准人4课题第3讲HDFS体系架构和文件存储机制目的要求1.了解大数据存储对文件系统的挑战，理解HDFS文件系统特点。2.理解HDFS体系架构，掌握NameNode与DataNode的作用与关系，掌握HDFS元数据文件的组成。（重点）3.理解HDFS文件存储机制：块，副本策略。（重点）4.掌握HDFS数据读写过程及涉及到的关键类。（重点）教学内容第3章分布式文件系统HDFS3.1HDFS简介3.2HDFS体系架构（重点）3.3HDFS文件存储机制（重点）3.4HDFS数据读写过程（重点）重点难点重点：HDFS体系架构，HDFS文件存储机制，HDFS数据读写过程。难点：无。教学方法手段讲授法，讨论法，演示法，案例法教学步骤第3章分布式文件系统HDFS1.复习提问，讲评章节测试2和实验1，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问简述部署全分布模式Hadoop集群的基本步骤。作业无预习内容预习“实战HDFS”、“HDFS高可靠性机制”。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第5次课）（以2课时为单元）课序授课日期授课班次授课教师批准人5课题第4讲实战HDFS目的要求1.掌握HDFSWebUI的使用，熟练掌握HDFSShell常用命令使用和HDFSJavaAPI编程。（重点，难点）2.了解HDFS高可靠性机制：元数据备份、SecondaryNameNode、BackupNode备份、HDFSNameNodeHA、HDFSNameNodeFederation、HDFSSnapshots。教学内容第3章分布式文件系统HDFS3.5实战HDFS（重点，难点）3.5.1HDFSWebUI3.5.2HDFSShell3.5.3HDFSJavaAPI编程3.6HDFS高可靠性机制（了解）重点难点重点：HDFS体系架构，HDFS文件存储机制，HDFS数据读写过程。难点：无。教学方法手段讲授法，讨论法，演示法，案例法教学步骤第3章分布式文件系统HDFS1.复习提问，导入本节内容。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1.简述HDFS是什么。2.简述HDFS体系架构。3.简述HDFS文件存储机制。4.简述HDFS数据读写过程。作业1.章节测试完成线上测试“章节测试3-分布式文件系统HDFS”。2.思考题（1）简述HDFS元数据的更新和备份过程CheckPoint。（2）简述备份节点和SecondaryNameNode的区别是什么？预习内容预习线上资源“实验指导书-实验2实战HDFS”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5751532

实验教学教案首页（第3次课）（以2课时为单元）课序：6实验日期：实验教师：****批准人：****一、实验名称实验2实战HDFS二、实验目的﹑要求1.理解HDFS体系架构。2.理解HDFS文件存储原理和数据读写过程。3.熟练掌握HDFSWebUI界面的使用。4.熟练掌握HDFSShell常用命令的使用。5.熟练掌握HDFS项目开发环境的搭建。6.掌握使用HDFSJavaAPI编写HDFS文件操作程序。三、实验重点﹑难点重点：使用HDFSWebUI、HDFSShell、HDFSJavaAPI编程。难点：使用HDFSJavaAPI编程。四、实验器材﹑设备本实验所需的软件环境包括全分布模式Hadoop集群、Eclipse。教学设计：一、复习提问，回顾使用HDFSWebUI、HDFSShell、HDFSJavaAPI编程的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。实验步骤如下：图实验2实战HDFS知识地图1.启动全分布模式Hadoop集群，守护进程包括NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager和JobHistoryServer。2.查看HDFSWeb界面。3.练习HDFSShell文件系统命令和系统管理命令。4.在Hadoop集群主节点上搭建HDFS开发环境Eclipse。5.使用HDFSJavaAPI编写HDFS文件操作程序，实现上传本地文件到HDFS的功能，采用本地执行和集群执行的两种执行方式测试，观察结果。6.使用HDFSJavaAPI编写HDFS文件操作程序，实现查看上传文件在HDFS集群中位置的功能，采用本地执行和集群执行的两种执行方式测试，观察结果。7.关闭全分布模式Hadoop集群。三、布置课后作业1.完成本次实验的电子版《实验报告》，并与本周日前上传至平台。2.预习“MapReduce概述和作业执行流程”。

教案首页（第7次课）（以2课时为单元）课序授课日期授课班次授课教师批准人7课题第5讲MapReduce概述及作业执行流程目的要求1.理解MapReduce编程思想。（重点）2.掌握MapReduce应用程序WordCount中Mapper类、Reducer类、main()方法的编写（重点、难点），并熟练掌握向Hadoop集群提交MR作业和查看结果的方法（重点）。3.理解MapReduce作业执行流程的五个阶段，理解MapReduce2.0作业执行时体系架构。（重点）4.理解Shuffle机制。（难点）教学内容第4章分布式计算框架MapReduce4.1MapReduce简介（重点）分而治之；键值对<key,value>4.2第一个MapReduce案例：WordCount（重点）Mapper类、Reducer类、main()方法的编写4.3MapReduce作业执行流程（重点）InputFormat，Map，Shuffle，Reduce，OutputFormat4.5Shuffle机制（难点）重点难点重点：MapReduce编程思想；WordCount中Mapper类、Reducer类、main()方法的编写；MapReduce作业执行流程。难点：WordCount中Mapper类、Reducer类、main()方法的编写；Shuffle机制。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，讲评章节测试3和实验2，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问简述HDFS的体系架构和接口。作业自行编写MapReduce程序WordCountDIY，并提交Hadoop集群运行。预习内容预习“MapReduce数据类型与格式”、“在MapReduce中自定义组件”。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第8次课）（以2课时为单元）课序授课日期授课班次授课教师批准人8课题第6讲MapReduce数据类型和自定义组件目的要求1.掌握MapReduce数据类型（重点），理解序列化和反序列化（难点）。2.了解自定义输入组件、自定义排序组件、自定义分区组件、自定义输出组件的编写。（难点）教学内容第4章分布式计算框架MapReduce4.4MapReduce数据类型与格式序列化，反序列化IntWritable，LongWritable，FloatWritable，DoubleWritable，ByteWritableBooleanWritable，Text，NullWritable4.6在MapReduce中自定义组件输入组件：org.apache.hadoop.mapreduce.InputFormat，RecordReader,重写createRecordReader()排序组件：自定义类实现Comparable或WritableComparable，重写compareTo()分区组件:org.apache.hadoop.mapreduce.Partitioner，重写getPartition()输出组件:org.apache.hadoop.mapreduce.OutputFormat,RecordWriter,重写getRecordWriter()重点难点重点：MapReduce数据类型。难点：序列化和反序列化；MapReduce自定义组件编写。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问简述MapReduce作业执行流程。作业重读MapReduce示例程序WordCount，深入理解其中的数据类型。预习内容预习“实战MapReduce”、“其它主流计算框架”。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5701555

实验教学教案首页（第9次课）（以2课时为单元）课序：9实验日期：实验教师：****批准人：****一、实验名称实验3MapReduce编程(1)二、实验目的﹑要求1.理解MapReduce编程思想。2.理解MapReduce作业执行流程。3.理解MR-App编写步骤，掌握使用MapReduceJavaAPI进行MapReduce基本编程，熟练掌握如何在Hadoop集群上运行MR-App并查看运行结果。4.熟练掌握MapReduceWebUI界面的使用。5.掌握MapReduceShell常用命令的使用。三、实验重点﹑难点重点：MapReduce编程。难点：MapReduce编程。四、实验器材﹑设备本实验所需的软件环境包括全分布模式Hadoop集群、Eclipse。教学设计：一、复习提问，回顾MapReduce编程的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。实验步骤如下：图实验3MapReduce编程(1)知识地图1.启动全分布模式Hadoop集群，守护进程包括NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager和JobHistoryServer。2.在Hadoop集群主节点上搭建MapReduce开发环境Eclipse。3.查看Hadoop自带的MR-App单词计数源代码WordCount.java，在Eclipse项目MapReduceExample下建立新包com.xijing.mapreduce，模仿内置的WordCount示例，自己编写一个WordCount程序，最后打包成JAR形式并在Hadoop集群上运行该MR-App，查看运行结果。4.分别在自编MapReduce程序WordCount运行过程中和运行结束后查看MapReduceWebUI界面。5.分别在自编MapReduce程序WordCount运行过程中和运行结束后练习MapReduceShell常用命令。6.关闭Hadoop集群。三、布置课后作业1.完成本次实验的电子版《实验报告》，并与本周日前上传至平台。2.预习“实战MapReduce和其它主流计算框架”。

教案首页（第10次课）（以2课时为单元）课序授课日期授课班次授课教师批准人10课题第7讲实战MapReduce和其它主流计算框架目的要求1.掌握MapReduceWebUI的使用，了解MapReduceShell常用命令的使用，掌握MapReduceJavaAPI编程。（重点）2.了解MapReduce调优策略。3.了解其它主流计算框架：SparkStreaming、Storm、Flink等。教学内容第4章分布式计算框架MapReduce4.7实战MapReduceMapReduceWebUI：jobhistoryIP:19888MapReduceShell：mapred[命令][参数]4.8MapReduce调优4.9其他主流计算框架Spark、Storm、Flink重点难点重点：MapReduceWebUI的使用，MapReduceJavaAPI编程。难点：MapReduceJavaAPI编程。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，讲评实验3，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问简述MapReduce数据类型。作业1.章节测试完成线上测试“章节测试4-分布式计算框架MapReduce”。2.思考题（1）试述在MapReduce运行的整个阶段中，哪些阶段可以实现自定义设计？请描述这些自定义设计如何具体的实现。（2）本章使用MapReduce对单词进行了统计。单词本身属于“字符串”，但如果要统计的对象不是字符串，而是对象，该如何使用MapReduce进行统计?预习内容预习“统一资源管理和调度框架YARN”。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第11次课）（以2课时为单元）课序授课日期授课班次授课教师批准人11徐鲁辉课题第8讲统一资源管理和调度框架YARN目的要求1.理解MapReduce1.0存在的问题，理解YARN是什么及其优势（重点），了解YARN发展目标。2.理解YARN体系架构，理解ResourceManager、ApplicationMaster、NodeManager的功能。（重点）3.理解YARN工作流程。4.理解YARNWebUI的使用，掌握YARNShell常用命令的使用（重点），了解YARNJavaAPI的基本使用。5.理解ResourceManagerRestart是什么和实现原理，理解ResourceManagerHA是什么和体系架构，理解YARNFederation是什么和体系架构，了解以上三种YARN新特性的配置。（难点）6.了解其它统一资源管理调度框架：ApacheMesos、HadoopCorona、GoogleBorg/Omega/Kubernetes、DockerSwarm。教学内容第5章统一资源管理和调度框架YARN5.1初识YARN5.2YARN体系架构5.3YARN工作流程5.4实战YARN5.5YARN新特性5.6其它统一资源管理调度框架重点难点重点：YARN概述，YARN体系架构，YARNShell，YARNWebUI。难点：YARN新特性。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，讲评章节测试4，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问简述MapReduce编程思想、作业执行流程，MapReduce编程要点。作业1.章节测试完成线上测试“章节测试5-统一资源管理和调度框架YARN”。2.思考题（1）试述YARN对MapReduce1.0的架构进行了怎样的重新设计。（2）试述YARN体系架构中三大核心组件及各自功能。（3）实践操作题：尝试在个人YARN集群配置ResourceManagerRestart。作业（4）实践操作题：尝试在个人YARN集群规划和配置ResourceManagerHA的自动切换。（5）实践操作题：尝试在个人YARN集群配置YARNFederation。预习内容预习线上资源“实验指导书-实验4MapReduce编程(2)”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

实验教学教案首页（第12次课）（以2课时为单元）课序：12实验日期：实验教师：****批准人：****一、实验名称实验4MapReduce编程(2)二、实验目的﹑要求1.理解YARN体系架构。2.熟练掌握YARNWebUI界面的使用。3.掌握YARNShell常用命令的使用。4.了解YARN编程之三大范式，深入理解MapReduce编程思想，掌握MR-App编写步骤，编写简单MR-App，熟练掌握在Hadoop集群上运行MR-App并查看运行结果。三、实验重点﹑难点重点：MapReduce编程。难点：MapReduce编程。四、实验器材﹑设备本实验所需的软件环境包括全分布模式Hadoop集群、Eclipse。教学设计：一、复习提问，回顾MapReduce编程的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。实验步骤如下：图实验4MapReduce编程(2)知识地图1.启动全分布模式Hadoop集群，守护进程包括NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager和JobHistoryServer。2.在Eclipse项目MapReduceExample下建立新包com.xijing.mapreduce，编写MapReduce程序，已知某个超市的结算记录，从左往右各字段的含义依次是会员编号、结算时间、消费金额和用户身份，要求计算出会员和非会员的平均消费金额。最后打包成JAR形式并在Hadoop集群上运行该MR-App，查看运行结果。3.分别在自编MapReduce程序运行过程中和运行结束后查看YARNWebUI界面。4.分别在自编MapReduce程序运行过程中和运行结束后练习YARNShell常用命令。5.关闭Hadoop集群。三、布置课后作业1.完成本次实验的电子版《实验报告》，并与本周日前上传至平台。2.预习“Zookeeper系统模型和工作原理”。

教案首页（第13次课）（以2课时为单元）课序授课日期授课班次授课教师批准人13课题第9讲ZooKeeper系统模型和工作原理目的要求1.了解分布式协调技术。2.理解ZooKeeper的由来。3.理解ZooKeeper系统模型：数据模型、ZNode类型、ZNode状态信息、版本机制、Watcher监听机制（难点）、ACL权限控制机制。（重点）4.理解ZooKeeper工作原理：集群架构（重点）、三类服务器角色（重点）、ZAB协议（难点）和Leader选举机制（重点，难点）。5.了解ZooKeeper典型应用场景。教学内容第6章分布式协调框架ZooKeeper6.1分布式协调技术6.2初识ZooKeeper6.3ZooKeeper系统模型Znode数据模型ZNode类型、状态信息版本机制Watcher监听机制ACL权限控制机制。6.4ZooKeeper工作原理集群架构、三类服务器角色、ZAB协议和Leader选举机制。6.5ZooKeeper典型应用场景重点难点重点：ZooKeeper系统模型，ZooKeeper工作原理。难点：ZooKeeper系统模型中的Watcher监听机制，ZooKeeper工作原理中的ZAB协议和Leader选举机制。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，讲评章节测试5和实验4，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问YARN由来、体系架构、工作流程、接口。作业无预习内容预习“部署ZooKeeper集群“、”实战ZooKeeper”。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第14次课）（以2课时为单元）课序授课日期授课班次授课教师批准人14课题第10讲部署ZooKeeper集群和实战ZooKeeper目的要求1.熟练掌握部署ZooKeeper集群。（重点）2.掌握ZooKeeper四字命令的使用，熟练掌握ZooKeeperShell常用命令的使用（重点），了解ZooKeeperJavaAPI编程（难点）。教学内容第6章分布式协调框架ZooKeeper6.6部署ZooKeeper集群运行环境运行模式：单机模式、伪集群模式、集群模式规划ZooKeeper集群部署ZooKeeper集群：配置文件zoo.cfg启动ZooKeeper集群：zkServer.shstart验证ZooKeeper集群：zkServer.shstatus，jps查看进程关闭ZooKeeper集群：zkServer.shstop6.7实战ZooKeeperZooKeeper四字命令ZooKeeperShell：zkServer.sh，zkCli.shZooKeeperJavaAPI编程重点难点重点：部署ZooKeeper集群，ZooKeeperShell常用命令。难点：ZooKeeperJavaAPI编程。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问ZooKeeper系统模型，ZooKeeper工作原理。作业完成线上测试“章节测试6-分布式协调框架ZooKeeper”。预习内容预习线上资源“实验指导书-实验5部署ZooKeeper集群和实战ZooKeeper”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5701555

实验教学教案首页（第15次课）（以2课时为单元）课序：15实验日期：实验教师：****批准人：****一、实验名称实验5部署ZooKeeper集群和实战ZooKeeper二、实验目的﹑要求1.理解ZooKeeper的系统模型，包括数据模型、版本机制、Watcher监听机制、ACL权限控制机制。2.理解ZooKeeper的工作原理，包括集群架构、Leader选举机制。3.熟练掌握ZooKeeper集群的部署和运行。4.掌握ZooKeeper四字命令的使用。5.熟练掌握ZooKeeperShell常用命令的使用。6.了解ZooKeeperJavaAPI，能看懂简单的ZooKeeper编程。三、实验重点﹑难点重点：部署ZooKeeper集群，ZooKeeperShell常用命令。难点：ZooKeeper编程。四、实验器材﹑设备本实验所需的软件环境包括Linux集群（至少3台机器）、OracleJDK1.6+、ZooKeeper安装包、Eclipse。教学设计：一、复习提问，回顾部署ZooKeeper集群、使用ZooKeeperShell常用命令的关键点。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。实验步骤如下：图实验5部署ZooKeeper集群和实战ZooKeeper知识地图1.规划ZooKeeper集群。2.部署ZooKeeper集群。3.启动ZooKeeper集群。4.验证ZooKeeper集群。5.使用ZooKeeper四字命令。6.使用ZooKeeperShell常用命令。7.关闭ZooKeeper集群。三、布置课后作业1.完成本次实验的电子版《实验报告》，并与本周日前上传至平台。2.预习“HBase数据模型和体系架构”。

教案首页（第16次课）（以2课时为单元）课序授课日期授课班次授课教师批准人16课题第11讲HBase数据模型和体系架构目的要求1.了解NoSQL数据库的特点和四种类型。2.了解HBase的发展历程、特点。3.理解HBase逻辑模型、物理模型（重点），理解HBase元数据表-ROOT-和.META.（重点难点）。4.理解HBase的体系架构（重点），理解HBase组件HMaster、HRegionServer、HRegion、ZooKeeper等的作用（重点难点）。5.理解HBase运行机制。教学内容第7章分布式数据库HBase7.1NoSQL简介键值数据库（Redis等）、列式数据库（HBase等）、文档数据库（MongoDB等）、图数据库（Neo4J等）7.2初识HBase高可靠、高性能、列存储、可伸缩、实时读写的分布式数据库系统7.3HBase数据模型逻辑模型，物理模型7.4HBase体系架构Master/Slave架构，Client、ZooKeeper集群、HMaster节点、HRegionServer节点，HDFS7.5HBase运行机制重点难点重点：HBase逻辑模型、物理模型，HBase元数据表，HBase体系架构及各组件作用。难点：HBase元数据表，HBase各组件作用。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，讲评章节测试6和实验5，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问ZooKeeper系统模型，ZooKeeper工作原理，部署ZooKeeper集群要点。作业无。预习内容预习“部署HBase集群”、“实战HBase”。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第17次课）（以2课时为单元）课序授课日期授课班次授课教师批准人17课题第12讲部署HBase集群和实战HBase目的要求1.理解HBase运行所需系统环境、运行模式，熟练掌握部署HBase集群：规划集群、获取安装、配置、启动、验证等。（重点）2.了解HBaseWebUI的使用，熟练掌握HBaseShell常用命令的使用（重点），了解HBaseJavaAPI编程和在HBase中使用MapReduce（难点）。3.了解HBase的性能优化方法。教学内容第7章分布式数据库HBase7.6部署HBase集群HBase运行环境和运行模式，规划HBase集群，部署HBase集群（hbase-env.sh，hbase-site.xml，regionservers），启动HBase集群验证HBase集群7.7实战HBaseHBaseWebUI，HBaseShell，HBaseAPI在HBase中使用MapReduce7.8HBase性能优化重点难点重点：部署HBase集群，HBaseShell。难点：HBaseAPI，在HBase中使用MapReduce。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问HBase数据模型，HBase体系架构。作业1.章节测试完成线上测试“章节测试7-分布式数据库HBase”。2.思考题（1）HBase的索引是静态还是动态的？是一级索引还是多级索引？（2）HBase的元数据“.META”是什么？存储在哪里？（3）简述HBase中HRegionServer的分裂过程。预习内容预习线上资源“实验指导书-实验6部署全分布模式HBase集群和实战HBase”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5701555

实验教学教案首页（第18次课）（以2课时为单元）课序：18实验日期：实验教师：****批准人：****一、实验名称实验6部署全分布模式HBase集群和实战HBase。二、实验目的﹑要求1.理解HBase数据模型。2.理解HBase体系架构。3.熟练掌握HBase集群的部署。4.了解HBaseWebUI的使用。5.熟练掌握HBaseShell常用命令的使用。6.了解HBaseJavaAPI，能编写简单的HBase程序。三、实验重点﹑难点重点：部署全分布模式HBase集群，HBaseShell常用命令。难点：Hasee编程。四、实验器材﹑设备本实验所需的软件环境包括HDFS集群、ZooKeeper集群、HBase安装包、Eclipse。教学设计：一、复习提问，回顾部署全分布模式HBase集群要点和HBaseShell常用命令。教师讲述本次实验的先修技能、实验步骤和实验重点难点。二、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。实验步骤如下：图实验6部署全分布模式HBase集群和实战HBase知识地图1.规划全分布模式HBase集群。2.部署全分布模式HBase集群。3.启动全分布模式HBase集群。4.验证全分布模式HBase集群。5.使用HBaseWebUI。6.使用HBaseShell常用命令。7.关闭全分布模式HBase集群。三、布置课后作业1.完成本次实验的电子版《实验报告》，并与本周日前上传至平台。2.预习“Hive体系架构”、“Hive数据类型”、“Hive数据模型”。

教案首页（第19次课）（以2课时为单元）课序授课日期授课班次授课教师批准人19课题第13讲Hive体系架构、数据类型和数据模型目的要求1.理解Hive的基本工作流程，理解Hive与传统关系型数据库对比的基本特征。2.理解Hive体系架构，理解客户端组件CLI、JDBC/ODBC、HWI的功能，理解服务端组件ThriftServer、元数据（Metastore）、驱动器（Driver）的功能。（重点）3.掌握Hive基本数据类型、集合数据类型的使用。（重点）4.理解Hive常用文件格式TEXTFILE、SEQUENCEFILE、RCFILE、ORC的特点和使用场景。5.掌握Hive的表、分区、分桶的定义、应用场景和使用。（重点）6.熟练掌握Hive内置运算符和函数的使用（重点），了解UDF、UDTF、UDAF的使用。教学内容第8章数据仓库Hive8.1初识Hive主要用于解决海量结构化日志数据的离线分析，基于Hadoop的数据仓库8.2Hive体系架构CLI、JDBC/ODBC、ThriftServer、HWI、Metastore和Driver8.3Hive数据类型基本数据类型，集合数据类型8.4Hive文件格式8.5Hive数据模型表（Table）、分区（Partition）和桶（Bucket）8.6Hive函数内置运算符，内置函数，自定义函数（自学）重点难点重点：Hive体系架构，Hive数据类型，Hive数据模型，Hive内置运算符和内置函数。难点：无。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，讲评章节测试7和实验6，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问HBase数据模型，HBase体系架构，部署HBase集群要点。作业无。预习内容预习“部署Hive”、“实战Hive”。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）10701532

教案首页（第20次课）（以2课时为单元）课序授课日期授课班次授课教师批准人20课题第14讲部署Hive和实战Hive目的要求1.理解Hive运行所需系统环境、运行模式，熟练掌握部署本地模式Hive：规划、获取安装、配置、启动、验证等。（重点）2.了解HWI的使用，熟练掌握HiveShell常用命令和HiveQL的使用（重点），了解HiveAPI编程。3.了解Hive常见优化策略。教学内容第8章数据仓库Hive8.7部署Hive内嵌模式，本地模式，远程模式安装和配置MySQL，安装Hive，配置Hive（hive-env.sh，hive-site.xml：hive.metastore.warehouse.dirhive.metastore.urisjavax.jdo.option.ConnectionURLjavax.jdo.option.ConnectionDriverNamejavax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionPassword）8.8实战HiveHWI(自学)，HiveShell（以HiveQL为主），HiveAPI（自学）8.9Hive优化策略（自学）重点难点重点：Hive内置运算符，Hive内置函数，部署Hive，HiveQL。难点：HiveAPI编程。教学方法手段讲授法，演示法，案例法教学步骤1.复习提问，导入本节内容。2.精讲教学内容。3.进行本节小结。4.布置课后作业。复习提问Hive体系架构，Hive数据类型，Hive数据模型（表、分区、桶），Hive内置运算符和函数。作业1.章节测试完成线上测试“章节测试8-数据仓库Hive”。2.思考题（1）Hive的元数据有哪几种存储方式？分别适用于什么应用场景。（2）Hive分区、分桶的含义。预习内容预习线上资源“实验指导书-实验7部署本地模式Hive和实战Hive”，了解实验目的和实验内容，准备实验环境。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配（以分钟计算）5701555

实验教学教案首页（第21次课）（以2课时为单元）课序：21实验日期：实验教师：****批准人：****一、实验名称实验7部署本地模式Hive和实战Hive。二、实验目的﹑要求1.理解Hive工作原理。2.理解Hive体系架构。3.熟悉Hive运行模式，熟练掌握本地模式Hive的部署。4.了解HiveWebUI的配置和使用。5.熟练掌握HiveShell常用命令的使用。6.了解HiveJavaAPI，能编写简单的Hive程序。三、实验重点﹑难点重点：部署本地模式Hive，HiveShell常用命令（HiveQL）。难点：Hive编程。四、实验器材﹑设备本实验所需的软件环境包括全分布模式Hadoop集群、MySQL安装包、MySQLJDBC驱动包、Hive安装包、Eclipse。教学设计：一、复习提问，回顾Hive体系架构、Hive数据类型、Hive数据模型、Hive函数、部署Hive、HiveShell中的HiveQL。二、教师讲述本次实验的先修技能、实验步骤和实验重点难点。图实验7部署本地模式Hive和实战Hive知识地图三、采用实验法教学，学生按照本次实验的实验指导书进行实验，教师指导。实验步骤如下：1.规划Hive。2.部署本地模式Hive。3.启动Hive。4.验证Hive。5.配置和使用HiveWebUI。6.使用HiveShell常用命令。7.关闭Hive。四、布置课后作业1.完成本次实验的电子版《实验报告》，并与本周日前上传至平台。2.预习“大数据迁移和采集工具”。

教案首页（第22次课）（以2课时为单元）课序授课日期授课班次授课教师批准人22课题第15讲大数据迁移和采集工具目的要求1.了解Sqoop的由来、版本，理