《Hadoop核心技术》教学大纲

《Hadoop核心技术》教学大纲课程编号：13210717英文名称：HadoopCoreTechnology学分：3学时：总学时64学时，其中理论32学时，实践32学时先修课程：高级语言、面向对象程序设计课程类别：专业方向课程授课对象：数据科学与大数据技术专业学生教学单位：机械与电气工程学院修读学期：第5学期一、课程描述和目标简要说明课程在实现专业人才培养目标中的地位、作用，以及课程基本内容等。本课程拟达到的课程目标:阐明本课程在人才培养过程中的地位及作用，明确学生学习本课程后在知识、能力及素质发展等方面应达到的目标。课程目标1：明确本课程对用计算机相关领域的复杂工程问题的作用；掌握大数据分析的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解。课程目标2：能对复杂工程问题进行深入研究的能力，根据实际复杂工程问题能选择合适的Hadoop工具，并在此基础上掌握对这些Hadoop工具的操作技术。对Hadoop平台应用与开发的一般理论有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。二、课程目标对毕业要求的支撑关系毕业要求指标点课程目标权重3-1：能够设计针对大数据系统工程问题的解决方案，包括满足特定需求的系统架构、数据库设计、数据挖掘方法、系统实现、测试与验证等，并在设计环节中体现创新意识。课程目标1H3-3：针对大数据系统工程问题，能够在理解复杂工程问题的基础上定义功能、目标和限制，并设计开发复杂工程问题的解决方案。课程目标2M三、教学内容、基本要求与学时分配序号教学内容基本要求及重、难点（含德育要求）学时教学方式对应课程目标1初识Hadoop了解什么是大数据及其特征、熟悉大数据的典型应用、了解Hadoop的发展历史及其版本、掌握Hadoop的生态体系。2讲授式讨论式课程目标12构建Hadoop集群了解虚拟机的安装和克隆、熟悉Linux系统的网络配置和SSH配置、掌握Hadoop集群的搭建和配置、掌握Hadoop集群测试、熟悉Hadoop集群初体验的操作。2讲授式启发式探究式讨论式练习式课程目标13HDFS分布式文件系统了解HDFS演变、掌握HDFS特点、掌握HDFS的架构和原理、掌握HDFS的Shell和JavaApi操作。2讲授式启发式探究式讨论式练习式课程目标14MapReduce分布式计算系统理解MapReduce的核心思想、掌握MapReduce的编程模型、掌握MapReduce的工作原理、掌握MapReduce常见编程组件的使用。2讲授式讨论式练习式课程目标15Zookeeper分布式协调服务了解Zookeeper的概念和特性、理解Zookeeper数据模型、掌握Zookeeper的Watch机制和选举机制、掌握Zookeeper的集群部署、掌握Zookeeper的Shell操作和JavaAPI操作、熟悉Zookeeper的应用场景。4讲授式启发式探究式讨论式练习式课程目标26Hadoop2.0新特性掌握YARN的体系结构和工作流程、掌握HDFS的高可用架构、会搭建Hadoop高可用集群。4讲授式启发式探究式讨论式练习式课程目标27Hive数据仓库了解Hive的相关功能和特点、熟悉Hive的简单安装和配置、掌握HiveQL的相关操作。4讲授式启发式探究式讨论式练习式课程目标28Flume日志采集系统了解Flume的作用、熟悉Flume的运行机制、掌握Flume的安装部署、熟悉Flume的可靠性保证。4讲授式启发式探究式讨论式练习式课程目标29Azkaban工作流管理器了解Azkaban的结构、掌握Azkaban的部署、熟悉Azkaban的基本使用。4讲授式启发式探究式讨论式练习式课程目标210Sqoop数据迁移了解Sqoop基本概念、掌握Sqoop安装配置、熟悉Sqoop常用的相关指令、掌握使用Sqoop进行导入导出。4讲授式启发式探究式讨论式练习式课程目标2合计32序号实验项目实验内容与要求学时类型对应课程目标1MapReduce经典案例——倒排索引介绍倒排索引的定义和作用、分析案例的需求、通过代码实现倒排索引功能。（必修）10设计课程目标12Flume日志采集的编写服务系统的搭建与配置、配置采集方案、日东日志收集系统、日志采集系统的测试与验证。（必修）10设计课程目标23综合项目——网站流量日志数据分析系统掌握网站流量日志数据分析系统的业务流程的前提下，具备独立分析日志数据，并利用MapReduce技术将数据提取出易于分析的数据结构，以及使用Hive完成数据分析，计算出需求结果的能力。（必修）12设计课程目标2合计32注：实验要求包括必修、选修；实验类型包括演示、验证、综合、设计等，后两类占比大于80%。四、课程教学方法线上教学与线下教学相结合；集中讲授与探究式教学及翻转课堂相结合；采用讲授式、启发式、探究式、讨论式和练习式等教学方式。五、学业评价和课程考核推行多元评价，对本课程所采用的评价和考核方式作具体说明，若采用多种考核方法请分别列出考核评价的方法、内容、考核标准、成绩占比等，考核方法、内容应突出“学生中心、产出导向”。（以下以工科某课程为例，仅供参考。各课程要按课程实际情况设计填写）（一）考核方式及具体要求1.课程成绩构成与要求课程考核注重形成性和终结性评价相结合，考核内容主要由平时作业、课程实验、课程论文、线下表现、期末考核组成，均按百分制计分，其中期末考核成绩占50%、平时作业成绩占10%、课程实验成绩占10%、课程论文成绩占20%、线下表现成绩占10%。2.课程目标达成考核与评价序号教学环节课程目标1（分值）课程目标2（分值）合计1平时作业55102课程实验55103课程论文1010204线下表现55105期末大作业252550课程目标对应分值5050100（二）考核与评价标准1.平时作业考核与评价标准分值观测点90-100分70-89分60-69分0-59分平时作业按时完成，90%以上的作业内容齐全，基本知识点理解、掌握到位。能够利用理论知识编程求解具体问题。按时完成，70%以上的作业内容齐全，基本知识点理解、掌握得较为到位。能够较好地利用理论知识编程求解具体问题。延时完成，60%以上的作业内容齐全，基本知识点理解、掌握得基本到位。基本能够利用理论知识编程求解具体问题。不交和补交，50%以下的作业内容齐全，基本知识点理解、掌握有偏差。基本不能利用理论知识编程求解具体问题。2.课程实验考核与评价标准分值观测点90-100分70-89分60-69分0-59分课程实验能根据实验要求自主设计实验方案，有自己的设计理念，实验完成度高，效果好。实验报告内容完整。能根据实验要求自主设计实验方案，有自己的设计理念，实验完成度较高，效果较好。实验报告比较完整。能根据实验要求自主设计实验方案，实验完成度一般，效果一般。实验报告基本完整。基本能根据实验要求自主设计实验方案，实验完成度较差，效果较差。实验报告不完整。3.课程论文考核与评价标准分值观测点90-100分70-89分60-69分0-59分课程论文格式规范，符合课程论文写作要求；内容主题明确，符合课程教学内容，有明确的综合分析论点。参考文献充分、正文引用恰当，文献引文格式符合文献标准；无摘录摘抄痕迹，能恰当运用自己的语言组织素材，论点正确。格式符合课程论文写作要求；主题明确，符合课程教学内容，具较好的综合分析论点。参考文献充分、正文能够较好对文献进行引用，文献引文格式基本符合科技期刊论文文献标准；正文主题大部分运用自己的语言组织素材，论点正确。格式符合课程论文写作要求；主题基本明确，较符合课程教学内容，具较好的综合分析论点。参考文献有，文献引文格式基本符合科技期刊论文文献标准；正文有部分摘抄，论点分析较清晰。论文格式不符合课程论文要求，能反映部分主题内容，论文结构不完整，论点分析不清晰，参考文献少，正文没有引用，格式不完全符合科技论文文献标准。4.线下表现与评价标准根据回答问题、课堂表现及团队合作等情况及评分标准评分（百分制）。5.期末大作业考核与评价标准分值观测点90-100分70-89分60-69分0-59分期末大作业格式规范，符合课程论文写作要求；内容主题明确，符合课程教学内容，有明确的综合分析论点。参考文献充分、正文引用恰当，文献引文格式符合文献标准；无摘录摘抄痕迹，能恰当运用自己的语言组织素材，论点正确。格式符合课程论文写作要求；主题明确，符合课程教学内容，具较好的综合分析论点。参考文献充分、正文能够较好对文献进行引用，文献引文格式基本符合科技期刊论文文献标准；正文主题大部分运用自己的语言组织素材，论点正确。格式符合课程论文写作要求；主题基本明确，较符合课程教学内容，具较好的综合分析论点。参考文献有，文献引文格式基本符合科技期刊论文文献标准；正文有部分摘抄，论点分析较清晰。论文格式不符合课程论文要求，能反映部分主题内容，论文结构不完整，论点分析不清晰，参考文献少，正文没有