《Hadoop大数据开发》教学大纲

《Hadoop大数据开发》教学大纲课程编号：13180526英文名称：Hadoopbigdatapractice学分：3学时：总学时学时64，其中理论32学时，实践32学时先修课程：高级语言、面向对象程序设计课程类别：专业方向课授课对象：计算机科学与技术专业学生教学单位：机械与电气工程学院修读学期：第6学期一、课程描述和目标大数据是当前计算机研究的最热点的方向之一。本课程Hadoop大数据开发，为学生了解大数据，构建大数据知识体系、阐明基本原理、引导初级实践打下基础，为学生在Hadoop平台下大数据领域指明方向。课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、分布式并行编程模型MapReduce、大数据在互联网、生物医学和物流等各个领域的应用。课程目标1：了解分布式文件系统的基本概念、结构和设计需求，掌握Hadoop分布式文件系统HDFS的重要概念、体系结构、存储原理和读写过程，并熟练掌握分布式文件系统HDFS的使用方法；理解Hadoop平台在解决复杂工程问题中的局限性课程目标2：能够了解分布式数据库HBase的访问接口、数据模型、实现原理和运行机制，并熟练掌握HBase的使用方法，能够在Hadoop平台下，具备使用大数据的复杂工程问题进行深入研究的能力。课程目标3：具有平台架构能力，了解大数据的实际应用，为确定设计大数据的使用打下良好基础。二、课程目标对毕业要求的支撑关系毕业要求指标点课程目标权重指标点3-1：掌握计算机软硬件工程设计和产品开发全周期、全流程的软硬件设计开发方法和技术，了解影响设计目标和技术方案的各种因素。课程目标1H指标点4-2：能够根据计算机相关领域的复杂工程问题的研究对象及其特征，制定研究方法和技术路线，设计实验方案。课程目标2H指标点12-2：能够具有了解和紧跟计算机技术发展、保持和增强自我竞争力、适应个人持续发展所需要的自主学习能力。课程目标3H教学内容、基本要求与学时分配序号教学内容基本要求学时教学方式对应课程目标1大数据概述介绍大数据的基本概念和应用领域，并阐述大数据、云计算和物联网的相互关系德育：积极向上、自主学习、团队合作、探索创新。2讲授式启发式课程目标12大数据处理架构Hadoop介绍大数据处理架构Hadoop德育：积极向上、自主学习、团队合作、探索创新。6讲授式练习式课程目标1课程目标23分布式文件系统HDFSHDFS简介、相关概念、体系结构、存储原理、读写过程德育：积极向上、自主学习、团队合作、探索创新。6讲授式练习式课程目标1课程目标24分布式数据库HBaseHBase概述、访问接口、数据模型、实现原理、运行机制德育：积极向上、自主学习、团队合作、探索创新。4讲授式练习式课程目标1课程目标25云数据库云数据库概念、产品、系统架构、阿里云RDS实践操作德育：积极向上、自主学习、团队合作、探索创新。2讲授式启发式课程目标1课程目标26MapReduce概述、工作流程、实例分析、具体应用德育：积极向上、自主学习、团队合作、探索创新。4讲授式练习式课程目标1课程目标27Hadoop架构再探讨Hadoop的优化与发展、HDFS2.0新特性、新一代资源调度管理框架YARN、Hadoop生态系统中具有代表性的功能组件德育：积极向上、自主学习、团队合作、探索创新。2讲授式练习式课程目标1课程目标2课程目标38SparkSpark概述、生态系统、运行架构、部署方式德育：积极向上、自主学习、团队合作、探索创新。2讲授式练习式课程目标1课程目标2课程目标39流计算、图计算长尾理论、推荐方法、协同过滤德育：积极向上、自主学习、团队合作、探索创新。4讲授式启发式课程目标2课程目标3合计32序号实验项目实验内容与要求学时类型对应课程目标1Windows系统下Linux虚拟机安装及使用虚拟一个Linux运行环境实验要求：必修4演示课程目标12Hadoop安装单机/伪分布式配置（CentOS6.4）顺利安装并运行Hadoop实验要求：必修6验证课程目标13Hadoop集群安装配置集群安装配置实验要求：必修4验证课程目标14Hadoop自定义实现类以及编译运行编写实现类以及编译运行实现类实验要求：必修4验证课程目标15HBase的安装与运行HBase的基本安装和使用方法实验要求：必修4验证课程目标1课程目标26使用命令行编译打包运行自己的MapReduce程序编辑自己的MapReduce程序实验要求：必修4验证课程目标1课程目标27使用Eclipse编译运行MapReduce程序在Eclipse上编译和运行MapReduce程序实验要求：选修6综合课程目标1课程目标2课程目标3合计32四、课程教学方法线上教学与线下教学相结合；集中讲授与探究式教学及翻转课堂相结合；采用讲授式、启发式、探究式、讨论式和练习式等教学方式。五、学业评价和课程考核（一）考核方式及具体要求1.课程成绩构成与要求课程考核注重形成性和终结性评价相结合，考核内容主要由平时作业、课程实验、课程论文、线下表现、期末考核组成，均按百分制计分，其中期末考核成绩占50%、平时作业成绩占10%、课程实验成绩占10%、课程论文成绩占20%、线下表现成绩占10%。2.课程目标达成考核与评价序号教学环节课程目标1（分值）课程目标2（分值）合计1平时作业55102课程实验55103课程论文1010204线下表现55105期末大作业252550课程目标对应分值5050100（二）考核与评价标准1.平时作业考核与评价标准分值观测点90-100分70-89分60-69分0-59分平时作业按时完成，90%以上的作业内容齐全，基本知识点理解、掌握到位。能够利用理论知识编程求解具体问题。按时完成，70%以上的作业内容齐全，基本知识点理解、掌握得较为到位。能够较好地利用理论知识编程求解具体问题。延时完成，60%以上的作业内容齐全，基本知识点理解、掌握得基本到位。基本能够利用理论知识编程求解具体问题。不交和补交，50%以下的作业内容齐全，基本知识点理解、掌握有偏差。基本不能利用理论知识编程求解具体问题。2.课程实验考核与评价标准分值观测点90-100分70-89分60-69分0-59分课程实验能根据实验要求自主设计实验方案，有自己的设计理念，实验完成度高，效果好。实验报告内容完整。能根据实验要求自主设计实验方案，有自己的设计理念，实验完成度较高，效果较好。实验报告比较完整。能根据实验要求自主设计实验方案，实验完成度一般，效果一般。实验报告基本完整。基本能根据实验要求自主设计实验方案，实验完成度较差，效果较差。实验报告不完整。3.课程论文考核与评价标准分值观测点90-100分70-89分60-69分0-59分课程论文格式规范，符合课程论文写作要求；内容主题明确，符合课程教学内容，有明确的综合分析论点。参考文献充分、正文引用恰当，文献引文格式符合文献标准；无摘录摘抄痕迹，能恰当运用自己的语言组织素材，论点正确。格式符合课程论文写作要求；主题明确，符合课程教学内容，具较好的综合分析论点。参考文献充分、正文能够较好对文献进行引用，文献引文格式基本符合科技期刊论文文献标准；正文主题大部分运用自己的语言组织素材，论点正确。格式符合课程论文写作要求；主题基本明确，较符合课程教学内容，具较好的综合分析论点。参考文献有，文献引文格式基本符合科技期刊论文文献标准；正文有部分摘抄，论点分析较清晰。论文格式不符合课程论文要求，能反映部分主题内容，论文结构不完整，论点分析不清晰，参考文献少，正文没有引用，格式不完全符合科技论文文献标准。4.线下表现与评价标准根据回答问题、课堂表现及团队合作等情况及评分标准评分（百分制）。5.期末大作业考核与评价标准分值观测点90-100分70-89分60-69分0-59分期末大作业格式规范，符合课程论文写作要求；内容主题明确，符合课程教学内容，有明确的综合分析论点。参考文献充分、正文引用恰当，文献引文格式符合文献标准；无摘录摘抄痕迹，能恰当运用自己的语言组织素材，论点正确。格式符合课程论文写作要求；主题明确，符合课程教学内容，具较好的综合分析论点。参考文献充分、正文能够较好对文献进行引用，文献引文格式基本符合科技期刊论文文献标准；正文主题大部分运用自己的语言组织素材，论点正确。格式符合课程论文写作要求；主题基本明确，较符合课程教学内容，具较好的综合分析论点。参考文献有，文献引文格式基本符合科技期刊论文文献标准；正文有部分摘抄，论点分析较清晰。论文格式不符合课程论文要求，能反映部分主题内容，论文结构不完整，论点分析不清晰，参考文献少，正文没有引用，格式不完全符合科技论文文献标准。六、教材与参考书（一）推荐教材1．《Hadoop大数据技术原理与应用》，黑马程序员编著，清华大学出版社，2019年5月版；2．《Had