《Hadoop大数据开发》教学大纲

第页《Hadoop大数据开发》教学大纲课程编号：13180526英文名称：Hadoop大数据开发学分：3学时：总学时64学时，其中理论32学时，实践32学时先修课程：操作系统、人工智能基础课程类别：选修授课对象：计算机科学与技术专业学生教学单位：机械与电气工程学院修读学期：第6学期一、课程描述和目标大数据是当前计算机研究的最热点的方向之一。本课程Hadoop大数据开发，为学生了解大数据，构建大数据知识体系、阐明基本原理、引导初级实践打下基础，为学生在Hadoop平台下大数据领域指明方向。课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、分布式并行编程模型MapReduce、大数据在互联网、生物医学和物流等各个领域的应用。课程目标1：了解分布式文件系统的基本概念、结构和设计需求，掌握Hadoop分布式文件系统HDFS的重要概念、体系结构、存储原理和读写过程，并熟练掌握分布式文件系统HDFS的使用方法；理解Hadoop平台在解决复杂工程问题中的局限性课程目标2：能够了解分布式数据库HBase的访问接口、数据模型、实现原理和运行机制，并熟练掌握HBase的使用方法，能够在Hadoop平台下，具备使用大数据的复杂工程问题进行深入研究的能力。课程目标3：具有平台架构能力，了解大数据的实际应用，为确定设计大数据的使用打下良好基础。二、课程目标对毕业要求的支撑关系毕业要求指标点课程目标权重指标点4-2掌握大数据平台下分布式数据实现原理及架构方法课程目标10.5课程目标20.5指标点5-2能够了解大数据在互联网等领域的典型应用课程目标20.4课程目标30.6三、教学内容、基本要求与学时分配序号教学内容基本要求学时教学方式对应课程目标1大数据概述介绍大数据的基本概念和应用领域，并阐述大数据、云计算和物联网的相互关系2讲授式启发式课程目标12大数据处理架构Hadoop介绍大数据处理架构Hadoop6讲授式练习式课程目标1课程目标23分布式文件系统HDFSHDFS简介、相关概念、体系结构、存储原理、读写过程6讲授式练习式课程目标1课程目标24分布式数据库HBaseHBase概述、访问接口、数据模型、实现原理、运行机制4讲授式练习式课程目标1课程目标25云数据库云数据库概念、产品、系统架构、阿里云RDS实践操作2讲授式启发式课程目标1课程目标26MapReduce概述、工作流程、实例分析、具体应用4讲授式练习式课程目标1课程目标27Hadoop架构再探讨Hadoop的优化与发展、HDFS2.0新特性、新一代资源调度管理框架YARN、Hadoop生态系统中具有代表性的功能组件2讲授式练习式课程目标1课程目标2课程目标38SparkSpark概述、生态系统、运行架构、部署方式2讲授式练习式课程目标1课程目标2课程目标39流计算、图计算长尾理论、推荐方法、协同过滤4讲授式启发式课程目标2课程目标3合计32序号实验项目实验内容与要求学时类型对应课程目标1Windows系统下Linux虚拟机安装及使用虚拟一个Linux运行环境4演示课程目标12Hadoop安装单机/伪分布式配置（CentOS6.4）顺利安装并运行Hadoop6演示课程目标13Hadoop集群安装配置集群安装配置4演示课程目标14Hadoop自定义实现类以及编译运行编写实现类以及编译运行实现类4演示课程目标15HBase的安装与运行HBase的基本安装和使用方法4演示课程目标1课程目标26使用命令行编译打包运行自己的MapReduce程序编辑自己的MapReduce程序4演示课程目标1课程目标27使用Eclipse编译运行MapReduce程序在Eclipse上编译和运行MapReduce程序6综合课程目标1课程目标2课程目标3合计32注：实验要求包括必修、选修；实验类型包括演示、验证、综合、设计等。四、课程教学方法采用集中讲授、小组讨论等教学方式五、学业评价和课程考核对本课程所采用的评价和考核方式作具体说明，若并用多种考核方法请列出各项分值的比例。平时作业、期中、期末考核等的方法、内容、比例等均应有明确规定。考核依据建议分值考核/评价细则对应课程目标平时成绩30出勤5“全勤”为5分，旷课迟到根据具体情况酌情扣分。课程目标1作业10“完成很好”为10分、“完成较好”为8分、“基本完成”为6分，“完成很差或不完成作业”<6分课程目标1课程目标2课程目标3课堂表现5课堂表现包括课堂提问，课堂讨论等，“课堂表现优秀”为5分，“课堂表现良好”为5分，

“课堂表现一般”为4分，“课堂表现差”<3分；课程目标1课程目标2实验成绩10“完成很好”为10分、“完成较好”为8分、“基本完成”为6分，“完成很差或不完成作业”<6分课程目标1课程目标2课程目标3期末考试70考试类型：闭卷；考试分制：百分制；

考试题型：命题方式由该任课老师确定；考试时间：由教学管理部门统一安排；5、评价标准：由命题教师提供。课程目标1课程目标2课程目标3六、达成度评价（一）教学目标达成度教学目标i的达成度=(期末相关试题得分×期末考试占比+平时成绩得分×平时成绩占比+实验成绩得分×实验成绩占比)/(期末相关试题总分×期末考试占比+平时成绩总分×平时成绩占比+实验成绩总分×实验成绩占比)注：可根据成绩构成元素对上述公式进行修改或设计更加科学的计算公式。（二）毕业要求指标点达成度毕业要求指标点的达成度=∑相关教学目标×权重七、教材与参考书（一）推荐教材1．《大数据技术原理与应用(第2版)》，林子雨主编，人民邮电出版社，2017年02月版；（二）参考资料1．《Hadoop实战》，陆嘉恒主编，机械工业出版社出版社，2012年11月版；