Hadoop技术及编程(计算机科学与技术)课程教学大纲

《Hadoop技术及编程》教学大纲课程性质专业限选课课程编号xx408314课程名称Hadoop技术及编程适用专业计算机科学与技术先修课程面向对象程序设计总学时48其中理论48学时，实验0学时学分数3一、课程简介以Hadoop技术的来源，Google的三大关键技术为引子，介绍了Hadoop整体架构、基本原理和发展历程，在此基础上展示了一个使用Hadoop技术完成大数据处理工作的简明框架，同时简要介绍了目前Hadoop技术在国内知名企业中的应用情况。深入剖析了MapReduce计算模式，包括原理和工作机制，介绍了实用性的MapReduce应用开发方法，并结合简单的实例讲解了几类常用的MapReduce设计模，HDFS分布式文件存储系统的工作原理和机制，说明了使用命令行和代码对HDFS文件进行操作的方法，介绍了提高文件访问效率的若干重要优化方法，并梳理了目前解决HDFS中小文件存储和高可用性问题的解决方法。可用于快速数据检索的HBase技术，包括核心原理与架构，以及管理HBase中数据的方法，同时从传统关系型数据库使用者的角度讲解了如何在新型列存储数据库上进行设计与开发的方法，并梳理了提高HBase性能的重要方法。介绍了Hadoop中的高层数据分析工具Hive和Pig，结合具体实例讲解了这两个工具的使用方法，并从实际应用的角度对具有相似性的两者进行了差异对比。二、课程教学目标通过本课程Hadoop技术及编程的学习，学生应实现如下目标：知识目标：了解Hadoop中各项关键组件的技术原理和内部结构，并结合实践经验介绍了一些重要的使用技巧和优化方法，理解大数据处理任务要解决的3个关键问题—存储、计算和容错，掌握Hadoop技术的关键性思路。能力目标：通过本书的学习，增强学生的理论知识，本书是为了能够让学生更好地掌握理论知识、具备一定的实践能力，实验教学内容是依托于理论教学内容的，配有实验教程一起学习，从而提升学生的动手能力。三、课程教学基本要求在理解、掌握、了解三个能力层次上，对学生学习和掌握课程知识有如下要求：（1）理解：能识记云计算基础理论知识中的基本概念、基本原理和基本技术的含义。（2）掌握：在理解的基础上，能较全面的掌握应用计算机的基本概念、基本原理和基本技术，掌握一些典型的云计算领域具有代表性的Goodle、Amazon、WMware和微软四家公司的云计算技术原理和应用方法，并熟练使用云计算仿真器CloudSim。（3）了解：在掌握的基础上，能运用应用云计算的基本概念、基本原理和基本技术，阐述Hadoop、Eucalyputs为代表的开源云计算系统。了解云计算领域的理论研究热点为题，了解云计算领域的理论研究热点问题，了解云计算技术和应用未来的发展趋势。四、课程教学模块（或教学内容）与学时分配序号教学模块知识点学时1大数据处理概论了解：大数据处理概论数据处理平台的基础架构大数据处理的存储1大数据处理的云计算变革理解：大数据处理的计算模式大数据处理系统的容错性12基于Hadoop的大数据处理架构了解：Google核心云计算技术Hadoop云计算技术及发展2理解：基于云计算的大数据处理技术的应用理解：Hadoop运行实践掌握：基于云计算的大数据处理架构23MapReduce计算模式理解：MapReduce原理MapReduce应用开发2掌握：MapReduce工作机制1了解：MapReduce设计模式2掌握：MapReduce算法实践2理解：MapReduce性能调优14使用HDFS存储大数据了解：大数据的云存储需求理解：HDFS架构与流程2理解：文件访问与控制掌握：HDFS性能的优化2了解：HDFS的小文件存储问题2理解：HDFS的高可用性问题25HBase大数据库了解：大数据环境下的数据库从RDBMS到HBase2掌握：在HBase上运行MapReduce2理解：HBase架构与原理掌握：管理HBase中的数据2掌握：HBase性能优化26大数据的分析处理了解：大数据的分析处理概述理解：Hive2理解：Pig2理解：Hive与Pig的对比27Hadoop环境下的数据整合了解：Hadoop计算环境下的数据整合数据库整合的工具Sqoop2掌握：Hadoop平台内部数据整合工具HCatalog28Hadoop居群的管理与维护了解：云计算平台的管理系统ZooKeeper—集群部署与监控集成工具1Hadoop集群监控的基础组件Ambari—Hadoop集群部署与监控集成工具1基于Cacti的Hadoop集群服务器监控理解：Chukwa—集群日志及分析1基于Kepberos的Hadoop安全管理Hadoop集群管理工具分析19基于MapReduce的数据挖掘了解：数据挖掘及其分布式并行化基于MapReduce的数据挖掘与Mathout经典数据挖掘算法的MapReduce实例基于云计算的数据挖掘实践及面临的挑战210面向未来的大数据处理了解：下一代计算框架YARN大数据的实时交互式分析大数据的图计算2五、教学方法与策略1、教学方法：在课堂教学中，将演示式教学、讨论式教学、比较式教学、研究式教学与问答式教学有机结合在一起，并设计问题让学生思考、讨论，既激发了学生学习的兴趣，又培养了学生们思考问题和分析问题的能力，取得了良好的教学效果。并进行上机练习，加强对理论知识的理解，培养学生编程的能力和解决实际问题的能力。2、教学策略：多媒体教学为主，板书为辅，通过制作图文并茂、生动形象的多媒体教学课件，吸引学生的课堂注意力，通过类比等方法，帮助学生理解教学内容。六、学生学习成效考核方式考核环节构成（均为100分制）评分依据占总成绩的比重平时成绩（100分）上课的出勤情况记录和课堂作业完成情况.作业缺交一次扣10分，旷课一次扣10分20%实验成绩（100分）实验课的出勤情况记录和实验内容的完成情况统计20%课堂讨论（100分）以课堂上的分组讨论结果为依据10%期末考试（100分）闭卷：题型：选择题、填空题、简答题、计算题、综合题等50%七、选用教材刘军编著，《Hadoop大数据处理》，人民邮电出版社，2013年。八、参考资料[1]中华人民共和国工业和信息化部．2012年5月通信业主要指标完成情况．http://www./n11293472/n11293832/n11293907/n11368223/14680149.html.[2]InternationalDataCorporation(IDC).TheExpandingDi