《大数据高级编程技术》教学大纲

《大数据高级编程技术》教学大纲课程编号：13210719英文名称：AdvancedProgrammingTechniquesforBigData学分：3学时：总学时64学时，其中理论32学时，实践32学时先修课程：操作系统、云计算与大数据基础课程类别：专业方向课程授课对象：数据科学与大数据技术专业学生教学单位：机械与电气工程学院修读学期：第6学期一、课程描述和目标大数据高级编程技术是为数据科学与大数据技术专业开设的一门重要的应用技术课程，通过该课程的学习，可以使学生具备大数据高级编程的知识，能够基于Hadoop构建企业级应用的架构和方案。本课程的主要内容包括：Hadoop生态系统介绍、Hadoop数据存储、MapReduce处理数据技术、Oozie自动化数据处理技术、实时Hadoop编程技术、Hadoop安全、Hadoop企业级安全解决方案。本课程拟达到的课程目标:通过本课程的学习，学生的计算思维能明显提升，能够通过编写程序研究与计算机相关的复杂工程问题。具体的课程目标如下：课程目标1：熟练掌握Hadoop数据存储、MapReduce处理数据技术、Oozie自动化数据处理技术、实时Hadoop编程技术。课程目标2：能够利用Hadoop构建企业级安全解决方案，初步具备解决工程实践中的复杂问题的能力。课程目标3：熟悉Hadoop平台的工作原理和功能，能够体会Hadoop平台的特点，包括优势及不足。二、课程目标对毕业要求的支撑关系毕业要求指标点课程目标权重3.1能够设计针对大数据系统工程问题的解决方案，包括满足特定需求的系统架构、数据库设计、数据挖掘方法、系统实现、测试与验证等，并在设计环节中体现创新意识。课程目标1H4.2能够基于数据科学的方法和原理，就大数据工程应用中涉及的信息处理、数据关联、模型预测等数据挖掘问题进行研究，设计相关的实验方案，并对结果或数据进行分析与总结，得到合理有效的结论。课程目标2H5.2能够针对大数据工程问题，为预测与分析工程模型选择和使用合适的现代工程工具和信息技术工具，并能理解其局限性。课程目标3M（注：要求课程目标与毕业要求指标点应是一一对应支撑）三、教学内容、基本要求与学时分配序号教学内容基本要求及重、难点（含德育要求）学时教学方式对应课程目标1大数据和Hadoop生态系统简介要求了解大数据与Hadoop之间的关系，重点掌握Hadoop生态系统、

Hadoop核心组件、Hadoop开发企业级应用。德育要素：科技报国4讲授演示练习课程目标32Hadoop数据存储技术要求熟悉HDFS架构和HBase架构，能够使用HDFS文件，重点掌握HBase编程技术，能够将HDFS和HBase的组合用于高效数据存储。德育要素：工匠精神4讲授演示练习课程目标13MapReduce处理数据技术理解MapReduce的工作原理，重点掌握基于MapReduce设计程序，实现大规模数据的并行处理。德育要素：好习惯的养成4讲授演示练习课程目标14Oozie自动化数据处理了解Oozie的工作原理，能够使用Oozie数据的自动化处理。德育要素：做事情要讲究方法4讲授演示练习课程目标15高级Oozie技术了解Oozie的系列高级技术，重点掌握构建、部署并实现自定义OozieWorkflow动作。德育要素：精益求精4讲授演示练习课程目标26实时Hadoop编程技术理解实时处理技术的应用场景，能够使用HBase来实现实时应用。德育要素：实践出真知4讲授演示练习课程目标27Hadoop安全理解Hadoop面临的安全挑战，重点掌握加固Hadoop安全的方法。德育要素：国家安全4讲授演示练习课程目标28Hadoop企业级安全解决方案了解企业级应用的安全顾虑，重点掌握Hadoop的企业级应用安全的方法。德育要素：技术安全的重要性4讲授演示练习课程目标3合计32序号实验项目实验内容与要求学时类型对应课程目标1Ubuntu与Windows文件共享1）在VMwareworkstation虚拟机软件上安装ubuntu虚拟机14.04（64）位。2）安装VMwareTools。  3）实现虚拟机ubuntu和宿主机windows文件共享。4验证课程目标32Hadoop集群安装部署掌握Hadoop集群集群安装部署技术。安装Hadoop集群并完成分布式实例。2验证课程目标13建立Eclipse开发环境1）基于ubuntukylin14.04(5)版本，安装eclipse，形成ubuntukylin14.04(5.5)版本。  2）基于ubuntukylin14.04(5.5)版本，完成shellHDFS练习。  3）基于ubuntukylin14.04(5.5)版本，基于Eclipse完成HDFS程序开发。6设计课程目标14HBASE单机部署、伪分布部署1）基于ubuntukylin14.04(5)版本，完成HBASE单机式配置，形成ubuntukylin14.04(6)版本。  2）基于ubuntukylin14.04(6)版本，完成HBASE伪分布式配置，形成ubuntukylin14.04(7)版本。  3）基于ubuntukylin14.04(7)版本，完成HBASESHELL命令练习。6设计课程目标15HBASE编程实践掌握HBASE编程实践技术。基于ubuntukylin14.04(7)版本，通过Eclipse完成HBASE编程实践。6综合课程目标26MapReduce编程实践 1)基于ubuntukylin14.04(7)版本，安装hadoop-eclipse-kepler-plugin-2.6.0.jar，形成ubuntukylin14.04(8)版本。  2)基于ubuntukylin14.04(8)版本，通过eclipse完成MapReduce8综合课程目标2合计32注：实验要求包括必修、选修；实验类型包括演示、验证、综合、设计等，后两类占比大于80%。四、课程教学方法理论教学：主要采用课堂讲授、程序演示、小组讨论等方式。实验教学：项目讲解、学生自主实验、个别辅导、程序分析等方式。五、学业评价和课程考核推行多元评价，对本课程所采用的评价和考核方式作具体说明，若采用多种考核方法请分别列出考核评价的方法、内容、考核标准、成绩占比等，考核方法、内容应突出“学生中心、产出导向”。（一）考核方式及具体要求1.课程成绩构成与要求课程考核注重形成性和终结性评价相结合，考核内容主要由平时作业、章节测试、实验、期末考核组成，均按百分制计分，其中期末考核成绩占50%、平时作业成绩占30%、章节测试成绩占10%、实验成绩占10%。2.课程目标达成考核与评价序号考核方式课程目标1（分值）课程目标2（分值）课程目标3（分值）合计1平时作业101010302章节测试550103实验550104期末考试20201050课程目标对应分值404020100（二）考核与评价标准1.平时成绩考核与评价标准分值观测点90-100分70-89分60-69分0-59分作业按时完成，90%以上的作业内容齐全，基本知识点理解、掌握到位。能够利用理论知识识别、分析纺纱领域相关专业问题。按时完成，70%以上的作业内容齐全，基本知识点理解、掌握较到位。能够较好利用理论知识识别、分析纺纱领域相关专业问题。延时完成，60%以上的作业内容齐全，基本知识点理解、掌握基本到位。利用理论知识对纺纱领域相关专业问题有一定的识别、分析。不交和补交，50%以下的作业内容齐全，基本知识点理解、掌握有偏差。不能利用理论知识对纺纱领域相关专业问题进行识别、分析。2.章节测试与评价标准安排5次章节测试，每次按时并正确完成测试给1分。3.实验评价标准分值观测点90-100分70-89分60-69分0-59分实验独立正确完成实验内容，方法具有一定的创新性，认真撰写实验报告和实验心得和总结。独立正确完成实验，方法没有太多创新，提交实验报告和总结。完成实验，结果基本正确，实验报告和总结比较随意。实验没有完成，或结果不正确，没有提交实验报告和实验总结。4.期末试卷考核与评价标准根据课程目标及教学内容，设计期末考核试题，综合检验学生对课程相关知识的掌握、综合应用及解决复杂问题的能力，根据考试题目设计相应评分标准。六、教材与参考书（一）推荐教材1．《Hadoop高级编程——构建与实现大数据解决方案》，Boris

Lublinsky，Ke