《大数据技术基础实训》课程教学大纲

《大数据技术基础实训》教学大纲一、课程基本信息课程名称大数据技术基础实训FundamentalActualTrainingOfBigDataTechnology课程编码SCC320711040开课院部理学院课程团队数据科学团队学分4.0课内学时4周讲授0实验0上机0实践4周课外学时0适用专业数据科学与大数据技术授课语言中文先修课程数值计算方法、应用统计学课程简介（必修）课程性质：本课程是数据科学与大数据技术专业的必修课。主要教学内容：本课程针对大数据处理分析中需求多样性，从初学者角度出发，基于Hadoop环境以丰富的实例深入介绍大数据常用分析及计算模式技术。本课程的教学内容主要包括Hadoop集群环境搭建，分布式文件系统HDFS，MapReduce，Hadoop框架下MapReduce工作机制，使用MapReduce进行多个实例开发实践等。课程教学目标：本课程在教学过程中注重掌握大数据分析的实践操作，通过丰富简单易上手的实例，让学生切实掌握大数据分析工具的特点及应用。Thiscourseisacompulsorycoursefordatascienceandbigdatatechnology.Mainteachingcontent:Thiscourseisaimedatthediversityofrequirementsinbigdataprocessingandanalysis.Fromtheperspectiveofbeginners,theHadoop-basedenvironmentprovidesarichexampletointroducetheanalysisandcomputingmodelofbigdata.TheteachingcontentofthiscoursemainlyincludesHadoopcluster.Environmentconstruction,distributedfilesystemHDFS,MapReduce,MapReduceworkingmechanismunderHadoopframework,usingMapReduceformultipleinstancedevelopmentpractices.Thiscoursefocusesonthepracticaloperationofbigdataanalysisintheteachingprocess.Byenrichingthesimpleandeasy-to-useexamples,studentscaneffectivelygraspthecharacteristicsandapplicationsofbigdataanalysis.负责人大纲执笔人审核人二、课程目标序号代号课程目标OBE毕业要求指标点任务自选1M1目标1：了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术，了解大数据目前常用计算模式的各种系统及工具。是3.22M2目标2：深刻了解Hadoop的理论基础，理解并掌握Hadoop单机及集群环境的部署方法，理解HDFS、MapReduce的原理，能够独立编写满足自己需求的MapReduce程序，掌握大数据实验方法，并针对给定问题实现分析和创建大数据模型的能力。是3.2,4.23M3目标3：通过课程项目的团队实践，掌握使用大数据平台处理的能力及解决问题的创新能力，培养学生实践开发能力及团队合作能力。是7.2,8.14M4目标4：能保障课程正常秩序（政治层面、课堂保障层面，非学生能力层面）否三、课程内容序号章节号标题课程内容/重难点支撑课程目标课内学时教学方式课外学时课外环节1第1章第1章大数据及大数据系统概述本章重点和难点：大数据的特征及其计算模式和技术层面间的关联。////21.11.1大数据概述大数据概念、特征、数据计量单位及大数据的类型。M10.25天讲授、讨论//31.21.2大数据系统大数据系统的设计背景；大数据系统整体逻辑架构设计及运行逻辑；当前大数据系统主流架构。M10.25天讲授、讨论//4第2章第2章Hadoop初步认识本章重点和难点：Hadoop搭建；Hadoop集群命令及编程开发。////52.12.1初识HadoopHadoop简介；Hadoop存储；Hadoop计算；Hadoop资源管理；Hadoop生态系统。M1,M20.5天讲授、上机//62.22.2Hadoop环境搭建及IDE配置Hadoop集群搭建；环境配置；集群启动、关闭与监控。M1,M20.5天讲授、上机//72.32.3Hadoop集群命令Hadoop常用命令介绍；Hadoop编程开发介绍。M1,M20.5天讲授、上机//8实验1实验1：Hadoop环境搭建及常用命令使用Hadoop环境搭建及常用命令使用实验M2,M33天实验、上机//9第3章第3章HDFS分布式文件系统本章重点和难点：HDFS的两种使用方法。////103.13.1HDFSHDFS基本原理；HDFS的系统组成介绍；HDFS的组成部分详解；副本存放策略及路由规则；NameNodeFederation。M1,M20.2天讲授、上机//113.23.2命令行接口HDFS文件系统的命令操作。M1,M20.3天讲授、上机//123.33.3Java接口Java对HDFS的程序开发操作；HadoopRPC；HDFS读取数据过程。M1,M20.5天讲授、上机//13实验2实验2：HDFS的两种操作实验股票交易数据处理实验。M2,M34天实验、上机//14第4章第4章MapReduce入门编程本章重点和难点：MapReduce原理；MapReduce编程逻辑。////154.14.1MapReduce原理MapReduce设计思想、基本概念；MapReduce的系统架构、作业运行机制和关键技术。M1,M20.5天讲授、上机//164.24.2Yarn模型Yarn模型；序列化。M1,M20.5天讲授、上机//174.34.3MapReduce的类型与格式MapReduce的数据类型的自定义以及数据类型的使用；MapReduce开发，定制输入输出的数据格式。M1,M20.5天讲授、上机//184.44.4MapReduce应用开发MapReduce应用开发；示例讲解MapReduce算法原理。M2,M30.5天讲授、上机//19实验3实验3：MapReduce使用实验访问统计信息数据处理实验。M2,M34天实验、上机//20第5章第5章MapReduce进阶编程本章重点和难点：MapReduce框架中的进阶应用。////215.15.1MapReduce的输入输出MapReduce的输入及输出格式；使用压缩分隔减少输入规模。M1,M20.5天讲授、上机//225.25.2MapReduce的进阶编程HadoopJavaAPI使用；利用Combiner减少中间数据；编写Partitioner优化负载均衡；自定义排序规则；自定义分组规则；MapReduce优化。M2,M30.5天讲授、上机//23实验4实验4：MapReduce编程实战MapReduce编程实战。M2,M33天实验、上机//四、考核方式序号考核环节操作细节总评占比1课堂表现随机检查学生上课精神状态、回答问题情况5%2实验1.本课程4周实验，共4次实验。2.成绩采用百分制，根据实验完成情况评分。3.考核学生实机操作能力，使学生掌握在本机与多台机器集群实现HDFS文件管理及执行MapReduce应用程序，并运用Hadoop进行数据处理、训练、建立模型、训练验证模型、预测结果。60%3考勤随机点名、刷卡点名等5%4大作业1.本课程要求利用Hadoop实现大数据模型实现，两到三人一组共同完成一道大数据竞赛题目，并提交论文并答辩。2.根据模型建立情况、论文方案的准确性和个人在大作业的贡献率评分。30%五、评分细则序号课程目标考核环节大致占比评分等级1M1课堂表现10%A-精神状态饱满，回答问题准确。B-精神状态良好，问题回答较好。C-精神状态一般，问题回答一般。D-很少参加课堂讨论，精神状态较差，回答问题有误。2M1实验60%A-按时提交实验报告，数据分析符合规范，结论无误。B-按时提交实验报告，数据分析基本规范，结论基本正确。C-数据分析过程存在问题。D-未提交实验报告或实验报告存在严重抄袭现象。3M1大作业30%A-按时提交大作业论文，数据分析符合规范，结论无误，课程答辩讲解清楚，回答问题正确。B-按时提交大作业论文，数据分析基本规范，结论基本正确，课程答辩讲解较清楚，回答问题基本正确。C-数据分析过程存在问题，课程答辩讲解不清，回答问题有错误。D-未提交大作业论文或大作业论文存在严重抄袭现象，未参加课程答辩。4M2大作业40%A-按时提交大作业论文，数据分析符合规范，结论无误，课程答辩讲解清楚，回答问题正确。B-按时提交大作业论文，数据分析基本规范，结论基本正确，课程答辩讲解较清楚，回答问题基本正确。C-数据分析过程存在问题，课程答辩讲解不清，回答问题有错误。D-未提交大作业论文或大作业论文存在严重抄袭现象，未参加课程答辩。5M2实验60%A-按时提交实验报告，数据分析符合规范，结论无误。B-按时提交实验报告，数据分析基本规范，结论基本正确。C-数据分析过程存在问题。D-未提交实验报告或实验报告存在严重抄袭现象。6M3大作业50%A-按时提交大作业论文，数据分析符合规范，结论无误，课程答辩讲解清楚，回答问题正确。B-按时提交大作业论文，数据分析基本规范，结论基本正确，课程答辩讲解较清楚，回答问题基本正确。C-数据分析过程存在问题，课程答辩讲解不清，回答问题有错误。D-未提交大作业论文或大作业论文存在严重抄袭现象，未参加课程答辩。7M3实验50%A-按时提交实验报告，数据分析符合规范，结论无误。B-按时提交实验报告，数据分析基本规范，结论基本正确。C-数据分析过程存在问题。D-未提交实验报告或实验报告存在严重抄袭现象。8M4考勤100%A-全勤。B-缺勤1次。C-缺勤2-3次。D-缺勤3次及以上。评分等级说明：[A,B,C,D,E]=[90-100,80-89,70-79,60-69,0-59];[A,B,C,D]=[90-