《大数据平台与架构》教学大纲

《大数据平台与架构》教学大纲适用范围：202X版本科人才培养方案课程代码：08150291课程性质：专业必修课学分：4学分学时：64学时（理论48学时，实验16学时）先修课程：Linux操作系统、Java程序设计后续课程：无适用专业：数据科学与大数据技术专业开课单位：计算机科学与技术学院一、课程说明《大数据平台与架构》课程是数据科学与大数据技术专业的专业必修课。通过对本课程的学习，让学生了解并掌握大数据的起源及特征，了解并掌握大数据的系统架构设计及功能目标设计、大数据程序开发、企业大数据案例分析等内容，同时通过使用Hadoop等大数据技术平台来提升学生对大数据开发的实践能力。二、课程目标通过本课程的学习，使学生达到如下目标：课程目标1：理解大数据时代数据的存储与处理技术；课程目标2：理解和掌握Hadoop大数据平台及相关项目软件的使用；课程目标3：能进行融会贯通，能正确评价大数据处理架构对环境、社会可持续发展的影响；有正确的政治理想和政治道德；三、课程目标与毕业要求《大数据平台与架构》课程教学目标对数据科学与大数据技术专业毕业要求的支撑见表1。表1课程教学目标与毕业要求关系毕业要求指标点课程目标支撑强度3.设计/开发解决方案3.3在解决方案设计中，具有综合考虑社会、健康、安全、法律、文化及环境等因素的意识和创新意识。课程目标2：理解和掌握Hadoop大数据平台及相关项目软件的使用；课程目标3：能进行融会贯通，能正确评价大数据处理架构对环境、社会可持续发展的影响；有正确的政治理想和政治道德；H4．研究4.3能够根据实验方案选用或搭建实验环境开展实验，能够对已获得的实验数据进行整理、分析，并能通过信息综合得出有效结论。课程目标1：理解大数据时代数据的存储与处理技术；课程目标2：理解和掌握Hadoop大数据平台及相关项目软件的使用；H5.使用现代工具5.3能够针对大数据应用开发需要选择和使用合适的平台和开发工具，并能够理解其局限性。课程目标2：理解和掌握Hadoop大数据平台及相关项目软件的使用；课程目标3：能进行融会贯通，能正确评价大数据处理架构对环境、社会可持续发展的影响；有正确的政治理想和政治道德；H注：表中“H（高）、M（中）”表示课程与相关毕业要求的关联度。四、教学内容、基本要求与学时分配1.理论部分理论部分的教学内容、基本要求与学时分配见表2。表2教学内容、基本要求与学时分配教学内容教学要求，教学重点难点理论学时实验学时对应的课程目标1.大数据概述1.1大数据时代1.2大数据的概念1.3大数据的影响与应用教学要求：了解什么是大数据时代及其代表特征；理解大数据的相关概念；了解大数据关键技术的应用重点：大数据的概念21、32.大数据处理架构Hadoop2.1概述2.2Hadoop生态系统2.3Hadoop的安装和使用教学要求：在对Hadoop了解的基础上，理解Hadoop生态系统每个项目元素的功能；掌握Hadoop的安装与配置。重点：Hadoop生态系统难点：Hadoop的安装和使用841、2、33.分布式文件系统HDFS3.1分布式文件系统3.2HDFS相关概念3.3HDFS体系结构3.4HDFS存储原理3.5HDFS数据读写过程3.6HDFS编程实践教学要求：了解分布式文件系统；理解HDFS的相关概念；理解并掌握HDFS体系结构、存储原理和读写过程；理解并掌握HDFS编程实践；重点：理解HDFS的相关概念；理解并掌握HDFS体系结构、存储原理和读写过程；难点：理解并掌握HDFS编程实践；1241、2、34.分布式数据库HBase4.1HBase概述4.2HBase访问接口4.3HBase数据模型4.4HBase实现原理4.5HBase运行机制4.6HBase编程实践教学要求：了解HBase的组成架构、实现原理及运行机制；掌握HBase编程实践；重点：HBase的数据模型、实现原理、运行机制；难点：HBase编程实践1041、2、35.NoSQL数据库、云数据库5.1NoSQL数据库概述5.2NoSQL与关系数据库比较5.3NoSQL的四种类型5.4NoSQL三大基石5.5云数据库概述教学要求：了解什么是NoSQL数据库，掌握NoSQL四种类型，了解NoSQL三大基石；了解云数据库；重点：NoSQL数据库四种类型、三大基石41、36.MapReduce6.1概述6.2MapReduce工作流程6.3实例分析6.4MapReduce具体应用6.5MapReduce编程实践教学要求：了解分布式并行编程；通过实例分析了解工作流程；掌握编程实践；重点：MapReduce工作流程难点：MapReduce编程实践1241、2、3合计48162.实验部分实验部分的教学内容、基本要求与学时分配见表3。表3实验项目、实验内容与学时实验项目实验内容和要求实验学时对应的课程目标1.大数据处理架构Hadoop实验内容：掌握Linux的安装及基本命令，掌握Hadoop单机及伪分布式的安装与配置。实验要求：能够熟练使用Linux相关命令，能正确进行Hadoop单机及伪分布式的安装与配置41、2、32.分布式文件系统HDFS实验内容：掌握HDFS部署；掌握HDFSshell命令和JavaAPI编程实践；实验要求：能熟练掌握HDFSshell命令和进行JavaAPI编程实践；41、2、33.分布式数据库HBase实验内容：HBaseshell命令方式和JavaAPI编程实践；实验要求：能熟练掌握HBaseshell命令创建表及插入数据等操作和进行JavaAPI编程实践；41、2、34.MapReduce架构原理实验内容：进行MapReduce初级编程实践；实验要求：能通过Map函数和Reduce函数进行MapReduce初级编程实践；41、2、3合计16五、教学方法及手段本课程以课堂讲授并结合实践进行学习，结合课程讨论、案例、视频资源共享、实验等教学手段完成课程教学任务和相关能力的培养。学生比较全面地理解大数据的起源及特征，并掌握大数据的系统架构设计及功能目标设计、大数据程序开发、企业大数据案例分析等内容，同时通过使用Hadoop等大数据技术平台来提升学生对大数据开发的实践能力。在实验教学环节中，通过启发式教学培养学生在了解和掌握大数据相关基本知识和基本技能基础上进行编程实践。培养学生自主学习能力、实际动手能力，激发学生的创新思维。六、课程资源1.教材（1）林子雨.大数据技术原理与应用（第三版）[M].北京:人民邮电出版社,2021.2.参考书（1）张伟洋.Hadoop3.x大数据开发实战(视频教学版)[M].北京:清华大学出版社,2022.（2）唐世伟,田岚.大数据采集与预处理技术[M].北京:清华大学出版社,2022.（3）迟殿委,陈鹏程.Hadoop大数据分析技术[M].北京:清华大学出版社,2022.（4）王振武.大数据挖掘与应用[M].北京:清华大学出版社,2017.3.期刊（1）郑冬花,叶丽珠.云计算环境中面向大数据的改进密度峰值聚类算法[J].济南大学学报,2022,(6):85-89.（2）魏亮,林子雨,赖永炫.DFTS:面向大数据集的Top-kSkyline查询算法[J].计算机科学,2019,46(05):150-156.（3）NingWang,YangYang,LiyuanFeng.SVM-BasedIncrementalLearningAlgorithmforLarge-ScaleDataStreaminCloudComputing[J].KSIITransactionsonInternetandInformationSystems,2014,8(10):3378-3393.（4）赵向兵,张景安.基于行业的“Hadoop应用开发”综合性实验案例设计[J].中国信息技术教育,2022,(21):111-114.（5）巫东来,汤仕磊.大数据及海量数据处理架构:HadoopvsMPP[J].软件导刊,2020,19(10):218-222.4.网络资源（1）厦门大学大数据实验室./.（2）大数据技术与原理慕课视./course/XMU-1002335004.七、课程考核对课程目标的支撑课程成绩由过程性考核成绩和期末考核成绩两部分构成，具体考核/评价细则及对课程目标的支撑关系见表4。表4课程考核对课程目标的支撑考核环节占比考核/评价细则课程目标123过程性考核课堂表现15（1）根据课堂出勤情况和课堂回答问题情况进行考核，满分100分。（2）以平时考核成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√573实验15（1）根据每个实验的实验操作完成情况和实验报告质量单独评分，满分100分；（2）每次实验单独评分，取各次实验成绩的平均值作为此环节的最终成绩。（3）以实验成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√573作业15（1）主要考核学生对各章节知识点的复习、理解和掌握程度，满分100分；（2）每次作业单独评分，取各次成绩的平均值作为此环节的最终成绩。（3）以作业成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√663测试15（1）主要考核学生对各章节知识点的复习、理解和掌握程度，满分100分；（2）每次测试单独评分，取各次成绩的平均值作为此环节的最终成绩。（3）以测试成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√663期末考核40（1）期末机试100分，以期末机试成绩乘以其在总评成绩中所占的比例计入课程总评成绩。（2）主要考核：大数据处理架构Hadoop；分布式文件系统HDFS；分布式数据库HBase；MapReduce。（3）考核类型：期末机试。√√√141610合计：100分364222八、考核与成绩评定1.考核方式及成绩评定考核方式：本课程主要以课堂表现、实验、作业、测试、期末机试考核等方式对学生进行考核评价。考核基本要求：考核总成绩由期末机试考核成绩和过程性考核成绩组成。其中：期末机试考核成绩为100分（权重40%），主要针对程序关键点进行个性化开发测试；课堂表现、实验、作业、测试等过程性考核成绩为100分（权重60%）；过程性考核和期末机试考核分值分配与教学大纲各章节的学时基本成比例。2.过程性考核成绩的标准过程性考核方式重点考核内容、评价标准、所占比重见表5。表5过程性考核方式评价标准考核方式所占比重(%)100>x≥9090>x≥8080>x≥7070>x≥60x<60课堂表现25笔记完整，积极参与教学活动，踊跃回答问题，准确率大于90%。笔记完整，认真参与教学活动，回答问题准确率大于80%。笔记不完整，偶尔参与教学活动，回答问题准确率大于70%。上课不认真，上课不记笔记，偶尔参与教学活动。上课不认真，上课不记笔记，不参与教学活动。作业25作业完整，思路清晰，准确率大于90%。作业完整，准确率大于80%。不交作业2次以内，准确率大于70%.不交作业4次以内，准确率大于60%.不交作业5次以上，准确率小于60%。测试25教学内容掌握较好，测试成绩准确率大与90%教学内容掌握较好，测试成绩准确率大与80%教学内容掌握一般，测试成绩准确率大与70%教学内容掌握一般，测试成绩准确率大与60%教学内容掌握不够好