大数据采集与预处理课程教学大纲

1、大数据采集与预处理课程教学大纲（ 2019版 ）一、课程基本信息 1课程名称：大数据分析及可视化2课程编号：19020262b3学分学时：2学分，32学时4考核方式：考查5适用专业：人工智能专业6先修课程：Python程序设计、Hadoop与Spark7后续课程：大数据分析及可视化课程实践8开课单位：计算机学院二、课程目标本课程旨在培养学生学会使用的大数据分析工具与方法及可视化工具与技术，包括Hive、HBase大数据存储技术，分类与预测、聚类、关联规则、推荐等大数据分析方法，基于JavaScript、Python的可视化分析工具应用等，提升大数据分析和可视化应用能力。通过本课程的理论教学与课

2、内实验训练（尤其是自主学习），学生应取得如下学习成果：1.了解Hive、HBase等大数据存储技术，理解Hive、HBase架构、数据模型、访问接口。2.理解常用分类与预测算法、聚类分析方法、关联规则算法、协同过滤推荐等大数据分析方法，掌握Mahout大数据分析工具，能够通过编程语言接口进行实验的模拟和仿真。3.理解大数据可视化的重要性，大数据可视化技术及类型，掌握大数据可视化工具，能够使用JavaScript或Python进行可视化实验程序的模拟和仿真。4结合人工智能中的具体应用，利用大数据分析与可视化技术进行模拟和预测，并理解技术的局限性。三、课程目标与毕业要求的关系 支撑的毕业要求支撑的

3、指标点课程目标（权重）4研究：能够基于科学原理并采用科学方法对复杂工程问题进行研究，包括设计实验、分析与解释数据、并通过信息综合得到合理有效的结论。4-3能够根据实验方案构建实验系统，进行实验课程目标1（0.2）课程目标2（0.4）课程目标3（0.4）5使用现代工具：能够针对复杂工程问题，开发、选择与使用恰当的技术、资源、现代工程工具和信息技术工具，包括对复杂工程问题的预测与模拟，并能够理解其局限性。5-1能够针对人工智能领域的复杂工程问题，选择恰当的技术、资源和开发工具。课程目标1（0.2）课程目标2（0.4）课程目标3（0.4）5-2能够使用恰当的技术、资源和开发工具对数据科学领域的复杂工

4、程问题进行预测与模拟，并能够理解其局限性。课程目标2（0.2）课程目标3（0.2）课程目标4（0.6）四、教学内容及学习要求第一单元 Hadoop大数据组件：Hive支撑目标：课程目标1教学内容：1Hive简介；2Hive安装与配置；3Hive架构；4Hive数据模型。学习要求：1了解Hive；2理解Hive架构与数据模型；2掌握Hive安装与配置。第二单元 Hadoop大数据组件：HBase支撑目标：课程目标1教学内容：1HBase简介；2HBase架构；3HBase数据模型与访问接口；4HBase安装与配置。实验1Hadoop大数据组件实践。学习要求：1了解HBase；2理解HBase架构

5、、数据模型与访问接口；3掌握HBase安装与配置。第三单元 大数据分析技术支撑目标：课程目标2教学内容：1常用分类与预测算法；2常用聚类分析算法；3. 常用关联规则算法；4. 常用推荐算法；5. 大数据分析工具Mahout。实验2大数据分析技术实践。学习要求：1理解常用分类与预测算法；2理解常用聚类分析算法；3理解常用关联规则算法；4理解常用推荐算法；第四单元 大数据可视化概述支撑目标：课程目标3教学内容：1大数据可视化的重要性；2大数据可视化技术；3大数据可视化工具；4大数据可视化应用。学习要求：1理解大数据可视化的重要性；2了解大数据可视化技术；3掌握大数据可视化工具；4了解大数据可视化应

6、用。第五单元 大数据可视化编程支撑目标：课程目标3教学内容：1可视化图表绘制； 2和图表进行交互； 3在页面中整合图表。 4特殊数据的可视化；实验3大数据可视化编程实践。学习要求：1掌握可视化图表绘制编程技术；2掌握和图表进行交互的编程技术；3掌握在页面中整合图表的编程技术；4掌握特殊数据的可视化编程技术。第六单元 大数据分析及可视化应用支撑目标：课程目标4教学内容：1评论数据的情感分析应用； 2分布式协同过滤的推荐应用； 3日志大数据分析及可视化应用。实验4大数据分析及可视化应用实践。学习要求：1掌握评论数据的情感分析应用；2掌握分布式协同过滤的推荐应用；3掌握日志大数据分析及可视化应用。五

7、、学时分配本课程各单元建议学时分配如下表，具体实施时应根据学生学习效果做适当调整。教学内容课堂讲授实验习题课研讨小计第一单元 Hadoop大数据组件：Hive44第二单元 Hadoop大数据组件：HBase426第三单元 大数据分析技术426第四单元 大数据可视化概述44第五单元 大数据可视化编程426第六单元 大数据分析及可视化应用426小 计24832六、课内实验安排序号实验项目学时性质类型每组生数备注1Hadoop大数据组件实践2必做设计12大数据分析技术实践2必做设计13大数据可视化编程实践2必做设计14大数据分析及可视化应用实践2必做设计1注：具体实验内容及要求见相应实验教学大纲。七

8、、教学方法本课程强调理论与实践相结合，通过理论学习、实践运用、课程实验、课后动手，使学生获得知识运用能力、实验分析能力和工程设计能力。教学中应注重工程实例的引入和分析，引导学生独立思考和自主分析，并因材施教；应结合授课内容，适当安排不同难度的复习思考题（建议分成基本/提高/综合三个层次）或实践项目题（贯穿整个教学过程，分阶段检查推进），使学生及时巩固学习成果。实践项目应有一定工程背景和复杂度，尽量覆盖本课程主要内容；项目具体名称和设计目标可由学生自定、教师把关，也可由教师推荐、学生选择。本课程建议采用以下教学方法：课堂讲授（24学时）：引入新概念或新实例，讲解重点和难点，以便学生课后学习；上机

9、实验（8学时）：按照实验任务开展上机实践操作，提升程序开发技能；学生自主学习（不少于32学时）：不计入课程总学时。利用视频公开课、微课、MOOC等网络教学资源自主学习相关内容，预习复习课堂教学内容，完成思考题和实践项目等。八、课程考核 课程考核由平时考核（20%）、实验考核（20%）和期末考核（60%）三部分组成，加强过程考核。考核过程中，应注意学生个体差异，可以适当制定个性化评定方式，并适时进行评定。1平时考核。平时考核的重点是学生自主学习的意识和成效，主要考查点包括预习复习情况、作业完成情况、课堂出勤情况等。2实验考核。依据学生实验准备、实施效果、实验报告等情况对每个课内实验进行单独考核，

10、并按评分标准打分。所有实验成绩平均后形成实验课程考核成绩，计入课程总成绩。实验考核的具体要求见实验教学大纲。3期末考核。采用大作业考核形式，主要根据项目选题的难易程度、设计方案的合理性、程序实现的正确性和完整性、用户界面的美观性和易操作性、演示文稿的制作和答辩汇报情况以及课程考核报告质量等6个考查点进行综合评定。九、课程目标达成评价 1. 总评成绩各考核环节评价参考分值考核环节课程目标对 应教学单元考 核 环 节 及 分 值平时考核实验考核实践项目期末考核合 计课程目标1第1、2单元651526课程目标2第3单元451524课程目标3第4、5单元651526课程目标4第6单元451524总 计

11、2020601002. 课程目标达成度测算课程分目标达成度 = 总评成绩中支撑该课程分目标各相关考核环节学生平均得分之和 总评成绩中支撑该课程分目标各相关考核环节合计分课程总目标达成度 = 本课程所有学生总评成绩平均值 本课程总评成绩总分（100分） 3. 毕业要求指标点达成度测算 某毕业要求指标点达成度 = （相关课程分目标达成度相应权重系数）十、教学反馈与持续改进教学开始前，教师应根据本大纲制定详细的授课计划（教学日历），向学生解释本大纲，尤其是课程目标、教学内容和教学进程、考核方法和考核节点，并将联系方式和工作时间告知学生，以便其出现问题时及时取得联系。教学过程中，学生应及时向教师反馈学

12、习情况，教师应了解学生学习效果并适当回应：1. 学生可以通过电子邮件、QQ等形式，及时向教师反馈学习情况，教师应据此适时修改、调整和弹性回应学生的学习要求。2. 每次作业批改后，教师应及时向学生反馈其作业情况，并适当讲评。作业批改应不少于1/3，每名学生至少批改一次。3. 教师应适时采用恰当形式（如课堂练习等）阶段性检查学生学习效果，并适当调整教学安排。阶段性检查应不少于2次。教学结束后，教师应认真分析本次教学活动的课程目标达成情况（尤其是不同评价方法下的不一致情况），并在下一轮教学活动中持续改进。建议任课教课适当跟踪学生在后续课程学习中以及工作后运用本课程知识解决相关工程问题的能力，关注与本课程相关的社会需求及技术发展，并用于本课程的持续改进，适时修订本教学大纲。十一、推荐学习资料1. Spark大数据分析实战，高彦杰著，机械工业出版社，2015.122Hadoop大数据分析与挖掘实战，张良均著，机械工业出版社，2015.123JavaScript数据可视化编程，翟东方译，人民邮电出版社，2017.44中国大学MOOC：可视化导论，/cou