《大数据开发案例实训》教学大纲

《大数据开发案例实训》教学大纲课程编号：13220705英文名称：CaseAnalysisofBigDataDevelopment学分：3学时：总学时64学时，其中理论32学时，实践32学时先修课程：云计算与大数据基础、数据挖掘与应用课程类别：选修授课对象：数据科学与大数据技术专业学生教学单位：机械与电气工程学院修读学期：第6学期一、课程描述和目标本课程是数据科学与大数据技术专业、计算机科学与技术专业中一门综合性很强的实战开发课程，通过本课程，学生能够对云计算的由来、概念、原理和实现技术有个基本的认识，了解支持云计算的主要产品和工具以及掌握其技术原理和应用方法，了解云计算的主要研究热点与应用领域，认清云计算的发展趋势和前景；另外，通过基于ApacheHadoop等开源工具的相关实验，让学生亲身体验分布式文件系统、分布式计算和分布式数据库的应用及实现，从而加深所学的理论知识的理解，为今后处理实际的问题打下基础。课程目标1从云计算和大数据的基本概念入手，由浅入深学习大数据实战技术平台软件的各种相关知识，让学生掌握大数据的相关常用技能。课程目标2学会云计算和大数据的相关技术和大数据模式，以及云计算和大数据处理机制，以梳理知识脉络和要点的方式把握新技术。要求学生学会分析问题的思想和方法，为更深入地学习和今后的实践打下良好的基础。课程目标3：要求学生了解大数据实战技术的发展方向，根据具体问题能选择合适数据，选择和探索相关的新算法进行数据处理分析。二、课程目标对毕业要求的支撑关系毕业要求指标点课程目标权重指标点2.2:能够通过文献检索、资料查询的基本方法以及网络等现代信息技术获得可用的知识、技术或方法，辅助进行复杂大数据工程问题的识别、分析与表达。课程目标1H指标点3.4：针对大数据实战，能够设计评价和实施复杂工程问题的解决方案。课程目标2H指标点5.1：能够针对大数据实战，为构建复杂工程问题的模拟环境选择和使用合适的现代工程工具和信息技术工具，并能理解其局限性。课程目标3M三、教学内容、基本要求、实验项目与学时分配序号教学内容基本要求及重、难点（含德育要求）学时教学方式对应课程目标1大数据服务推荐系统项目内容包括：推荐系统可帮助用户从海量信息中高效地获得自己所需的信息，不同的推荐方法以及推荐系统在电子商务、在线音乐等网站中的具体应用重点：协同过滤算法、推荐算法难点：计算用户和物品的相似度度德育：积极向上、自主学习、团队合作、探索创新。6讲授演示练习课程目标1课程目标2课程目标32大数据个性化隐私保护项目内容包括：学习大数据的个人隐私保护的相关概念，研究相关的隐私保护技术。重点：数据脱敏、匿名化难点：隐私度量模型，隐私保护强度衡量德育：积极向上、自主学习、团队合作、探索创新。6讲授演示练习课程目标1课程目标2课程目标33大数据网站用户购物行为分析项目内容包括：从网络业务出发,通过数据分析得出结论并提出改进业务的方式方法,提升业务的销售额和盈利,为公司创造价值重点：数据集的预处理分析消费者对商品的行为难点：消费者的习惯挖掘分析搜索德育：积极向上、自主学习、团队合作、探索创新。；4讲授演示案例课程目标1课程目标2课程目标34大数据物联网应用项目内容包括：学习大数据物联网的体系架构与相关概念，研究相关的技术应用。重点：物联网传感器的数据实时处理和存储难点：将种类繁多传感数据的进行及时归一化处理德育：积极向上、自主学习、团队合作、探索创新。4讲授演示案例课程目标1课程目标2课程目标35大数据审计应用项目内容包括：学习大数据在审计方面平台相关概念，学习相关的审计子系统数据处理。重点：多元大数据的整合、检验分析技术难点：相似性度量方法，数据知识检验算法与指标提取德育：积极向上、自主学习、团队合作、探索创新。4讲授演示案例课程目标1课程目标2课程目标36大数据智能交通应用项目内容包括：学习智能交通应用相关概念，研究车联网等智能交通大数据技术应用。重点：交通大数据采集和处理难点：车辆轨迹数据处理德育：积极向上、自主学习、团队合作、探索创新。4讲授演示案例课程目标1课程目标2课程目标37大数据社交网络应用项目内容包括：学习大数据的在线社交网络相关概念，研究相关的应用技术。重点：社交网络知识以及相应的要素建模难点：社交数据量化以及数据开放和隐私平衡德育：积极向上、自主学习、团队合作、探索创新。4讲授演示案例课程目标1课程目标2课程目标3合计32序号实验项目实验内容与要求学时类型对应课程目标1大数据服务推荐系统分析服务推荐系统中的数据，利⽤Hive⼯具完成对推荐物品的统计，包含协同过滤算法、用户物品相似度等，同时将统计结果输出⾄⽹页。实验要求：必修6设计讨论验证综合课程目标1课程目标2课程目标32大数据个性化隐私保护分析大数据中的多样化个性化数据，利⽤相关⼯具完成隐私数据处理，包含数据脱敏、隐私度量等，同时将统计结果输出⾄⽹页。实验要求：必修6设计讨论验证综合课程目标1课程目标2课程目标33大数据网站用户购物行为分析分析商务网络中客户的消费数据，利⽤Hive⼯具完成对客户购物记录的统计，包含商品种类排⾏、⽤户购物时间等，同时将统计结果输出⾄⽹页。实验要求：必修4设计讨论验证综合课程目标1课程目标2课程目标34大数据物联网应用分析物联网中多传感器数据，利⽤Hive⼯具完成对多个种类数据的进行及时归一化处理，同时将统计结果输出⾄⽹页。实验要求：必修4设计讨论验证综合课程目标1课程目标2课程目标35大数据审计平台应用对审计方面数据进⾏实践分析，利⽤Hive⼯具以及相关工具完成对多元大数据的整合、检验和分析，同时将统计结果输出⾄⽹页。实验要求：必修4设计讨论验证综合课程目标1课程目标2课程目标36大数据智能交通应用分析智能交通中的数据，利⽤Hive⼯具完成对交通数据的统计，包含车辆出行方向、轨迹数据等，同时将统计结果输出⾄⽹页。实验要求：选修4设计讨论验证综合课程目标1课程目标2课程目标37大数据社交网络应用分析社交网络中用户⽇志的数据，利⽤Hive⼯具完成对社交用户出现频率的统计，包含关键词排⾏、⽤户习惯点击、访问⽬标等，同时将统计结果输出⾄⽹页。实验要求：选修4设计讨论验证综合课程目标1课程目标2课程目标3合计32注：实验要求包括必修、选修；实验类型包括演示、验证、综合、设计等，后两类占比大于80%。四、课程教学方法如集中讲授、演示、学习、案例等教学方式五、学业评价和课程考核推行多元评价，对本课程所采用的评价和考核方式作具体说明，若采用多种考核方法请分别列出考核评价的方法、内容、考核标准、成绩占比等，考核方法、内容应突出“学生中心、产出导向”。（一）考核方式及具体要求序号教学环节课程目标1（分值）课程目标2（分值）课程目标3（分值）合计1平时作业32272课堂表现33393实验操作121010324实验报告22201052课程目标对应分值403525100（二）考核与评价标准1.平时成绩考核与评价标准分值观测点90-100分70-89分60-69分0-59分作业按时完成，90%以上的作业内容齐全，基本知识点理解、掌握到位。能够利用理论知识识别、分析大数据领域相关专业问题。按时完成，70%以上的作业内容齐全，基本知识点理解、掌握较到位。能够较好利用理论知识识别、分析大数据相关专业问题。延时完成，60%以上的作业内容齐全，基本知识点理解、掌握基本到位。利用理论知识对大数据有一定的识别、分析。不交和补交，50%以下的作业内容齐全，基本知识点理解、掌握有偏差。不能利用理论知识对大数据领域相关专业问题进行识别、分析。2.课堂表现评价标准出勤，迟到1次扣0.5分，无故旷课1次扣1分；上课玩手机1次扣1分，扰乱课堂秩序1次扣1分；参与课堂讨论加1分。3.实验评价标准分值观测点90-100分70-89分60-69分0-59分课程论文独立正确完成实验内容，方法具有一定的创新性，认真撰写实验报告和实验心得和总结。实验报告内容完整。能根据实验要求自主设计实验方案，代码比较规范，实验完成度高，效果比较好。实验报告内容比较完整。独立正确完成实验，方法没有太多创新，提交实验报告和总结。实验报告基本完整。基本能根据实验要求自主设计实验方案，实验完成度较差，效果较差。实验报告不完整。4.期末试卷考核与评价标准根据期末考试及评分标准评分（百分制）。六、教材与参考书（一）推荐教材1．《大数据基础编程、实验和案例教程》，林子雨主编，清华大学出版社第二版，2020年10月出版；2．《实战大数据（Hadoop+S