《Spark大数据处理技术》教学大纲

《Spark大数据处理技术》教学大纲课程编号：13210718英文名称：SparkBigDataProcessingTechnology学分：3学时：总学时64学时，其中理论32学时，实践32学时先修课程：程序设计课程类别：专业方向课程授课对象：数据科学与大数据技术专业学生教学单位：机械与电气工程学院修读学期：第6学期一、课程描述和目标Spark大数据处理技术主要针对大数据技术与应用、数据科学、计算机与电子信息等专业学生，主要讲解基于Spark框架下的分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示，并结合相关的开源包使用Scala进行实现，以加深学生对所学内容的理解。通过本课程教学，使学生对分布式大数据技术有一个全面的了解，掌握基本的信息内容采集、存储和分析方法，并且具备一定的针对具体信息采集需求的实际运用和解决能力。本课程的主要内容包括：Scala语言基础与Spark基础；SparkRDD弹性分布式数据集；SparkSQL结构化数据文件处理；Kafka分布式发布订阅消息系统；SparkStreaming实时计算框架；SparkMLlib机器学习算法库；并提供一个应用实例。本课程拟达到的课程目标:通过本课程的学习，学生的计算思维能明显提升，能够通过编写程序研究与计算机相关的复杂工程问题。具体的课程目标如下：课程目标1：能够理解互联网大数据基于Spark的技术体系、主要技术。课程目标2：掌握Spark相关的各种典型技术原理、技术框架、实现方法、主要开源包的使用。课程目标3：理解基于Spark的分布式数据的处理方法、文本处理与相关的挖掘方法，并会使用Scala进行技术实现。二、课程目标对毕业要求的支撑关系毕业要求指标点课程目标权重3-1：能够设计针对大数据系统工程问题的解决方案，包括满足特定需求的系统架构、数据库设计、数据挖掘方法、系统实现、测试与验证等，并在设计环节中体现创新意识。课程目标1H4-2：能够基于数据科学的方法和原理，就大数据工程应用中涉及的信息处理、数据关联、模型预测等数据挖掘问题进行研究，设计相关的实验方案，并对结果或数据进行分析与总结，得到合理有效的结论。课程目标2H5-2：能够针对大数据工程问题，为预测与分析工程模型选择和使用合适的现代工程工具和信息技术工具，并能理解其局限性。课程目标3M三、教学内容、基本要求与学时分配序号教学内容基本要求及重、难点（含德育要求）学时教学方式对应课程目标1Scala语言基础1. 了解Scala的特点2. 掌握Scala和IDEA的下载安装3. 掌握Scala的基础语法4. 掌握Scala的数据结构5. 熟悉Scala面向对象的特性6. 掌握Scala的模式匹配与样例类树立学好专业知识、助力中国梦的信念；获取仰望星空、探索创新的精神动力。2讲授演示练习课程目标12Spark基础1. 掌握Spark集群的搭建和配置2. 掌握SparkHA集群的搭建和配置3. 掌握Spark集群架构4. 理解Spark作业提交的工作原理树立学好专业知识、助力中国梦的信念；获取仰望星空、探索创新的精神动力。4讲授演示练习课程目标13SparkRDD弹性分布式数据集1. 了解HDFS演变2. 掌握HDFS特点3. 掌握HDFS的架构和原理4. 掌握HDFS的Shell和JavaApi操作树立学好专业知识、助力中国梦的信念；获取仰望星空、探索创新的精神动力。4讲授演示练习课程目标24SparkSQL结构化数据文件处理1. 理解SparkSQL基本概念及其架构2. 掌握DataFrame/Dataset的常用操作3. 掌握RDD转换DataFrame的方式4. 掌握SparkSQL操作数据源树立学好专业知识、助力中国梦的信念；获取仰望星空、探索创新的精神动力。4讲授演示练习课程目标25HBase分布式数据库1. 理解HBase的数据模型2. 掌握HBase的集群部署3. 理解HBase的架构4. 理解HBase读写数据流程5. 掌握HBase与Hive的整合树立学好专业知识、助力中国梦的信念；获取仰望星空、探索创新的精神动力。2讲授演示练习课程目标26Kafka分布式发布订阅消息系统1. 掌握基本的消息传递模式2. 掌握Kafka集群部署3. 掌握Kafka基本操作4. 了解KafkaStreamsAPI的使用树立学好专业知识、助力中国梦的信念；获取仰望星空、探索创新的精神动力。2讲授演示练习课程目标27SparkStreaming实时计算框架1. 了解什么是实时计算2. 理解SparkStreaming工作原理3. 掌握DStream的转换操作4. 掌握DStream的窗口操作5. 掌握DStream的输出操作6. 掌握SparkStreaming和Kafka整合树立学好专业知识、助力中国梦的信念；获取仰望星空、探索创新的精神动力。4讲授演示练习课程目标28SparkMLlib机器学习算法库1. 了解什么是机器学习2. 掌握机器学习的工作流程3. 了解SparkMLlib的基本使用方式4. 了解电影推荐系统的构建流程树立学好专业知识、助力中国梦的信念；获取仰望星空、探索创新的精神动力。4讲授演示练习课程目标39综合案例——Spark实时交易数据统计1. 熟悉Spark实时计算系统架构2. 掌握看板平台开发业务流程3. 熟悉系统环境搭建步骤4. 掌握Redis和WebSocket基本使用方式树立学好专业知识、助力中国梦的信念；获取仰望星空、探索创新的精神动力。6讲授演示练习课程目标3合计32序号实验项目实验内容与要求学时类型对应课程目标1Scala语言基础Scala的下载安装;在IDEA开发工具中下载安装Scala插件;开发第一个Scala程序。必修2验证课程目标12Spark基础搭建Spark开发环境;体验第一个Spark程序;IDEA开发WordCount程序。必修2验证课程目标13SparkRDD弹性分布式数据集RDD的创建;RDD在Spark中的运行流程。必修2验证课程目标24SparkSQL结构化数据文件处理DataFrame的创建与常用操作；Dataset对象的创建；RDD转换DataFrame；SparkSQL操作MySQL；操作Hive数据集。必修4验证课程目标25HBase分布式数据库HBase的集群部署；HBase的Shell操作；HBase的JavaAPI操作；HBase读写数据流程；HBase和Hive的整合。选修4验证课程目标26Kafka分布式发布订阅消息系统安装与启动Kafka；基于命令行方式使用Kafka；基于JavaAPI方式使用Kafka；KafkaStreams开发单词计数。选修4验证课程目标27SparkStreaming实时计算DStream编程模型、转换操作、窗口操作、输出操作；DStream实例—实现网站热词排序。必修4验证课程目标28SparkMLlib机器学习Spark机器学习工作流程；利用MLlib实现电影推荐。必修5综合课程目标39综合案例Spark实时交易数据统计。必修5综合课程目标3合计32注：实验要求包括必修、选修；实验类型包括演示、验证、综合、设计等。四、课程教学方法理论教学：主要采用课堂讲授、程序演示、小组讨论等方式。实验教学：项目讲解、学生自主实验、个别辅导、程序分析等方式。五、学业评价和课程考核推行多元评价，对本课程所采用的评价和考核方式作具体说明，若采用多种考核方法请分别列出考核评价的方法、内容、考核标准、成绩占比等，考核方法、内容应突出“学生中心、产出导向”。（一）考核方式及具体要求1.课程成绩构成与要求课程考核注重形成性和终结性评价相结合，考核内容主要由平时作业、章节测试、实验、期末考核组成，均按百分制计分，其中期末考核成绩占50%、平时作业成绩占10%、课堂表现成绩占10%、实验成绩占30%。2.课程目标达成考核与评价序号考核方式课程目标1（分值）课程目标2（分值）课程目标3（分值）合计1平时作业334102课堂表现334103实验10155304期末考试20201050课程目标对应分值364123100（二）考核与评价标准1.平时成绩考核与评价标准分值观测点90-100分70-89分60-69分0-59分作业按时完成，90%以上的作业内容齐全，基本知识点理解、掌握到位。能够利用理论知识识别、分析领域相关专业问题。按时完成，70%以上的作业内容齐全，基本知识点理解、掌握较到位。能够较好利用理论知识识别、分析领域相关专业问题。延时完成，60%以上的作业内容齐全，基本知识点理解、掌握基本到位。利用理论知识对领域相关专业问题有一定的识别、分析。不交和补交，50%以下的作业内容齐全，基本知识点理解、掌握有偏差。不能利用理论知识对领域相关专业问题进行识别、分析。2.课堂表现评价标准出勤，迟到1次扣0.5分，无故旷课1次扣1分；上课玩手机1次扣1分，扰乱课堂秩序1次扣1分；参与课堂讨论加1分。3.实验评价标准分值观测点90-100分70-89分60-69分0-59分实验独立正确完成实验内容，方法具有一定的创新性，认真撰写实验报告和实验心得和总结。独立正确完成实验，方法没有太多创新，提交实验报告和总结。完成实验，结果基本正确，实验报告和总结比较随意。实验没有完成，或结果不正确，没有提交实验报告和实验总结。4.期末大作业考核与评价标准期末考试成绩采用项目大作业的考核方式，在规定时间内完成一个小型项目，提交项目代码，同时附项目的解决思路、实施步骤、结果、个人体会等内容。优秀：思路正确，方案很好，步骤清楚，实现了所有功能，。良好：思路正确，方案可行，步骤清楚，实现了大部分功能。中等：思路正确，方案