《Spark Scala》课程标准（含课程思政）

《Spark&Scala》课程标准一、课程基本信息课程名称Spark&Scala课程代码034421017课程性质£公共必修课£专业必修课R专业选修课£公共选修课专业核心课（是/否）否课程类型£理论课（A类）R理论+实践课（B类）£实践课（C类）学分3学时48理论学时24实践学时24适用专业（方向）大数据技术开设学期第5学期先修课程《大数据平台部署与运维》、《大数据开发实战》后续课程《专业综合实训》对接1+X证书名称无证书级别无建议使用职业教育国家规划教材《Spark大数据技术与应用（第2版）》，肖芳、张良均，人民邮电出版社（2022年9月，第2版）二、课程性质与任务（一）课程性质《Spark&Scala》课程是大数据技术专业开设的专业限选课。本课程是依据大数据技术专业人才培养目标和相关职业岗位（群）的能力要求而设置的，对本专业所面向的大数据应用开发领域所需要的知识、技能和素质目标的达成起到支撑作用。本课程的前导课程是《大数据平台部署与运维》、《大数据开发实战》，后续课程是《专业综合实训》。（二）课程任务本课程主要讲授Spark基本原理与架构、集群安装配置、Scala与Spark编程、Spark核心组件应用等内容。本课程的任务是培养面向大数据技术领域从事数据处理和分析岗位的高素质技术技能人才，使学生能够熟练的应用大数据技术解决企业中的实际生产问题。同时注重学生社会主义核心价值观的养成，提升学生职业道德、行业规范意识和创新意识。（三）课程设计思路本课程是以大数据技术专业所涵盖的岗位群进行任务与职业能力分析，对接《大数据工程技术人员国家职业技术技能标准》以及全国职业院校技能大赛大数据应用开发赛项，以任务驱动、就业为导向，根据本专业学生的认知特点，以学生职业能力、素质培养为目标，选取课程教学内容，并为学生可持续发展奠定良好的基础。三、课程目标与要求（一）课程目标1.素质目标（1）具有良好的工作态度和责任心（2）具有较强国家通用语言表达能力及良好的沟通能力（3）具有不断追求知识的持续学习能力、吃苦耐劳的工匠精神（4）具备团队合作及协调能力（5）具备创新精神、适应未来岗位发展的迁移转变能力2.知识目标（1）理解Spark基本原理与架构（2）掌握Spark集群安装和配置（3）掌握Scala基础语法（4）掌握SparkRDD编程（5）掌握SparkSQL处理结构化数据的方法（6）掌握SparkStreaming实现实时计算（7）了解SparkGraphX基本使用方法3.能力目标（1）能够熟练使用Spark分布式计算框架（2）具备编写、调试及阅读程序的能力（3）具备发现问题、分析问题与解决问题的能力（4）具备大数据处理、分析的能力（二）课程要求课程单元任务名称（含子任务）要求Spark概述任务1Spark基本概念任务2Spark发展和应用任务3Spark架构及原理任务4Spark环境配置了解Spark概念，掌握Spark分布式环境特点，掌握SparkRDD的概念，了解Spark的运行流程和原理Scala基础任务1Scala简介任务2Scala安装及环境设置任务3Scala数据类型、函数、表达式的应用任务4Scalaif判断和for循环任务5Scala类的定义任务6Scala集合的应用掌握Scala环境的安装，掌握Scala语言的应用和编程Spark编程任务1创建RDD任务2RDD基本操作任务3RDD键值对操作任务4文件操作掌握RDD的转化操作和行动操作方法，掌握键值对RDD的操作，掌握文本文件的读取和存储Spark编程进阶任务1安装和配置IntelliJIDEA任务2Scala插件安装与使用任务3配置Spark运行环境任务4运行Spark程序的方法任务5持久化方法任务6数据分区方法掌握如何在IDEA中配置Spark编程环境，掌握Spark程序的编写SparkSQL：结构化数据文件处理任务1SparkSQL简介任务2SparkSQL配置任务3SparkSQL与Shell交互任务4DataFrame生成与操作方法掌握SparkSQL使用方法SparkStreaming：实时计算框架任务1SparkStreaming运行原理任务2SparkStreaming使用方法任务3DStream编程模型基本方法了解SparkStreaming运行原理，掌握SparkStreaming使用方法SparkGraphX：图计算框架任务1图的基本概念任务2图计算的应用任务3GraphX的基础概念任务4图的创建与存储任务5数据查询与数据转换任务6结构转换与关联聚合了解图计算的应用，掌握SparkGraphX使用方法SparkMLlib：功能强大的算法库任务1机器学习任务2MLlib介绍和应用了解机器学习算法，掌握SparkMLlib使用方法四、课程结构与内容（一）课程结构与学时分配（可自定义表格）项目名称任务名称（含子任务）任务学时项目学时Spark概述任务1Spark基本概念任务2Spark发展和应用任务3Spark架构及原理24任务4Spark环境配置2Scala基础任务1Scala简介任务2Scala安装及环境设置任务3Scala数据类型、函数、表达式任务4Scalaif判断和for循环410任务5Scala类的定义2任务6Scala集合的应用4Spark编程任务1创建RDD210任务2RDD转换操作和行动操作4任务3RDD键值对操作2任务4文件操作2Spark编程进阶任务1安装和配置IntelliJIDEA任务2Scala插件安装与使用任务3配置Spark运行环境28任务4运行Spark程序的方法4任务5持久化方法任务6数据分区方法2SparkSQL：结构化数据文件处理任务1SparkSQL简介任务2SparkSQL配置任务3SparkSQL与Shell交互26任务4DataFrame生成与操作方法4SparkStreaming：实时计算框架任务1SparkStreaming运行原理任务2SparkStreaming使用方法26任务3DStream编程模型基本方法4SparkGraphX：图计算框架任务1图的基本概念任务2图计算的应用任务3GraphX的基础概念任务4图的创建与存储24任务5数据查询与数据转换任务6结构转换与关联聚合2合计4848（二）课程内容与要求（可自定义表格）教学项目教学内容（1+X证书内容融入）教学目标教学重难点（课程思政内容）教学建议学时Spark概述1.Spark基本概念2.Spark发展和应用3.Spark环境配置方法4.Spark架构及原理素质目标：1.培养学生严谨的工作态度知识目标：1.了解Spark基本概念、发展和应用2.掌握Spark环境配置方法3.理解Spark架构及原理能力目标：具备搭建Spark分布式环境的能力思政目标：1.培养学生具备良好的职业道德2.培养学生的职业认同感教学重点：搭建Spark分布式环境教学难点：Spark的架构及原理教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论、学生实践操作教学环境：具备局域网，内存16G以上、硬盘1T以上的计算机。4Scala基础1.Scala简介2.Scala安装及环境设置3.Scala数据类型、函数、表达式的应用4.Scalaif判断和for循环5.Scala类的定义6.Scala集合的应用素质目标：1.培养学生查阅资料能力2.培养和提升学生分析问题的能力知识目标：1.掌握Scala环境的安装及配置2.掌握Scala语言的基本语法能力目标：1.具备编写、调试及阅读程序的能力2.能够运用Scala语言解决实际问题思政目标：1.职业道德2.职业认同感教学重点：1.Scala编程环境的搭建2.Scala集合的应用教学难点：Scala类和函数教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论、学生实践操作教学环境：具备局域网，内存16G以上、硬盘1T以上的计算机。10Spark编程1.从内存中已有数据创建RDD2.从外部存储创建RDD3.RDD转化操作和行动操作方法4.RDD键值对操作5.文件读取与存储素质目标：1.培养学生自主学习的能力2.培养学生持续学习能力知识目标：1.掌握创建RDD的方法2.掌握RDD转化操作和行动操作的方法3.掌握键值对RDD4.掌握操作文件读取与存储的方法能力目标：1.具备大数据处理的基本能力2.具备Spark基础编程能力思政目标：1.培养学生精益求精的工匠精神2.提升学生的职业道德规范教学重点：RDD的转化操作和行动操作方法教学难点：键值对RDD的操作教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论、学生实践操作教学环境：具备局域网，内存16G以上、硬盘1T以上的计算机。10Spark编程进阶1.下载与安装IntelliJIDEA2.Scala插件安装与使用3.运行Spark程序4.设置RDD持久化5.设置数据分区素质目标：1.提升学生分析问题、解决问题的能力知识目标：1.掌握IntelliJIDEA开发环境配置2.掌握配置Spark运行环境的方法3.掌握运行Spark程序的方法4.掌握持久化方法5.掌握数据分区方法能力目标：1.具备利用Spark处理和分析数据的能力思政目标：1.培养学生科技强国的意识教学重点：运行Spark程序的方法教学难点：数据分区方法教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论、学生实践操作教学环境：具备局域网，内存16G以上、硬盘1T以上的计算机。8SparkSQL：结构化数据文件处理1.SparkSQL简介2.SparkSQLCLI配置3.SparkSQL与Shell交互4.DataFrame基础操作方法素质目标：1.提升学生分析问题、解决问题的能力2.培养学生的逻辑思维能力知识目标：1.掌握SparkSQLCLI的配置方法2.掌握SparkSQL与Shell交互的方法3.掌握DataFrame基础操作方法能力目标：1.具备利用SparkSQL处理结构化文件的能力思政目标：1.培养学生科技强国的意识2.培养学生爱国情怀和文化自信教学重点：1.SparkSQLCLI的配置2.DataFrame的操作方法教学难点：DataFrame的操作方法教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论、学生实践操作教学环境：具备局域网，内存16G以上、硬盘1T以上的计算机。6SparkStreaming：实时计算框架1.SparkStreaming基本概念2.SparkStreaming运行原理3.SparkStreaming使用方法4.DStream编程模型基本方法素质目标：1.培养学生有效进行时间管理的能力2.培养学生的创新意识知识目标：1.理解SparkStreaming的运行原理2.掌握SparkStreaming的使用方法3.掌握DStream编程模型基本方法能力目标：1.具备处理和分析实时数据的能力思政目标：1.培养学生科技强国的意识2.建立专业自豪感教学重点：DStream编程模型基本方法教学难点：1.SparkStreaming运行原理2.DStream编程模型基本方法教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论、学生实践操作教学环境：具备局域网，内存16G以上、硬盘1T以上的计算机。6SparkGraphX：图计算框架1.图的基本概念2.图计算的应用3.GraphX的基础概念4.图的创建与存储5.数据查询与数据转换6.结构转换与关联聚合素质目标：1.培养学生的钻研精神2.培养学生适应未来岗位发展的迁移转变能力知识目标：1.了解图的基本概念2.了解GraphX常用API能力目标：1.具备处理和分析实时数据的能力思政目标：1.培养学生精益求精的工匠精神教学重点：1.GraphX的基础概念2.GraphX的常用API教学难点：GraphX的常用API教学方法：讲授法，任务驱动法，案例教学法等。教学形式：讲授知识、分组讨论教学环境：具备局域网，内存16G以上、硬盘1T以上的计算机。4（三）课程思政实施要求在教学过程中，重点从强化创新意识、科学素养等方面着手开展课程思政教学。结合本课程教学内容，将积极向上的生活态度、勇于探索、不断创新的科学精神、严谨细致的工匠精神、坚定不移的爱国精神等思政元素有机融入课程教学，全面渗透到教学全过程，在教学过程中“润物细无声”的使专业课程教学具有传授知识、培养能力及思想政治教育三重功能。（四）1+X证书内容融入五、学生考核与评价（可自定义表格）形成性评价教学阶段考核项目考核方式考核占比课前（20%）预习任务布置任务提交40%课中（50%）课堂表现考勤、提问实验报告和源码提交课堂练习和实验课后（20%）作业作业提交增值评价（10%）（职业核心能力和职业素养）素质目标达成考察日常考察课程考试笔试闭卷60%增值评价（社会价值）参加技能大赛、职业资格证书考核、职业技能等级证书考核等情况计分学分认定、成绩置换六、教学实施与保障（一）教学要求国家级虚拟仿真实训基地的大数据技术专业相关实训室。（二）教学方法本课程的教学模式采用“教、做、学”为一体的任务驱动式教学模式，针对具体的教学内容和教学过程需要，制定教学方法。注重对学生分析问题，解决问题能力的培养，从完成某一方面的“任务”着手，通过引导学生完成“任务”，从而实现教学目标。同时在部分章节采用探究式教学模式，即以解决实际问题为中心开展教学，在解决实际问题的过程注重学生的实践能力和创新开发能力。在教学方法上本课程采用讲授教学法，引导教学法，任务驱动法，案例教学法等多种教学方法来指导学生，在理论知识介绍之后，通过案例和典型实战，由简单到复杂、逐步递进式的完成知识目标和能力目标，有效地调动学生的学习积极性，激发学生的潜能，培养学生的创新精神与实践能力。（三）教学手段依据模块内容，结合探究式学习、自主式学习、项目式学习、仿真设计学习等教学手