《Spark技术与应用》课程标准

《Spark技术与应用》课程标准学分：4参考学时：64一、课程概述1、课程性质《Spark技术与应用》课程是大数据技术与应用专业的一门专业核心课程，位于职业能力形成阶段。随着互联网的发展，数据来源越来越多，数据量越来越大，对大数据技术的应用需求越来越旺盛，对掌握分布式计算大数据技术的人才需求也越来越迫切。用于大数据的分布式计算技术也在向更广的适用性、更高的运行效率、更便捷的开发、更加的系统化等变化，形成了以Hadoop+Spark为核心的技术生态系统，其中Spark基于内存的分布式计算引擎正在逐渐代替Hadoop的MapReduce分布式计算模型而被广泛使用。本课程是一门技术性、实践性很强的专业课程。本课程围绕数据采集、数据清洗、大数据分析、大数据可视化、大数据开发、大数据运维等大数据技术与服务主要岗位的知识与技能，培养学生的大数据处理分析与应用能力和大数据相关岗位职业素养。本课程与其它课程的衔接：前置课程：大数据基础。后续课程：生产性实训。2、设计思路（1）本课程设置的依据本课程是面向大数据技术与服务岗位设置。针对在实际工作中从事大数据处理分析与应用所需的知识、技能和素质要求设置课程。（2）课程内容确定的依据以就业为导向，进行学生的就业面向和职业岗位任职要求分析，基于工作过程系统化的理念开发课程。在课程设计的整个过程中以学生就业“所需”为主体，突出“帮助学生养成良好的职业道德”和“培养具有适应就业需要的专业技能”，促进学生能够可持续发展，提高其终身学习的能力。课程设计遵循“调研→设计→实现→运行→反馈→改进”的项目开发过程，以大数据处理分析与应用能力培养为主线，融入大数据相关行业及企业的职业要素，使课程的职业性、实践性和开放性得以充分体现。根据人才市场的调查，在各类企事业单位中，大数据技术与服务相关工作岗位有：数据采集、数据清洗、大数据分析、大数据可视化、大数据开发、大数据运维等。本课程的教学立足于大数据技术与服务相关岗位，培养学生的大数据处理分析与应用能力和大数据相关岗位职业素养，为学生的可持续发展奠定基础。（3）学习任务的基本架构及活动设计的基本思路根据大数据技术与服务岗位的职业能力要求，基于能力培养和训练，以典型工作任务为载体，按照从简单到复杂的过程，组织项目化、案例化的学习情境，完成课程设计。课程教学以大数据实际生产过程设计教学项目，每个项目又分解出多个学习型工作任务，组织设计教学情境。以模拟生产“边学边练”的形式实施教学，使学生在项目实施过程中完成知识的学习和技能训练，针对学习情境中的任务完成情况，结合项目任务书对学生进行实时考核与评价。本课程通过项目教学使学生能运用Spark开发分布式应用程序。项目编号项目名称工作任务任务编号任务名称项目1认识Scala语言任务1初识Scala任务2学习Scala的基础语法任务3学习Scala的数据结构任务4学习Scala面向对象的特征任务5学习Scala的模式匹配与样例类项目2部署和使用Spark集群任务6初识Spark任务7搭建Spark开发环境任务8认识Spark运行架构与原理任务9使用Spark集群完成基本操作项目3使用SparkRDD弹性分布式数据集任务10使用多种方式创建RDD任务11操作处理RDD任务12认识RDD的分区和依赖关系任务13认识RDD两种处理机制任务14认识Spark任务调度流程项目4使用SparkSQL处理结构化数据任务15认识SparkSQL任务16认识DataFrame任务17认识Dataset任务18将RDD转换为DataFrame任务19使用SparkSQL操作数据源项目5使用SparkStreaming框架进行实时计算任务20认识SparkStreaming任务21使用Spark的DStream进行操作项目6认识SparkMLlib机器学习算法库任务22初识机器学习任务23认识Spark机器学习库MLlib通过6个项目，学生学习后具有Scala语言基础，掌握Spark的设计与运行原理，具备Spark环境搭建和使用能力，具备Spark核心RDD编程能力、具备SparkSQL、SparkStreaming、Spark机器学习等Spark组件编程能力。（4）教学方法本课程的实践性强，因此采用“教学做一体化教学”，以项目为载体展开教学。学习任务按企业工作岗位技能要求内容进行，使学生掌握实际工作方法，提高Spark技术与应用能力，同时可以培养科学思维能力、语言文字能力、沟通交流能力、环保意识、批判性思维等职业素质。二、课程目标（职业能力目标）1.知识目标：（1）掌握Scala语言基础的相关知识；（2）掌握Spark基础中的基本概念、原理和相关操作；（3）掌握Spark核心RDD编程知识；（4）掌握SparkSQL组件的编程知识；（5）掌握SparkStreaming组件的编程知识；（6）掌握Spark机器学习的工作流程。2.能力目标：（1）能够掌握Scala环境的安装配置，熟悉Scala语法规范，并实现使用Scala语言编写自己的第一个Scala程序；（2）能够独立搭建Spark集群和SparkHA集群，同时对Spark系统的基础操作和基本原理有初步了解；（3）了解RDD处理数据核心思想，并且能够使用RDD编程，通过调用API实现对RDD的各种操作，解决实际中的数据分析问题；（4）能够掌握利用SparkSQL操作MySQL和Hive两种常见数据源，执行SQL语句读写数据库，实现对结构化数据的处理；（5）能够掌握SparkStreaming程序的开发步骤；（6）能够了解机器学习和SparkMLlib机器学习库的概念，及理解Spark机器学习的工作流程。3.素质目标：（1）培养学生爱国主义情怀；（2）培养学生具有居安思危意识；（3）培养学生具有不怕困难，迎面而上的精神；（4）培养学生敢于质疑，勇于自主创新的精神；（5）培养学生注意网络安全，具有保护个人信息意识；（6）培养学生发现问题、解决问题的能力；（7）培养学生自主、开放的学习能力；（8）培养学生诚实守信、严谨求实、敬业乐业的工作作风。三、能力解析表能力目标能进行Scala语言编程编号1具体描述了解Scala语言基础知识，能够进行面向对象编程和函数式编程。步骤1．初识Scala2．Scala的基础语法3．Scala的数据结构4．Scala面向对象的特性5．Scala的模式匹配与样例类工具与设备1．计算机、互联网2．虚拟机、Linux3．Spark软件知识基础1．大数据基本概念2．Scala语言基本概念通用能力与职业素质科学思维能力、信息处理能力、与人合作能力、环保意识、批判性思维考核标准1．正确理解Scala语言特点2．正确理解Scala基础知识、数据结构3．正确进行面向对象编程4．正确进行函数式编程5．正确解决操作时遇到的问题6．报告符合体例，描述条理清晰，正确使用专业术语能力目标能掌握Spark的设计与运行原理编号2具体描述了解Spark概念、Spark生态系统、Spark运行架构，能够进行Spark的部署。步骤1．Spark概述2．Spark生态系统3．Spark运行架构4．Spark的部署方式工具与设备1．计算机、互联网2．虚拟机、Linux3．Spark软件知识基础1．大数据基本概念2．Spark基本概念通用能力与职业素质科学思维能力、信息处理能力、与人合作能力、环保意识、批判性思维考核标准1．正确理解Spark概念2．正确理解Spark生态系统3．正确理解Spark运行架构4．正确理解Spark的部署方式5．正确解决操作时遇到的问题6．报告符合体例，描述条理清晰，正确使用专业术语能力目标能进行Spark环境搭建和使用编号3具体描述能够安装Spark，在spark—shell中运行代码，开发Spark独立应用程序，搭建Spark集群环境，在集群上运行Spark应用程序。步骤1．安装Spark2．在spark—shell中运行代码3．开发Spark独立应用程序4．Spark集群环境搭建5．在集群上运行Spark应用程序工具与设备1．计算机、互联网2．虚拟机、Linux3．Spark软件知识基础1．大数据基本概念2．Spark基本概念通用能力与职业素质科学思维能力、信息处理能力、与人合作能力、环保意识、批判性思维考核标准1．正确安装Spark2．在spark—shell中正确运行代码3．正确开发Spark独立应用程序4．正确搭建Spark集群环境搭建5．在集群上正确运行Spark应用程序6．正确解决操作时遇到的问题7．报告符合体例，描述条理清晰，正确使用专业术语能力目标能进行RDD编程编号4具体描述能够进行RDD基础编程，键值对RDD编程，数据读写编程，并能综合运用。步骤1．RDD概述与创建方式2．RDD的处理过程3．RDD的分区和依赖关系4．RDD机制5．Spark的任务调度工具与设备1．计算机、互联网2．虚拟机、Linux3．Spark软件知识基础1．大数据基本概念2．Spark基本概念通用能力与职业素质科学思维能力、信息处理能力、与人合作能力、环保意识、批判性思维考核标准1．正确进行RDD基础编程2．正确理解RDD的处理过程3．正确理解RDD的分区、依赖关系、机制与任务调度4．正确进行综合运用5．正确解决操作时遇到的问题6．报告符合体例，描述条理清晰，正确使用专业术语能力目标能进行SparkSQL编程编号5具体描述了解SparkSQL概念，能够进行DataFrame编程，从RDD转换得到DataFrame，使用SparkSQL读写数据库。步骤1．SparkSQL的基础知识2．DataFrame的基础知识3．Dataset的基础知识4．RDD转换为DataFrame5．SparkSQL操作数据源工具与设备1．计算机、互联网2．虚拟机、Linux3．Spark软件知识基础1．大数据基本概念2．Spark基本概念通用能力与职业素质科学思维能力、信息处理能力、与人合作能力、环保意识、批判性思维考核标准1．正确理解SparkSQL概念2．正确进行DataFrame编程3．正确理解Dataset及掌握Dataset的创建方法4．从RDD正确转换得到DataFrame5．正确使用SparkSQL读写数据库6．正确解决操作时遇到的问题7．报告符合体例，描述条理清晰，正确使用专业术语能力目标能进行SparkStreaming编程编号6具体描述了解流计算概念、SparkStreaming原理与特点、DStream操作概念，能够进行基本输入源操作、高级数据源操作、转换操作、输出操作、StructuredStreaming操作。步骤1．SparkStreaming概述2．Spark的DStream工具与设备1．计算机、互联网2．虚拟机、Linux3．Spark软件知识基础1．大数据基本概念2．Spark基本概念通用能力与职业素质科学思维能力、信息处理能力、与人合作能力、环保意识、批判性思维考核标准1．正确理解流计算概念2．正确理解SparkStreaming原理与特点3．正确理解DStream操作概念4．正确进行转换操作5．正确进行输出操作6．正确解决操作时遇到的问题7．报告符合体例，描述条理清晰，正确使用专业术语能力目标能进行Spark机器学习编程编号7具体描述了解Spark机器学习、SparkMllib的概述及SparkMllib机器学习库的应用。步骤1．初识机器学习2．Spark机器学习库Mllib的概述工具与设备1．计算机、互联网2．虚拟机、Linux3．Spark软件知识基础1．大数据基本概念2．Spark基本概念通用能力与职业素质科学思维能力、信息处理能力、与人合作能力、环保意识、批判性思维考核标准1．正确理解Spark机器学习概念2．正确理解机器SparkMllib概念3．正确解决操作时遇到的问题4．报告符合体例，描述条理清晰，正确使用专业术语四、课程内容1．基本框架序号学习任务学习活动教学方法参考学时1认识Scala语言1.1初识Scala讲解项目制作21.2学习Scala基础知识讲解项目制作21.3学习Scala的数据结构讲解项目制作41.4学习Scala面向对象的特征讲解项目制作21.5学习Scala的模式匹配与样例类讲解项目制作22部署和使用Spark集群2.1初识Spark讲解22.2搭建Spark开发环境讲解42.3认识Spark运行架构与原理讲解22.4使用Spark集群完成基本操作讲解项目制作43使用SparkRDD弹性分布式数据集3.1使用多种方式创建RDD讲解项目制作43.2操作处理RDD讲解项目制作63.3认识RDD的分区和依赖关系讲解项目制作23.4认识RDD两种机制讲解项目制作23.5认识Spark任务调度流程讲解项目制作24使用SparkSQL处理结构化数据4.1认识SparkSQL讲解24.2认识DataFrame讲解项目制作24.3认识Dataset讲解项目制作24.4将RDD转换为DataFrame讲解项目制作24.5使用parkSQL操作数据源讲解项目制作45使用SparkStreaming框架进行实时计算5.1认识SparkStreaming讲解25.2使用Spark的DStream进行操作讲解项目制作66认识SparkMLlib机器学习算法库6.1初识机器学习讲解26.2认识Spark机器学习库MLlib讲解项目制作22．主要内容与要求项目1：认识Scala语言1.1初识Scala1、Scala概述2、Scala的下载与安装3、在IDEA开发工具中下载安装Scala插件4、开发第一个Scala程序1.2学习Scala的基础语法1、声明值和变量2、数据类型3、算术和操作符重载4、控制结构语句5、方法和函数1.3学习Scala的数据结构1、数组2、元组3、集合1.4学习Scala面向对象的特征1、类和对象2、继承3、单例对象和伴生对象4、特质1.5学习Scala的模式匹配与样例类1、模式匹配2、样例类项目2：部署和使用Spark集群2.1初识Spark1、Spark概述2、Spark的特点3、Spark的应用场景4、Spark与Hadoop对比2.2搭建Spark开发环境1、环境准备2、Spark的部署方式3、Spark集群安装部署4、SparkHA集群部署2.3认识Spark运行架构与原理1、基本概念2、Spark集群运行架构3、Spark运行基本流程2.4使用Spark集群完成基本操作1、体验第一个Spark程序2、启动Spark—Shell3、IDEA开发WordCount程序项目3：使用SparkRDD弹性分布式数据集3.1使用多种方式创建RDD1、RDD简介2、RDD的创建方式3.2操作处理RDD1、转换算子2、行动算子3、编写WordCount词频统计案例3.3认识RDD的分区和依赖关系1、RDD的分区2、RDD的依赖关系3.4认识RDD两种处理机制1、持久化机制2、容错机制3.5认识Spark任务调度流程1、DAG的概念2、RDD在Spark中的运行流程项目4：使用SparkSQL处理结构化数据4.1认识SparkSQL1、SparkSQL的简介2、SparkSQL架构4.2认识DataFrame1、DataFrame简介2、DataFrame的创建3、DataFrame的常用操作4.3认识Dataset1、Dataset2、Dataset对象的创建4.4将RDD转换为DataFrame1、反射机制推断Schema2、编程方式定义Schema4.5使用SparkSQL操作数据源1、操作MySQL2、操作Hive数据集项目5：使用SparkStreaming框架进行实时计算5.1认识SparkStreaming1、实时计算的基础知识2、SparkStreaming的基础知识5.2使用Spark的Dstream进行操作1、Dstream简介与编程模型2、Dstream转换操作3、Dstream窗口操作4、Dstream输出操作项目6：认识SparkMLlib机器学习算法库6.1初识机器学习1、什么是机器学习2、机器学习的应用6.2认识Spark机器学习库MLlib1、MLlib的简介2、Spark机器学习工作流程五、考核方案（一）职业能力目标考核方案序号职业能力目标考核标准考核方式证据材料1能进行Scala语言编程1．正确理解Scala语言特点2．正确理解Scala基础知识3．正确进行面向对象编程4．正确进行函数式编程5．正确解决操作时遇到的问题6．报告符合体例，描述条理清晰，正确使用专业术语项目制作Scala下载、安装和学习Scala基础操作项目报告2能掌握Spark的设计与运行原理1．正确理解Spark概念2．正确理解Spark生态系统3．正确理解Spark运行架构4．正确理解Spark的部署方式5．正确解决操作时遇到的问题6．报告符合体例，描述条理清晰，正确使用专业术语项目制作Spark的设计与运行原理项目报告3能进行Spark环境搭建和使用1．正确安装Spark2．在spark—shell中正确运行代码3．正确开发Spark独立应用程序4．正确搭建Spark集群环境搭建5．在集群上正确运行Spark应用程序6．正确解决操作时遇到的问题7．报告符合体例，描述条理清晰，正确使用专业术语项目制作Spark和SparkHA集群环境搭建操作项目报告4能进行RDD编程1．正确进行RDD基础编程2．正确理解RDD的处理过程3．正确理解RDD的分区、依赖关系、机制与任务调度4．正确进行综合运用5．正确解决操作时遇到的问题6．报告符合体例，描述条理清晰，正确使用专业术语项目制作RDD创建、转换算子和行动算子常用操作项目报告5能进行SparkSQL编程1．正确理解SparkSQL概念2．正确进行DataFrame编程3．正确理解Dataset及掌握Dataset的创建方法4．从RDD正确转换得到DataFrame5．正确使用SparkSQL读写数据库6．正确解决操作时遇到的问题7．报告符合体例，描述条理清晰，正确使用专业术语项目制作DataFrame创建、Dataset创建、RDD转换为DataFrame、Spark进行数据库读写操作项目报告6能进行SparkStreaming编程1．正确理解流计算概念2．正确理解SparkStreaming原理与特点3．正确理解DStream操作概念4．正确进行转换操作5．正确进行输出操作6．正确进行StructuredStreaming操作7．正确解决操作时遇到的问题8．报告符合体例，描述条理清晰，正确使用专业术语项目制作编写程序实现DStream的转换操作、窗口操作和输出操作项目报告7能进行Spark机器学习编程1．正确理解Spark机器学习概念2．正确理解机器SparkMllib概念3．正确解决操作时遇到的问题4．报告符合体例，描述条理清晰，正确使用专业术语项目制作Spark机器学习项目报告总成绩计算公式：总成绩的构成：总评成绩=平时成绩*60%+期中成绩*20%+期末成绩*20%平时成绩考核项目：任务成绩、考勤、课堂讨论、网络课程资源学习、章节测验期中成绩：主要测试期中之前所有知识点。期末成绩：期中之后的所有知识点的考核。具体考核情况如下：项目内容项目所占比例所占总评成绩的比例平时成绩任务成绩40%60%考勤5%课堂讨论5%网络课程资源学习5%章节测验5%期中成绩网上测试期中之前知识点20%20%期末成绩期中之后知识点20%20%项目内容项目所占比例所占总评成绩的比例平时成绩任务成绩40%60%考勤5%课堂讨论5%网络课程资源学习5%章节测验5%期中成绩网上测试期中之前知识点20%20%期末成绩期中之后知识点20%20%评价标准：考核点考核比例评价标准优秀（86—100）良好（70—85）及格（60—69）不及格（60以下）任务实操40%能够依据项目指导书完成任务书的全部内容，能够独立解决项目中出现的问题，并总结相关问题形成文档；总结报告排版美观，图文并茂，内容详细有条理。能够依据项目指导书完成任务书的全部内容，总结报告排版符合要求，不存在明显错误，内容较详细。能够依据项目指导书完成任务书的80%内容，总结报告排版基本符合要求，不存在明显错误，内容较详细。能够依据项目指导书完成任务书的50%内容，总结报告排版较差，存在明显错误，内容不够详细。考勤5%按要求参与学习，无迟到、无早退、无旷课，缺勤5%以下，缺勤包括事假、病假和旷课，三次迟到或早退为一次旷课。按要求参与学习，有迟到、有早退、无旷课，缺勤10%以下，缺勤包括事假、病假和旷课，三次迟到或早退为一次旷课。按要求参与学习，有迟到、有早退、有旷课，缺勤20%以下，缺勤包括事假、病假和旷课，三次迟到或早退为一次旷课。不按要求参与学习，有迟到、有早退、有旷课，缺勤40%以上，缺勤包括事假、病假和旷课，三次迟到或早退为一次旷课。课堂讨论5%积极参与课堂讨论，每个课堂讨论的回帖次数为3次以上。积极参与课堂讨论，每个课堂讨论的回帖次数为2次以上。积极参与课堂讨论，每个课堂讨论的回帖次数为1次以上。不能积极参与课堂讨论，总回帖字数小于6次。网络课程资源学习5%认真学习网络课程资源，学习完成率为95%以上。认真学习网络课程资源，学习完成率为75%以上。认真学习网络课程资源，学习完成率为65%以上。不能认真学习网络课程资源，学习完成率为60%以下。章节测验5%章节测验平均分86分以上章节测验平均分70分以上章节测验平均分60分以上章节测验平均分60分以下期中考核20%期中成绩86分以上期中成绩70分以上期中成绩60分以上期中成绩60分以下期末考核20%期末成绩86分以上期末成绩70分以上期末成绩60分以上期末成绩60分以下六、教学文件资源开发意见1．课程教学设计方案编写意见课程教学设计的内容包括：课程总体方案设计、学习任务方案设计和学习活动方案设计。其中课程总体方案设计包括课程总体的学习内容、教学内容、组织形式、能力目标、学习成果要求、考核方案和教学组织设计等。学习任务方案设计包括每个任务的学习内容、能力目标、专业知识、学习环境、专业工作方法、学习成果、评价标准和教学组织的设计。学习活动方案设计包括每个活动的学习内容、能力目标、学习成果、评价方案和评分标准、教学组织、教学过程等的设计。课程总体方案中的学习内容、教学内容要与课标保持一致，能力目标要包含课标中的能力目标，考核方案要注重过程考核。学习任务方案是课程总体方案的细化，每个任务的学习内容、能力目标要与课标保持一致，学习成果为完成任务的所有成果列表，成果包括任务成果和过程资料。学习活动方案描述了学习任务方案中每一个活动的内容，属于相同任务的学习活动中的学习内容、能力目标、学习成果应涵盖学习任务方案中的内容。根据专业人才培养目标和岗位技能要求，编写课程教学设计方案，并定期对教学文件进行讨论和修改，以适应教学改革和人才培养的需要。同时，及时将在教学过程中发现的问题和新想法在一起交流，不断完善课程教学设计方案，保持课程教学设计方案的先进性。2．项目指导书（教学案例集）、校本教材等教学资料的开发思路与意见项目指导书包括：项目目的、项目内容、学习内容、学习方法和步骤、需要的工具、容易出现的问题及如何解决等方面。项目指导书按照项目任务分章节编写。每个任务均需要描述学习内容、能力目标、学习成果列表、评价方案和评分标准；描述任务完成的步骤；描述会发生的问题及问题的解决办法。学生可以按照项目指导书中的任务步骤完成相关任务。校本教材：编撰校本教材要优化教学内容，满足学生的个性发展需要。准确把握素材深度广度，使理论化、系统化的知识通过生动形象的载体表现出来。编排顺序灵活多样，可以突破统编教材以知识及能力的螺旋递进为经线进行编排的体例，构建全新教材结构，各模块既各自独立又相互联系，使学生能更好理解教材内容，化抽象为形象，化深奥为浅显。校本教材应该是一个由基本概念、原理和基本材料等组成的有机知