Spark大数据分析与实战（第二版） 课程标准

《Python程序设计》课程标准开课院系：课程编号：课程负责人：编制日期：年月日

《Spark大数据技术》课程标准课程名称：Spark大数据技术适用专业：大数据技术、人工智能技术应用、软件工程、计算机应用等相关专业1．前言1.1课程性质本课程是大数据技术、人工智能技术等专业的核心课程，主要培养学生的Spark编程能力，掌握程序设计的基本方法，具备能够利用编写程序解决问题的能力。本课程为大数据技术等专业的核心课程，通过对本门课程的学习，使学生形成结构化编程思想、面向对象编程思想；掌握第三方库编程的思想方法，为在专业学习中应用计算机语言解决实际问题打下坚实的基础。1.2课程设计理念本课程以职业岗位需求为导向、以能力培养为核心、以学生为主体、以素质培养为本位的理念进行整体开发设计。课程设计上紧密围绕专业人才培养目标，以大数据分析岗位需求为导向，突出职业岗位能力的培养，选择Spark批处理、Spark流处理、Spark机器学习等相关知识点于技能点，形成理论与实践、知识与技能相统一的课程教学内容；课程设计上体现项目化教学与专业知识教学相结合，将知识、技能、态度贯穿于各教学项目中，以知识、能力和方法综合培养为主要教育目标，培养学生的Spark大数据分析编程能力。1.3课程设计思路“以项目为载体、任务驱动”的教学模式，通过“做中教，做中学，做中练，做中熟”，培养学生的编程知识和编程能力，提高其实践与创新能力，养成良好的职业素质。部分对接“国家专业教学标准”及“全国职业技能大赛”，秉承“学生易学、老师易教”理念，依据“项目引领、任务驱动”思路，针对数据批量处理、流式处理、机器学习等Spark典型应用情境，设计了8个教学项目（包含开发环境配置、SparkCore、SparkSQL、StructuredStreaming、SparkMachineLearning等技术）；每个项目细分为3-6个子任务，保证技术过渡的“平滑性”。设计上由浅入深，由实践到理论，再从理论回到实践，符合初学者认知、学习规律。2．课程目标2.1总体目标本课程为对接大数据技术国家专业教学标准和校本人才培养方案，引入大数据技术与应用国家职业技能大赛相关内如，培养具备Spark大数据开发技能，能够利用批数据处理、流式数据处理、机器学习应用开发，践行社会主义核心价值观，具备技能报国理想和创新探索精神的新一代数字工匠。通过本课程学习，学生掌握SparkSQL、StructuredStreaming、ML等基本用法，能根据需求制定数据处理流程，在规定时间内解决实际问题。2.2具体目标2.2.1知识目标1、了解Spark分布式计算框架的原理及应用；2、熟悉Scala程序设计语言的基本语法；3、熟悉RDD计算的创建、转换过程；4、了解RDD缓存、共享变量等优化策略，理解RDD的依赖关系；5、熟悉DataFrame的常用API用法；6、理解SparkStreaming的工作原理，熟悉计算流程；7、理解StructuredStreaming的原理，熟悉流式编程流程；8、了解Spark机器学习程序的编写步骤；9、熟悉IDEA开发工具的使用。2.2.2能力目标1、能够独立大家Spark+Hadoop的开发环境；2、能够编写简单的Scala程序；3、能使用SparkRDD相关技术完成离线数据的处理；4、能使用SparkSQL相关技术完成离线数据的处理；5、能使用SparkStreaming完成流数据的处理；6、能使用StructuredStreaming完成流数据的处理；6、选择合适的机器学习算法。完成简单的分类、聚类、推荐应用。2.2.3素质目标1、养成良好的Spark编程习惯；2、具备一定的沟通表达、团队协作能力；3、具备较强的自主学习能力和解决实际问题的能力。3．课程内容与学时分配序号模块教学内容教学方法参考课时1搭建Spark开发环境基于Ubuntu系统，搭建Spark开发环境（含Hadoop伪分布）。教学做一体2Scala语言基础在学习Scala语法基础上，编写Scala代码完成新能源汽车销售数据的处理。教学做一体3SparkRDD处理离线数据借助成熟的SparkRDD技术，分析交通违章记录文件中的数据。教学做一体4IDEA工具的应用安装配置IDEA开发工具，借助IDEA完成碳排放数据的分析教学做一体5SparkSQL处理离线数据学习结构化数据处理模块SparkSQL；根据SparkSQL完成病人健康检测数据的处理教学做一体6SparkStreaming处理流数据针对流式数据，引入SparkStreaming模块，完成电商用户行为的分析教学做一体7StructuredStreaming处理流数据使用Spark新一代流式处理模块StructuredStreaming，完成流式智慧交通监控数据的处理。教学做一体8Spark机器学习应用使用决策树、随机森林模型预测植被种类，并进行调优。教学做一体总计4．实施要求4.1教材及参考资料1、选取原则所选的教材应充分体现培养学生的职业能力和解决实际问题能力为中心思想，注重理论与实践相结合、教材内容与实际项目相结合，强调Spark技术在实践过程中的应用，融入思政元素、践行立德树人。2、主要教材郑述招等.《Spark大数据分析与实战（第2版）》，西安电子科技大学出版社，20243、参考资料Spark官网./4.2教学方法与手段4．2．1教学模式“以项目为载体、任务驱动”的教学模式，通过“做中教，做中学，做中练，做中熟”，提高学生实践与创新能力，养成良好的编程习惯与思维。4．2．2教学方法在教学过程中根据课程需要灵活采用项目导向、案例教学的教学方法。注重任务驱动的教学过程。采用多媒体课件、视频、实际操作演示、师生交互，平台课资源共享等多种形式进行教学活动。4．2．3教学手段充分发挥网络和多媒体等现代化教学手段的作用，在实训在一体化多媒体室进行课堂教学，为学生提供丰富的网络资源和训练平台。4.3考核与评价本课程考核由以下几部分组成，分数比例为：平时表现考核（平时表现+单元测验）