Spark大数据技术与应用教案（人邮）第4、5章Spark编程进阶、SparkSQL：结构化数据文件处理

Word-8-Spark大数据技术与应用教案（人邮）第4、5章Spark编程进阶、SparkSQL：结构化数据文件处理

第4章Spark编程进阶教案课程名称Spark大数据技术与应用课程类别必修适用专业大数据技术类相关专业总学时64学时（其中理论40学时，试验24学时）总学分

4.0学分本章学时6学时

一、材料清单

（1）《Spark大数据技术与应用》教材

（2）配套PPT

（3）引领性提问

（4）探索性问题

（5）拓展性问题

二、教学任务与基本要求

1.教学任务主要介绍如何使用IntelliJIDEA搭建Spark开发环境，以及如何在开发环境中编程和运行程序运行程序主要介绍两种办法一种是在IntelliJIDEA中设置masterURL运行，一种是打包程序在集群中运行对spark-submit提交集群运行的办法着重描述，并且分析常用的参数设置为了提升运行效率，介绍数据持久化以及数据分区办法最后再以比赛网站用户拜访目标为例，对所学学问举行实践操作

2.基本要求

（1）掌控配置Spark开发环境

（2）掌控如何新建工程和运行工程

（3）掌控运行Spark程序的办法

（4）了解数据分区与持久化的办法

一、问题L引领性提问引领性提问需要老师按照教材内容和同学实际水平，提出问题，引发引领同学去解决问题，提问，从而达到理解•、掌控学问，进展各种本事和提升思想觉悟的目的

（1）之前的编程都是在spark-shell中，过程中有没有碰到什么问题？

（2）假如要写入一个类，用spark-shell环境你觉得会碰到哪些问题？

（3）RDD是一个分区数据集合，是否了解过查看分区的办法？

（4）有没有碰到过需要自己定义RDD分区的状况？

（5）了解过持久化的概念吗？

2.探索性问题探索性问题需要老师深化钻研教材的基础上细心设计，提问的角度或者在引领性提问的基础上，从重点、难点问题切入，举行插入式提问或者是对引领式提问中尚未涉及但在课文中乂是重要的问题加以设问

（1）在IDEA中搭建Spark编程环境有哪些需要配置的内容？

（2）如何在IDEA中编写Spark程序？

（3）如何打包程序并提交到Spark集群中运行？

（4）持久化RDD的办法有哪些？

（5）自定义数据分区方式需要继承哪个类，实现哪些办法？

（6）程序运行时有哪些集群参数能够优化？

3.拓展性问题拓展性问题需要老师深刻理解教材的意义，同学的学习动态后，按照同学学习层次，提出切实可行的关乎实际的可操作问题亦能够提供拓展资料供同学研习探讨，完成拓展性问题

（1）repartition分区与自定义分区之间有什么异同点？

（2）在一个spark程序类中，利用SparkConf设置了appName,假如在使用spark-submit提交目标到集群中时再次设置appName,那么根据参数的优先级，终于使用了哪一个appName

二、主要学问点、重点与难点

1.主要学问点

（1）下载与安装IntelliJIDEA

（2）Scala插件安装与使用

（3）配置Spark运行环境的办法

（4）运行Spark程序的办法

（5）持久化办法

（6）数据分区办法

2.重点

（1）配置Spark运行环境

（2）运行Spark程序的方式

（3）持久化（缓存）实现

（4）数据分区

3.难点

（1）自定义数据分区

（2）打包Spark工程并运行

（3）Spark-submit提交程序的命令及参数设置

三、教学过程设计

1.理论教学过程

（1）搭建IDEA开发环境

（2）配置Spark运行环境

（3）运行Spark程序的方式

（4）持久化（缓存）实现

（5）数据分区

2.试验教学过程

（1）搭建开发环境

（2）自定义分区

（3）比赛网站拜访日志分析

四、教材与参考资料

1.教材肖芳，张良均.Spark大数据技术与应用（第2版）（微课版）［M］.北京人民邮电出版社.

2022.

2.参考资料11］肖芳，张良均.Spark大数据技术与应用［M］.北京人民邮电出版社.

2022.［2］王哲，张良均.Hado叩与大数据挖掘（第2版）［M］.北京机械工业出版社.

2022.［3］张军，张良均.Hadoop大数据开发基础（第2版）（微课版）［M］.北京人民邮电出版社.

2022.第5章SparkSQL结构化数据文件处理教案课程名称Spark大数据技术与应用课程类别必修适用专业大数据技术类相关专业总学时64学时（其中理论40学时，试验24学时）总学分

4.0学分本章学时6学时

五、材料清单

（1）《Spark大数据技术与应用》教材

（2）配套PPT“

（3）引领性提问

（4）探索性问题

（5）拓展性问题

六、教学任务与基本要求

3.教学任务主要介绍Spark四大组件之一SparkSQL,首先对SparkSQL的基本概念举行简要概述，并且讲解如何配置SparkSQL以及SparkSQL与Shell交互，接着具体介绍SparkSQL的核心抽象编程模型DataFrame,包括创建DataFrame对象、DataFrame上的Action操作、DataFramc对象上的查询操作以及DataFrame对■象上的输出操作，最后使用SparkSQL对法律服务网站数据举行探究分析

4.基本要求

（5）了解SparkSQL的基本概念

（6）掌控SparkSQL与Shell交互

（7）掌控创建DataFrame对象的办法

（8）掌控DataFrame查看数据的办法

（9）掌控DataFrame的查询及输出操作

七、问题

5.引领性提问引领性提问需要老师按照教材内容和同学实际水平，提出问题，引发引领同学去解决问题，提问，从而达到理解、掌控学问，进展各种本事和提升思想觉悟的目的

（6）你学过MySQL吗？是否了解MySQL的基本语法？

（7）你了解SparkSQL的基本概念吗？

（8）是否接触过DataFrame类型是否了解DataFrame类型的基本操作办法？

（9）对于SparkSQL的使用方式，你知道有哪些？

6.探索性问题探索性问题需要老师深化钻研教材的基础上细心设计，提问的角度或者在引领性提问的基础上，从重点、难点问题切入，举行插入式提问或者是对引领式提问中尚未涉及但在课文中乂是重要的问题加以设问77）SparkSQL能够拜访哪些数据库？88）SparkSQL如何读取json格式的数据？99）SparkDataFrame与RDD有何区分？100）SparkSQL查询一个DataFrame中的某个字段有哪些办法？（IDSparkSQL如何注册一个暂时表？

7.拓展性问题拓展性问题需要老师深刻理解教材的意义，同学的学习动态后，按照同学学习层次，提出切实可行的关乎实际的可操作问题亦能够提供拓展资料供同学研习探讨，完成拓展性问题3RDD是一个数据存放在多个分区的集合,DataFrame是否也是相同的存储方式？4SparkSQL支持自定义函数吗？5你认为SparkSQL能否彻低取代Hive技术？

八、主要学问点、重点与难点

8.主要学问点7SparkSQL简介8SparkSQL配置9SparkSQL与Shell交互实现10DataFrame基础操作办法

9.重点5SparkSQL与Shell交互实现6创建DataFrame对象的办法7DataFrame查看数据的办法8DataFrame的查询及输出操作

10.难点4创建DataFrame对象的办法5将DataFrame举行存储

（6）DataFrame查询数据操作

九、教学过程设计1L理论教学过程

（6）熟悉SparkSQL

（7）SparkSQL配置

（8）SparkSQL与Shell交互实现

（9）DataFrame基础操作办法

12.试验教学过程

（1）配置SparkSQL

（2）掌控DalaFrame基础操作

（3）探究分析房屋售价数据

（4）统计分析顾客对某城市餐饮店的点评数据

十、教材与参考资料

13.教材肖芳，张良均.Spark大数据技术与应用（笫2版）（微课版）