《大数据技术基础（第2版）》792-4（覃事刚）教案 第11课 数据处理与分析（三）

PAGE6PAGE6PAGE5PAGE5

课题数据处理与分析（三）课时2课时（90min）教学目标知识技能目标：（1） 了解Spark的概念和主要组件。（2） 理解Spark的运行架构和工作流程。思政育人目标：自觉履行国家科技自立自强的使命担当，面向世界科技前沿和国家重大需求，大胆创新，追求卓越，勇攀科技高峰。教学重难点教学重点：Spark的运行架构和工作流程教学难点：使用SparkJavaAPI编写简单的应用程序教学方法案例分析法、问答法、讨论法、讲授法教学用具电脑、投影仪、多媒体课件、教材教学设计第1节课：→→传授新知（23min）→课堂讨论（15min）第2节课：→传授新知（20min）→课堂互动（15min）→课堂小结（3min）→作业布置（2min）教学过程主要教学内容及步骤设计意图第一节课考勤

（2min）【教师】使用文旌课堂APP【学生】按照老师要求签到培养学生的组织纪律性，掌握学生的出勤情况问题导入（5min）【教师】提出以下活动：基于内存的大数据处理引擎Spark有什么优点？【学生】聆听、思考、举手回答通过问题导入的方法，引导学生主动思考，激发学生的学习兴趣传授新知

（23min）【教师】通过学生的回答引入要讲的知识，介绍Spark的相关知识一、什么是Spark数据是用来记录客观事物或事件的符号，具体来说，是对客观事物或事件的性质、状态及相互关系等信息进行记录的物理符号。它是可识别的、抽象的符号（详见教材）✈【教师】提出问题：什么是Spark？✈【学生】思考、举手回答✈【教师】对学生的回答进行总结Spark是一个针对超大数据集合的、低延迟的集群分布式计算系统，它同时支持批处理和流计算。其最初由加州大学伯克利分校的AMPLab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。（详见教材）✈【教师】利用多媒体辅助讲解Spark的主要组件Spark由4个主要组件组成，包括提供交互式数据查询的SparkSQL、实时计算的SparkStreaming、机器学习的MLlib和图处理的GraphX。（1）SparkSQL提供了类SQL的结构化数据交互式操作。它由Shark（HiveonSpark）演化而来，Shark严重依赖于Hive，并对Hive进行了改造。······（详见教材）✈【教师】提出以下学习任务：阅读“提示”部分，进一步了解Spark组成。✈【学生】自主学习，理解，总结二、Spark与Hadoop对比分析✈【教师】利用多媒体辅助讲解Spark与Hadoop对比分析Spark与Hadoop主要在抽象层次上有所不同。Hadoop被创建为处理大量现有数据的引擎，它具有较低的抽象级别，允许执行复杂的操作，但可能导致学习和管理困难。Spark更容易，更快捷，具有许多方便的高级工具和功能，可以简化工作。Spark在Hadoop之上运行，并且拥有许多优秀的库，如SparkSQL、MLlib等，它的出现促使Hadoop生态圈发生演变，以便更好地为大数据分析服务。（详见教材）✈【教师】提出以下问题：根据Spark生态系统图片，说一说Spark与Hadoop对比分析✈【学生】自主学习，理解，总结✈【教师】对学生的回答进行总结Hadoop与Spark都是并行计算，且都是用MapReduce原理模型进行计算。与Hadoop开发语言不同的是，Spark是由Scala语言编写而成。Scala是一种函数式编写语言，是运行在JVM（Java虚拟机）上的高级静态语言。（详见教材）三、Spark的运行架构和工作流程✈【教师】利用多媒体辅助讲解与Spark的运行架构相关的重要概念（1）RDD：弹性分布式数据集（resilientdistributeddataset）的简称，是分布式内存的一个抽象概念，它提供了一种高度受限的共享内存模型。（2）DAG：有向无环图（directedacyclicgraph）的简称，反映RDD之间的依赖关系。（详见教材）✈【教师】提出问题：Spark的运行架构包含哪些部分？✈【学生】思考、举手回答✈【教师】对学生的回答进行总结Spark的运行架构包括集群管理器（ClusterManager）、运行作业任务的工作节点（WorkerNode）、每个应用的任务控制节点（DriverProgram）和每个工作节点上负责具体任务的执行进程（Executor）。✈【教师】提出以下学习任务：阅读“知识库”部分，进一步了解什么是RDD。✈【学生】自主学习，理解，总结✈【教师】利用多媒体辅助讲解Spark的工作流程（1）当一个Spark应用被提交时，首先需要为这个应用构建起基本的运行环境，即由任务控制节点（DriverProgram）创建一个SparkContext，由SparkContext负责和集群资源管理器（ClusterManager）的通信，以及进行资源的申请、任务的分配和监控等。SparkContext会向资源管理器注册并申请运行Executor的资源。（2）资源管理器为Executor分配资源，并启动Executor进程，Executor运行情况将随着“心跳”发送到资源管理器上。（详见教材）✈【教师】提出以下学习任务：观察图片Spark的工作流程，根据图片流程再次理解和学习Spark的工作流程。✈【学生】自主学习，理解，总结【学生】聆听、记录、理解通过教师的讲解和演示，互动以及案例，使学生了解Spark的相关知识课堂讨论（15min）【教师】组织学生阅读“高手点拨”部分（详见教材），然后组织学生以小组为单位讨论以下问题：Spark的运行架构与Executor有什么必然联系？【学生】聆听、思考、小组讨论，由小组代表上台发表讨论结果【教师】与学生一起评价各组的讨论结果通过课堂讨论，加深学生对Spark的了解第二节课实战演练（20min）【教师】演示安装Spark并编写单词统计程序，然后组织学生上机操作一、安装Scala✈【教师】提出学习任务：阅读课本“提示”部分，理解什么是Scala?✈【学生】自主学习，理解✈【教师】演示实际操作步骤：以hadoop0虚拟机为例，在CentOS7系统中安装Scala的方法（1）下载Scala安装包scala-2.11.8.tgz。（2）使用WinSCP软件将下载的Scala安装包scala-2.11.8.tgz上传到hadoop0虚拟机的“/opt/packages”目录下，然后执行以下命令进入该目录：#cd/opt/packages……（详见教材）✈【学生】观察，记录，思考✈【学生】教师演示完成后，由学生自主操作✈【教师】巡视课堂记录，对个别学习进行指导二、安装Spark✈【教师】提出学习任务：阅读课本“提示”部分，了解Spark的安装模式。✈【学生】自主学习，理解✈【教师】演示实际操作步骤：（1）通过页面下载Spark安装包spark-2.3.3-bin-hadoop2.7.tgz。（2）使用WinSCP软件将下载的Spark安装包spark-2.3.3-bin-hadoop2.7.tgz上传到hadoop0虚拟机的“/opt/packages”目录下，然后执行以下命令进入该目录：#cd/opt/packages……（详见教材）✈【学生】观察，记录，思考✈【学生】教师演示完成后，由学生自主操作✈【教师】巡视课堂记录，对个别学习进行指导✈【教师】提出学习任务：阅读课本“提示”部分，了解Spark的启动和停止。✈【学生】自主学习，理解三、单词统计程序✈【教师】演示实际操作步骤：SparkAPI支持Scala、Java、Python和R多种编程语言，这里介绍如何使用SparkJavaAPI编写单词统计程序。（1）在Eclipse开发主界面选择“File”→“New”→“Other...”选项（或按“Ctrl+N”组合键），打开“New”对话框，选择“Maven”→“MavenProject”选项，然后单击“Next”按钮。（2）弹出“NewMavenProject”对话框，保持默认设置，单击“Next”按钮。……（详见教材）✈【学生】观察，记录，思考✈【学生】教师演示完成后，由学生自主操作✈【教师】巡视课堂记录，对个别学习进行指导✈【教师】提出学习任务：阅读课本“小技巧”部分，了解Spark的使用技巧。✈【学生】自主学习，理解【学生】、记录、理解通过实战演练，让学生了解如何安装Spark并编写单词统计程序小组互助（20min）【教师】组织学生以小组为单位，使用Spark编写简单应用程序观看、聆听、思考、上机操作，由先完成的小组成员帮助其他成员完成操作【教师】巡堂指导，及时解决学生遇到的问题通过小组互助，使学生熟悉Spark软件相关代码，为解决实际问题打好基础课堂小结

（3min）【教师】简要总结本节课的要点本节课学习了基于内存的大数据处理引擎Spark软件，并且通过实战演练学习安装Spark软件及编写程序。希望大家在课下多加练习，巩固所学知识【学生】总结回顾知识点总结知识点，巩固学生对Spark相关知识的印象作业布置

（2min）【教师】布置课后作业（1）