大数据分析及应用项目教程(Spark SQL)（微课版） 教案 许慧 单元1-3 大数据分析概述-学生信息处理分析

单元教学活动设计二级学院信息工程学院专业大数据技术设计者许慧课程名称大数据挖掘与分析学年学期2授课类型□理论型，√理实一体型，□实践型单元名称单元1.大数据分析概述班级大数据技术1、2人数教材来源自编教材授课学时4学生学习条件分析1.起点分析：(1)学生具备Linux相关操作、大数据基础运维的基本技能；(2)学生具备自主学习能力，能主动查阅资料预习。2.重点分析：(1)大数据分析的相关工具。(2)大数据分析可视化的概念及相关工具。3.难点分析：(1)SparkSQL的运行架构。(2)Catalyst查询编译器的工作流程。教学方法手段1.教学方法：讲授法、讨论法。2.教学手段：实例讲解演示。教学资源1.个人资源：教材、教学PPT与相关素材2.学校资源：一体化教室、超星平台中的公共资源3.网络、社会或出版社资源：多媒体课件、网上教学资源、精品课网站能力指标掌握大数据分析基础知识C1养成良好的自我管理素养B1提升学生沟通交流、小组协作能力E2教学目标知识1.了解大数据分析的概念、特点、类别、优缺点。2.知道大数据分析的相关工具3.了解大数据分析可视化的概念及相关工具。4.了解SparkSQL的背景、特点。能力1.知道SparkSQL的运行架构2.掌握Catalyst查询编译器的工作流程。素质1.养成良好的自我管理素养2.提升沟通交流、小组协作能力教师课前准备1.准备好一体化机房，保证机器正常运转，安装好软件。2.准备好授课PPT，完成所有案例设计，熟练示范操作的过程。3.设计学生要完成的任务。4.设计好教学环节。5.服装大方，自然得体。学生课前准备查阅资料，预习教材活动历程一、准备活动1.活跃课堂气氛，自我介绍，学习通签到、点名。2.课程定位，课程教学内容安排与考核方式介绍。3.课程主要学习内容、学习方法介绍。二、发展活动1．关于大数据分析情境导入；2．学习目标和要求；3．提问：什么是大数据分析？大数据的“5V”特征大数据分析概念大数据分析的特点大数据分析类别大数据分析的优势与缺点4．提问：大数据分析工具有哪些？Hadoop生态圈中的大数据分析工具大数据分析编程语言其他工具5.关于大数据分析可视化。三、课堂小结大数据分析概述、工具和可视化。——第1、2节结束——一、准备活动1.活跃课堂气氛，学习通签到、点名。2.认识SparkSQL情境导入。3.学习目标和要求。二、发展活动1.SparkSQL背景简介SparkSQL的背景SparkSQL的特点2.SparkSQL运行原理。SparkSQL的运行架构Catalyst查询编译器SparkSQL的运行原理SessionCatalog保存元数据ANTLR生成未绑定的逻辑计划Analyzer绑定逻辑计划Optimizer优化逻辑计划SparkPlanner生成可执行的物理计划CostModel选择最佳物理执行计划execute执行物理计划三、课堂小结与作业布置1．小结：本次课程学习重点，学习过程中出现的问题与解决方法。2．布置：完成第1章课后练习。——第3、4节结束——学习评量课堂练习中巡视指导课后作业纸笔作业：完成第1章课后练习题。教学后记目标或能力指针达成度、学习表现、内容、方法、资源、业师协同等向度1.目标或能力指标达成度全班80%学生达到了教学目标和能力指标。2.学习表现课内预习阶段发现学生预习时个别同学没有带书，大部分同学没有带笔和笔记本，阅读习惯有待改进。

单元教学活动设计二级学院信息工程学院专业大数据技术设计者许慧课程名称大数据挖掘与分析学年学期2授课类型□理论型，√理实一体型，□实践型单元名称单元2.实践环境准备班级大数据技术1、2人数教材来源自编教材授课学时6学生学习条件分析1.起点分析：(1)了解大数据分析概述、工具和可视化；(2)知道SparkSQL背景和运行原理。2.重点分析：(1)Hadoop集群环境搭建。(2)Spark集群安装搭建。(3)Scala下载、安装和配置3.难点分析：(1)Hadoop集群环境搭建。(2)Spark集群安装搭建。教学方法手段1.教学方法：讲授法、讨论法。2.教学手段：实例讲解演示。教学资源1.个人资源：教材、教学PPT与相关素材2.学校资源：一体化教室、超星平台中的公共资源3.网络、社会或出版社资源：多媒体课件、网上教学资源、精品课网站能力指标掌握Hadoop和Spark集群的安装部署C1养成良好的自我管理素养B1提升学生沟通交流、小组协作能力E2教学目标知识1.了解Hadoop、Spark和Scala的基础知识。能力1.掌握Hadoop集群环境搭建的环境准备工作，包括配置主机名、防火墙设置、免密登录设置、Java环境设置。2.掌握安装Hadoop的过程、配置文件设置及启动集群的方法。3.掌握Spark集群安装配置方法。4.能使用Spark-shell进行简单编程测试。5.会下载、安装配置Scala工具。6.能启动Scala进行编程测试。素质1.养成良好的自我管理素养2.提升沟通交流、小组协作能力教师课前准备1.准备好一体化机房，保证机器正常运转，安装好软件。2.准备好授课PPT，完成所有案例设计，熟练示范操作的过程。3.设计学生要完成的任务。4.设计好教学环节。5.服装大方，自然得体。学生课前准备查阅资料，预习教材活动历程一、准备活动1.活跃课堂气氛，学习通签到、点名。二、发展活动1．Hadoop集群环境搭建情境导入；2．学习目标和要求；3．操作演示Hadoop集群搭建集群节点规划配置主机名和IP连接MobaXterm终端工具关闭防火墙关闭SElinux修改/etc/hosts文件配置免密登录配置Java环境安装Hadoop启动Hadoop集群4．运行经典案例wordcount在本地root目录下创建一个txt文件，输入一段自定义文字。上传文本到到hdfs。运行命令并查看结果三、课堂小结Hadoop集群搭建知识与技能回顾。——第1、2节结束——一、准备活动1.活跃课堂气氛，学习通签到、点名。2.Spark集群部署与使用情境导入。3.学习目标和要求。二、发展活动1.Spark安装上传软件包修改环境变量修改Spark配置文件复制修改spark启动脚本分发Spark安装文件到slaver01和slaver02。2.启动Spark。查看各节点服务进程状态Web查看Spark主页情况3.Spark集群测试使用spark-submit工具提交Spark作业使用Spark-sql使用Sparkshell三、课堂小结小结：本次课程学习重点，学习过程中出现的问题与解决方法。——第3、4节结束——一、准备活动1.活跃课堂气氛，学习通签到、点名。2.Scala安装情境导入。3.学习目标和要求。二、发展活动1.下载Scala安装包2.安装配置上传安装包并解压配置环境变量，添加Scala相关配置使环境变量生效，查看Scala版本启动Scala三、课堂小结1．小结：本次课程学习重点，学习过程中出现的问题与解决方法。2．布置：完成第1章课后练习。——第5、6节结束——学习评量课堂练习中巡视指导课后作业纸笔作业：完成第2章课后练习题。教学后记目标或能力指针达成度、学习表现、内容、方法、资源、业师协同等向度1.目标或能力指标达成度全班80%学生达到了教学目标和能力指标。2.学习表现课内预习阶段发现学生预习时个别同学没有带书，大部分同学没有带笔和笔记本，阅读习惯有待改进。单元教学活动设计二级学院信息工程学院专业大数据技术设计者许慧课程名称大数据挖掘与分析学年学期2授课类型□理论型，√理实一体型，□实践型单元名称单元3.学生信息处理分析班级大数据技术1、2人数教材来源自编教材授课学时16学生学习条件分析1.起点分析：(1)了解大数据分析概述、工具；(2)掌握基本的程序编写语言。2.重点分析：Scala语言基础。3.难点分析：能综合应用Scala基础知识编写应用程序进行数据分析。。教学方法手段1.教学方法：讲授法、讨论法。2.教学手段：实例讲解演示。教学资源1.个人资源：教材、教学PPT与相关素材2.学校资源：一体化教室、超星平台中的公共资源3.网络、社会或出版社资源：多媒体课件、网上教学资源、精品课网站能力指标掌握Scala基础语言和编程C1养成良好的自我管理素养B1提升学生沟通交流、小组协作能力E2教学目标知识1.理解Scala数据类型、常量与变量、运算符。2.了解Scala类和对象、模式匹配的基本概念。能力1.掌握Scala判断与循环、函数式编程。2.掌握Scala集合操作。3.掌握Scala类和对象、模式匹配的定义及操作方法。素质1.养成良好的自我管理素养2.提升沟通交流、小组协作能力教师课前准备1.准备好一体化机房，保证机器正常运转，安装好软件。2.准备好授课PPT，完成所有案例设计，熟练示范操作的过程。3.设计学生要完成的任务。4.设计好教学环节。5.服装大方，自然得体。学生课前准备查阅资料，预习教材活动历程一、准备活动1.活跃课堂气氛，学习通签到、点名。二、发展活动1．班级基本情况分析情境导入；2．学习目标和要求；3．数据类型Scala与Java的数据类型相同，但是Scala中的数据类型都是对象即Scala没有java中的原生类型。因此Scala可以对数字等基础类型调用方法。4．常量与变量定义方法。数据类型推断。多变量声明5.运算符算数运算符关系运算符逻辑运算符位运算符赋值运算符6.数组声明与定义方式基本操作方法三、课堂小结Scala数据类型、常量与变量、运算符、数组小结。——第1、2节结束——一、准备活动1.活跃课堂气氛，学习通签到、点名。2.学习目标和要求。二、发展活动1.判断与循环if判断if语句的语法格式如下：if(判断条件){//如果判断条件为true则执行该语句块}if…else语句语法格式如下：if(判断条件){//如果判断条件为true则执行该语句块}else{//如果判断条件为false则执行该语句块}if…elseif…else语句语法格式如下：if(判断条件1){//如果判断条件1为true则执行该语句块}elseif(判断条件2){//如果判断条件2为true则执行该语句块}else{//如果以上判断条件都为false执行该语句块}if...else嵌套语句语法格式如下：if(判断条件1){//如果判断条件1为true则执行该语句块if(判断条件2){//如果判断条件2为true则执行该语句块}}循环while循环语法格式如下：while(条件表达式){代码块}\o"CScala+do...while循环"do...while循环语法格式如下：do{代码块}while(条件表达式)\o"CScala+for循环"for循环的语法格式如下for(varx<-range){代码块}三、课堂小结小结：本次课程学习重点，学习过程中出现的问题与解决方法。——第3、4节结束——一、准备活动1.活跃课堂气氛，学习通签到、点名。2.学习目标和要求。二、发展活动1.函数式编程函数的定义和调用def函数名[参数列表]:[返回值类型]={函数体return[表达式]}函数调用的方法如下：函数名[参数列表]匿名函数匿名函数是指不含函数名称的函数。使用“=>”定义，“=>”的左边为参数列表，“=>”右边为函数体表达式。高阶函数高阶函数是指使用其他函数作为参数，或者使用函数作为输出结果的函数。闭包闭包是一个函数，是可以访问一个函数里面局部变量的另外一个函数。函数柯里化函数编程中，接受多个参数的函数都可以转化为接受单个参数的函数，这个转化过程就是柯里化。柯里化本身也用到了闭包。嵌套函数嵌套函数即在函数内部定义函数，其中内部函数称为局部函数。2.学生所属班级和男女生数量——编程分析实现判断学生所属班级统计男女生人数信息三、课堂小结小结：本次课程学习重点，学习过程中出现的问题与解决方法。——第5、6节结束——一、准备活动1.活跃课堂气氛，学习通签到、点名。2.学习目标和要求。二、发展活动1.列表定义方法列表的常用操作2.Set集合定义Set集合Set的基本操作三、课堂小结Scala列表与Set集合小结。——第7、8节结束——一、准备活动1.活跃课堂气氛，学习通签到、点名。2.学习目标和要求。二、发展活动1.元组定义元组的语法一：valtuple=(元素1,元素2,元素3…)定义元组的语法二：valt=newTuplen(元素1,元素2,元素3...元素n)2.Map映射映射定义映射的常用操作三、课堂小结Scala元组与Map映射小结。——第9、10节结束——一、准备活动1.活跃课堂气氛，学习通签到、点名。2.学习目标和要求。二、发展活动1.函数组合器组合器包括map、filter、foreach、groupBy、flatten、drop、zip等。2.以班级为单位整理学生信息——编程分析实现以班级为单位整理学生信息，可以先将数据保存到列表中，然后使用groupBy组合器以班级为条件进行分组。三、课堂小结函数组合器小结。——第11、12节结束——一、准备活动1.活跃课堂气氛，学习通签到、点名。二、发展活动1．学生基本情况获取情境导入；2．学习目标和要求；3.类和对象类的定义方式如下：Class类名称(参数列表){//定义类的字段和方法}继承的语法如下：class子类名extends父类名{类体}4.单例对象和伴生对象单例对象定义一个单例对象的语法如下：objec