大数据分析及应用项目教程(Spark SQL)（微课版） 课程教学大纲、授课计划

课程名称大数据挖掘与分析课程代号课程类型eq\o\ac(□,√)授课教师许慧修读方式必修eq\o\ac(□,√)必选选修学分2开课学期第4学期总学时(授课)64实践学时32办公地点720课外答疑时间周三中午联系方课程描述本课程旨在引领学生掌握SparkSQL的基础语法与基本思想，通过课堂演示、实操训练、分组实训、小组汇报等实践活动，提升学生数据挖掘与分析的能力，养成良好的自我管理素养，提升学生沟通协作能力。B课程教学目标(标注能力指标)知识大数据分析相关概念C1SparkSQL的基础知识C1能力会Spark集群部署与使用D1掌握Scala编程语言基础D1掌握SparkSQL各操作和算子在数据分析中的使用方法。D1掌握数据准备、清洗、转换、分析、输出、查询过程中用到的DataFrame操作方法。D2掌握基于Web的notebook开发工具——ZepplinD2素养3.1养成良好的自我管理素养B13.2提升学生沟通交流、小组协作能力E2C核心能力A尚德弘毅B健康关怀C专业知识D熟用技能E沟通协作F问题解决备注D课程权重A1A2B1B2C1C2D1D2E1E2F1F2合计100%10%20%40%10%10%10%E学分数分配权重数学及基础科学等相关课程专业课程-理论专业课程-专业/务实专业课程-实践/实作通识或共同科目（不含数学）其他总学分数/1.52.54.5F教材内容大纲章节教材内容(能力指标代码)学时分配理论(实务)实践合计1.大数据分析概述C1、D1、F22242.实践环境准备C1、D13363.学生信息处理分析C1、D188164.房产大数据分析与探索C1、D1、D288165.电商大数据分析与探索D1、D2、F277146.Zepplin数据可视化D1、D2、F2448323264G教学方式eq\o\ac(□,√)讲授讨论或座谈问题导向学习eq\o\ac(□,√)分组合作学习专题学习eq\o\ac(□,√)实作学习发表学习实习参观访问其它()H学习评价成绩项目配分评价方式(呼应能力指标)细项配分说明平时成绩30表现性评价（观察）（C1、D1）10出席率10分：基本分6分，缺课、迟到、上课玩游戏等，每次酌情扣0.5-1分实作评价（观察）（D1、D2、C1）20各单元表现（含学习态度、沟通合作、专业技能、专业能力等）期中成绩30实作评价（D1、D2、F1、F2）30期中测验期末成绩40实作评价（F2、B2、D1、D2）40期末测验I进度表次别单元名称与内容能力指标代码1第1章大数据分析概述任务1.1关于大数据分析情境导入学习目标和要求1.1.1什么是大数据分析1.1.2大数据分析工具1.1.3大数据分析可视化任务1.2认识SparkSQL情境导入学习目标和要求1.2.1SparkSQL背景简介1.2.2SparkSQL运行原理C1、D1、F22第2章实践环境准备任务2.1Hadoop集群环境搭建情境导入学习目标和要求2.1.1环境准备2.1.2安装Hadoop2.1.3启动Hadoop集群2.1.4运行经典案例wordcount任务2.2Spark集群部署与使用情境导入学习目标和要求2.2.1Spark安装2.2.2启动Spark2.2.3Spark集群测试任务2.3Scala安装情境导入学习目标和要求3.1.1下载安装包3.1.2安装配置脑图小结章节练习C1、D13第3章学生信息处理分析任务3.1班级基本情况分析情境导入学习目标和要求3.1.1学生所属班级和男女生数量3.1.2以班级为单位整理学生信息任务3.2学生基本情况获取情境导入学习目标和要求3.2.1学生特长情况3.2.2学生成绩情况分析脑图小结章节练习C1、D14第4章房产大数据分析与探索任务4.1某房产公司销售人员业绩分析情境导入学习目标和要求4.1.1数据集处理4.1.2数据操作分析任务4.2某城市近年房产销售状况分析情境导入学习目标和要求4.2.1数据准备4.2.2数据探索与分析4.2.3总结分析脑图小结章节练习C1、D1、D25第5章电商大数据分析与探索任务5.1女装电子商务评论情况分析情境导入学习目标和要求5.1.1数据准备5.1.2数据清洗5.1.3数据转换5.1.4数据分析5.1.5数据输出任务5.2在线销售订单数据分析情境导入学习目标和要求5.2.1数据查询操作5.2.2数据分析探索脑图小结章节练习D1、D2、F26第6章Zepplin数据可视化任务6.1Zepplin安装部署情境导入学习目标和要求6.1.1安装包下载6.1.2安装配置6.1.3测试运行Zeppelin任务6.2女装电子商务评论情况数据可视化情境导入学习目标和要求6.2.1加载数据注册视图6.2.2执行SQL数据可视化任务6.3在线销售订单数据分析可视化情境导入学习目标和要求执行SparkSQL数据可视化脑图小结章节练习D1、D2、F2J建议教材自编教材K参考书籍《基于Hadoop与Spark的大数据开发实战》，人民邮电出版社，肖睿等主编。《SparkSQL入门与数据分析实践》，人民邮电出版社，杨虹等主编。《Spark大数据处理技术》，机械工业出版社，辛立伟等主编。L先修课程大数据基础运维M教学资源多媒体课件、网上教学资源、精品课网站N注意事项1、本课程大纲进度表部分可根据教学需要进行调整2、请尊重知识产权，不得非法影印O课程分析与评估平均成绩及格率修课人数1.学习成效分析1-1总体目标：通过本课程的学习，多数学生能掌握SparkSQL的基础语法与数据挖掘分析能力。1-2知识目标：多数学生能够掌握SparkSQL的基础语法，多数学生能够掌握数据挖掘分析的基本概念和基本方法。1-3能力目标:多数学生会Spark集群部署与使用、Scala编程语言基础、SparkSQL各操作和算子在数据分析中的使用方法、数据准备、清洗、转换、分析、输出、查询过程中用到的DataFrame操作方法、掌握基于Web的notebook开发工具——Zepplin。符合本门课程以实作为主的性质。1-4素质目标：大多数学生能养成良好的自我管理素养，提升沟通交流、小组协作能力。1-5整体分析：本课程的教学策略，通过课堂讲授及编程操作演示讲授SparkSQL的基础语法知识，并通过课堂实训以及实践操作，增强学生能熟练应用SparkSQL进行数据挖掘分析的能力。2.核心能力检讨2-1各项核心能力指标分析：本课程与核心能力指标C1（掌握SparkSQL的基础语法）、D1（具备较强的SparkSQL程序设计技能）、D2（具备一定的构思、设计、开发技能）、E2（具备团队协作能力）、B1（具备良好的自我管理素养）之培养有关。C1（掌握SparkSQL的基础语法）、E2（具备团队协作能力）、B1（具备良好的自我管理素养）达成度较高，D1（具备较强的SparkSQL程序设计技能）、D2（具备一定的构思、设计、开发技能）尚需加强。2-2核心能力整体分析：通过本课程的学习，学生具有熟练应用SparkSQL的能力，具有较强的程序设计技能，能养成良好的自我管理素养，提升沟通交流、小组协作能力。3.其他3-1学习成效之评析与改善：通过实践项目任务引领、小组讨论提升学生学习动机，因此学生学习的兴趣和主动性普遍高，课堂上的互动较为活跃；此外，平时作业和实体作品制作的表现大致不错，但是有个别学生由于学习态度不够端正，不认真完成作业，导致不能通过本门课程的最终考核。对这些同学，将给予学习上的预警，并安排集中辅导，同时要注意与全班同学的沟通与交流，增加平时在线的辅导工作。3-2核心能力(指标)之评析与改善：综合学生本学期之各项表现，可以得知核心能力指标D1、D2需再加强，或许可以通过学习社团或竞赛活动的形式增强项目的开发能力。备注：1.课程大纲A—F项由所在部门和相关课程委员会编写并审核通过，教师不能自行更改；2.本课程大纲G—O项同一课程不同授课教师应协同讨论研究达成共同核心内涵，教师不宜自行更改；3.TAC工程认证专业课程之学分数分配权重分三大类数学及基础科学等相关课程、专业课程-专业/实务(含理论)、专业课程-实践/实作；4.评价方式，可参酌下例方式：(1)纸笔测验：小考、期中纸笔测验、期末纸笔测验。(2)实作评价：作业、实作成品、日常表现、表演、观察、轶事记录。(3)档案袋评价：书面报告、专题档案。(4)口语评价：口头报告、口试。附件1:阶段实作表现评量表学生姓名:____________学号:____________班级:____________组别:第__组评量日期:年月日各位同学：请针对下列评价项目并参酌「评价规准」，于自评、评议员字段打「A、B、C、D、E」其中一项后，再请老师复评。评量项目自评、评议员与老师复评（A至E）自评（20%）评议员（30%）老师（50%）1.学习态度（10%）2.语言表达能力（20%）3.任务分析和程序逻辑设计能力（20%）4.编程实操（40%）5.项目完成与时间控制（10%）合计阶段实作表现评量标准符号ABCDE1.学习态度（10%）虚心求教、积极参与小组讨论、紧跟授课教师的进度和思路、具有很强的团队合作能力和沟通能力虚心求教、参与小组讨论、认真听讲、思考，具有团队合作能力和沟通能力较主动、态度上表现尚可，参与小组讨论；团队合作能力和沟通能力较好学习态度尚可，参与小组讨论；团队合作能力和沟通能力尚可出言顶撞，服装仪容待加强2.语言表达能力（20%）语言流畅，速度得宜，用字精准，注重听众反应、很有应变能力。讲述通畅，用字尚可，有注意听众反应、有应变能力。讲述尚可，用字需要斟酌，未注意听众反应、应变能力较好讲述欠通顺，用字不佳，未注意听众反应、应变能力一般讲述混乱，没有任何重点3.任务分析和程序逻辑设计能力（20%）明确任务需求，程序流程逻辑清晰，算法新颖明确任务需求，程序流程基本清楚，算法正确。明确任务需求，程序设计逻辑需加强。不能明确任务需求，逻辑欠佳。无法说明任何问题4.编程实操（40%）能够率先在组内完成前面单元的上机实训，并编译成功。能够在规定时间内完成前面单元的上机实训，并编译成功。能在组员的帮助下完成前面单元的上机实训，并编译成功。在组员的帮助下只能完成部分的上机实训。不动手上机实践。5.项目完成与时间控制（10%）时间控制疏紧适宜、能认真按时完成项目的各项需求、完成质量杰出时间控制紧凑、能认真按时完成项目的大部分需求、完成质量优良时间分配不合理、按时完成项目的大部分需求、完成质量尚可时间分配混论、按时完成项目的一部分需求、完成质量欠佳基本无时间分配阶段实作表现综合成绩项目实作表现（50%）阶段测试（50%）总分分数评语和建议

附件2：表1《Illustrator图形制作》期中上机操作测验各单元配分教材内容(章)(期中考范围)单元一（第1-5章）单元二（第6-8章）单元三（第9章）单元四（第10-14章）教学时间（学时）2028420占分比例预设30351025实际表2《Illustrator图形制作》期中上机操作测验之双向细目表教学目标记忆了解应用分析评鉴创作合计教材内容试题形式第一单元（共20节课）图形制作30()第二单元（共28节课）图形制作35()第三单元（共4节课）图形制作10()第四单元（共20节课）图形制作25()注:1.试题形式中，()内的数字为题数，()前的数字为配分2.本表得视教学目标、实际教学及命题需要调整之学期授课计划课程名称：大数据挖掘与分析二级学院：信息工程学院专业：大数据技术年级：班次：；年2月13日~年6月19日课内总学时：64讲课：32实验：0上机：32实践环节名称：共周教材名称：编者：出版社：出版年份：优秀（重点）教材：授课教师：主讲：许慧辅导：许慧教研室主任：年3月13日填写

周次星期授课内容提要时数教辅活动备注11.1关于大数据分析1.1.1什么是大数据分析1.1.2大数据分析工具1.1.3大数据分析可视化2预警辅导答疑解惑720办公室或者理北机房1.2认识SparkSQL1.2.1SparkSQL背景简介1.2.2SparkSQL运行原理2预警辅导答疑解惑720办公室或者理北机房22.1Hadoop集群环境搭建2.1.1环境准备2.1.2安装Hadoop 2.1.3启动Hadoop集群2.1.4运行经典案例wordcount2预警辅导答疑解惑720办公室或者理北机房2.2Spark集群部署与使用2.2.1Spark安装2.2.2启动Spark2.2.3Spark集群测试2预警辅导答疑解惑720办公室或者理北机房32.3Scala安装3.1.1下载安装包3.1.2安装配置2预警辅导答疑解惑720办公室或者理北机房3.1班级基本情况分析3.1.1学生所属班级和男女生数量Scala数据类型、常量与变量、运算符、数组2预警辅导答疑解惑720办公室或者理北机房4Scala判断与循环2预警辅导答疑解惑720办公室或者理北机房Scala函数式编程案例分析——学生所属班级和男女生数量2预警辅导答疑解惑720办公室或者理北机房53.1.2以班级为单位整理学生信息Scala列表与Set集合2预警辅导答疑解惑720办公室或者理北机房Scala元组与Map映射2预警辅导答疑解惑720办公室或者理北机房6Scala函数组合器2预警辅导答疑解惑720办公室或者理北机房3.2学生基本情况获取3.2.1学生特长情况Scala类和对象Scala模式匹配2预警辅导答疑解惑720办公室或者理北机房73.2.2学生成绩情况分析2预警辅导答疑解惑720办公室或者理北机房4.1某房产公司销售人员业绩分析4.1.1数据集处理RDD的创建方法2预警辅导答疑解惑720办公室或者理北机房84.1.2数据操作分析RDD的操作（一）count、map、flatmap、sortby、take，first、collect2预警辅导答疑解惑720办公室或者理北机房RDD的操作（二）filter、distinct、union2预警辅导答疑解惑720办公室或者理北机房9RDD的操作（三）min()、max()、mean()、sum()、variance()、stdev()函数2预警辅导答疑解惑720办公室或者理北机房PairRDD的操作（一）创建PairRDD、keys()、values()转换操作reducebykey()2预警辅导答疑解惑720办公室或者理北机房10PairRDD的操作（二）groupbykey()、sortByKey()转换操作数据结果存储方法2预警辅导答疑解惑720办公室或