大数据分析及应用项目教程(Spark SQL)（微课版） 授课计划

学期授课计划课程名称：大数据挖掘与分析二级学院：信息工程学院专业：大数据技术年级：班次：；年2月13日~年6月19日课内总学时：64讲课：32实验：0上机：32实践环节名称：共周教材名称：编者：出版社：出版年份：优秀（重点）教材：授课教师：主讲：许慧辅导：许慧教研室主任：年3月13日填写

周次星期授课内容提要时数教辅活动备注11.1关于大数据分析1.1.1什么是大数据分析1.1.2大数据分析工具1.1.3大数据分析可视化2预警辅导答疑解惑720办公室或者理北机房1.2认识SparkSQL1.2.1SparkSQL背景简介1.2.2SparkSQL运行原理2预警辅导答疑解惑720办公室或者理北机房22.1Hadoop集群环境搭建2.1.1环境准备2.1.2安装Hadoop 2.1.3启动Hadoop集群2.1.4运行经典案例wordcount2预警辅导答疑解惑720办公室或者理北机房2.2Spark集群部署与使用2.2.1Spark安装2.2.2启动Spark2.2.3Spark集群测试2预警辅导答疑解惑720办公室或者理北机房32.3Scala安装3.1.1下载安装包3.1.2安装配置2预警辅导答疑解惑720办公室或者理北机房3.1班级基本情况分析3.1.1学生所属班级和男女生数量Scala数据类型、常量与变量、运算符、数组2预警辅导答疑解惑720办公室或者理北机房4Scala判断与循环2预警辅导答疑解惑720办公室或者理北机房Scala函数式编程案例分析——学生所属班级和男女生数量2预警辅导答疑解惑720办公室或者理北机房53.1.2以班级为单位整理学生信息Scala列表与Set集合2预警辅导答疑解惑720办公室或者理北机房Scala元组与Map映射2预警辅导答疑解惑720办公室或者理北机房6Scala函数组合器2预警辅导答疑解惑720办公室或者理北机房3.2学生基本情况获取3.2.1学生特长情况Scala类和对象Scala模式匹配2预警辅导答疑解惑720办公室或者理北机房73.2.2学生成绩情况分析2预警辅导答疑解惑720办公室或者理北机房4.1某房产公司销售人员业绩分析4.1.1数据集处理RDD的创建方法2预警辅导答疑解惑720办公室或者理北机房84.1.2数据操作分析RDD的操作（一）count、map、flatmap、sortby、take，first、collect2预警辅导答疑解惑720办公室或者理北机房RDD的操作（二）filter、distinct、union2预警辅导答疑解惑720办公室或者理北机房9RDD的操作（三）min()、max()、mean()、sum()、variance()、stdev()函数2预警辅导答疑解惑720办公室或者理北机房PairRDD的操作（一）创建PairRDD、keys()、values()转换操作reducebykey()2预警辅导答疑解惑720办公室或者理北机房10PairRDD的操作（二）groupbykey()、sortByKey()转换操作数据结果存储方法2预警辅导答疑解惑720办公室或者理北机房4.2某城市近年房产销售状况分析4.2.1数据准备4.2.2数据探索与分析（一）2预警辅导答疑解惑720办公室或者理北机房11数据探索与分析（二）4.2.3总结分析2预警辅导答疑解惑720办公室或者理北机房5.1女装电子商务评论情况分析5.1.1数据准备5.1.2数据清洗drop(cols)、dropDuplicates(subset=None)、na.drop、na.fill()2预警辅导答疑解惑720办公室或者理北机房125.1.3数据转换withColumn()、withColumnRename()、定义UDF、na.replace2预警辅导答疑解惑720办公室或者理北机房5.1.4数据分析注册临时表的方法、数据分析（一）2预警辅导答疑解惑720办公室或者理北机房13数据分析（二）5.1.5数据输出2预警辅导答疑解惑720办公室或者理北机房5.2在线销售订单数据分析5.2.1数据查询操作（一）查看、过滤、指定列查询、排序操作、2预警辅导答疑解惑720办公室或者理北机房14数据查询操作（二）分组聚合、聚合函数、连接操作2预警辅导答疑解惑720办公室或者理北机房5.2.2数据分析探索2预警辅导答疑解惑720办公室或者理北机房156.1Zepplin安装部署6.1.1安装包下载6.1.2安装配置6.1.3测试运行Zeppelin2预警辅导答疑解惑720办公室或者理北机房6.2女装电子商务评论情况数据可视化6.2.1加载数据注册视图6.2.2执行