PySpark大数据分析与应用-教学大纲

《PySpark大数据分析与应用》教学大纲课程名称：PySpark大数据分析与应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验32学时）总学分：4.0学分课程的性质随着移动互联网、电子商务、物联网以及社交媒体的快速发展，大数据时代悄然来临，让信息技术的发展发生了巨大的变化，对经济发展、社会生活和国家治理产生着根本性、全局性、革命性的影响。世界各国都高度重视大数据技术的研究和产业发展，纷纷把大数据上升为国家战略加以重点推进。企业也纷纷加大技术，资金和人员投入力度，运用大数据技术促进企业发展，指导企业经营，推动企业智能化发展。为了满足企业和政府对大数据人才的需求不断增加，培养具有良好科学素养，具备大数据计算、分析及应用开发能力的创新人才，特开设PySpark大数据分析与应用课程。课程的任务通过本课程的学习，使学生学会搭建Spark分布式的计算框架，掌握PySpark的DataFrame结构，流式数据处理方法和机器学习库，通过两个企业级大数据分析案例，详细介绍大数据分析过程中的数据采集、数据清洗、数据分析、数据可视化等技术在实际项目中的应用，将理论与实践相结合，为将来从事大数据分析和挖掘，大数据应用系统软件开发奠定基础。课程学时分配序号教学内容理论学时实验学时其它1第1章PySpark大数据分析概述602第2章PySpark安装配置443第3章基于PySpark的DataFrame操作644第4章基于PySpark的流式数据处理665第5章基于PySpark的机器学习库666第6章案例分析：基于PySpark的招聘网站信息的职业类型划分267第7章案例分析：基于PySpark的信用贷款风险分析26总计3232教学内容及学时安排理论教学序号章节名称主要内容教学目标学时1PySpark大数据分析概述了解大数据概念了解大数据分析流程了解大数据分析常用框架了解Spark大数据技术框架了解PySpark大数据分析的优势掌握大数据分析的概念、流程与应用场景了解Spark计算框架了解PySpark应用场景熟悉SparkRDD的概念与常见算子。了解PySpark的由来、优势及主要模块。62PySpark安装配置在Windows系统中安装Anaconda在Anaconda中安装Jupyter在Windows系统中安装Hadoop在Windows系统中安装MySQL在Windows系统中Hive为Jupyter配置PySpark模块安装Linux虚拟机在Linux系统中安装Hadoop在Linux系统中安装MySQL在Linux系统中安装Hive在Linux系统中安装Spark配置PySpark模块掌握Python中的重要数据结构掌握Python中的函数式编程掌握搭建单机模式PySpark开发环境的方法掌握搭建分布式模式PySpark开发环境的方法掌握Python函数式编程43基于PySpark的DataFrame操作SparkSQL起源与发展历程SparkSQL主要功能SparkSQL数据核心抽象DataFramepyspark.sql模块简介pyspark.sql模块核心类创建DataFrame对象DataFrame操作DataFrame输出操作了解SparkSQL的发展历程和主要功能。了解DataFrame概念。了解pyspark.sql模块及其核心类。掌握基于PySparkSQL的DataFrame的创建方法。掌握基于PySparkSQL的DataFrame的基础操作。64基于PySpark的流式数据处理流计算简介SparkStreaming基本概念SparkStreaming工作原理SparkStreaming运行机制pyspark.streaming模块简介pyspark.streaming模块核心类DStream基础操作StructuredStreaming概述StructuredStreaming编程模型StructuredStreaming基础操作StructuredStreaming编程步骤了解SparkStreaming的基本概念、工作原理和运行机制。了解pyspark.streaming模块主要类及核心类。掌握基于PySpark的DStream创建、转换、窗口和输出操作。了解StructuredStreaming基本概念及编程模型。掌握StructuredStreaming基础操作。熟悉StructuredStreaming编程步骤。65基于PySpark的机器学习库了解PySpark机器学习库了解机器学习库中的转换器使用PySpark构建分类模型使用PySpark构建回归模型使用PySpark构建聚类模型使用PySpark构建智能推荐模型了解PySpark机器学习库及主要功能模块掌握分类模型的构建与评估掌握回归模型的构建与评估掌握聚类模型的构建与评估掌握智能推荐模型的构建与评估66案例分析：基于PySpark的招聘网站信息的职业类型划分需求与架构分析招聘信息数据说明招聘信息数据读取重复数据与空值探索异常数据探索招聘信息数据清洗中文分词与去停用词词特征向量化LDA算法简介LDA模型构建与评估构建LDA模型制作词云图了解网络招聘信息文本挖掘的步骤与流程。掌握数据探索、预处理的基本方法。熟悉TF-IDF的基本原理及其在SparkMLlib库中的实现过程。了解LDA聚类算法，并掌握SparkMLlib库的LDA聚类算法的使用方法。掌握LDA聚类模型的构建与部署方法。27案例分析：基于PySpark的信用贷款风险分析需求与架构分析信用贷款数据说明建立数据仓库并导入信用贷款数据用户信息完善情况与逾期率的关系探索用户信息修改情况与逾期率的关系探索用户借款月份与逾期率的关系探索计算用户信息缺失个数及借款月份构建新特征用户更新消息重建用户登录消息重建分类数据预处理字符串字段编码处理分类数据重编码缺失值处理了解GBTs算法构建GBTs模型评估GBTs模型部署和提交PySpark应用程序理解信用贷款风险分析的步骤和流程了解GBTs分类算法掌握数据探索方法掌握数据可视化方法掌握数据预处理方法掌握PySpark编程实现分类模型掌握分类模型的评估2学时合计3232实验教学序号实验项目名称实验要求学时1搭建单机模式的PySpark开发环境在Windows系统中安装Anaconda在Windows系统中安装Hadoop在Windows系统中安装MySQL在Windows系统中安装Hive在Jupyter中配置PySpark模块Python函数式编程操作22搭建分布式模式的PySpark开发环境安装Linux虚拟机在Linux系统中安装Hadoop在Linux系统中安装MySQL在Linux系统中安装Hive在Linux系统中安装Spark在Jupyter中配置PySpark模块23PySpark的DataFrame操作pyspark.sql模块核心类使用PySpark创建DataFrame对象DataFrame操作DataFrame输出操作44PySpark流式数据处理DStream基础操作StructuredStreaming编程模型StructuredStreaming基础操作StructuredStreaming编程步骤65基于PySpark的机器学习库使用PySpark构建并评估分类模型使用PySpark构建并评估回归模型使用PySpark构建并评估聚类模型使用PySpark构建并评估智能推荐模型66基于PySpark的招聘网站信息的职业类型划分数据探索数据预处理构建LDA模型评价LDA模型制作词云图67基于PySpark的信用贷款风险分析数据探索数据预处理构建GBTs分类模型评价GBTs分类模型部署和提交PySpark应用程序6学时合计32考核方式突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=平时作业（20%）+课堂参与（20%）+期末考核（60%），期末考试建议采用开卷形式，试题应包括基本概念、数据清洗、数据变换、模型构建等部分，题型可采用判断题、选择、简答、应用题，设计题等方式。教材与参考资料教材戴刚，张良均．《PySpark大数据分析与应用》[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第