PySpark大数据技术与应用 教案 第2章 PySpark安装配置

第2章PySpark安装配置教案课程名称：PySpark大数据分析与应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验32学时）总学分：4.0学分本章学时：8学时材料清单《PySpark大数据分析与应用》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标根据目前数据分析发展状况，将数据分析具象化。而后介绍数据分析的概念，流程，目的以及应用场景。阐述使用Python进行数据分析的优势。列举说明Python数据分析重要库的功能。紧接着阐述Anaconda简介，实现在Windows和Linux两个系统下Anaconda数据分析环境。最后展现Python数据分析工具JupyterNotebook的优异特性及使用方法。为后学课程学习搭建数据分析环境，首先介绍在windows系统中搭建单机模式的数据分析环境，能够运行PySpark程序代码；然后，介绍在Linux系统中搭建分布式模式的数据分析环境，了解Spark分布式模式的运行机理，进一步体会PySpark大数据处理能力。最后介绍Python中重要的数据结构（元组、列表、字典）和函数式编程。基本要求掌握单机模式和分布式模式下PySpark开发环境的搭建过程。熟悉Linux操作系统虚拟机的安装过程。掌握单机模式和分布式模式下Hadoop集群配置。掌握分布式模式下Spark集群配置。掌握Python重要的数据结构及函数编程。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。搭建单机模式的PySpark开发环境需要哪些组件。单机模式的PySpark开发环境有哪些优缺点。搭建分布式模式的PySpark开发环境需要哪些组件。分布式模式的PySpark开发环境有哪些优缺点。单机模式和分布式模式PySpark开发环境的应用场景。探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。单机模式中，安装Hadoop组件的作用？大数据分析中数据库与Hive的区别是什么？分布式模式中，计算机节点为什么要建立互信机制？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。分布式模式下，使用HDFS文件系统存储大文件的优势。Spark与Hadoop进行数据分析有哪些优缺点。使用Python语言进行数据分析的优势。主要知识点、重点与难点主要知识点掌握单机模式和分布式模式下PySpark开发环境的搭建过程。安装Linux操作系统虚拟机。开发环境中的各组件的安装与配置。掌握Python重要的数据结构及函数编程。重点搭建单机模式的PySpark开发环境。搭建分布式模式的PySpark开发环境。难点搭建分布式模式的PySpark开发环境。教学过程设计理论教学过程在Windows系统中安装JDK。在Windows系统中安装Anaconda。在Windows系统中安装Hadoop。在Windows系统中安装MySQL。在Windows系统中安装Hive。在Windows系统中配置PySpark模块。在Windows系统中安装Linux虚拟机。在Linux系统中安装Java。在Linux系统中搭建Hadoop分布式集群。在Linux系统中安装MySQL数据库。在Linux系统中安装Hive数据仓库。在Linux系统中搭建Spark完全分布式集群。Python中的常用数据结构。Python函数式编程基础。实验教学过程在Windows系统中安装JDK。在Windows系统中安装Anaconda。在Windows系统中安装Hadoop。在Windows系统中安装MySQL。在Windows系统中安装Hive。在Windows系统中配置PySpark模块。在Windows系统中安装Linux虚拟机。在Linux系统中安装Java。在Linux系统中搭建Hadoop分布式集群。在Linux系统中安装MySQL数据库。在Linux系统中安装Hive数据仓库。在Linux系统中搭建Spark完全分布式集群。教材与参考资料教材戴刚，张良均．《PySpark大数据分析与应用》[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3