Pandas统计分析基础教案

pandas统计分析基础教案课程名称：Python数据分析与应用课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：4学时材料清单《Python数据分析与应用（第2版）（微课版）》教材。配套PPT。数据。代码。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标以音乐行业收入饮数据为例，介绍csv数据、Excel数据、数据库数据3种常用的数据读取与写入方式。阐述DataFrame的常用属性，方法与描述性统计相关内容。介绍时间数据的转换，信息提取与算术运算。剖析分组聚合方法groupby的原理、用法和三种聚合方法。展现透视表与交叉表的制作方法。通过本章的学习，能够对pandas库有一个整体了解并能够利用pandas库进行基础的统计。基本要求掌握常见的数据读取方式。掌握DataFrame常用属性与方法。掌握基础时间数据处理方法。掌握分组聚合的原理与方法。掌握透视表与交叉表的制作。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。数据分析中常见的结构话数据读取方式有那些？DataFrame和数组有什么相似之处？Excel透视表如何制作？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。读取数据库数据为什么需要别的库？时间数据中存在哪些信息？以百万级的数据为例，Excel制作透视表和Python制作透视表哪个速度更快？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。能否读取word数据，该如何做？为什么索引的时候有loc和iloc，设计者的意何在？主要知识点、重点与难点主要知识点常见的数据读取方式。DataFrame常用属性与方法。基础时间数据处理方法。分组聚合的原理与方法。透视表与交叉表的制作。重点读写数据。DataFrame数据的常用属性与方法。基础时间数据处理方法。分组聚合的原理与方法。透视表与交叉表的制作。难点读写数据。分组聚合的原理与方法。透视表与交叉表的制作。教学过程设计理论教学过程读写文本文件。读写Excel文件。读写数据库数据。查看DataFrame的常用属性。查改增删DataFrame数据。描述分析DataFrame数据。转换字符串时间为标准时间。提取时间序列数据信息。加减时间数据。使用groupby方法拆分数据。使用agg方法聚合数据。使用apply方法聚合数据。使用transform方法聚合数据。使用povit_table函数创建透视表。使用crosstab函数创建交叉表实验教学过程。实验教学过程读写文本文件。读写Excel文件。读写数据库数据。查看DataFrame的常用属性。查改增删DataFrame数据。描述分析DataFrame数据。转换字符串时间为标准时间。提取时间序列数据信息。加减时间数据。使用groupby方法拆分数据。使用agg、apply、transform方法聚合数据。制作透视表。制作交叉表。教材与参考资料主要知识点Hadoop概述。Hadoop集群安装与配置。Hadoop框架组成。Hadoop应用实践。Hive概述。Hive安装与配置。Hive体系架构。Hive应用实践。Spark概述。Spark集群安装与配置。Spark集群架构。Spark应用实践。重点Hadoop集群安装与配置。Hadoop框架组成。Hadoop应用实践。Hive安装与配置。Hive体系架构。Hive应用实践。Spark集群安装与配置。Spark集群架构。Spark应用实践。难点Hadoop框架组成。Hadoop应用实践。Hive体系架构。Hive应用实践。Spark集群架构。Spark应用实践。教学过程设计理论教学过程Hadoop概述。Hadoop集群安装与配置。Hadoop框架组成。Hadoop应用实践。Hive概述。Hive安装与配置。Hive体系架构。Hive应用实践。Spark概述。Spark集群安装与配置。Spark集群架构。Spark应用实践。实验教学过程Hadoop集群安装与配置。Hadoop应用实践。Hive安装与配置。Hive应用实践。Spark集群安装与配置。Spark应用实践。课程性质：《AutoCAD计算机辅助设计》是机电专业的基础必修能力课，是一门理论和实践紧密结合的课程，为考试科目。AutoCAD是工程设计领域的重要手段与设计工具，熟练使用AutoCAD进行产品设计及绘制相应工程图，是从事机电设计及相关管理工作的应用型人才必须学会和掌握的一项重要技能。课程目的：使学生掌握《AutoCAD》软件的主要功能和特性，学会软件的基本使用方法、工程图绘制流程及相关实用技巧，培养学生解决工程中实际问题的能力，提高实践操作水平。在学习了本门课程后，学生能够熟练绘制一般二维平面图、典型机械零件图和装配图等，并能创建一般零部件的三维实体模型。二、与其它课程的联系和分工本课程作为机电专业的基础设计工具课，在学习时需要学生具备一定的计算机基础及工程制图等方面的常识。课程内容主要培养学生计算机绘图及设计的基本能力，为后续的《机械设计》、《机制工艺》及相关实践类设计课提供了绘制工程图的必要手段。三、课程学时分配、基本要求及教学内容本课程共72学时，其中理论授课32学时，上机实践40学时。章节内容学时讲授上机第一章AutoCAD用户界面及基本操作11第二章设置图层、颜色、线型及线宽11第三章绘制直线、圆及简单平面图形68第四章绘制多边形、椭圆及简单平面图形68第五章编辑图形55第六章二维高级绘图33第七章参数化绘图13第八章书写文字和标注尺寸33第九章查询信息、块及外部参照11第十章绘制机械图35第十一章三维建模11第十二章打印图形11学时总计3240本课程教学的基本要求如下：（一）知识要求1．了解AutoCAD的应用环境、操作界面、操作工具及坐标系统；2．熟悉图层、线型、线型比例及颜色的设置与修改方法；3．熟悉图形绘制的基本命令（点、直线、圆、圆弧、矩形、多段线等）及捕捉点的定位方法；4．熟悉选择对象的各种方法及基本编辑命令（删除、移动、旋转、复制、镜像、修剪和断开、延伸和拉伸、阵列、偏移、圆角和倒角）；5．理解图案填充的基本概念；6．了解复杂曲线、点对象的创建及编辑方法；7．了解面域及布尔运算的基本概念；8．了解如何设置文本样式，熟悉书写及编辑文本方法；9．了解标注样式的概念、基本原则及设置方式，熟悉创建及编辑各类尺寸的方法；10．了解查询命令能够查询的主要内容；11．熟悉块的定义及特点；12．了解绘制零件图及装配图的主要流程及实用技巧；13．了解打印图形的方法及实用技巧。（二）能力要求1．掌握在绘图过程中如何创建及设置图层、线型和颜色；2．熟练掌握选择对象的各种方法;3．熟练运用基本绘图命令及点的定位方法绘制各种二维图形；4．熟练运用基本编辑命令对二维图形进行修改；5．熟练运用图案填充功能对图形进行图案填充；6．熟练掌握多段线的编辑方法和技巧；7．会使用布尔运算创建复杂平面图形；8．会使用查询命令查询对象的长度及面积；9．掌握图块的制作、插入及输出功能。10．掌握文本样式的设置及修改，学会在图形中插入文本的方法和技巧；11．熟练设置机械图的尺寸标注样式，并可运用各种尺寸标注命令进行图形尺寸标注；12．能够灵活运用各类命令，采用适当的流程，绘制完整零件图及装配图。四、教学建议教学总的原则是：以理论讲授为辅，学生实际操作为主，配以实例练习，并针对个别辅导等。在教会学生基本知识与基本技能的同时，更重要的是要教会学生如何分析及解决实际问题，使教学与企业生产需要密切结合，达到学以致用的目的。采用边讲边练的教学方式，一般讲解10-15分钟后，学生自我练习。练习时间约为教师讲解时间的1.5倍左右。教师进行个别指导，并观察其他学生练习效果。随后对重点和难点进行更深入讲解，使学生充分理解及掌握。课程教学是以实训为主线，教学中一定要注意理论与实训操作的有机结合，使理论与实训真正融为一体。以学生为主体，结合企业实际需要，编排多种类型练习，营造真实的工作情境，充分培养学生的综合职业能力和职业素养。采用项目导向教学方法，激发学生学习兴趣，从而有效调动学生的学习积极性，促进学生主动学习，积极思考，加强知识理解及综合运用。四、教学内容本课程教学内容如下：（一）AutoCAD用户界面及基本操作（讲授1学时，上机操作1学时）1.基本内容调用AutoCAD命令的方法。选择对象的常用方法。快速缩放、移动图形及全部缩放图形。重复命令和取消已执行的操作。新建、打开及保存文件。熟悉AutoCAD用户界面。2.基本要求了解AutoCAD用户界面的组成和各组成部分的功能，并掌握一些常用的基本操作。2.重点、难点 重点：AutoCAD常用基本的操作。 难点：AutoCAD绘图环境的设置。（二）设置图层、颜色、线型及线宽（讲授1学时，上机操作1学时）1.基本内容创建图层，设置图层、颜色、线型及线宽等属性。改变对象所在的图层、颜色、线型及线宽等。控制非连续线的外观。2.基本要求掌握创建图层、控制图层状态及修改非连续线外观的方法。2.重点、难点 重点：创建及设置图层，控制图层状态。 难点：改变非连续线外观。（三）绘制直线、圆及简单平面图形（讲授6学时，上机操作8学时）1.基本内容输入线段端点的坐标画线。打开正交模式画水平线段和竖直线段。使用对象捕捉、极轴追踪及捕捉追踪功能画线。画平行线和垂线。调整线段长度和延伸线段。修剪多余的线条。画圆、圆弧连接及圆的切线等。倒圆角和倒角。2.基本要求掌握绘制线段、斜线、平行线、圆及圆弧连接的方法，并能够灵活运用相应的命令绘制简单图形。2.重点、难点 重点：运用LINE、CIRCLE、OFFSET等命令绘制二维图形。 难点：正交偏移捕捉，延伸点捕捉，极轴追踪及对象捕捉追踪。（四）绘制多边形、椭圆及简单平面图形（讲授6学时，上机操作8学时）1.基本内容创建对象的矩形阵列和环形阵列。画具有对称关系的图形。画矩形、正多边形及椭圆等。绘制剖面图案。控制剖面线的角度和疏密。编辑剖面图案。画工程图中的波浪线。2.基本要求掌握绘制椭圆、正多边形、矩形及填充剖面图案等的方法，并学会如何创建具有均布及对称几何特征的图形对象。2.重点、难点 重点：使用RECTANG、POLYGON、ARRAY及MIRROR等命令绘制二维图形。。 难点：沿倾斜方向阵列对象，设定正多边形顶点的位置。（五）编辑图形（讲授5学时，上机操作5学时）1.基本内容移动和复制对象，把对象旋转某一个角度。将一个图形对象与另一个图形对象对齐。拉长或缩短对象，指定基点缩放对象。关键点编辑模式。编辑图形对象属性。2.基本要求掌握常用的编辑命令及一些编辑技巧，了解关键点编辑方式，学会使用编辑命令生成新图形元素的技巧。2.重点、难点 重点：常用编辑命令及一些编辑技巧。 难点：绘制倾斜方向的图形对象。根据已有对象，利用编辑命令生成新对象。（六）二维高级绘图（讲授3学时，上机操作3学时）1.基本内容创建多段线及编辑多段线。创建多线及编辑多线。生成点对象、等分点和圆环。创建面域和面域间的布尔运算。绘制复杂平面图形的一般方法。—2.基本要求掌握多段线、多线、等分点、测量点、圆环及面域等命令的用法，并了解绘制复杂平面图形的一般步骤。2.重点、难点 重点：多段线、等分点、测量点及面域等命令的用法。 难点：多段线及面域构图法。（七）参数化绘图（讲授1学时，上机操作3学时）1.基本内容添加、编辑几何约束。添加、编辑尺寸约束。利用变量及表达式约束图形。了解参数化绘图的一般步骤。2.基本要求掌握创建添加、编辑几何约束和尺寸约束的方法，学会利用变量及表达式约束图形，熟悉参数化绘图的一般方法。2.重点、难点 重点：给平面图形添加几何和尺寸约束，掌握参数化绘图的一般方法。 难点：利用变量及表达式约束图形。（八）书写文字和标注尺寸（讲授3学时，上机操作3学时）1.基本内容创建文字样式。书写单行文字和多行文字。编辑文字内容和属性。创建标注样式。标注直线型、角度型、直径型及半径型尺寸等。标注尺寸公差和形位公差。编辑尺寸文字和调整标注位置。2.基本要求了解文字样式和尺寸样式的基本概念，学会如何创建单行文字和多行文字，并掌握标注各类尺寸的方法。2.重点、难点 重点：给平面图形添加文字注释及标注各类尺寸。 难点：添加特殊字符，创建分数及公差形式的文字，标注尺寸公差和形位公差。（九）查询信息、块及外部参照（讲授1学时，上机操作1学时）1.基本内容查询距离、面积及周长等信息。创建图块、插入图块。引用外部图形。更新当前图形中的外部引用。2.基本要求掌握查询距离、面积、周长等图形信息的方法，并了解块、外部参照的概念及基本使用方法等。2.重点、难点 重点：查询几何信息，图块及外部参照的用法。 难点：更新外部参照。（十）绘制机械图（讲授3学时，上机操作5学时）1.基本内容画轴类零件的方法和技巧。画叉架类零件的方法和技巧。画箱体类零件的方法和技巧。2.基本要求了解用AutoCAD绘制机械图的一般方法，并掌握一些实用的绘图技巧。2.重点、难点 重点：绘制典型零件图。 难点：插入图框，标注尺寸公差、形位公差及。（十一）三维建模（讲授1学时，上机操作1学时）1.基本内容观察三维模型。创建长方体、球体、圆柱体等基本立体。拉伸或旋转二维对象形成三维实体及曲面。通过扫掠及放样形成三维实体或曲面。阵列、旋转及镜像三维对象。拉伸、移动及旋转实体表面。使用用户坐标系。利用布尔运算构建复杂模型。2.基本要求掌握创建及编辑三维模型的主要命令，并了解利用布尔运算构建复杂模型的方法。2.重点、难点 重点：利用布尔运算构建实体模型。 难点：通过扫掠及放样形成三维实体，用户坐标系。（十二）打印图形（讲授1学时，上机操作1学时）1.基本内容指定打印设备，设置打印设备的参数。打印样式的基本概念。选择图纸幅面，设定打印区域。调整打印方向和位置，输入打印比例。将小幅面图纸组合成大幅面图纸进行打印。2.基本要求掌握从模型空间打印图形的方法，并学会如何将多个图样布置在一起打印的技巧。2.重点、难点 重点：从模型空间打印图形的方法 难点：将小幅面图纸组合成大幅面图纸进行打印。五、考核方式1.考核方式：考试2.考核形式：闭卷，上机操作3.成绩核定：课程成绩＝平时（10％）+作业（30％）+期末机试（60％）课程是为大数据技术、人工智能技术应用类相关专业学生开设的课程。大数据技术蓬勃发展，基于开源技术的Hadoop在行业中应用广泛。但是Hadoop本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求。Spark的诞生弥补了MapReduce的缺陷。Spark继承了MapReduce分布式计算的优点并改进了MapReduce明显的缺陷。Spark拥有HadoopMapReduce所具有的优点，但不同于MapReduce，Spark的中间输出结果可以保存在内存中，从而大大减少了读写HDFS的次数，因此Spark能更好地适用于数据挖掘与机器学习中需要迭代的算法。目前，Spark在企业中的运用越来越广泛，学习Spark分布式计算框架已然是进入大数据行业所必不可少的一步。课程的任务通过本课程的学习，使学生对Spark分布式计算框架有一个全面的理解，课程内容主要包括了Spark基本原理与架构、集群安装配置、Scala与Spark编程、Spark代表组件，完整项目案例等精选内容。涉及的知识点简要精到，实践操作性强。通过课程学习培养学生科学的思维方法、灵活运用知识的能力和实验操作能力，使学生具有在大数据领域较强的发现问题、分析问题、解决问题的能力。课程学时分配序号教学内容理论学时实验学时其它1第1章Spark概述222第2章Scala基础533第3章Spark编程734第4章Spark进阶编程425第5章SparkSQL：结构化数据文件处理426第6章SparkStreaming：实时计算框架427第7章SparkGraphX：图计算框架428第8章SparkMLlib：功能强大的算法库429第9章项目案例：广告检测的流量作弊识别66总计4024教学内容及学时安排理论教学序号章节名称主要内容教学目标学时1Spark概述Spark基本概念Spark发展和应用Spark环境配置方法Spark架构及原理了解Spark概念掌握Spark分布式环境特点掌握SparkRDD的概念了解Spark的运行流程和原理22Scala基础Scala简介Scala特性Scala的环境设置及安装方法Scala类的定义和运行方法Scala数据类型、函数、表达式的应用Scalaif判断和for循环Scala集合应用掌握Scala环境的安装掌握Scala语言的应用和编程53Spark编程从内存中已有数据创建RDD从外部存储创建RDDRDD转化操作和行动操作方法RDD键值对操作文件读取与存储掌握RDD的转化操作和行动操作方法掌握键值对RDD的操作掌握文本文件的读取和存储74Spark编程进阶下载与安装IntelliJIDEAScala插件安装与使用配置Spark运行环境的方法运行Spark程序的方法持久化方法数据分区方法掌握如何在IDEA中配置Spark编程环境掌握Spark程序的编写45SparkSQL：结构化数据文件处理SparkSQL简介SparkSQL配置SparkSQL与Shell交互DataFrame生成与操作方法掌握SparkSQL使用方法46SparkStreaming：实时计算框架SparkStreaming运行原理SparkStreaming使用方法DStream编程模型基本方法了解SparkStreaming运行原理掌握SparkStreaming使用方法47SparkGraphX：图计算框架图的基本概念图计算的应用GraphX的基础概念图的创建与存储数据查询与数据转换结构转换与关联聚合了解图计算的应用掌握SparkGraphX使用方法48SparkMLlib：功能强大的算法库机器学习MLlib介绍和应用了解机器学习算法掌握SparkMLlib使用方法49项目案例：广告检测的流量作弊识别常用推荐算法异常数据处理方法数据变换方法学习ALS算法掌握MLlib算法包的使用了解常见广告流量作弊方式6学时合计40实验教学序号实验项目名称实验要求学时1搭建Spark集群搭建Spark伪分布式环境搭建Spark完全分布式环境22Scala安装在网页上运行Scala在Linux上安装Scala在Windows系统安装Scala运行Scala语句0.53定义函数识别号码类型用数组分别存储各种类型的手机号段定义函数识别手机号段0.54统计广州号码段数量定义函数统计5根据归属地对手机号码段分组将数据存储到列表中利用groupBy函数对列表中的元素进行分组0.56编写手机号码归属地信息查询程序定义单例对象定义方法实现0.57编写函数过滤文本中的回文单词定义函数调用函数测试0.58使用Scala编程实现杨辉三角学习杨辉三角原理定义函数0.59以学生成绩创建RDD使用textFile创建RDD0.510查询学生成绩表中的前5名使用map函数转换RDD使用sortBy函数排序使用take取出前5个值11输出单科成绩为100分的学生ID使用union合并两个RDD使用filter过滤出成绩为100的记录0.512输出每位学生所有科目的总成绩使用map转换得到键值对RDD使用union合并RDD使用reduceByKey统计学生ID相同的成绩的和0.513输出每位学生的平均成绩使用map转换得到学生ID和score两列数据的RDD使用combineByKey计算平均值0.514将汇总后的成绩存储为文本文件使用join连接所有统计结果使用saveAsTextFile保存RDD0.515统计文本中性别为“男”用户数使用filter过滤出包含字符“男”的记录数0.516单词计数使用flatMap转换得到（单词，1）的键值对使用reduceByKey统计词频17搭建开发环境安装IDEA配置Scala插件配置Spark编程环境0.518使用移动平均预测股