《Python数据分析》课件 项目四 Python大数据分析基础综合应用

Python数据分析

项目四Python大数据分析基础

综合应用

知识引入数据分析指用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析的基本步骤包括需求分析、数据清洗、数据分析、数据可视化、综合应用等。本项目将详细解构数据分析各个步骤。

知识框架

目录任务一需求分析任务二数据清洗任务三数据分析任务四数据可视化任务五综合应用需求分析也称为软件需求分析、系统需求分析或需求分析工程等，是开发人员经过深入细致的调研和分析，准确理解用户和项目的功能、性能、可靠性等具体要求，将用户非形式的需求表述转化为完整的需求定义，从而确定系统必须做什么的过程。本任务以校企合作项目企业职前通三年的招聘数据为抓手，对标企业招聘人才需求，利用大数据技术进行招聘数据分析与预测，主要介绍如何基于招聘信息进行需求分析、数据分析技术路线、认识业务数据等。任务介绍任务一

需求分析

基于招聘项目的需求分析大数据以招聘数据为载体，开发校企合作真实项目“开发某职位智能推荐系统”

基于招聘项目的需求分析

基于招聘项目的需求分析需求分析数据清洗数据分析数据可视化综合应用基于招聘信息的需求分析，主要关注两个核心的关键字：明确需求数据分析技术路线

基于招聘项目的需求分析第一步：根据实际业务明确需求第二步：要掌握数据分析技术路线

基于招聘项目的需求分析明确需求是有效进行数据分析的首要条件，也是整个数据分析过程的起点。需求分析包括三个阶段：发现问题、需求确认、需求处理。在发现问题阶段，需要具备数据分析思维，发现有效问题，并能够根据问题进行拆解与归类。有个初步的方向之后，下一步就是需求确认，了解清楚需求背景，才能明白这个需求的意义。最终要确认需求完成的总时间，以及每个需求完成的详细时间计划。最后的需求处理阶段，根据确定的需求，形成需求分析结果，在企业中最常见的是形成需求分析报告，指导开发人员进行需求功能开发和分析，同时也作为汇报需求的最为重要的参考。

基于招聘项目的需求分析以招聘信息作为业务背景，梳理需求分析的过程：发现问题：针对各个招聘网站、在校毕业生等多种渠道进行调研后，发现岗位所在城市、企业规模、岗位薪资、学历要求、技术要求等是关注较多的点

基于招聘项目的需求分析以招聘信息作为业务背景，梳理需求分析的过程：需求确认：1、各城市某岗位数量统计2、各城市岗位总数统计3、各城市某岗位薪资平均值4、学历要求关键字5、经验与薪资水平的关系6、职位要求关键字7、岗位需求最多TOP108、大数据相关岗位能力要求……

基于招聘项目的需求分析以招聘信息作为业务背景，梳理需求分析的过程：需求处理：根据确认的需求撰写需求分析报告

基于招聘项目的需求分析通常原始数据不能被直接使用，其中可能存在重复数据、错误数据等，因此首先要对原始数据进行清洗，然后将得到的数据采用类似分组聚合等方法进行数据分析，最终将数据分析结果以可视化的形式展示出来。数据清洗——数据分析——数据可视化

数据分析技术路线

基于招聘项目的需求分析数据分析技术路线需求分析数据清洗数据分析数据可视化综合应用1、描述需求背景2、总结需求问题3、数据分析技术路线包含哪几个步骤？4、在数据分析技术路线中每个步骤需要完成的内容是什么？任务：基于招聘数据描述需求背景及总结需求问题、数据分析技术路线总结任务一

需求分析在数据分析技术路线中，第一步是数据获取。我们需要对收集的数据有一定的认知，对各字段的含义和背景知识都要有着足够的理解，因此首先需要掌握访问数据的方法，才能看到数据细节。同时，经过数据清洗与整理、数据分析之后得到的结果数据也需要进行保存，留作进一步分析使用。本任务主要介绍访问数据的方法，重点关注使用pandas进行数据输入和输出。认识业务数据

认识业务数据将表格型数据读取为DataFrame对象是pandas的重要特性。在实际应用中，read_csv和read_table两个函数将是我们使用最多的函数。文本格式数据的读写

认识业务数据函数描述read_csv从文件、URL或文件型对象读取分隔好的数据，逗号是默认分隔符read_table从文件、URL或文件型对象读取分隔好的数据，制表符('\t')是默认分隔符CSV是一种常用的存储表格数据的文件格式，在数据分析领域也是经常被使用的文件格式之一。CSV文件是逗号分隔的，我们可以使用read_csv函数将它读入到一个DataFrame中。CSV文件读取

认识业务数据上述代码中，传入read_csv中的joblist.csv文件路径是相对路径，要求joblist.csv与代码所在路径在同一路径下。也可以使用文件的绝对路径，比如将上图中第二行代码写成：df=pd.read_csv(open('D:/notebook/Python数据分析/joblist.csv'))注意：读取CSV文件时，如果文件路径有中文，需要加open函数，否则会报错。建议无论路径中是否包含中文，都加open函数。CSV文件读取

认识业务数据读取CSV文件，也可以使用read_table进行读取，指定分隔符即可。CSV文件读取

认识业务数据有的CSV文件并不包含表头，当读取这种类型的文件时，可以使用header参数分配默认标题行，也可以使用names参数自己指定列名。CSV文件读取

认识业务数据现在想要指定message列作为索引，可以使用index_col进行指定，index_col的取值可以是列的位置序号3，也可以是“message”列名。CSV文件读取

认识业务数据在很多情况下，CSV文本文件中会包含注释内容，可以使用skiprows参数跳过注释。CSV文件读取

认识业务数据当处理大型文件时，可以使用nrows参数选择只读取部分数据。CSV文件读取

认识业务数据如果只是研究文件中的某几列数据，可以通过usecols参数进行部分列的选取。CSV文件读取

认识业务数据如果内存无法加载整个文件，需要对文件进行逐块读取。分块读入文件，可以指定chunksize参数作为每一块的行数。read_csv返回的TextFileReader对象允许根据chunksize遍历文件，例如遍历“岗位列表.csv”，并对“工作城市”列聚合获得计数值。CSV文件读取

认识业务数据read_csv常用的参数说明如表所示。CSV文件读取

认识业务数据参数使用说明path文件路径sep字段分隔符，可以是字符序列，也可以使用正则表达式header指定列索引，默认为0（第一行）、1、2，也可以为None，或没有header行index_col用于指定行索引names用于指定列索引名字skiprows从文件开始，需要跳过的行数nrows从文件开始，需要读取的行数usecols指定读取的列chunksize指定文件块大小对数据进行处理分析之后，需要把数据存储起来，可以使用DataFrame的to_csv函数，将数据导出为以逗号分隔的文件。CSV文件存储

认识业务数据上述情况下会存储行索引，可以通过设置index=False不存储行索引。CSV文件存储

认识业务数据1、编写代码读取CSV文件2、编写代码存储CSV文件任务：完成CSV文件的读取与存储

认识业务数据

目录任务一需求分析任务二数据清洗任务三数据分析任务四数据可视化任务五综合应用无论是通过数据采集、购买数据、查找免费开源数据、取得企业内部数据等途径获得数据，都或多或少存在数据缺失、重复数据、数据不规整等问题，因此在做数据分析之前，数据清洗是非常重要的环节，我们要拿到有效的数据，才会让数据分析结果更趋于精准。本任务总结出“识侦洗理析”的数据清洗策略，首先让读者认识脏数据，然后通过一系列函数侦查脏数据，再针对不同的脏数据进行清洗与整理，解析数据清洗策略选择，为后续数据分析做准备。将使用pandas库进行数据清洗和整理，包括缺失值、重复数据、数据格式等方面的处理。任务介绍任务二

数据清洗脏数据（DirtyRead）通俗来说，它是因数据重复录入、共同处理等不规范操作而产生的混乱、无效数据。这些数据不能为企业带来价值，反而会占据存储空间，浪费企业的资源。因此，这些数据被称为“脏”数据，不仅没有价值，还会“污染”其他的数据。什么是脏数据1认识脏数据脏数据的种类1认识脏数据脏数据类型134错误数据非需数据缺失数据2重复数据脏数据的种类1认识脏数据缺失值格式内容脏数据重复数据非需数据1、给定数据如下，判断数据中包含的脏数据的类型2、请对脏数据的概念及种类进行总结任务：判断脏数据的种类1认识脏数据侦查脏数据2侦查脏数据侦缺失值info()等侦重复数据duplicated()侦错误、非需head()“三侦法”侦查脏数据有时由于采集数据设备故障或无法存入数据或没有录入数据或故意隐藏数据等诸多原因，我们获得的部分数据可能存在缺失值。这些缺失值对于数据分析而言是没有任何意义的，需要通过程序处理掉这些缺失值，以便下一步进行分析。侦查缺失值2侦查脏数据isnullnotnullinfo1isnull结果为True时代表对应的值为缺失值，False代表对应的值不是缺失值2notnull结果为True时代表对应的值不是缺失值，False代表对应的值为缺失值3info可以查看DataFrame每列数据的缺失值情况通过isnull和notnull方法，可以返回布尔值对象，isnull的结果为True时代表缺失值，notnull的结果为False时代表缺失值。通过求和可以获取每列的缺失值数量，再通过求和可以获取整个DataFrame的缺失值数量。侦查缺失值2侦查脏数据通过info函数，也可以查看DataFrame每列数据的缺失值情况。侦查缺失值2侦查脏数据通过网络爬虫爬取的数据时往往因为网络原因会出现重复数据，对于重复数据只需要保留一份，其余的重复数据可以直接删除。可以通过duplicated方法判断各行是否有重复数据。侦查重复数据2侦查脏数据侦查错误数据时需要查看数据的内容，侦查非需数据时需要查看数据的字段，可以使用head函数实现这两种情况。head函数会默认显示数据中的前5行。侦查错误数据及非需数据2侦查脏数据1、读取给定数据文件2、使用isnull、notnull、info、duplicated、head等方法侦查DataFrame中的脏数据任务：侦查脏数据2侦查脏数据当数据中存在缺失值时，可以根据缺失值的重要程度选择处理方法，如果缺失的数据不重要，可以直接过滤缺失值，如果缺失的数据重要不能直接删除，可以填充缺失值。处理缺失值3数据清洗与整理在缺失值的处理方法中，删除缺失值是常用的方法之一，虽然可以使用isnull或notnull以及布尔值索引手动过滤缺失值，但通过dropna函数删除缺失值更加方便。在Series上使用dropna，它会返回Series中所有的非空数据及其索引值。删除缺失值3数据清洗与整理当在DataFrame中删除缺失值，可能想要删除全部为NaN的行或列，也可能删除包含有NaN的行或列。dropna函数默认情况下会删除包含缺失值的行。当传入how='all'时，dropna将删除所有值均为NaN的行。删除缺失值3数据清洗与整理如果想要删除全为NaN的列，需要传入axis=1。删除缺失值3数据清洗与整理当数据量比较少或者数据比较重要时，就不能直接删除缺失值了，这时可能需要以多种方式补全缺失值。通过fillna函数填充缺失值，可以使用一个常数来代替缺失值。在调用fillna时也可以传入字典，针对不同列设定不同的填充值。填充缺失值3数据清洗与整理fillna对数据进行填充后将会返回一个新的对象，如果想直接修改原来已经存在的对象，可以使用inplace=True进行设置。填充缺失值3数据清洗与整理对重新索引中填充缺失值的方法也可以用于fillna中。还可以在使用fillna时将数据中的平均值或中位数填充为缺失值。填充缺失值3数据清洗与整理fillna函数参数说明如表所示。填充缺失值3数据清洗与整理参数描述value常数或者字典型对象用于填充缺失值method插值方法，如果没有其他参数，默认是'ffill'axis需要填充的轴，默认axis=0inplace修改原始调用的对象limit用于前向或后向填充时最大的填充范围使用drop_duplicates函数可以删除多余的重复项。删除重复数据3数据清洗与整理也可以指定部分列作为判断重复数据的依据。通过结果可以看出，保留的数据为第一个出现的数据，后面重复的数据将会被删除。可以通过传入keep='last'保留最后一个出现的数据。删除重复数据3数据清洗与整理在处理数据的时候，很多时候会遇到批量替换的情况，如果一个一个去修改效率过低，也容易出错，replace是很好的方法。replace类似于Excel中的替换功能，是对查询到的数据替换为相应的数据。语法：df.replace(to_replace,value)to_replace：需要替换的值value：替换后的值。替换值3数据清洗与整理也可以针对不同的值进行多值替换，可以传入列表或字典格式指定需要替换的值和替换后的值。替换值3数据清洗与整理定义一个等级情况，分数在90-100之间为优秀，70-89之间为良好，60-69之间为及格，低于60分为不及格。现在想要在Python成绩单的基础上增加一列等级，可以使用map映射及自定义函数来实现。使用函数或映射进行数据转换3数据清洗与整理姓名成绩张三46李四83王五95赵六62在数据分析中经常会处理一些文本数据，pandas提供了处理字符串的矢量化函数。对于如下数据，要把数据分成两列，可以使用函数及映射来完成。字符串处理3数据清洗与整理字符串处理3数据清洗与整理pandas中字段的str属性可以直接对DataFrame中的某列调用字符串方法，并运用到整个字段中（即矢量化运算）。1、处理数据中的缺失值2、处理数据中的重复数据，直接删除3、处理数据中的错误数据及非需字段4、将清洗好的数据存储为clean.csv任务：数据清洗与整理3数据清洗与整理基于招聘信息的数据清洗4基于招聘信息的数据清洗详见教材示例。

目录任务一需求分析任务二数据清洗任务三数据分析任务四数据可视化任务五综合应用得到清洗好的数据之后，就要根据需求进行数据分析了。对数据集进行分类，并在每一组上进行统计分析，通常是数据分析工作中的一个重要部分。进行数据分组统计，可以完成后续数据可视化和形成分析报告的目的。本任务将讲解pandas中GroupBy的原理和使用方法，聚合函数的使用，分组运算transform和apply方法的使用。任务介绍任务三

数据分析任务导入1数据分组任务导入1数据分组兴趣点：各个城市能够提供的岗位数量任务导入1数据分组数据分组运算：按照一定的规则对数据集进行分组，并在每一组上进行统计分析的过程。按照类别进行分组统计是非常常用的一种分析方法。GroupBy原理1数据分组GroupBy用于数据分组运算，类似于Excel中的分类汇总或数据库中的分组操作，其运算的核心模式是split-apply-combine（分组-应用-聚合）。GroupBy方法1数据分组groupby函数：能够实现针对某种规则对海量数据进行分组。语法：DataFrame.groupby(['分组指标'])['统计字段'].聚合函数GroupBy方法1数据分组数据分组groupby分组指标查询带添加统计函数名指标在内值在外口诀df.groupby(["分组指标"])['统计字段'].统计函数函数名描述count分组中的非NaN值数量sum非NaN值的累加和mean非NaN值的平均值median非NaN值的算数中位数std、var无偏的标准差和方差min、max非NaN值的最小值、最大值prod非NaN值的乘积first、last非NaN值的第一个和最后一个值1数据分组GroupBy方法1数据分组GroupBy方法在pandas的数据对象中（Series、DataFrame或其它数据结构），根据提供的一个或多个键将数据拆分到多个组中，拆分操作是在数据对象的特定轴向上进行的，比如DataFrame可以在它的行方向（axis=0）或列方向（axis=1）进行分组。分组操作后，就可以在各个组中应用函数进行统计，产生新的值。最终所有组的结果会联合到一个结果对象中形成新的数据集。结果对象的形式通常取决于对数据进行的操作。1数据分组GroupBy方法使用list展开查看DataFrameGroupBy对象的结构。1数据分组GroupBy方法下图能够很好的展示DataFrameGroupBy对象的内部分组情况：1数据分组GroupBy方法GroupBy对象支持迭代，会生成一个包含组名和数据块的二维元组序列，如果要计算成绩数据中分数的平均值，需要将“分数”选择出来，按照“姓名”进行分组，计算平均值语法糖1数据分组GroupBy方法使用groupby进行分组时，分组键可以是多种形式的，并且键不一定是完全相同的类型：DataFrame的列名的值与需要分组的轴向长度一致的值列表或元组或值数组可以将分组轴向上的值和分组名称相匹配的字典或Series可以在轴索引或索引中的单个标签上调用的函数1数据分组使用列名分组DataFrame数据的列索引名称可以作为分组键，用列索引名称作为分组键时，用于分组的对象必须是DataFrame数据本身，否则搜索不到索引名称会报错。1数据分组使用列表或元组分组分组键也可以是与需要分组的轴向长度一致的值列表或元组或值数组。1数据分组使用字典和Series分组分组键可以定义为字典结构，比如上面的成绩数据中，张三和李四是A班学生，王五是B班学生，要计算A班和B班的成绩总分。1数据分组使用函数分组与使用字典或Series分组相比，使用Python函数是定义分组关系的一种更为通用的方式。作为分组键传递的函数将会按照每个索引值调用一次，同时返回值会被用作分组名称。例如给定成绩等级情况，将成绩数据按照等级情况进行分组。2聚合运算聚合函数聚合函数又叫组函数，通常是对表中的数据进行统计和计算，一般结合分组(groupby)来使用，用于统计和计算分组数据。在前面的例子中使用了部分聚合运算方法，比如mean、sum等，常见的聚合函数如表所示。函数名描述count分组中的非NaN值数量sum非NaN值的累加和mean非NaN值的平均值median非NaN值的算数中位数std、var无偏的标准差和方差min、max非NaN值的最小值、最大值prod非NaN值的乘积first、last非NaN值的第一个和最后一个值2聚合运算聚合函数除了上述聚合运算方法外，只要是Series或DataFrame支持的能用于分组的运算函数都可以拿来使用，比如quantile可以计算Series或DataFrame列的样本分位数，虽然quantile并不是显式的为GroupBy对象实现的，但它是Series的方法，因此也可以用于聚合。2聚合运算聚合函数还可以自定义聚合函数，通过aggregate或agg参数传入即可，例如计算极差（即最大值与最小值的差）。2聚合运算逐列及多函数应用使用小费数据集作为数据案例。如果需要在一列上进行多聚合函数的运算，可以在agg参数中传入多函数列表。2聚合运算逐列及多函数应用上面的结果中，会使用聚合函数名称作为结果的列名，也可以自定义结果中的列名，可以使用元组的形式传入，元组中第一个元素是列名，第二个元素是聚合函数。2聚合运算逐列及多函数应用在DataFrame中，可以指定应用到所有列上的函数列表或每一列上要应用的不同函数。如果需要对不同列使用不同的函数运算，可以通过字典来定义映射关系。2聚合运算逐列及多函数应用上图的示例中，会将分组指标“day”和“time”作为结果数据中的索引。如果希望返回的结果不以分组键为索引，可以设置as_index=False。3分组运算transform方法transform函数可以使运算结果分布到每一行。3分组运算transform方法上述结果，经过transform计算分数的平均值后，得到的结果保持了与原始数据集相同数量的项目，这是transform的独特之处。也可以直接将transform结果直接作为df中的一列。3分组运算transform方法下面以图解的方式来看看进行groupby后transform的实现过程。3分组运算apply方法apply方法用于对DataFrame中的数据进行按行或者按列操作，它在分组运算中也能发挥强大的功能，比如计算小费数据集中根据性别分组后消费金额排在前5名的DataFrame数据。3分组运算apply方法上图中定义top函数，使用sort_values中的ascending=False实现按照tip降序排列，并获取排在前5名的数据，再根据groupby对sex分组，分别求取Female和Male小费金额排在前5名的数据。如果希望返回的结果不以分组键作为索引，可以传入参数group_keys=False。基于招聘信息的数据分析4基于招聘信息的数据分析详见教材示例。

目录任务一需求分析任务二数据清洗任务三数据分析任务四数据可视化任务五综合应用Matplotlib是一个Python的绘图库，它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式，它可以用来绘制各种静态，动态，交互式的图表，它是一个非常强大的Python画图工具，我们可以使用该工具将很多数据通过图表的形式更直观的呈现出来，比如Matplotlib可以绘制线图、散点图、等高线图、条形图、柱状图、3D图形、甚至是图形动画等等。本任务主要介绍如何利用Matplotlib绘制常用数据图表，如何使用Matplotlib的自定义设置绘制个性化图表等，最后回归招聘数据分析结果，将其采用Matplotlib可视化方式展示出来，带领读者掌握Matplotlib数据可视化的用法。任务介绍任务四

数据可视化matplotlib的plot函数可以用来绘制线形图，在参数中传入X轴和Y轴坐标即可。X轴和Y轴坐标的数据格式可以是列表、数组和Series。基本使用

1

线形图通过plot函数的color参数可以指定线条的颜色，这里我们绘制红色线条。也可以使用RGB颜色来进行线条色彩设置。颜色设置

1

线形图通过plot函数的linestyle参数可以指定线条的形状，这里绘制出虚线的线条。通过plot函数的linewidth参数还可以指定线条的宽度。线形设置

1

线形图默认情况下，坐标点是没有标记的，但是为了方便用户查看，可以使用plot函数的marker参数对坐标点进行标记。颜色、线条和点的样式可以一起放置于格式字符串中，但颜色设置要放在线条和点的样式的前面。点标记

1

线形图绘制柱状图主要是使用matplotlib的bar函数。相比通过pandas绘制柱状图，通过matplotlib绘制柱状图的方法稍微复杂一些，需要把刻度列表和高度列表提前传入。通过bar函数的color参数可以设置柱状图的填充颜色，alpha参数可以设置透明度。基本使用2柱状图grid函数用于绘制格网，通过对参数的个性化设置，可以绘制出个性的格网。bar函数的bottom参数用于设置柱状图的高度，从而实现堆积柱状图的绘制。基本使用2柱状图bar函数的width参数用于设置柱状图的宽度，从而实现并列柱状图的绘制。也可以通过barh函数绘制水平柱状图。基本使用2柱状图在matplotlib中，通过xticks函数可以设置图表的X轴刻度和刻度标签。刻度与标签2柱状图通过xlable和ylable方法给X轴和Y轴添加标签，通过title方法为图表添加标题。刻度与标签2柱状图图例是标识图表元素的重要工具。在bar函数中传入lable参数可以表明图例名称，通过legend函数即可绘制出图例。图例2柱状图matplotlib中，scatter函数可以用来绘制散点图，传入X轴和Y轴坐标即可。散点图3散点图和直方图散点图的颜色和点标记样式也是可以进行更改的。散点图3散点图和直方图matplotlib的hist函数可以用来绘制直方图。直方图3散点图和直方图matplotlib的图像位于Figure对象中。通过figure函数可以创建一个新的Figure，用于绘制图表，其中的figsize参数可以设置图表的长宽比。在创建Figure对象过程中，通过add_subplot函数创建子图，用于绘制图形。图表布局4自定义设置图表这时选择不同的ax变量，便可在对应的subplot子图中绘图。图表布局4自定义设置图表图表布局4自定义设置图表通过plt.subplots可以很轻松地创建子图，而且axes的索引类似于二维数组，这样便可以对指定的子图进行绘制。图表布局4自定义设置图表默认情况下，各subplot子图间都会留有一定的间距。图表布局4自定义设置图表当没有设置figsize时，创建多子图会显得拥挤。通过plt.subplots_adjust方法，可以设置子图的间距，修改子图之间的间距。具体参数如下：subplots_adjust(left=None,bottom=None,right=None,top=None,wspace=None,hspa