数据分析应用项目化教程（Python） 课件 任务4.3数据运算

第四章使用pandas进行数据对象构建和数据运算

任务4.3数据运算

算术运算和自动对齐

布尔运算

关系运算

排序运算

汇总类统计

唯一去重和按值计数

相关系数和协方差算术运算和自动对齐Series、DataFrame和NumPy数组一样，也是向量化运算，而且支持大多数NumPy多维数组的方法Series、DataFrame和多维数组运算的主要区别：Series、DataFrame之间的操作会自动基于标签对齐数据，包括行标签和列标签，生成的结果是列和行标签的并集。因此，不用顾及执行计算操作的Series、DataFrame是否有完全相同的标签。算术运算和自动对齐Series之间运算算术运算和自动对齐DataFrame之间运算算术运算和自动对齐DataFrame和Series之间运算shape不一致，广播布尔运算布尔运算可以通过'与'（&）、'或'（|）、'非'（~）、异或（^）进行组合运算,（每一个计算项一定要加括号，注意运算符的优先级）关系运算关系运算符(><==!=),常使用关系运算和逻辑运算结合选取数据根据关系运算选取的都是整行数据形如：df[限制条件1&限制条件2…]或df[限制条件1][限制条件2]在df中选择b和c同时大于0的那些行，等价df[(df.b>0)][(df.c>0)]左图根据关系运算选取指定列的数据形如：df[限制条件][列]、df[列][限制条件]在df中选择b列和c列同时大于0的a和b列右图

排序运算

Pandas支持三种排序方式，按索引标签排序，按列里的值排序，按两种方式混合排序。Series.sort_values()方法用于按值对Series排序。DataFrame.sort_values()方法用于按行列的值对DataFrame排序。DataFrame.sort_values()的可选参数by用于指定按哪列排序，该参数的值可以是一列或多列数据。Series.sort_index()与DataFrame.sort_index()方法用于按索引层级对Pandas对象排序。汇总类统计Series与DataFrame支持大量统计的方法，包括sum()、mean()等聚合函数，还包括输出结果与原始数据集同样大小的cumsum()、cumprod()等函数。这些方法基本上都接受axis参数，axis可以用名称或整数指定。Pandas的统计运算默认忽略缺失值，而Numpy的统计运算遇缺失值结果为nan。Series：无需axis参数DataFrame：index，即axis=0，默认值，按列统计columns,即axis=1，按行统计唯一值和值计数运算一般不用于数值列，而是枚举、分类列相关系数和协方差对于两个变量X、Y：协方差：衡量同向反向程度，如果协方差为正，说明X，Y同向变化，协方差越大说明同向程度越高；如果协方差为负，说明X，Y反向运动，协方差越小说明反向程度越高。协方差矩阵：df.cov()相关系数：衡量相似度程度，当他们的相关系数为1时，说明两个变量变化时的正向相似度最大，当相关系数为－1时，说明两个变量变化的反向相似度最大。相关系数矩阵：df.corr(两者关系：把协方差归一化，也就是相关系数。相关系数消除了协方差数值大小的影响。相关系数也可以看成协方差：一种剔除了两个变量量纲影响、标准化后的特殊协方差,它消除了两个变量变化幅度的影响，而只是单纯反应两个变量每单位变化时的相似程度。相关系数和协方差y经由函数构造出来，x和y的相关系数应该为1。但从实验结果可知