财经大数据分析-以Python为工具 课件 ch02-数据查看

Python与财经大数据分析基础第2章——数据查看

CONTENTS目录2.1DataFrame数据属性2.2DataFrame数据查看2.3实操练习题2.1DataFrame数据属性2.1DataFrame数据属性在进行数据分析过程中，我们首先需要对数据有个大致了解，例如数据的基本属性、基本分布和描述性统计特征。本部分主要结合DataFrame数据结构特征，详细介绍数据查看中的一些基本函数。2.1DataFrame数据属性（1）DataFrame的基本属性index、columns和values是DataFrame数据的三大基本属性，分别指代DataFrame中的行索引、列索引和数据值。index属性储存DataFrame的行名和数据类型等信息。columns属性储存DataFrame的列名和数据类型等信息。Values可以以每行为一个数组的形式储存全部values二维数组。

Data

IndexColumnsAxis=1

Axis=0

2.1DataFrame数据属性（2）DataFrame结构属性在数据分析过程中，了解数据的大小和基本结构等是后续数据分析的重要基础。例如，在数据迭代过程中，可能会需要数据的观测数、行数或列数等。查看数据涉及到的函数包括shape()函数和size()函数。

shape()函数shape()函数可输出数组或矩阵的维度，输出结果以元组的形式表示DataFrame的行、列数，即（行，列）。再通过元组的数据提取，例如shape[0]和shape[1]分别可以获得行和列的长度，很方便的实现行数和列数统计。

size()函数size()函数用来统计矩阵元素的个数。在处理成批的数据时，可以通过size()函数查看基础数据中的元素数，进行初步的分析。2.1DataFrame数据属性（3）DataFrame序列提取在对DataFrame的数据处理中，时常需要提取序列（Series）并转换为序列、数组等多种形式，以实现数据降维。通过逐步降维再返回原数据，是迭代和数据计算中的常用办法。2.2DataFrame数据查看2.2DataFrame数据查看（1）数据基本信息在DataFrame数据中，通过info()函数可显示数据的基本信息，如查看数据类型和内存信息等，包括数据的索引、列数、列名、数据量、数据类型、缺失值、内存等。该函数的具体语法如下所示：2.2DataFrame数据查看2.2DataFrame数据查看（2）数据基本描述描述性统计是数据分析的重要工具，也是快速查看数据分布和数据特征的方法。通过describe()函数可以对数据的数量、均值、标准差、最小值、四分位取值等基本信息进行描述性统计。该函数的具体语法如下所示：2.2DataFrame数据查看（2）数据基本描述describe()函数的输出的统计变量如下：2.2DataFrame数据查看（3）读取数据前/后几行

在常用的数据处理中，可以通过head/tail函数来提取数据对象的前/后几行。此操作可以用于数据预览和查看分布，用以判断数据是否有误。这对于快速测试对象中的数据类型是否正确非常有用。head/tail函数的具体语法如下所示：2.2DataFrame数据查看（4）数据分位数分位数是将一个随机变量的概率分布范围分为几个等份的数值点，按照数据从小到大分为若干等份，并以此来分析其数据变量的趋势，常用的有中位数、四分位数、百分位数等。通过quantile()函数可以获取数据更细致的位置信息，从而判断是否存在极端值情况。具体语法如下所示：2.2DataFrame数据查看2.2DataFrame数据查看（5）数据抽样

使用Python进行数据分析处理时，时常需要进行随机抽样。df.sample()函数可用于从DataFrame中随机取样。具体语法如下所示：2.2DataFrame数据查看2.2DataFrame数据查看（6）数据唯一值

unique()函数和nunique()函数可对数据的唯一值进行统计。unique()函数可以查看序列（Series）的所有不同值，返回的数据类型为array；nunique()函数则可直接统计DataFrame中每列的不同值数量，也可用于Series，返回值为不同值的个数。2.2DataFrame数据查看（6）数据唯一值

unique()函数。使用unique()函数可以从列中提取唯一值，其输出结果按唯一值其出现的顺序返回。需要注意的是，此函数只能用于一维类似于数组的对象，返回值为数组。具体语法如下所示：2.2DataFrame数据查看（6）数据唯一值

nunique()函数。使用nunique()函数可用来统计DataFrame中各列的不同值数量，返回值为不同值的个数。具体语法如下所示：2.2DataFrame数据查看（7）数据简单计算值

除上述操作外，有时我们还会根据需求统计一些简单计算值，例如：求和、最大值、最小值、均值、中位数、标准差和相关系数等。简单计算的相关函数如下所示：2.2DataFrame数据查看2.3