统计学第三章描述统计

第三章 描述统计第一节 数据预处理一、缺失值处理二、数据分组三、次数分配四、分布曲线一、缺失值处理缺失值是指在数据采集与整理过程中丢失的内容。缺失值的处理一般有两种方式：一是删除对应的记录，这种方式在数据缺失非常少的情况下是可行的，但如果各个项目中都有少数的数据缺失存在，对所有缺失的记录都进行删除可能就会使总样本量变得非常小，从而损失许多有用信息。缺失值处理的第二种方式是进行插值处理，所谓插值，是指人为地用一个数值去替代缺失的数值。插值处理根据插值的不同，有如下一些方法：1、随机插值根据缺失值的各种可能情况，等概率地进行插值。例如在调查中，某人的性别缺失，其性别有两种可能性，一是“男”，二是“女”，可以简单地掷一枚硬币，如果正面朝上，则赋值为“男”，如果反面朝上，则赋值为“女”。2、依概率插值随机插值是假定一个变量取各种值的可能性是相等的，但有些情况下，我们可以事先知道一个变量取各种值的概率，例如，在对某单位的调查中，发现该单位女性占的比例是75％，男性的比例是25％，在这次调查中某人的性别缺失，则在对其的性别进行赋值时，不是按50％概率赋为“女”，而是按75％概率赋为“女”。3、就近插值就近插值是指根据缺失记录附近的其他记录的情况对缺失值进行插值，例如在上例中，“张三”的性别出现缺失，此时可以用其邻近的“李四”的性别数据替代“张三”的性别数据，由于“李四”的性别为“女”，所以将“张三”的性别也赋为“女”。就近插值是依概率插值的一种简化处理，设想在整个单位的职工中，女性占的比例是75％，则在一般情况下，与张三邻近的记录性别为“女”的概率也应当为75％，就近插值实际上就是依概率插值。使用就近插值时，需要对抽样过程进行必要的了解，如果抽样时性别有交叉的情况，例如经常是调查完一名男性后就调查一名女性，则使用就近插值就会出现较多的错误。4、分类插值依概率插值是将记录置于总体的背景上进行插值，没有充分利用记录的其他信息。如果在记录的其他信息中有某些项目与缺失项目存在相关性，则可以根据这些辅助信息对总体进行分类，在每一类内部进行插值处理。例如，“张三”的职业是“护士”，假定该单位中95％的“护士”性别为“女”，则在进行插值时，就不是使用全单位的女性比例75％，而是使用“护士”中的女性比例95％对“张三”的性别进行赋值。二、数据分组数据采集中的要求是尽可能完整地保留原始状况，但在进行数据处理时，可能需要对数据进行一定的归类，以便于分析。这种数据归类的过程，称为数据分组。数据分组中需要考虑的内容包括：1、分组标志2、组数3、组距4、组限5、组中值1、分组标志一批数据可以按不同的标志进行分组，选择分组标志要根据研究目的进行。例如要研究受教育程度对收入的影响，则分组应当按学历和月收入两个标志进行，而没有必要再使用身高、体重等标志进行分组。一般来说，分组标志的选择有两个原则：自然原则和根据差异性进行分组的原则。2、组数按同一标志，可以将数据分成不同数量的组，例如按年龄分组，可以分为儿童、成年人两组，也可以分为青少年、中年、老年三个组，也可以按10年或者5年为一段分为更多的组。组数的确定受自然标志和规模标志两个因素的影响。自然标志的不同，对于分组的细化程度也会有所不同；组数的确定还受到规模的影响，样本量较大时，组数也可以更大一些，反之则组数应当小一些。分组的一条原则：不要把组分的太细。初接触统计分析的工作人员往往倾向于将数据分组分得很细，以求保留更多的原始信息。需要提醒的是，数据分组过细后，最终的统计结果会表现为一个较大的表格，有时反而不利于阅读和判断。3、组距组距是指每个组的范围跨度。组距的确定受自然和社会规律以及适当平衡两个因素影响。从自然和社会规律方面来说，组距的确定是客观的，例如青少年的分组，是按年龄进行划分的，这种划分方法不能被改变；按适当平衡确定组距是针对一些没有客观标准的标志进行分组时采用的方法，例如按收入进行分组时，组距的确定并没有客观标准。此时，可以根据样本的结构划分组距，以使每一组的样本数大致接近。4、组限组限指组与组之间的界限，组限与组距是一对相互影响的关系，组距调整了，组限也就发生了变化，反之，组限一旦确定下来，组距也就确定了，组距等于组的上限与下限之差。组限的确定有时是客观的，需要根据实际研究的内容进行调整。例如未成年人与成年人的分组界限是16岁，这是按国际标准的就业人口界限确定的。但如果分组的目的是研究样本的民事行为能力，则这一分组界限就需要调整为18岁。另外，组限的确定应该使得每组相对比较平衡，即每组的样本量应当相对比较接近。有些时候，一个组可能会缺失上限或者缺失下限。对于连续型的变量来说，相邻组的上限和下限会是同一的，例如在对收入进行分组时，“600－800元”和“800－1000元”就出现了重合，此时，统计惯例是将重合的值计入后一组。即上述两组的划分为“600－800元（不含）”，和“800元－1000元（不含）”。5、组中值组中值是一个组中处于中间位置的值，往往用以代表一个组的平均状况。对于缺上限或者缺下限的组，组中值的计算有几种不同的情况:（1）根据邻近组组距推算（2）对于缺下限组而言，当邻近组组距过大时，使用上限的一半计算。例如，关于收入的分组是“500元以下”、“500－1500元”、“1500－2500元”、“2500－4000元”、“4000元以上”。此时，计算第一组的组中值为500的一半，即250元。（3）根据现实情况人为确定有些情况下，一个组的上下限虽然不能确定，但可以进行模糊地判断，此时就可以利用这种模糊判断的结果，确定该组的组中值。例如在收入数据中，“5000元以上组”的组中值可以根据城市中高收入人群的平均收入情况确定为“8000元”，这种确定的依据是现实的社会经济经验数值。三、次数分配次数分配是指观察值按分组标志分配在各组内的记录数。各组中观察值的数量称为次数，也称频数。各组次数与总次数的比例，称为频率。有时候，出于统计分析的目的，需要对高于或低于某一组的所有观察值的次数进行统计，这样形成的次数分配表，称为累积次数分配表。四、分布曲线1、概念2、分布曲线的类型1、概念在平面直角坐标系上，以分组标志为横轴，次数或者频率为纵轴，可以画出次数分配的直方图。例如一次次数分配情况可以表示为：将直方图的顶端用折线连接，可以获得次数分配的折线图，折线图的含义与直方图是一致的，均反映不同组的次数分配情况，折线越高的地方，反映该组的次数越多，反之则越少。当样本量较大，组距较小时，折线图会越来越平滑，直至成为一条曲线。这种曲线称为次数分布曲线，反映出数据的分布规律。分布曲线2、分布曲线的类型数据的分布特征不同，形成的分布曲线也表现出各种不同的类型，常见的分布曲线的类型有下列各种：（1）钟形分布（2）J形分布（3）U形分布（4）多峰分布（1）钟形分布钟形分布是社会经济现象中最常见的分布形式，具体表现为中间隆起，两侧逐渐降低。钟形分布表明数据具有集中的趋势，大多数数据集中在中间，越往两端，数据越少。在远离中心的位置，只有极少数的数据。钟形分布的中间隆起部分称为峰，两侧称为尾。一个典型的钟形分布的例子钟形分布根据钟的特点可以进一步分为偏态的钟形分布和对称的钟形分布。由于两侧的数据不对称，因此这种钟形分布称为偏态的钟形分布。根据较长的尾所指的方向不同，将偏态又可分为正偏（右偏）和负偏（左偏）两种，上图中较长的尾部指向左方，即数据的负方向，所以称为负偏态，或者左偏态。左右对称的钟形分布是一种特殊情况，因为自然现象中严格呈现出左右对称的是非常少见的。对称的钟形分布大多数是属于数据经过处理后的分布形式。其中最典型的对称钟形分布是正态分布（Normal Distribution）。正态分布图（2）J形分布J形分布一般是累积分布的表现形式，在图形上表现为一条从下向上单调变化的曲线。根据J形分布的方向，又可分为正J形和反J形。所谓反J形，是指曲线单调递减的情况，一般是用于描述向上累积的现象。（3）U形分布U形分布是指中间凹陷，两端翘起的分布形式，反映出某一个社会经济现象在开始和结束时某项活动比较频繁，而在中间则相对比较稳定。U形曲线一般用于描述具有生命或者质量特征的现象，例如人和动物的死亡率数据，人和动物一样，在幼年和老年的死亡率都比较高，中年的死亡率较低，从而表现为U形曲线。产品的故障率也具有这样的特征，产品使用初期和老化期的故障率都比较高，中间阶段则故障率比较低。U形曲线因形状像浴缸，又称为浴缸曲线。是两个不同的因素同时对一个社会经济现象起作用的结果。如产品故障率，同时受产品自身缺陷和老化两个因素影响，在使用初期，自身缺陷造成的故障率较高，在使用后期，则老化引起的故障率较高，中间阶段则正好处于两个故障率均较低的阶段。浴缸曲线的确定对厂商服务质量的确定也有帮助。反U形曲线，虽形似钟形曲线，但它的分布却与时间有关，可以反映出新产品上市时的情况。（4）多峰分布多峰分布是指超过一个隆起部分的分布，数列有若干个隆起部分，反映出影响数据的主要因素有若干个不同的水平，受不同水平影响的数据分别以不同的中心点聚集，从而形成若干个峰值。例如如果将某次调查中男女受访者的身高数据放在一起观察，就会发现数据表现出两个峰值，男性的平均身高和女性的平均身高分别为175CM和162CM。案例洛伦兹曲线基尼系数第二节 总量指标和相对指标一、总量指标和相对指标二、描述总量指标和相对指标的一些常用术语一、总量指标和相对指标总量指标是反映社会经济现象总体规模或水平的指标，又称为绝对数。例如一个国家一定时期内的人口数、一个地区的土地面积等等。相对指标是两个有联系的总量指标对比计算的比率，又称为相对数。根据相比较的总量指标之间的关系不同，相对指标可以划分为若干种类型：结构相对指标、比例相对指标、强度相对指标、比较相对指标、动态相对指标。5、动态相对指标二、描述总量指标和相对指标的一些常用术语1、静态比较与动态比较2、基期与报告期3、时期和时点1、静态比较与动态比较将同一时期的统计指标放在一起进行比较，称为静态比较。如果是用不同单位的同一时期指标进行相互比较，则可称为横向比较。同一单位或者不同单位的同一时期数据，称为横断面数据，表示按某一时间进行拦腰截断后，所观察到的数据。将不同时期的统计指标放在一起进行比较，称为动态比较。将同一单位的不同时期指标进行相互比较，又称为纵向比较。2、基期与报告期在进行动态比较时，有时会用当前的数据与过去某一时间的数据进行对比。此时，将当前的数据称为报告期数据，将用于比较的过去的数据称为基期数据。如果观察的是若干个时期的数据，每个时期的数据均与同一个基期数据进行对比，则这种比较方法，称为定基比较。例如，将某一时期1999年、2000年、2001年和2002年的GNP数值与1999年进行比较，所获得的3个比例，称为定基增长率。如果在观察若干个时期的数据时，每一数据均与前一时期进行对比，则这种比较方法称为环比比较。例如，观察1999年至2002年的GNP增长情况，其中2000年与1999年进行比较，2001年与2000年进行比较，2002年与2001年进行比较，则获得的一组增长率数据，称为环比增长率。3、时期和时点时期是指两个时间点之间的一段时间，时点是指某一特定的时刻。时期指标往往是具有动态特征的指标，例如在连续的一段时间内所进行的生产活动，要进行统计时，就必须采用时期指标。时点指标是具有静态特征的指标，反映的是过去所有活动的结果，例如某一时点上的国民财富积累情况，等等。第三节 平均指标平均指标指同类社会经济现象在一定时间、地点条件下所达到的一般水平。平均指标是数据描述中最基本的指标之一。常用的平均指标包括下列七类：一、算术平均数（Arithmetic Mean）二、调和平均数（Harmonic Mean）三、几何平均数（Geometric Mean）四、众数（Mode）五、中位数（Median）六、分位数七、截尾均值一、算术平均数（Arithmetic Mean）算术平均数也称均值，是所有数的总和与数量之商。用公式表示如下：对于分组数据，计算算术平均数时，可使用加权算术平均数方法。例子：评价一个网站加权算术平均数适用于三种不同的场合：分组频数数列、分组频率数列、具有不同权重的变量求平均。二、调和平均数（Harmonic Mean）调和平均数是根据标志值的倒数计算出来的平均指标，其意义与算术平均数一致。可以这样理解，调和平均数是在数据来源不同的情况下计算算术平均数的一种方法，调和平均数都可以通过数据转换，调整成算术平均数进行计算。案例：已知某人分几次购买苹果的情况如下：使用调和平均数计算苹果的平均价格，方法如下：此例也可转化为算术平均数进行计算，根据“购买数量＝购买金额／苹果价格”，可以计算出所购买苹果的总数量，如下表：根据算术平均数的计算公式，也可计算苹果的平均价格，即3.91元／公斤。根据本例也可以看出，调和平均数实际上只是将进行数据转换的步骤综合在计算公式中而已，实际上所计算的，仍然是算术平均数。三、几何平均数（Geometric Mean）几何平均数是在数列具有连乘积特征的情况下所计算的平均数。算术平均数的特征是各个参与平均的变量之间是平行的关系，变量之间可以直接相加，获得总和。例如，三个人的收入分别为100元、110元和120，则计算三个数的和，可得到三个人的总收入值为330元。几何平均数的特征是参与平均的变量之间是连续的关系，变量之间是通过相乘的方式来获得累积效果的。例如，某人在银行存款，本金为1000元，三年的存款利息率分别为10％，15％和20％，则三年后此人的银行存款本息之和为：1000元×（1＋10％）×（1＋15％）×（1＋20％）＝1518元这种具有连乘积特征的变量关系，在进行平均计算时，需采用几何平均数的方式。以上述的某人存款的数据为例，此人存款三年的平均利息率为：几何平均数也有加权形式，加权几何平均数的计算公式为：四、众数（Mode）众数是一组数据中出现次数最多的变量值。对于轻微偏态的单峰分布数据来说，众数反映的是数据的集中趋势位置，因此可以反映一组数据的平均状态。相对于算术平均数，众数更注重大多数的特征，而不关注极端数据的特征，这样，众数就是一个较为稳健的统计量。在我们对一组数列进行统计分析时，选择统计方法主要有两个原则：1、灵敏：可以非常准确的反映出这组数据的变化状况；2、稳健：一旦在数列中出现小的差错，可以被排除在外。分组数列的众数例子：对于上例，计算众数如下：五、中位数（Median）中位数是位于统计数列中间位置上的数。在数列中，有一半的数据大于中位数，一半的数据小于中位数，因此中位数可以反映数列的一般水平。中位数的位置计算公式为中位数不容易受到极端值的影响，数列中有个别数值出现异常，一般不会影响到中位数的大小。因此，中位数是一个比较稳健的统计量。对于上例，计算中位数如下：七、截尾均值截尾均值是指在一个数列中，去掉两端的极端值后所计算的算术平均数，也称为切尾均值。最常见的截尾均值的例子是在一些比赛中，计算选手的最终得分需要“去掉一个最高分，去掉一个最低分”，这种处理方法，即为计算截尾均值的方法。截尾均值由于去掉了数列中影响数据稳定性的极端值，从而具有较好的稳健性，不易受到极端值的干扰。极端值的判定根据分析目的的不同，可以有下列各种不同的方法：1、确定两端或者一端固定数量的值为极端值2、确定一个固定范围外的数值为极端值3、根据数据的统计结果来确定极端值1、确定两端或者一端固定数量的值为极端值例如确定最大值和最小值为极端值，而不去观察这两个值本身是多少。2、确定一个固定范围外的数值为极端值在数据处理时，人为地确定一个取值范围，超出这范围内的数值一律被当作极端值。例如在计算平均收入时，将10000元以上的收入值统一判定为极端值，不进行平均计算。3、根据数据的统计结果来确定极端值这种方法的特点是不事先确定极端值的范围，而是根据数据的实际数值，来推算极端值的范围。例如在计算收入数据时，约定以中位数的3倍作为极端值的范围，这样，对于不同的工资水平的地区，极端值的范围也就有所不同了。第四节 离散程度指标一、极差（Range）二、内距（Inter-Quartile Range）三、四分展布四、平均绝对差（Mean Absolute Deviation）五、方差（Variance）和标准差六、离散系数（Coefficient of Variation）一、极差（Range）极差是数据的最大值与最小值之差，用公式表示如下：极差反映出数据在空间上的分布范围，一般情况下，分布范围越大，表明数据整体越离散。极差是一个不够稳健的统计量，个别极端值的存在，可能会对极差造成很大的影响。二、内距（Inter-Quartile Range）内距也称四分位差，是指第三四分位数与第一四分位数之差。用公式表示如下：内距由于使用的是第三四分位和第一四分位的差，受两端的极端值影响较小，因此更为稳定。内距反映的处于中间位置的一半数据的分布范围，该范围的大小，可以反映整个数列的离散程度。三、四分展布1、秩2、深度3、中位数4、四分数1、秩秩是指将一个数列排序后所处的位置。将数据进行排序后，从最小值向最大值计算的名次，称为数据的升秩；从最大值向最小值计算的名次，称为数据的降秩。显然，对于任何一个数据而言，有：升秩＋降秩＝N＋12、深度升秩和降秩中的最小值，称为一个数据的深度。例子:有一个数列:3，7，9，12，18，24，26可知：Me=12四、平均绝对差（Mean Absolute Deviation）极差和内距都是根据数据所处的位置来进行计算的离散指标，未能充分利用所有数据的信息。平均绝对差是指各个标志值对其算术平均数的平均离差。平均绝对差的计算公式推导：平均绝对差的计算公式：五、方差（Variance）和标准差平均绝对差使用绝对值来消除离差的正负号，在数学处理中，具有一些不方便之处。方差是使用求平方的方式来消除正负号，便于数学处理。方差的计算公式：利用上例数据，计算方差：方差的简捷计算方法：利用上例数据，计算方差：计算方差的另一种方法：五、方差方差的计算器计算方法：按计算器的2nd+ON/C键进入统计功能，计算器的左上角会出现STAT的符号。计算器上有几个功能键是和统计有关的，详见黑板上图。几个键的功能分别为：第一个键为整个的统计功能提供数据。数据输入的方法标准差：方差的平方根称为标准差。在现实生活中，还存在一种是非标志变量，这种变量在统计中成为一种成数现象。成数（P）是在是非标志中选择是的比例：成数方差的计算：结论：如果已知一组数是是非标志，其成数为p，则这组数的方差为p（1-p）。六、离散系数（Coefficient of Variation）当几组数据的平均水平不同时，标准差的含义也有所不同。为了对水平不同的数据进行离散程度的比较，需要计算标准差相对于平均数的大小，称为离散系数。第五节 其他内容一、数据变换二、探索性数据分析三、对误差的描述四、箱线图一、数据变换1、原点变换2、尺度变换3、一般线性变换4、中心化变换5、极差变换6、标准化变换7、非线性变换数据变换是为了更好地显示数据，以便于分析人员对数据的特征进行掌握。数据变换原则上应当是单调的，也就是说，经过变换后的数据顺序，与变换前没有发生改变。1、原点变换对于数据绝对值比较大，远离原点的情况，可以通过这种方式，将数据调整到原点附近，以便于观察。2、尺度变换尺度变换的例子：三匹马的体重分别为200kg、201kg、202kg，三只蚂蚁的体重分别为500mg、1000mg、1500mg，无法在同一坐标系上表示出马和蚂蚁的体重离散程度。可以将蚂蚁的体重称上5000000，进行尺度变换，将蚂蚁的体重变为250kg、500k、750kg，从而可以将这些数据在同一坐标系中表示出来。对于数据差异较大或者较小，普通坐标系无法容纳的情况，通过这种变换，能够使之尺度发生变化，适应常规尺度。3、一般线性变换一般线性变换是原点变换与尺度变换同时作用的结果。4、中心化变换中心化变换可以将数据批调整到以平均值为中心。5、标准化变换标准化变换是将数据批进行原点和尺度的同时变换，使之与标准正态分布的规格相一致。例子：歌手大奖赛A地区歌手得分分别为：80、85、87、90、92；B地区歌手得分分别为：93.7、93.4、93.0、94.2、94.7；C地区歌手得分分别为：9.7、9.6、9.4、9.6、9.5。假定打分是同样分布的一批歌手，因为各地的打分情况不同，不能简单的比较各个地区的歌手好坏。为了比较这三个不同的数据批，可以将数据进行标准化变换。A地区歌手得分标准化变换后的分数为： -1.632、-0.432、0.048、0.768、1.248；B地区歌手得分标准化变换后的分数为： -0.168、-0.670、-1341、0.670、1.508。经过标准化变化的两批数据状况分析：可以看出B地区最高分的表现比平均水平高出1.508，而A地区的最高分仅高出1.248，说明B地区最高分的表现更出众。6、规格化变换（极差变换）规格化变换是将数据批调整至最大值为1，最小值为0的区间。7、非线性变换非线性变换主要用于数据序列的变化规律不均匀的场合中，例如，当处理一批平均水平不同的数据时，需要将数据进行对数变换，以求在同一坐标系内反映不同的数据批。例如：我国的移动电话的数量，可以用黑板上的图来表示。因为数量太大，不能进行原点变换等其他变换方式。我们需要找到一种方式进行变换，其一是要使得数据能够保持原有的单调变化，其二是能够使得这个变化过程在整个图中都表示出来。我们可以采用对数变换的方式。本例中我们取以10为底的对数。300部手机取对数后为2.477，10万部手机取对数后为5，7000万步手机取对数后为7.845，3亿部手机取对数后为8.477。再在图中就可以很清楚的表示出来了。二、探索性数据分析探索性数据分析是描述统计中一个重要的课题。数据分析人员经常要面对纷繁复杂的原始数据，如果不能掌握数据的基本规律，就不可能有针对性地采用各种统计方法。在实践中，数据分析往往分为两个步骤：探索性数据分析与证实分析。探索性数据分析是从复杂的数据中分离出数据的基本模式和特点，让分析者发现其中的规律，以便选择分析方法。对于在探索性数据分析中发现的数据规律，分析者需要使用特定的统计模型进行证实分析，以确定规律是否正确。探索性数据分析与证实分析在一次数据分析中往往要多次交替使用，在证实分析结束后，分析人员可能会发现更多有待探索的数据模式，从而需要再次使用探索性数据分析工具。探索性数据分析有四大主题，分别是：1、耐抗性2、残差3、重新表达4、图示1、耐抗性所谓耐抗性，是指分析方法对于数据局部不良行为的非敏感性。原始数据来源不可能保证所有的数据均准确无误，在数据存在少量错误的情况下，如何能够不被错误数据所误导，而认识到数据的本来面目，十分重要。2、残差残差是指从数据中减去一个总括统计量或拟合模型后的