数据描述性分析

数据描述性分析第一页，共七十一页，编辑于2023年，星期三内容分布均值、方差的数据特征数据的分布二元数据的数字特征及相关系数误差坏值的剔除第二页，共七十一页，编辑于2023年，星期三内容分布均值、方差的数据特征数据的分布二元数据的数字特征及相关系数误差坏值的剔除第三页，共七十一页，编辑于2023年，星期三数据描述性分析数据分析研究的对象是数据，它们是个观测值：

如果这个观测值就是所要研究对象的全体，那么数据分析的任务就是提取数据中包含的有用的信息。如果数据是从总体中抽出的样本，就要分析推断样本中包含的总体的信息。

,第四页，共七十一页，编辑于2023年，星期三均值、方差等数字特征一元数据的数字特征主要是以下几种。设个观测值为其中称为样本容量。1均值：即是的平均数：

均值表示数据的集中位置。第五页，共七十一页，编辑于2023年，星期三均值、方差等数字特征2方差、标准差与变异系数方差是描述数据取值分散性的一个度量，其量纲是数据量纲的平方。标准差第六页，共七十一页，编辑于2023年，星期三均值、方差等数字特征

变异系数：刻画数据相对分散性的度量CV＝校正平方和

CSS＝未校平方和

USS

＝

第七页，共七十一页，编辑于2023年，星期三均值、方差等数字特征3偏度与峰度偏度与峰度是刻画数据的偏态、尾重程度的度量。它们与数据的矩有关。数据的矩分为原点矩与中心矩。

k阶原点矩

K阶中心矩第八页，共七十一页，编辑于2023年，星期三均值、方差等数字特征偏度其中s是标准差。偏度是刻画数据对称性的指标。关于均值对成的数据其偏度为0，右侧更分散的数据偏度为正，左侧更分散的数据偏度为负。

频数频数频数偏向左<0对称＝0偏向右>0第九页，共七十一页，编辑于2023年，星期三均值、方差等数字特征峰度当数据的总体分布为正态分布时，峰度近似为0；当分布较正态分布的尾部更为分散时，峰度为正，否则峰度为负。当峰度为正时，两侧极端数据较多；当峰度为负时，两侧极端数据较少。第十页，共七十一页，编辑于2023年，星期三总体的数据特征设观测数据是由总体X中取出的样本，总体的分布函数是F。当X为离散分布时，总体的分布可由概率分布列刻画：总体为连续分布时，总体的分布可由概率密度刻画。连续分布中最重要的是正态分布，它的概率密度及分布函数分别为具有正态分布的总体成为正态总体

第十一页，共七十一页，编辑于2023年，星期三总体的数据特征与样本数字特征对应的是总体的数字特征总体均值

总体方差总体标准差总体变异系数

第十二页，共七十一页，编辑于2023年，星期三总体的数据特征总体原点矩（k阶）总体中心矩（k阶）总体偏度总体峰度第十三页，共七十一页，编辑于2023年，星期三偏度为正的概率密度偏度为负的概率密度f(x)f(x)xx第十四页，共七十一页，编辑于2023年，星期三总体峰度是以同方差的正态分布为标准，比较总体分布尾部分散性的指标。细尾，峰度为负正态分布，总体峰度为0粗尾，峰度为正第十五页，共七十一页，编辑于2023年，星期三总体数字特征和样本数字特征根据统计学的结果，样本数字特征是相应的总体数字特征的矩估计。当总体数字特征存在时，相应的样本数字特征是总体数字特征的相合估计，从而当n较大时，有第十六页，共七十一页，编辑于2023年，星期三总体数字特征和样本数字特征当观测数据是所要研究对象的全体时，数据的分布即总体分布，我们认为取得每一个观测数据是等可能性的，即为；总体分布是离散均匀分布：对这种情况，数据数字特征即总体数字特征。第十七页，共七十一页，编辑于2023年，星期三例1从19个杆塔上的普通盘形绝缘子测得该层电导率（）的数据如下：

9.898.006.406.175.397.279.0810.4011.208.756.4511.9010.309.589.247.756.208.958.33

计算均值、方差、标准差、变异系数、偏度、峰度。

第十八页，共七十一页，编辑于2023年，星期三通过计算，得＝8.487，＝3.046，＝1.845，CV＝21.745，＝0.035，＝－0.852

，的绝对值比较小，可以认为是来自正态总体的数据。

第十九页，共七十一页，编辑于2023年，星期三中位数、分位数、三均值与极差

均值、方差、标准差等数字特征是总体相应特征值的一种矩估计，更适合于来自正态分布的数据的分析。若总体的分布未知，或者数据严重偏态，有若干异常值（极端值），上述分析数据的方法不甚合适，而应计算中位数、分位数、三均值、极差等数据数字特征，计算上述特征需要用到次序统计量。第二十页，共七十一页，编辑于2023年，星期三次序统计量设是n个观测值，可以理解为来自某些总体的样本。将其按数值大小记为这就是次序统计量。最小统计量与最大统计量分别为：第二十一页，共七十一页，编辑于2023年，星期三中位数与极差中位数的计算公式是中位数是描述数据中心位置的数字特征。大体上比中位数大或小的数据个数为整个数据个数的一半。第二十二页，共七十一页，编辑于2023年，星期三中位数与极差

对于对称分布的数据，均值与中位数较接近；对于偏态分布的数据，均值与中位数不同。中位数的另一个显著特点是不受异常值（特大或特小）的影响，具有稳健性，因此它是数据分析中相当重要的统计量。

极差的计算公式是

它是描述数据分散性的数字特征。数据越分散，极差越大。第二十三页，共七十一页，编辑于2023年，星期三例考虑下列样本：

53113178

写出次序计量，并求中位数、极差。

第二十四页，共七十一页，编辑于2023年，星期三对和容量为的样本它的分位数是其中[np]表示np的整数部分，当p=1时，M1=x(n)分位数

第二十五页，共七十一页，编辑于2023年，星期三0.5分位数就是中位数M.在实际应用中，0.75分位数与0.25分位数比较重要，它们分别称为上、下四分位数，并简记为下列分位数也在实际应用中经常用到：，，，，，。第二十六页，共七十一页，编辑于2023年，星期三例考虑下列样本：

53113178计算上面数据的，，及，，，，，。第二十七页，共七十一页，编辑于2023年，星期三以此类推，我们可以得到其他的结果：第二十八页，共七十一页，编辑于2023年，星期三均值与中位数M皆是描述数据集中位置的数字特征。计算时，用了样本的全部信息，而M仅用了数据分布中的部分信息。因此，在正常情况下，用比用M描述数据的集中位置为优。然而，当存在异常值时，缺乏稳健性，而M具有很强的稳健性。考虑到要充分利用样本信息，又要具有较强的稳健性，可以用三均值作为数据集中位置的数字特征。

三均值的计算公式是：第二十九页，共七十一页，编辑于2023年，星期三上、下四分位之差称为四分位极差（或半级差）。有一种简便判断数据为异常值的方法，以为数据的上下截断点。第三十页，共七十一页，编辑于2023年，星期三例从19个杆塔上的普通盘形绝缘子测得该层电导率（）的数据如下：

9.898.006.406.175.397.279.0810.4011.208.756.4511.9010.309.589.247.756.208.958.33

计算中位数、诸分位数、极差、四分位数、三均值，并分析是否有异常值。

第三十一页，共七十一页，编辑于2023年，星期三上、下截断点分别为1.29和15.05，故数据无异常值。第三十二页，共七十一页，编辑于2023年，星期三内容分布均值、方差的数据特征数据的分布二元数据的数字特征及相关系数误差坏值的剔除第三十三页，共七十一页，编辑于2023年，星期三数据的分布数据的数字特征刻画了数据的主要特征，而要对数据的总体情况作全面的描述，就要研究数据的分布。对数据分布的主要描述方法是直方图与茎叶图、数据的理论分布即总体分布。数据分析的一个重要问题是要研究数据是否来自正态总体，这是分布的正态性经验的问题。第三十四页，共七十一页，编辑于2023年，星期三直方图、QQ图对于数据分布，常用直方图进行描述。将数据取值的范围分成若干区间（一般是等间隔的），在等间隔区间的情况，每个区间的长度称为组距。考察数据落入每一区间的频数与频率，在每个区间上画一个矩形，它的宽度是组距，它的高度可以是频数、频率或频率/组距，在高度是频率/组距的情况，每一矩形的面积恰是数据落入区间的频率，这种直方图可以估计总体的概率密度。组距对直方图的形态有很大的影响，组距太小，每组的频数较少，由于随机性的影响，邻近区间上的频数可能很大；组距太大，直方图所反映概率密度的形态就不灵敏。第三十五页，共七十一页，编辑于2023年，星期三第三十六页，共七十一页，编辑于2023年，星期三QQ图可以帮助界别样本分布是否近似于某种类型的分布。第三十七页，共七十一页，编辑于2023年，星期三第三十八页，共七十一页，编辑于2023年，星期三茎叶图、箱线图与直方图相比较，茎叶图更能细致地看出数据分布的结构。例某班有31个学生，某门课程的考试成绩如下：

254550545561646872757578798183848484858686868789898990919192100

做出其茎叶图。第三十九页，共七十一页，编辑于2023年，星期三第四十页，共七十一页，编辑于2023年，星期三茎叶图的特点茎叶图与直方图一样，可以直观地看出数据的分布状况。从茎叶图分析，可大致直观地看出这批数据是否接近对称，分散性如何，是否有异常值，数据中是否有间隙等等。利用茎叶图，很自然地可以对所有数据排序。从茎叶图可以看出由原始数据得到的次序统计量。对于排过序的一批数据，从小到大的每个数据的排序名次，称为升秩；而从大到小的每个数据的排序名次，称为降秩。每个数据的升秩与降秩的较小者，称为该数据的深度，即

深度＝min（升秩，降秩）第四十一页，共七十一页，编辑于2023年，星期三例铅压铸件硬度数据如下：

53.070.284.355.378.563.571.453.482.567.369.573.055.785.895.451.174.454.177.852.469.153.564.382.755.770.587.550.772.359.5

做出数据的茎叶图。第四十二页，共七十一页，编辑于2023年，星期三箱线图茎叶图是探索性数据分析所采用的重要方法。而箱线图也能直观简洁地展现数据分布的主要特征。第四十三页，共七十一页，编辑于2023年，星期三内容分布均值、方差的数据特征数据的分布二元数据的数字特征及相关系数误差坏值的剔除第四十四页，共七十一页，编辑于2023年，星期三多元数据的数字特征与相关分析以上我们分析的都是一元数据，但在实际中，人们更多的遇到的是多元数据对于多元数据，除分析各变量的取值特点外，更要分析各个变量之间的相关关系第四十五页，共七十一页，编辑于2023年，星期三二元数据的数字特征及相关系数设是二元总体，从中取得观测数据

引进数据观测矩阵记第四十六页，共七十一页，编辑于2023年，星期三二元数据的数字特征及相关系数

则，称为二元观测数据的均值向量。记第四十七页，共七十一页，编辑于2023年，星期三二元数据的数字特征及相关系数协方差矩阵有由Schwarz不等式所以S总是非负定的，一般是正定的。设M是n阶实系数对称矩阵，如果对任何非零向量

X=(x1,...xn)都有XMX′>0，就称M正定(PositiveDefinite)。第四十八页，共七十一页，编辑于2023年，星期三二元数据的数字特征及相关系数观测数据的相关系数（Pearson）计算公式是

由Schwarz不等式，有

即总有第四十九页，共七十一页，编辑于2023年，星期三二元数据的数字特征及相关系数第五十页，共七十一页，编辑于2023年，星期三Spearman相关系数秩设其次序统计量是若，则称是在样本中的秩，记作例：-0.8，-3.1，1.1，-5.2，4.2

次序统计量是-5.2，-3.1，-0.8，1.1，4.2

而秩统计量是3，2，4，1，5

当观测数据中有两个观测值相等，则相应的秩统计量不能唯一确定，通常对相同的观测值，其秩取为他们秩的平均值。第五十一页，共七十一页，编辑于2023年，星期三Spearman相关系数第五十二页，共七十一页，编辑于2023年，星期三Spearman相关系数第五十三页，共七十一页，编辑于2023年，星期三内容分布均值、方差的数据特征数据的分布二元数据的数字特征及相关系数误差坏值的剔除第五十四页，共七十一页，编辑于2023年，星期三误差的定义定义：Δx–

测量误差x–

测量结果x0

–

真值测量结果与其真值的差异，真值：被测量的客观真实值理论真值：理论上存在、计算推导出来如：三角形内角和180°约定真值：国际上公认的最高基准值如：基准米(氪-86的能级跃迁在真空中的辐射波长)相对真值：利用高一等级精度的仪器或装置的测量结果作为近似真值1m=1650763.73λ标准仪器的测量标准差<1/3测量系统标准差→检定定量表示误差理论第五十五页，共七十一页，编辑于2023年，星期三测量误差的性质与分类(1)随机误差(randomerror)正态分布性质：原因：装置误差、环境误差、使用误差处理：统计分析、计算处理→减小对称性有界性抵偿性单峰性绝对值相等的正负误差出现的次数相等绝对值小的误差比绝对值大的误差出现的次数多偶然误差绝对值不会超过一定程度当测量次数足够多时，偶然误差算术平均值趋于0第五十六页，共七十一页，编辑于2023年，星期三测量误差的性质与分类(2)系统误差(systemerror)

：性质：有规律，可再现，可以预测原因：原理误差、方法误差、环境误差、使用误差处理：理论分析、实验验证→修正(3)粗大误差(abnormalerror)

：性质：偶然出现，误差很大，异常数据，与有用数据混在一起原因：装置误差、使用误差处理：判断、剔除第五十七页，共七十一页，编辑于2023年，星期三

测量精度精度：测量结果与真值吻合程度定性概念测量精度举例不精密（随机误差大）准确（系统误差小）精密（随机误差小）不准确（系统误差大）不精密（随机误差大）不准确（系统误差大）精密（随机误差小）准确（系统误差小）第五十八页，共七十一页，编辑于2023年，星期三精密度：(precision)表述：概念：重复测量时，测量结果的分散性准确度：表述：测量结果与真值的接近程度，系统误差的影响程度随机误差的标准差(standarddeviation)性质：平均值与真值的偏差(deviation)第五十九页，共七十一页，编辑于2023年，星期三算术平均值法表述：x1,x2,…xn---测量数据原理：多次重复测量时，取全部测量数据的算术平均值为测量结果剩余误差偶然误差性质：（1）剩余误差的代数和等于零，即算术平均值法可以滤除或减小偶然误差（2）剩余误差的平方和为最小最小二乘法基础第六十页，共七十一页，编辑于2023年，星期三标准误差用偶然误差表示:用剩余误差表示:Bessel公式第六十一页，共七十一页，编辑于2023年，星期三内容分布均值、方差的数据特征数据的分布二元数据的数字特征及相关系数误差坏值的剔除第六十二页，共七十一页，编辑于2023年，星期三坏值的剔除基本思想：给定一定的显著水平，并确定一个门限，凡是超过这个门限的误差就认为他不属于税基误差的范畴，予以剔除。方法：拉依达(Pauta)准则、格拉布斯(Grubbs)准则、狄克逊(Dixon)准则、肖维勒(Chauvenet)准则第六十三页，共七十一页，编辑于2023年，星期三拉依达(Pauta)准则

如果可疑数据xp与试验数据的算术平均值的偏差的绝对值Vi大于3倍（或2倍）的标准偏差，即：Vi＞3s或2s则应将xp从该组试验值中剔除，至于选择3s还是2s与显著性水平α有关。显著性水平α表示的是检验出错的几率为α，或者是检验的可信度为1－α