概率与数理统计8[1].4 总体分布的假设检验.ppt

1、第四节 总体分布的假设检验,-拟合优度检验,在前面的课程中，我们已经了解了假设检验的基本思想，并讨论了当总体分布为正态时，关于其中未知参数的假设检验问题 .,然而可能遇到这样的情形，总体服从何种理论分布并不知道，要求我们直接对总体分布提出一个假设 .,例如，从1500到1931年的432年间，每年爆发战争的次数可以看作一个随机变量，椐统计，这432年间共爆发了299次战争，具体数据如下:,在概率论中，大家对泊松分布产生的一般条件已有所了解，容易想到，每年爆发战争的次数，可以用一个泊松随机变量来近似描述.也就是说，我们可以假设每年爆发战争次数分布X近似泊松分布.,上面的数据能否证实X 具有 泊松

2、分布的假设是正确的？,现在的问题是：,又如，某钟表厂对生产的钟进行精确性检查，抽取100个钟作试验，拨准后隔24小时以后进行检查，将每个钟的误差（快或慢）按秒记录下来.,问该厂生产的钟的误差是否服从正态 分布？,再如，某工厂制造一批骰子，声称它是均匀的.,为检验骰子是否均匀，要把骰子实地投掷若干次，统计各点出现的频率与1/6的差距.,也就是说，在投掷中，出现1点，2点，6点的概率都应是1/6.,得到的数据能否说明“骰子均匀”的假设是可信的？,问题是：,K.皮尔逊,这是一项很重要的工作，不少人把它视为近代统计学的开端.,2-检验法.,解决这类问题的工具是英国统计学家K.皮尔逊,在1900年发表的

3、一篇文章中引进的所谓,2检验法是在总体X 的分布未知时，根据来自总体的样本，检验关于总体分布的假设的一种检验方法.,H0：总体X的分布函数为F(x),然后根据样本的经验分布和所假设的理论分布之间的吻合程度来决定是否接受原假设.,这种检验通常称作拟合优度检验，它是一种非参数检验.,使用2-检验对总体分布进行检验时，我们先 提出原假设:,似然估计法估计参数，然后作检验.,类型已知，但其参数未知，这时需要先用极大,分布拟合的2-检验的基本原理和步骤如下:,在用2-检验法检验假设H0时，若在H0下分布,3.根据所假设的理论分布,可以算出总体X的值落入每个Ai的概率pi,于是npi就是落入Ai的样本值的

4、理论频数.,1. 将总体X的取值范围分成k个互不重迭的小区间,记作A1, A2, , Ak .,2.把落入第i个小区间Ai的样本值的个数记作ni ， 称为实测频数. 所有实测频数之和 n1+ n2+ + nk等于样本容量n.,标志着经验分布与理论分布之间的差异的大小.,皮尔逊引进如下统计量表示经验分布 与理论分布之间的差异:,统计量2的分布是什么?,在理论分布 已知的条件下, npi是常量,实测频数,理论频数,皮尔逊证明了如下定理:,若原假设中的理论分布F(x)已经完全给定，那么当n 时，统计量,如果理论分布F(x)中有r个未知参数需用相应的估计量来代替，那么当n 时，统计量2 的分布渐近服从

5、 (k-r-1)个自由度的2分布.,的分布渐近k-1个自由度的2 分布.,为了便于理解，我们对定理作一点直观的说明.,在理论分布F(x)完全给定的情况下，每个pi 都是确定的常数. 由棣莫佛拉普拉斯中心极限定理，当n充分大时，实测频数 fi 渐近正态，,因此,是k个近似正态的变量的平方和.,这些变量之间存在着一个制约关系：,故统计量2渐近服从(k-1)个自由度的2分布。,在F(x)尚未完全给定的情况下，每个未知参数用相应的估计量代替，就相当于增加一个制约条件，因此，自由度也随之减少一个.,若有r个未知参数需用相应的估计量来代替，自由度就减少r个.,故统计量2渐近服从(k-r-1)个自由度的2分

6、布。,如果根据所给的样本值 X1,X2, ,Xn算得统计量2的实测值落入拒绝域，则拒绝原假设，否则就认为差异不显著而接受原假设.,得拒绝域:,(不需估计参数),(估计r 个参数),根据这个定理，对给定的显著性水平，,查2 分布表可得临界值2 ，使得,皮尔逊定理是在n无限增大时推导出来的，因而在使用时要注意n要足够大，以及npi 不太小这两个条件.,根据计算实践，要求n不小于50，以及npi 都不小于 5. 否则应适当合并区间，使npi满足这个要求 .,让我们回到开始的一个例子，检验每年爆发战争次数分布是否服从泊松分布.,将有关计算结果列表如下:,提出假设H0: X服从参数为的泊松分布,根据观察

7、结果，得参数的极大似然估计为,按参数为0.69的泊松分布，计算事件X=i 的概率pi ，,因H0所假设的理论分布中有一个未知参数，故自由度为4-1-1=2.,将n 5的组予以合并，即将发生3次及4次战争的组归并为一组.,故认为每年发生战争的次数X服从参数为0.69的泊松分布.,按 =0.05，自由度为4-1-1=2查 分布表得,=5.991,=2.435.991，,未落入否定域.,奥地利生物学家孟德尔进行了长达八年之久的豌豆杂交试验, 并根据试验结果,运用他的数理知识, 发现了遗传的基本规律.,在此，我们以遗传学上的一项伟大发现为例，说明统计方法在研究自然界和人类社会的规律性时，是起着积极的、

8、主动的作用.,孟德尔,他的一组观察结果为：,黄70，绿27,近似为2.59:1，与理论值相近.,根据他的理论，子二代中, 黄、绿之比 近似为3:1，,由于随机性，观察结果与3:1总有些差距，因此有必要去考察某一大小的差异是否已构成否定3:1理论的充分根据，这就是如下的检验问题.,这里，n=70+27=97, k=2,检验孟德尔的3:1理论:,提出假设H0: p1=3/4, p2=1/4,理论频数为： np1=72.75, np2=24.25,实测频数为70，27.,=0.41583.841，,按 =0.05，自由度为1，查 分布表得,=3.841,未落入否定域.,故认为试验结果符合孟德尔的3:

9、1理论.,这些试验及其它一些试验，都显 示孟德尔的3: 1理论与实际是符合的. 这本身就是统计方法在科学中的一项 重要应用.,用于客观地评价理论上的某个结论是否与观察结果相符，以作为该理论是否站得住脚的印证.,在对总体的分布进行检验时经常使用。,例8从按某工艺条件生产的针织品用纤维中随机地抽取了120件，测得其断裂强力的数据如下（单位：N） 20.3 19.1 21.0 19.5 19.9 20.7 21.5 19.6 19.4 20.521.8 19.7 20.3 20.5 19.2 20.6 21.4 18.9 20.4 20.721.0 20.3 19.8 20.2 20.6 20.3

10、21.1 19.6 20.5 20.820.2 20.9 21.2 20.4 19.7 20.8 21.3 18.0 19.4 20.920.0 19.8 20.4 20.9 21.4 22.3 21.2 20.2 20.0 21.420.4 20.9 20.6 21.7 18.8 19.7 20.6 20.7 21.1 19.519.8 20.5 20.9 22.1 21.2 19.9 19.3 20.1 20.4 21.320.1 19.8 18.6 21.3 20.5 19.6 20.3 20.9 21.8 20.619.2 20.4 22.4 21.2 20.8 21.0 20.0 1

11、9.7 20.2 19.921.0 20.3 20.1 19.6 20.2 20.4 20.8 19.0 20.7 20.518.5 20.0 20.6 20.1 21.1 20.1 20.9 21.4 20.0 20.619.9 21.0 20.5 20.8 20.4 19.4 20.2 20.7 21.5 20.3,试以显著性水平检验针织品用纤维的断裂强力是 否服从正态分布.,解 将所得数据从小到大依次排列，可得样本频数分布和样本频率分布如下表,参考教材。,例12掷一颗骰子60次，每次出现的点数为随机变量，测得如下数据：,在显著性水平下检验这颗骰子是否是均匀的？,解待检假设：,所以应拒绝H

12、0,即认为这骰子不是均匀的.,列联表是将观测数据按两个或更多属性 (定性变量) 分类时所列出的频数表。例如，对随机抽取的1000人按性别（男或女）及色觉(正常或色盲) 两个属性分类,得到如下二维列联表，又称22表或四格表。,列联表的独立性检验,一般,若总体中的个体可按两个属性A与B分类，A 有r 个类 ，B 有c个类 从总体中抽取大小为n的样本，设其中有 个个体既属于 类又属于 类， 称为频数，将rc个 排列为一个r行c列的二维列联表，简称rc表(表7.4.3)。,表7.4.3 rc列联表,列联表分析的基本问题是: 考察各属性之间有无关联，即判别两属性是否独立。如在前例中，问题是：一个人是否色

13、盲与其性别是否有关？在rc表中，若以 和 分别表示总体中的个体仅属于 ，仅属于 和同时属于 与 的概率,可得一个二维离散分布表（表7.4.4），则“A、B两属性独立”的假设可以表述为,表7.4.4 二维离散分布表,这就变为上一小节中诸 不完全已知时的分布拟合检验。这里诸 共有rc个参数，在原假设H0成立时，这rc个参数 由r+c个参数 和 决定。在这r+c后个参数中存在两个约束条件：,所以，此时pij实际上由r+c-2个独立参数所确定。据此，检验统计量为,在H0成立时，上式服从自由度为rc-(r+c-2)-1的 分布。,其中诸 是在H0成立下得到的 的极大似然估计，其表达式为,对给定的显著性水

14、平 ，检验的拒绝域为:,例7.4.3 为研究儿童智力发展与营养的关系，某 研究机构调查了1436名儿童，得到如表7.4.5的 数据，试在显著性水平0.05下判断智力发展与 营养有无关系。,表7.4.5 儿童智力与营养的调查数据,解：用A表示营养状况，它有两个水平： 表示 营养良好， 表示营养不良；B表示儿童智商, 它有四个水平， 分别表示表中四种 情况。沿用前面的记号，首先建立假设 H0：营养状况与智商无关联，即A与B独立的。 统计表示如下：,在原假设H0成立下，我们可以计算诸参数的极大似然估计值:,进而可给出诸 ，如,其它结果见表7.4.6,表7.4.6 诸 的计算结果,由表7.4.5和表7

15、.4.6可以计算检验统计量的值,此处r=2，c=4，(r-1)(c-1)=3,若取 =0.05 ，查表有 ，由于19.27857.815，故拒绝原假设，认为营养状况对智商有影响。 本例中检验的p 值为0.0002。,7.4.3 正态性检验,正态分布是最常用的分布，用来判断总体分布是否为正态分布的检验方法称为正态性检验，它在实际问题中大量使用。,一、 正态概率纸,正态概率纸可用来作正态性检验，方法如下：利用样本数据在概率纸上描点，用目测方法看这些点是否在一条直线附近，若是的话，可以认为该数据来自正态总体，若明显不在一条直线附近，则认为该数据来自非正态总体。,例7.4.4 随机选取10个零件，测得

16、其直径与标 准尺寸的偏差如下：（单位：丝）,9.4 8.8 9.6 10.2 10.1 7.2 11.1 8.2 8.6 9.6,在正态概率纸上作图步骤如下：,(1) 首先将数据排序： 7.2 8.2 8.6 8.8 9.4 9.6 9.8 10.1 10.2 11.1; (2) 对每一个i，计算修正频率 (i-0.375)/(n+0.25), i=1,2,n,(3) 将点 逐一点在正态概率纸上, (4) 观察上述n个点的分布:,若诸点在一条直线附近,则认为该批数 据来自正态总体； 若诸点明显不在一条直线附近，则认为 该批数据的总体不是正态分布。,从图7.4.2可以看到，10个点基本在一条直线

17、附近，故可认为直径与标准尺寸的偏差服从正态分布。,如果从正态概率纸上确认总体是非正态分布时，可对原始数据进行变换后再在正态概率纸上描点，若变换后的点在正态概率纸上近似在一条直线附近，则可以认为变换后的数据来自正态分布，这样的变换称为正态性变换。常用的正态性变换有如下三个：对数变换 、倒数变换 和根号变换 。,图7.4.3 给出这10个点在正态概率纸上的图形，这10个点明显不在一条直线附近，所以可以认为该电子元件的寿命的分布不是正态分布。,例7.4.5 随机抽取某种电子元件10个,测得其寿 命数据如下:,110.47, 99.16, 97.04, 77.60, 4269.82,539.35, 1

18、79.49, 782.93, 561.10, 286.80.,图7.4.3 例7.4.5 的正态概率纸,对该10个寿命数据作对数变换,结果见表7.4.8,表7.4.8 对数变换后的数据,利用表7.4.8 中最后两列上的数据在正态概率纸上描点，结果见图7.4.4，从图上可以看到10个点近似在一条直线附近，说明对数变换后的数据可以看成来自正态分布。这也意味着，原始数据服从对数正态分布,图7.4.4 变换后数据的正态概率纸,二、夏皮洛威尔克(Shapiro-Wilk)检验,夏皮洛威尔克检验也简称W 检验。这个检验当8n50时可以利用。过小样本(n8)对偏离正态分布的检验不太有效。,W 检验是建立在次序统计量的基础上。 检验统计量为:,(7.4.5),其中系数ai 可