数理统计学（第二版）教学课件5 分布的检验

第5章分布的检验主要内容5.1正态性检验5.2柯莫哥洛夫检验5.3χ2拟合优度检验设x1,x2,…,xn是来自总体X的一个样本,根据实践经验,可对总体X的分布提出如下假设:

H0:X的分布为F(x)=F0(x)其中F0(x)可以是一个完全已知的分布,也可以是含有若干未知参数的已知分布,这类检验问题统称为分布的检验问题。5.1正态性检验一个样本是否来自正态分布的检验称为正态性检验。

H0：样本来自正态分布“正态性检验”是指“偏离正态性检验”。

两种正态性检验：夏洛皮·威尔克（Shapiro-Wilk）检验（8≤n≤50）爱泼斯·普利（Epps-Pully）检验（n≥8）(1)设x1,x2,…,xn是来自正态总体N(μ,σ2)的一个样本,x(1),x(2),…,x(n)为其次序统计量。令u(i)=(x(i)-μ)/σ,则u(1),u(2),…,u(n)为来自标准正态分布N(0,1)的次序统计量,且有如下关系x(i)=μ+σu(i),

i=1,2,…,n(5.1.1)5.1.1夏皮洛·威尔克检验若把上式中u(i)用期望E(u(i))=mi代替,会产生误差,记此误差为εi,这样上式可改写为

x(i)=μ+σmi+εi,

i=1,2,…,n(5.1.2)这是一元线性回归模型。由于次序统计量的关系,其中诸εi是相关的。若记ε=(ε1,ε2,…,εn)',则ε是均值为零向量,协方差矩阵为V=(vij)的n维随机向量。5.1.1夏皮洛·威尔克检验若暂时不考虑诸εi间的相关性,只考察x(i)与mi间的线性相关性,

x=(x(1),x(2),…,x(n))'与m=(m1,m2,…,mn)'间的线性相关程度

r2=(5.1.3)r2越接近1,x与m间的线性关系越密切。5.1.1夏皮洛·威尔克检验

5.1.1夏皮洛·威尔克检验而,可以看出:

是σ的线性无偏估计(BLUE),这只要注意到

Ex(i)=μ+σmi和

mi=0即可。还可看出,式(5.1.4)中除去一个与样本无关的因子,其主体是总体方差σ2的两个估计之比,其中●分母:s2对任何总体方差σ2都是很好的估计,不依赖于正态性假设是否为真。

●分子:由于

依赖于诸mi,所以仅在正态性假设为真时

才能成为正态总体σ2的估计。

5.1.1夏皮洛·威尔克检验可见,在正态性假设为真时,σ2的这两个估计之间应该相差不大。而当正态性假设不成立时,它们之间的相差就会增大。这种增大的趋势有利于我们识别正态性假设是否成立。这就是我们从σ2的估计量的角度来看r2所得到的启示。5.1.1夏皮洛·威尔克检验(3)为了进一步扩大这个差异。夏皮洛和威尔克把换成方差更小的线性估计。

5.1.1夏皮洛·威尔克检验(4)W检验的拒绝域。由于W是n个数对(x(1),a1),…,(x(n),an)之间的相关系数的平方,所以W仅在[0,1]上取值。5.1.1夏皮洛·威尔克检验例5.1.1

在一台磨损试验设备上对某种材料进行磨损试验,获得15个数据列于表5.1.1(已排序)。5.1.1夏皮洛·威尔克检验爱泼斯普利检验简称EP检验。这个检验对n8都可以使用，EP检验的原假设是

H0:总体是正态分布设样本的观察值为x1,x2,…,xn,样本均值为,记

m2=(xi-)25.1.2爱泼斯·普利检验则检验统计量为:

5.1.2爱泼斯·普利检验5.1.2爱泼斯·普利检验对给定的显著性水平α,拒绝域为W={TEP≥TEP,1-α(n)},临界值可以在附表11中查到。由于n=200时,统计量TEP的分位数已非常接近n=∞的分位数。故n>200时,TEP的分位数可以用n'=200时的分位数代替。例5.1.2

上海中心气象台测定的上海市1884—1982年间的年降雨量数据(单位:mm)如下:试在α=0.05水平上检验年降雨量是否服从正态分布。5.1.2爱泼斯·普利检验1184.41113.41203.91170.7975.41462.3947.81416.0709.21147.5935.01016.31031.61105.7849.91233.41008.61063.81004.91086.21022.51330.91439.41236.51088.11288.71115.81217.51320.71078.11203.41480.01269.01049.21318.31171.21161.7791.21143.81602.0986.1794.71318.41192.01016.01508.21159.61021.3951.41003.2840.41061.4985.01025.21265.01196.51120.71659.394271123.3910.21398.51208.61305.51242.31572.31416.91256.11285.9984.81390.31062.21287.31477.01017.91217.71197.11143.01018.81243.7909.31030.31124.4811.4820.91184.11107.5991.4901.71176.51113.51272.91200.31508.7772.3813.01392.31006.21108.8

5.2柯莫哥洛夫检验柯莫哥洛夫获得的两个重要结果定理5.2.1设理论分布F0(x)是连续分布函数,则在原假设H0为真时:P(Dn≤λ+)=（5.2.4）其中f(y1,…,yn)=

例5.2.1问在水平0.10下,是否可以认为下列10个数

0.0340.4370.8630.9640.336

0.4690.6370.6230.8040.261是来自于(0,1)区间上均匀分布的随机数。5.3χ2拟合优度检验χ2拟合优度检验是著名英国统计学家老皮尔逊(K.Pearson,1857—1936年)于1900年结合检验分类数据的需要而提出的,然后又用于分布的拟合检验与列联表的独立性检验上去,这些将在这一节内逐一叙述。χ2拟合优度检验又简称χ2检验,在这里将主要用观察频数Oi与期望频数Ei之差的平方(Oi-Ei)2构成检验统计量。5.3.1总体可分为有限类,但其分布不含未知参数

显然O1+O2+O3+O4=n。由于随机性的存在,诸观察数Oi不会恰好呈9∶3∶3∶1的比例,因此就需要根据这些观察数据对孟德尔的遗传学说进行统计检验,孟德尔的实践向统计学家提出一个很有意义的问题:一组实际数据与一个给定的多项分布的拟合程度。老皮尔逊研究了这个问题,提出了χ2拟合优度检验,解决了这类问题。后经英国统计学家费希尔(R.A.Fisher,1890—1962年)推广,把这个检验更趋完善,就这样统计学在实践的基础上逐渐得到发展,开创了假设检验的理论与实践。5.3.1总体可分为有限类,但其分布不含未知参数上述分类数据的检验问题的一般提法如下。设总体X可以分为r类,记为A1,A2,…,Ar,如今要检验的假设为:

H0:P(Ai)=pi,

i=1,2,…,r(5.3.1)其中各pi已知,且pi≥0,pi=1。现对总体作了n次观察,各类出现的观察频数分别记为O1,O2,…,Or,且

Oi=n5.3.1总体可分为有限类,但其分布不含未知参数若H0为真,则各概率pi与频率Oi/n应相差不大,或各观察频数Oi对期望频数Ei=npi的偏差(Oi-Ei)不大。据此想法,英国统计学家老皮尔逊提出了一个检验统计量

χ2=(5.3.2)其中取偏差平方是为了把偏差积累起来,每项除以Ei是要求在期望频数Ei较小时,偏差平方(Oi-Ei)2更小才是合理的。5.3.1总体可分为有限类,但其分布不含未知参数定理5.3.1设某随机试验有r个互不相容事件A1,A2,…,Ar之一发生,且pi=P(Ai)(i=1,2,…,r),pi=1。又设在n次独立重复试验中事件Ai的观察频数为Oi(i=1,2,…,r),Oi=n,若记事件Ai的期望频数为Ei=npi,则

χ2=在n→∞时的极限分布是自由度为r-1的χ2分布。

5.3.1总体可分为有限类,但其分布不含未知参数由中心极限定理,上式最后的括号里应为渐近标准正态分布的变量,其平方为自由度是1的卡方变量,这就给出了r=2时的定理的证明。从χ2统计量(5.3.2)的结构看,当H0为真时,和式中每一项的分子(Oi-Ei)2相对Ei都不应太大,从而总和也不会太大。若χ2过大,人们就会认为原假设H0不真。基于此想法,检验的拒绝域应有如下形式:

W={χ2≥c}(5.3.3)对于给定的显著性水平α,由分布χ2(r-1)可定出c=(r-1)。5.3.1总体可分为有限类,但其分布不含未知参数

5.3.1总体可分为有限类,但其分布不含未知参数

5.3.1总体可分为有限类,但其分布不含未知参数例5.3.2在股票投资中有一个流行的说法:盈利、持平和亏损的比例为1∶2∶7。2003年2月8日《上海青年报》第16版上发表了一个调查数据,在1270位被调查的股民中盈利者273人,持平者240人,亏损者757人。这些调查数据能否认可流行的说法:盈∶平∶亏=1∶2∶7?5.3.1总体可分为有限类,但其分布不含未知参数对“拟合优度”的一些说明：“拟合优度”是什么?简单的回答是:分布检验中的p值就是“拟合优度”。在分布检验中常要问:(1)实际数据与理论分布是否符合?(2)若符合,符合程度如何?在分布检验中对原假设H0(如式(5.3.1)所示)作判断,只用“拒绝”与“接受”(即非此即彼)作回答常显得不够,能否再提供一个(介于0~1之间的)数字作为符合程度的数量指标。老皮尔逊研究了这个问题,找到了这个数量指标,并称之为“拟合优度”(goodnessoffit)。5.3.1总体可分为有限类,但其分布不含未知参数拟合优度(即p值)越大,表示实际数据与理论分布拟合得越好,该理论分布就获得更多实际数据支持。而显著性水平α只是人们设置的一个门槛,当拟合优度低于α时拒绝H0,拟合优度越低,人们放弃H0越放心;当拟合优度高于α时,接受H0,若取α=0.05,当p=0.06或p=0.90时虽都接受H0,但后者使数据对理论分布的支持比前者强得多,前者勉强过关,后者接近完美。5.3.1总体可分为有限类,但其分布不含未知参数5.3.2总体可分为有限类,但其分布含有未知参数例5.3.3在某交叉路口记录每15秒钟内通过的汽车数量,共观察了25分钟,得100个记录,经整理得表5.3.4。在α=0.05水平上检验如下假设:通过该交叉路口的汽车数量服从泊松分布P(λ)。表5.3.415秒内通过某交叉路口的汽车数通过的汽车数量01234567891011频数Oi4215172611982312定理5.3.2设某个随机试验有r个互不相容事件A1,A2,…,Ar之一发生。记pi=P(Ai)(i=1,2,…,r),pi=1,又设诸pi依赖于k个未知参数θ1,θ2,…,θk,即

pi=pi(θ1,θ2,…,θk),

i=1,2,…,r再设在该试验的n次独立重复中事件Ai的观察频数为Oi,Oi=n,假如

1,2,…,k分别是在O1,O2,…,Or基础上的相合估计(如最大似然估计),则诸pi在某些一般条件下χ2=,Ei=n,=p(

1,

2,…,k),i=1,2,…,r和在n→∞时的极限分布是自由度为r-k-1的χ2分布。5.3.2总体可分为有限类,但其分布含有未知参数5.3.3连续分布的拟合检验设x1,x2,…,xn是来自连续总体X的一个样本,其总体分布未知,现想用一个已知连续分布函数F0(x)去拟合这批数据,故需要对如下假设作出检验:

H0:X服从连续分布F0(x)(5.3.6)这类问题称为连续分布的拟合检验问题,实际中常会遇到。这类问题常可转化为分类数据的χ2检验,具体操作如下。(1)把X的取值范围分成r个区间,为此在数轴上插入如下r-1个点:

-∞=a0<a1<a2<…<ar-1<ar=∞可得r个区间为A1=(a0,a1],A2=(a1,a2],…,Ar-1=(ar-2,ar-1],Ar=(ar-1,ar)。(2)统计样本落入这r个区间的频数为O1,O2,…,Or,并用F0(x)计算落入这r个区间内的概率p1,p2,…,pr,其中

pi=P{ai-1<X≤ai}=F0(ai)-F0(ai-1),

i=1,2,…,r(3)若F0(x)还含有k个未知参数,则用样本作出这些未知参数的最大似然估计;若k=0,则F0(x)完全已知。(4)计算期望频数Ei=npi,若有Ei<5,则把相邻区间合并。5.3.3连续分布的拟合检验例5.3.4为研究混凝土抗压强度的分布,抽取了200件混凝土制件测定其抗压强度,经整理得频数表,如表5.4.7所示。试在α=0.05水平上检验抗压强度的分布是否为正态分布。表5.3.7抗压强度的频数分布表5.3.3连续分布的拟合检验抗压强度区间(ai-1,ai]观察频数Oi(190,200]10(200,210]26(210,220]56(220,230]64(230,240]30(240,250]14合计200

在实践中有一个问题常需要考察:几个样本是否来自同一个总体?在这里我们首先对两个多项分布是否相同给出一个检验,然后推广到更多个多项分布场合。这一类检验有时被称分布的齐性检验,这里我们称为分布的等同性检验。设有两个多项总体,它们都被分为r个类,各类发生的概率分别为:第一个多项总体:p11,p12,…,p1r第二个多项总体:p21,p22,…,p2r要检验的原假设为:

H0:p1j=p2j=pj,

j=1,2,…,r(5.3.7)5.3.4两个多项分布的等同性检验

5.3.4两个多项分布的等同性检验考虑到两个样本相互独立,还有

的渐近分布为χ2(2r-2)下面要分两种情况讨论：(1)若原假设H0(即式(5.4.7))为真,且诸pj已知,若记

E'ij=nipj,

i=1,2;

j=1,2,…,r(5.3.8)则

χ2=

的渐近分布为χ2(2r-2)(5.3.9)

5.3.4两个多项分布的等同性检验(2)若原假设H0为真,但诸pj未知,这时可用合样本(容量为n1+n2)对诸pj作出估计,如诸pj的最大似然估计

j=,

j=1,2,…,r这时自由度要减少r-1个,因为∑pj=1,所以只需要估计p1,p2,…,pr-1。若诸pj仅依赖于k个参数,pj=pj(θ1,θ2,…,θk),则先用合样本求诸θ的MLE,然后获得=pj(,,…,),这时自由度要减少k个。5.3.4两个多项分布的等同性检验利用上述诸估计

可求得各类的期望频数

E″ij=ni

,

i=1,2;

j=1,2,…,r(5.3.10)据定理5.4.2,可得检验统计量χ2=

渐近服从χ2(2r-k-2)(5.3.11)这里的自由度2r-k-2是依据“估计一个参数要减少一个自由度”的原则确定。5.3.4两个多项分布的等同性检验综合上述,关于两个多项分布是否相同,或者说两个观察样本(O11,O12,…,O1r)和(O21,O22,…,O2r)是否来自同一个多项分布,我们获得了两个检验统计量。●若诸分类概率p1,p2,…,pr已知场合,可用渐近分布χ2(2r-2)的检验统计量(5.3.9)进行检验,其中期望频数E'ij如式(5.3.8)所示。●若诸分类概率p1,p2,…,pr未知场合,可用渐近分布χ2(2r-k-2)的检验统计量(5.3.11)进行检验,其中期望频数E″ij如式(5.3.10)所示。5.3.4两个多项分布的等同性检验例5.3.5某项政策的群众意见有三种:支持、反对和未决。电话调查2500人,其中1000人为18~25岁的年轻人,其余1500人为25岁以上。调查结果见表5.3.9。表5.3.9试问:不同年龄群中的意见的分布是否相同?5.3.4两个多项分布的等同性检验jOiji支持(1)反对(2)未决(3)合计18~25岁(1)4194061751000=n12