《统计学-基于R》第6章-假设检验(R3)

数据分析

(方法与案例)

作者贾俊平版权所有违者必究StatisticswithR统计学R语言第6章假设检验6.1

假设检验的原理6.2

总体均值的检验6.3

总体比例的检验6.4总体方差的检验6.5非参数检验ypothesis

testH6.1假设检验的基本原理

6.1.1提出假设

6.1.2做出决策

6.1.3表述结果

6.1.4效应量第6章假设检验6.1.1提出假设6.1假设检验的原理2018-9-25什么是假设?

(hypothesis)

在参数检验中，对总体参数的具体数值所作的陈述就一个总体而言，总体参数包括总体均值、比例、方差等分析之前必需陈述2018-9-25什么是假设检验?

(hypothesistest)先对总体的参数(或分布形式)提出某种假设，然后利用样本信息判断假设是否成立的统计方法有参数检验和非参数检验逻辑上运用反证法，统计上依据小概率原理小概率是在一次试验中，一个几乎不可能发生的事件发生的概率在一次试验中小概率事件一旦发生，我们就有理由拒绝原假设2018-9-25原假设

(nullhypothesis)又称“0假设”，研究者想收集证据予以反对的假设，用H0表示所表达的含义总是指参数没有变化或变量之间没有关系或总体分布于某种理论分布无差异

最初被假设是成立的，之后根据样本数据确定是否有足够的证据拒绝它总是有符号

,

或

H0：

=某一数值H0：

某一数值H0：

某一数值例如,H0：

10cmnull2018-9-25也称“研究假设”,研究者想收集证据予以支持的假设，用H1或Ha表示所表达的含义是总体参数发生了变化或变量之间有某种关系或总体分布于某种理论分布有差异

备择假设通常用于表达研究者自己倾向于支持的看法，然后就是想办法收集证据拒绝原假设，以支持备择假设

总是有符号

,

或

H1：

某一数值H1：

某一数值H1：

<某一数值备择假设(alternativehypothesis)alternative2018-9-25备择假设没有特定的方向性，并含有符号“

”的假设检验，称为双侧检验或双尾检验(two-tailedtest)

备择假设具有特定的方向性，并含有符号“>”或“<”的假设检验，称为单侧检验或单尾检验(one-tailedtest)备择假设的方向为“<”，称为左侧检验

备择假设的方向为“>”，称为右侧检验

双侧检验与单侧检验2018-9-25双侧检验与单侧检验

(假设的形式)假设双侧检验单侧检验左侧检验右侧检验原假设H0:m

=m0H0:m

m0H0:m

m0备择假设H1:m

≠m0H1:m

<m0H1:m

>m0以总体均值的检验为例2018-9-25【例6-1】一种零件的生产标准是直径应为15cm，为对生产过程进行控制，质量监测人员定期对一台加工机床检查，确定这台机床生产的零件是否符合标准要求。如果零件的平均直径大于或小于15cm，则表明生产过程不正常，必须进行调整。试陈述用来检验生产过程是否正常的原假设和被择假设提出假设(例题分析)解：研究者想收集证据予以证明的假设应该是“生产过程不正常”。建立的原假设和备择假设为

H0：

15cmH1：

15cm

2018-9-25【例6-2】饮用水瓶子上的标签提出假设(例题分析)解：研究者抽检的意图是倾向于证实瓶子上标签的说法并不属实。建立的原假设和备择假设为

H0：

400H1：

<400钙≥400镁≥50钾≥35钠≥80偏硅酸≥180PH值（250C）7.3

0.52018-9-25原假设和备择假设是一个完备事件组，而且相互对立在一项假设检验中，原假设和备择假设必有一个成立，而且只有一个成立先确定备择假设，再确定原假设等号“=”总是放在原假设上因研究目的不同，对同一问题可能提出不同的假设(也可能得出不同的结论)提出假设(结论与建议)6.1.2做出决策6.1假设检验的原理2018-9-25两类错误与显著性水平研究者总是希望能做出正确的决策，但由于决策是建立在样本信息的基础之上，而样本又是随机的，因而就有可能犯错误原假设和备择假设不能同时成立，决策的结果要么拒绝H0，要么不拒绝H0。决策时总是希望当原假设正确时没有拒绝它，当原假设不正确时拒绝它，但实际上很难保证不犯错误第Ⅰ类错误(

错误)原假设为正确时拒绝原假设第Ⅰ类错误的概率记为

，被称为显著性水平第Ⅱ类错误(

错误)原假设为错误时未拒绝原假设第Ⅱ类错误的概率记为

(Beta)

2018-9-25两类错误的控制一般来说，对于一个给定的样本，如果犯第Ι类错误的代价比犯第Ⅱ类错误的代价相对较高，则将犯第Ⅰ类错误的概率定得低些较为合理；反之，如果犯第Ι类错误的代价比犯第Ⅱ类错误的代价相对较低，则将犯第Ⅰ类错误的概率定得高些一般来说，发生哪一类错误的后果更为严重，就应该首要控制哪类错误发生的概率。但由于犯第Ι类错误的概率是可以由研究者控制的，因此在假设检验中，人们往往先控制第Ι类错误的发生概率2018-9-25显著性水平

(significantlevel)事先确定的用于拒绝原假设H0时所必须的证据能够容忍的犯第Ⅰ类错误的最大概率(上限值)原假设为真时，拒绝原假设的概率抽样分布的拒绝域表示为

(alpha)

常用的

值有0.01,0.05,0.10由研究者事先确定

2018-9-25决策的依据若假设为H0：

=500，H1：

<500。样本均值为495，拒绝H0吗？样本均值为502，拒绝H0吗？做出拒绝或不拒绝原假设的依据是什么？传统上，做出决策所依据的是样本统计量，现代检验中人们直接使用由统计量算出的犯第Ⅰ类错误的概率，即所谓的P值2018-9-25根据样本观测结果计算出对原假设和备择假设做出决策某个样本统计量对样本估计量的标准化结果原假设H0为真点估计量的抽样分布检验统计量(teststatistic)

2018-9-25用统计量决策

(双侧检验)2018-9-25用统计量决策

(左侧检验和右侧检验)2018-9-25统计量决策规则给定显著性水平

，查表得出相应的临界值z

或z

/2，t

或t

/2将检验统计量的值与

水平的临界值进行比较作出决策双侧检验：I统计量的值I>临界值，拒绝H0左侧检验：统计量的值<-临界值，拒绝H0右侧检验：统计量的值>临界值，拒绝H02018-9-25用P值决策

(P-value)如果原假设为真，所得到的样本结果会像实际观测结果那么极端或更极端的概率P值告诉我们：如果原假设是正确的话，我们得到得到目前这个样本数据的可能性有多大，如果这个可能性很小，就应该拒绝原假设被称为观察到的(或实测的)显著性水平决策规则：若p值<

,拒绝H02018-9-25双侧检验的P值2018-9-25左侧检验和右侧检验的P值2018-9-25P值是关于数据的概率P值原假设的对或错的概率无关它反映的是在某个总体的许多样本中某一类数据出现的经常程度，它是当原假设正确时，得到目前这个样本数据的概率比如，要检验全校学生的平均生活费支出是否等于500元，检验的假设为H0：

=500；H0：

500。假定抽出一个样本算出的样本均值600元，得到的值为P=0.02，这个0.02是指如果平均生活费支出真的是500元的话，那么，从该总体中抽出一个均值为600的样本的概率仅为0.02。如果你认为这个概率太小了，就可以拒绝原假设，因为如果原假设正确的话，几乎不可能抓到这样的一个样本，既然抓到了，就表明这样的样本不在少数，所以原假设是不对的值越小，你拒绝原假设的理由就越充分2018-9-25

要证明原假设不正确，P值要多小，才能令人信服呢？原假设的可信度又多高？如果H0所代表的假设是人们多年来一直相信的，就需要很强的证据(小的P值)才能说服他们拒绝的结论是什么？如果拒绝H0而肯定H1

，你就需要有很强的证据显示要支持H1。比如，H1代表要花很多钱把产品包装改换成另一种包装，你就要有很强的证据显示新包装一定会增加销售量(因为拒绝H0要花很高的成本)多大的P值合适?2018-9-25有了P值，我们并不需要用5%或1%这类传统的显著性水平。P值提供了更多的信息，它让我们可以选择任意水平来评估结果是否具有统计上的显著性，从而可根据我们的需要来决定是否要拒绝原假设只要你认为这么大的P值就算是显著了，你就可以在这样的P值水平上拒绝原假设传统的显著性水平，如1%、5%、10%等等，已经被人们普遍接受为“拒绝原假设足够证据”的标准，我们大概可以说：10%代表有“一些证据”不利于原假设；5%代表有“适度证据”不利于原假设；1%代表有“很强证据”不利于原假设固定显著性水平是否有意义2018-9-25用P值进行检验比根据统计量检验提供更多的信息统计量检验是我们事先给出的一个显著性水平，以此为标准进行决策，无法知道实际的显著性水平究竟是多少比如，根据统计量进行检验时，只要统计量的值落在拒绝域，我们拒绝原假设得出的结论都是一样的，即结果显著。但实际上，统计量落在拒绝域不同的地方，实际的显著性是不同的。比如，统计量落在临界值附近与落在远离临界值的地方，实际的显著性就有较大差异。而P值给出的是实际算出的显著水平，它告诉我们实际的显著性水平是多少P值决策与统计量的比较2018-9-25P值决策与统计量的比较6.1.3表述结果6.1假设检验的原理2018-9-25假设检验不能证明原假设正确假设检验的目的主要是收集证据拒绝原假设，而支持你所倾向的备择假设假设检验只提供不利于原假设的证据。因此，当拒绝原假设时，表明样本提供的证据证明它是错误的，当没有拒绝原假设时，我们也没法证明它是正确的，因为假设检验的程序没有提供它正确的证据2018-9-25假设检验不能证明原假设正确当不能拒绝原假设时，我们也从来不说“接受原假设”，因为没有证明原假设是真的没有足够的证据拒绝原假设并不等于你已经“证明”了原假设是真的，它仅仅意为着目前还没有足够的证据拒绝原假设，只表示手头上这个样本提供的证据还不足以拒绝原假设“不拒绝”的表述方式实际上意味着没有得出明确的结论2018-9-25统计上显著不一定有实际意义当拒绝原假设时，我们称样本结果是统计上显著的(statisticallySignificant)当不拒绝原假设时，我们称样本结果是统计上不显著的在“显著”和“不显著”之间没有清除的界限，只是在P值越来越小时，我们就有越来越强的证据，检验的结果也就越来越显著2018-9-25统计上显著不一定有实际意义在进行决策时，我们只能说P值越小，拒绝原假设的证据就越强，检验的结果也就越显著但P值很小而拒绝原假设时，并不一定意味着检验的结果就有实际意义因为假设检验中所说的“显著”仅仅是“统计意义上的显著”一个在统计上显著的结论在实际中却不见得就很重要，也不意味着就有实际意义因为值与样本的大小密切相关，样本量越大，检验统计量的P值也就越大，P值就越小，就越有可能拒绝原假设6.1.4效应量6.1假设检验的原理2018-9-25效应量

(effectsize)假设检验拒绝原假设后，表示参数与假设值之间差异显著，但这一结果并未有告诉我们差异的大小（程度）。度量这种差异的统计量就是效应量，它描述了结果的差异程度是小、中还是大效应量的提出者是JacobCohen(1988)，他提供了不同检验效应量小、中、大的度量标准6.2总体均值的检验

6.2.1一个总体均值的检验

6.2.2两个总体均值之差的检验第6章假设检验6.2.1一个总体均值的检验6.2总体均值的检验2018-9-25一个总体均值的检验

(大样本)假定条件大样本(n

30)使用z检验统计量

2

已知：

2

未知：2018-9-25总体均值的检验(

2

未知)

(例题分析—大样本)【例6-3】检验空气中PM2.5的含量(

=0.05)

82.674.779.987.573.879.887.068.368.578.086.276.975.789.980.285.185.189.277.757.565.380.274.768.897.675.080.176.685.176.181.672.593.577.880.784.577.383.382.285.5load("C:/example/ch6/example6_3.RData")library(BSDA)z.test(example6_3$PM2.5值,mu=81,sigma.x=sd(example6_3$PM2.5值),alternative="less",conf.level=0.95)2018-9-25总体均值的检验(

2

未知)

(例题分析—大样本)2018-9-25一个总体均值的检验

(小样本)假定条件总体服从正态分布小样本(n<

30)检验统计量

2

已知：

2

未知：2018-9-25单样本t检验的效应量

2018-9-25总体均值的检验

(例题分析—小样本)load("C:/example/ch6/example6_4.RData")t.test(example6_5$厚度,mu=55)【例6-4】检验砖的厚度#计算效应量load("C:/example/ch6/example6_4.RData")library(lsr)cohensD(example6_4$厚度,mu=5)6.2.2两个总体均值之差的检验6.2总体均值的检验2018-9-25两个总体均值之差的检验

(独立大样本)定条件两个样本是独立的随机样本正态总体或非正态总体大样本(n1

30和n2

30)检验统计量

12

，

22

已知：

12

，

22

未知：2018-9-25load("C:/example/ch6/example6_5.RData")library(BSDA)z.test(example6_5$男生上网时间,example6_5$女生上网时间,sigma.x=sd(example6_5$男生上网时间),sigma.y=sd(example6_5$女生上网时间),alternative="two.sided")两个总体均值之差的检验

(例题分析—独立大样本)【例6-5】检验男女学生上网的平均时间2018-9-25两个总体均值之差的检验

(独立小样本：

12，

22

已知)假定条件两个独立的小样本两个总体都是正态分布

12，

22已知检验统计量2018-9-25两个总体均值之差的检验

(独立小样本：

12，

22

未知但

12=

22)假定条件两个独立的小样本两个总体都是正态分布

12、

22未知但相等，即

12=

22检验统计量其中：自由度：2018-9-25两个总体均值之差的检验

(独立小样本：

12，

22

未知且不等

12

22)假定条件两个总体都是正态分布

12，

22未知且不相等，即

12

22样本量不相等，即n1

n2检验统计量自由度：2018-9-25独立样本t检验的效应量

2018-9-25两个总体均值之差的检验

(例题分析—独立小样本，

12=

22)#假设方差相等

#假设方差不相等

#计算效应量

【例6-6】检验灯泡的平均使用寿命load("C:/example/ch6/example6_6.RData")t.test(example6_6$甲企业,example6_6$乙企业,var.equal=TRUE)t.test(example6_6$甲企业,example6_6$乙企业,var.equal=FALSE)library(lsr)cohensD(example6_6$甲企业,example6_6$乙企业)2018-9-25两个总体均值之差的检验

(配对样本)假定条件两个总体配对差值构成的总体服从正态分布配对差是由差值总体中随机抽取的

数据配对或匹配(重复测量(前/后))检验统计量样本差值均值样本差值标准差2018-9-25配对样本t检验的效应量

2018-9-25#配对样本t检验#计算效应量两个总体均值之差的检验

(例题分析—配对样本)

【例6-7】检验消费者对两款饮料的评分load("C:/example/ch6/example6_7.RData")t.test(example6_7$旧款饮料,example6_7$新款饮料,paired=TRUE)

library(lsr)cohensD(example6_7$旧款饮料,example6_7$新款饮料,method="paired")6.3总体比例的检验

6.3.1一个总体比例的检验

6.3.2两个总体比例之差的检验第6章假设检验6.3.1一个总体比例的检验6.3总体比例的检验2018-9-25总体比例检验假定条件总体服从二项分布可用正态分布来近似(大样本)检验的z统计量

0为假设的总体比例2018-9-25n<-2000p<-450/2000pi0<-0.25z<-(p-pi0)/sqrt(pi0*(1-pi0)/n)

p_value<-1-pnorm(z)

data.frame(z,p_value)总体比例的检验

(例题6—8)【例6-8】检验收视率是否达到制作人的预期6.3.2两个总体比例之差的检验6.3总体比例的检验2018-9-25假定条件两个总体都服从二项分布可以用正态分布来近似检验统计量检验H0：

1-

2=0检验H0：

1-

2=d0两个总体比例之差的检验2018-9-25n1<-200;n2<-200p1<-0.27;p2<-0.35

p<-(p1*n1+p2*n2)/(n1+n2)z<-(p1-p2)/sqrt(p*(1-p)*(1/n1+1/n2))

p_value<-pnorm(z)

data.frame(z,p_value)总体比例差的检验

(例题6—9)

【例6-9】检验上网收费2018-9-25n1<-300;n2<-300p1<-33/300;p2<-84/300d0<-0.08z<-((p1-p2)-0.08)/sqrt(p1*(1-p1)/n1+p2*(1-p2)/n2)p_value<-pnorm(z)data.frame(z,p_value)总体比例差的检验

(例题6—10)

【例6-10】检验两种生产方法6.4总体方差的检验

6.4.1一个总体方差的检验

6.4.2两个总体方差比的检验第6章假设检验6.4.1一个总体方差的检验6.4总体方差的检验2018-9-25总体方差的检验

(

2检验)

检验一个总体的方差或标准差假设总体近似服从正态分布使用

2分布检验统计量假设的总体方差2018-9-25

总体方差的检验

(卡方分布图)2018-9-25load("C:/example/ch6/example6_11.RData")library(TeachingDemos)sigma.test(example6_11$填装量,sigmasq=16,alternative="greater")总体方差的检验

(例题6—11)【例6-11】检验填装量的方差6.4.2两个总体方差比的检验6.4总体方差的检验2018-9-25两个总体方差比的检验

(F

检验)假定条件两个总体都服从正态分布，且方差相等两个独立的随机样本检验统计量2018-9-25load("C:/example/ch6/example6_6.RData")var.test(example6_6[,1],example6_6[,2],alternative="two.sided")两个总体方差比的检验

(例题分析)【例6-12】检验两家企业灯泡使用寿命的方差比6.5

非参数检验

6.5.1总体分布的检验

6.5.2总体位置参数的检验第6章假设检验2018-9-25非参数检验参数检验(如t检验，F检验等)通常都是在假定总体服从正态分布或总体分布形式已知的条件下进行的，而且要求所分析的数据是数值型的当总体的概率分布形式未知，或者无法对总体的概率分布做出假定时，参数检验方法往往会失效非参数检验(nonparametrictest)方法不仅对总体的分布要求很少，对数据类型的要求也比参数检验宽松当数据不适合用参数检验时，非参数检验往往得出理想的结果6.5.1总体分布的检验6.5非参数检验2018-9-25数据的正态性检验对数据画出频数分布的直方图或茎叶图若数据近似服从正态分布，则图形的形状与上面给出的正态曲线应该相似绘制正态概率图。有时也称为分位数—分位数图或称Q-Q图或称为P-P图用于考察观测数据是否符合某一理论分布，如正态分布、指数分布、t分布等等P-P图是根据观测数据的累积概率与理论分布(如正态分布)的累积概率的符合程度绘制的Q-Q图则是根据观测值的实际分位数与理论分布(如正态分布)的分位数绘制的Shapiro-Wilk和K-S正态性检验2018-9-25不同分布形状对应的Q-Q图

(解读Q-Q图)2018-9-25Q-Q图和P-P图#绘制Q-Q图load("C:/example/ch6/example6_3.RData")par(mfrow=c(1,2),cex=0.8,mai=c(0.7,0.7,0.2,0.1))qqnorm(example6_3$PM2.5值,xlab="期望正态值",ylab="观测值",datax=TRUE,main="正态Q-Q图")qqline(example6_3$PM2.5值,datax=TRUE,col="red")

#绘制P-P图f<-ecdf(example6_3$PM2.5值)p1<-f(example6_3$PM2.5值)p2<-pnorm(example6_3$PM2.5值,mean(example6_3$PM2.5值),sd(example6_3$PM2.5值))plot(p1,p2,xlab="观测的累积概率",ylab="期望的累积概率",main="正态P-P图")abline(a=0,b=1,col="red")【例6—13】检验PM2.5是否服从正态分布检验该城市2018-9-25Shapiro检验

2018-9-25Shapiro检验#Shapiro检验—Shapiro-Wilk正态性检验【例6—14】检验砖的厚度是否服从正态分布load("C:/example/ch6/example6_4.RData")shapiro.test(example6_4$厚度)2018-9-25Kolmogorov-Smirnov检验

2018-9-25Kolmogorov-Smirnov检验

2018-9-25Kolmogorov-Smirnov检验

【例6—15】检验砖的厚度是否服从正态分布

load("C:/example/ch6/example6_4.RData")ks.test(example6_4$厚度,"pnorm",mean(example6_4$厚度),sd(example6_4$厚度))6.5.2总体位置参数的检验6.5总体分布的检验2018-9-25总体位置参数检验只有一个总体时，通常关心总体的某个位置参数(如中位数)是否等于某个假定值，检验方法主要是Wilcoxon符号秩检验当有两个总体时，通常关心两个总体的位置参数是否相同。对于独立样本，采用Mann-Whitney检验，对于配对样本，则采用两个配对样本的Wilcoxon符号秩检验2018-9-25秩就是一组数据按照从小到大的顺序排列之后，每一个观测值所在的位置用一般符号R来表示，假定一组数据，按照从小到大的顺序排列，在所有观测值中排第位，那么的秩即为也是一个统计量，它测度的是数据观测值的相对大小，大多数非参数检验方法正是利用秩的这一性质来排除总体分布未知的障碍的。当然，也有一些非参数方法并不涉及秩的性质秩的概念

(rank)2018-9-25很多情况下，数据中会出现相同的观测值，那么对它们进行排序后，这些相同观测值的排名显然是并列的，也就是说它们的秩是相等的，这种情况被称为数据中的“结”对于结的处理，通常是以它们排序后所处位置的平均值作为它们共同的秩当一个数据中结比较多时，某些非参数检验中原假设下检验统计量的分布就会受到影响，从而需要对统计量进行修正(一般情况下，软件会自动作出修正)结的处理

(ties)2018-9-25检验总体参数(如中位数)是否等于某个假定的值。它是对符号检验的一种改进，弥补了符号检验的不足，要比单纯的符号检验更准确一些(对应的参数检验—单样本均值t检验)检验步骤计算各样本观察值与假定的中位数的差值，并取绝对值将差值的绝对值排序，并找出它们的秩计算检验统计量和P值，并作出决策总体中位数的Wilcoxon符号秩检验(Wilcoxonsignedrankstest)2018-9-25【例6-16】检验砖的厚度中位数是否等于5cm总体中位数的Wilcoxon符号秩检验#总体中位数的wilcox.test符号秩检验load("C:/example/ch6/example6_4.RData")wilcox.test(example6_4$厚度,m=5)2018-9-25也称为Mann-WhitneyU检验(Mann-WhitneyUtest)，或称为Wilcoxon秩和检验用于确定两个总体间是否存在差异的一种非参数检验方法(对应的参数方法—两个独立样本的t检验或z检验)Mann-Whitney检验不需要诸如总体服从正态分布且方差相同等之类的假设，但要求是两个独立随机样本的数据至少是顺序数据与Wilcoxon符号秩检验不同，它不是基于相关样本，而是使用两个独立样本两个独立样本

Mann-Whitney检验2018-9-25设X、Y是两个连续的总体，其累积分布函数为Fx和Fy，从两个总体中分别抽取两个独立样本：(x1，x2，…，xm)和(y1，y2，…，yn)若要检验两个总体是