第7章估计与检验

1、现代高等工程数学电子教案第7章 估计理论与假设检验数学学院应用数学系 王国富2013年9月 问题提出 某厂有一批产品，须经检验后方可出厂。按规定标准，次品率不得超过1%。今在其中随机抽取100件进行检查，结果发现有2件次品，问这批产品的次品率是多少？能否出厂？ 引进变量X，当抽取一件产品是次品，记为X=1，当抽取一件产品不是次品，记为X=0；PX=1=p， PX=0=1-pP就是产品的次品率。这批产品的次品率是多少就是对p的取值作出一个推断，称为估计。能不能出厂，就看p的值是超过1%还是没有超过1%，这就是检验。 数理统计其实质就是利用样本对总体进行统计推断，而总体可以看作是一个随机变量，要知

2、道一个随机变量的取值规律性就是要对它的分布作出一个推断。当我们对总体一无所知的时候，可以利用样本对分布作出估计，通常可以用频率分布表来估计离散型总体的分布率；用直方图估计连续性总体的分布密度；用经验分布函数估计总体的分布函数。当我们对总体的分布类型有了一定的了解，但分布中含有未知参数时，可以利用参数估计方法对参数的取值作出估计，其中包括点估计和区间估计。当我们对总体已经有了比较全面的了解，但实际中可能出现一些大的改变，这些改变会不会影响总体的分布，那就需要进行假设检验了。估计理论与假设检验是数理统计中两个最基本和最重要的内容 总体与个体 我们把所研究对象的全体称为总体或母体。组成总体的每个单元

3、称为个体 总体X可看作一个随机变量 ,称X的概率分布为总体分布，称X的数字特征为总体的数字特征 ,对总体进行研究就是对总体的分布或对总体的数字特征进行研究 .样本 从总体中抽取的一部分个体称为样本或者子样，其中所含个体的个数称为样本容量 . 样本具有二重性：随机性和确定性 简单随机样本: 设总体X的样本满足 独立性：每次观测结果既不影响其它结果，也不受其它结果的影响；即相互独立； 代表性：样本中每一个个体都与总体X有相同分布。则称此样本为简单随机样本。 进行有放回抽样就是简单随机样本 ,无放回抽样就不是简单随机样本。但N很大，n相对较小时无放回抽样得到的样本可以近似看作简单随机样本. 统计量统

4、计量 统计量的定义 定义1.2 设 为总体X的一个样本， 为 的连续函数，且不含有任何未知参数，则称T为一个统计量。 注:1.统计量是完全由样本确定的一个量，即样本有一个观测值时,统计量就有一个唯一确定的值 ; 2.统计量是一个随机变量，它将高维随机变量问题转化为一维随机变量来处理 ,但不会损失所讨论问题的信息量.12(,)nXXX12(,)nTT XXXnXXX,21常见的统计量 1.样本均值 2.样本方差 3.k 阶原点矩4.k 阶中心矩 5.顺序统计量6.样本极差 与中位数(1)(n)(k)最小顺序统计量:X最大顺序统计量:X第K顺序统计量:X抽样分布 我们称统计量的分布为抽样分布 ,不

5、同的统计量其分布不一定相同.常见的分布类型有: 正态分布正态分布 伽玛分布伽玛分布 卡方分布卡方分布 t 分布分布 F分布分布 伽玛分布伽玛分布定义1.4 如果连续型随机变量X的密度函数为其中 为 函数，则称X为服从参数是 的伽玛分布，记为 ,0, 00,)()(1xxexxfx0, 001)(dxexx,),(X 伽玛分布的性质伽玛分布的性质(1)由此可得10()()( )( )kkxkxkE Xxedx2(),()E XD X (2) 如果 ，并且X和Y相互独立，容易求得 这个性质称为可加性,即伽玛分布具有可加性.12(, ),(, )XY ),(21YX 卡方分布卡方分布用构造性的方式定

6、义是用构造性的方式定义是 定义定义1.5 设设 为相互独立的随机变量，为相互独立的随机变量，且均服从且均服从 ，则它们的平方和，则它们的平方和 也是一个随机变量，它所服从的分布称为自由度也是一个随机变量，它所服从的分布称为自由度为为n的的 分布，记为分布，记为 12,nXXX) 1 , 0(N222212nXXX)(22n2 它的密度函数为 其密度函数与参数n有关，它的图形也有一定差异0, 00,)21)(2122(2xxexxfxnnn 卡方分布的性质卡方分布的性质若，则若，则即卡方分布是一种伽玛分布，因此具有伽玛即卡方分布是一种伽玛分布，因此具有伽玛分布的性质分布的性质（）（）（）（） 如

7、果，并且如果，并且X和和Y相互独立，有相互独立，有 卡方分布也具有可加性卡方分布也具有可加性)(22n)21,2(2n2()EnnD2)(22212( ),()XnYn)(212nnYX t 分布分布构造性的方式定义定义1.6 设，且X与Y相互独立，记 则也是一个随机变量，它所服从的分布称为自由度为n的t分布，记为 ) 1 , 0( NX)(2nYnYXT )(ntT 它的密度函数为与参数n有关，不同的n其图形也有差异1221()2( )(1),( )2nnxf xxnnn 性质若则（）当时，t分布是柯西分布，柯西分布不存在数学期望和方差参数为2的t分布也不存在数学期望和方差（）时，)(ntT

8、1n2n ( )0,( )2nTD Tn （）可以证明这是标准正态分布的分布密度，即当n充分大时，T近似服从标准正态分布 221lim( )2xnf xe 分布分布构造性的方式定义定义1. 设，且X与Y相互独立，记 则也是一个随机变量，它所服从的分布称为自由度为(m,n)的F分布，记为 2( )Xm)(2nYX mFY n( , )FF m n 它的密度函数为它与m,n有关，其图形也有一定差异0, 00,)1 ()()2()2()2()(2122xxxnmxnmnmnmxfnmmm 容易得到若，则),(nmFF1( ,)F n mF 分位数：定义1.6 设X为连续型随机变量，其分布函数为 ，对

9、，如果存在数 满足 则称为此分布的分位数分位数的几何意义 可用图形表示，它的值可查表得到，不同的分布有不同的分位数，有不同的表可查)(xf10 xdxxfxXP)()(xx 常见的分位数有它们的值可以通过附表1、附表2、附表3、附表4 查得 2,( ),( ),( , )Zn tn Fm n 分位数具有性质(1)(2)(3)当n 足够大时（一般n 45）有近似公式 )()(,11ntntZZ),(1),(1mnFnmF2( ),2tnZnnZ例1:查表求下列分位数的值0.050.9752220.050.990.050.050.990.050.050.99,(10),(10),(50)(10),

10、(10),(100)(9,10),(9,10),ZZtttFF 抽样分布定理 定理7.2.1 设总体 ， 为X的一个简单随机样本， 为样本均值与样本方差，则有： (1) (2),(2NX12(,)nXXX2,X S2( ,)(0,1)XXNNnn或);1() 1(222nsn (3) 相互独立； (4) 2XS与) 1(ntnSX 定理7.2.2 设有两个总体与，从两个总体与中分别独立抽取容量为m，n的简单随机样本记为样本的样本均值与方差，为样本的样本均值与方差，则（） ),(211NX),(222NY),(21mXXX),(21nYYY2,XSX),(21mXXX),(21nYYY2,YSY

11、) 1 , 0()()(222121NnmYX（）（）若则其中) 1, 1(222212nmFSSYX21)2(11)()(21nmtnmSYXw2) 1() 1(222nmSnSmSYXw 定理7.2.3 设总体X为任意总体，存在有限的数学期望与方差，为X的一个样本，当n充分大时（称之为大样本），有（）（）2)(,)(XDXE),(21nXXX) 1 , 0(/NnX近似) 1 , 0(/NnSX近似 定理7.2.4 设事件A发生的概率为p,在n次重复试验中事件A发生的次数为m，当n充分大时，近似地有（）（）(0,1)(1)mnpNmmn近似(0,1)(1)mnpNnpp近似 定理7.2.5

12、 设总体X服从参数为 的指数分布， 为X的一个简单随机样本， 为样本均值，则12(,)nXXXX22(2 )n Xn 例2 设总体，分别从X中抽取容量为10与15的两个独立样本，求它们的均值之差的绝对值大于0.3的概率 )3 ,20( NX 例3 设总体，是从总体中抽取的简单随机样本，选取常数c,d使得并求出n.(0,1)XN),(521XXX)()()(22542321nXXdXXXc一、估计理论经验分布函数分布估计直方图非参数估计估计理论矩法估计点估计 极大似然估计参数估计区间估计1.参数点估计参数点估计是对参数取哪一个值作出估计定义：设总体的分布已知，但其中含有未知参数（可以是一个向量）

13、，点估计就是依据某种原理，根据样本来构造统计量（可以是一个向量）作为的估计量，记为T12(,)nT XXX 当样本取定一个观察值时，估计量也有一个值，这个值称为估计值，不同的抽样，有不同的估计值，它与真值会有差异，这种差异除了抽样带来的误差外，与估计量的形式有关因此，选取统计量也是非常重要的我们介绍两种统计量的方法：矩法与极大似然法 矩法估计假设样本为简单随机样本，则由大数定律，有12,kkkknXXXX独立同分布,且与总体的分布相同11lim()nkkiniXE Xn 其中当n比较大时11nkiiXkn为样本 阶原点矩()kE Xk为总体 阶原点矩11()nkkiiXE Xn 利用这种近似相

14、等关系的思想，得到矩法估计的定义定义：用样本原点矩去代替总体相应的原点矩得到的参数的估计量的方法称为矩法，称这种估计为矩法估计量 例4总体的分布密度为其中为未知参数，现从中抽取一个样本，试求的矩法估计量解：1|( ; )exp()2xf x 由于故令得到估计量通常我们是采用下面的方法22()0()2E XE X与参数 无关,222A22A 另解我们可认为而由矩法，我们令得到12(|,|,|)|nXXXX为的一个样本(|)EX11|(| )niiXEXn11|niiXn 极大似然估计极大似然估计是利用小概率原理作出估计的小概率原理：小概率原理：一个概率非常小的一个事件在一次试验中几乎是不可能发生

15、的；也就是说，如果一个事件在一次试验中居然发生了，那么这个事件发生的概率不可能很小，而应认为其概率会尽可能地大 例5设总体，现从中抽取一个样本观察值（500,300,600,400,700),试估计 的值解：( )XP 这里，n是5，设为样本，在一次试验中事件发生了，而125(,)XXX125500,300,700XXX1255003007005007005500,300,700500!300!700!500!700!P XXXeeee 是参数的函数，由小概率原理，这个概率不会太小，应尽可能大，即求这个概率的最大值利用求导可得到当时，这个概率达到最大因此，我们有理由认为参数为500.这就是极大

16、似然估计500 一般地，当总体为离散型总体，其分布中含有未知参数（可以是向量），为一个样本，为一次观察值，称为似然函数12(,)nXXX12( ,)nx xx121122( ,; ),nnnL x xxP Xx XxXx 称对数似然函数称满足的为极大似然估计值，记为1212( ,; )ln ( ,; nnl x xxL x xx1212( ,; )max ( ,; nnL x xxL x xx12( ,)nx xx而称为极大似然估计量简称估计 上例的一般情况是12(,)nXXX例6：设总体服从参数为的泊松分布，求的极大似然估计解：总体的分布为似然函数为!xP Xxex1212112( ,; )

17、!1!inxnniixxxnnL x xxexex xx对数似然函数为这两个函数的极值点相同，对对数似然函数求导，并令其为，得121212( ,; )()ln( )ln(!)nnnl x xxxxxnx xx得到从而极大似然估计为121()0nxxxn121()nxxxxn121()nXXXXn当总体是连续型总体时,我们定义似然函数为对数似然函数为12121( ,; )( ,; )( ; )nnniiL x xxf x xxf x1212( ,; )ln ( ,; )nnl x xxL x xx 例7设总体，试求 的极大似然估计.解：( )XE 解:似然函数为对数似然函数为121( ,; )i

18、inxnixnL x xxee12( ,; )ln( )nil x xxnx 对 求导并令其为0,得从而解得 的极大似估计 0inx1inxx1X2.区间估计 点估计方法有两个缺陷: (1)不能说明估计值与真值的偏差到底有多大(精确性); (2)不能说明这个估计有多大的可信度(可靠性);e 12122:X,(0 1),(,),(,),1,1,)1.,nnXXXXXX 1212121定义 设总体 的分布中含有未知参数是任意给定的正数如果能从样本出发确定出两个统计量使得 P成立 我们称为置信度或置信概率,区间(为参数 的置信度为的置信区间分别称为置信下限和置信上限. 需要指出:区间估计中的精确性与

19、可靠性是相互矛盾的.当样本容量一定时,提高估计的可靠度，将降低估计的精度，相反，提高估计的精度，将降低估计的可靠度. 21TT 1区间估计的一般步骤:(1)选取一个合适的随机变量T,这个随机变量一方面包括了待估参数 ,另一方面,它的分布是已知的;(2)根据实际需要,选取合适的置信度1- ;(3)根据相应分布的分位数概念,写出如下形式的概率表达式 PT 221,) 11(4)将上式表达式变形为P(5)写出参数 的置信区间( ),90%.(1)0.01;(2) 222例8:随机地从一批钉子中抽取6枚,测得长度为2.14 2.10 2.15 2.10 2.13 2.12并设总体XN( ,试求下列情况

20、下 的的置信区间未知; 0000.11.645,6,XnXXnnn 2200.05解:容易求出 x=2.123, (1) =已知时,选取 U=N(0,1) 置信区间为( Z ,Z )这里,Z代入得 的90%的置信区间为(2.056, 2.190) (5)2.015,XtSnSSXXnn220.05 (2) 未知时,选取 T=(n-1) 置信区间为( t (n-1),t (n-1)这里,t代入得 的90%的置信区间为(2.106, 2.140) 注:两种不同的条件,得到两种不同的结果.其可靠性相同,而精度却不同, 已知时 的估计精度比 未知时 的估计精度差.但一般情况下,给定的信息越多,估计越精

21、确,而本例能说明什么问题呢? 例9:在某次选举前的一次民意测验中，随机地抽取了400名选民进行民意测验，结果有240人支持某个指定的候选人。求在所有的选民中，这位候选人的支持率的95%的置信区间 (0,1)(1)mnpUNmmn 选用 p解:这是大样本情况下事件概率 的置信区间对给定的1-221ZUZ 由P 2233()()mm nmmm nmnnnn得 ( -Z ,+Z )这里:n=400,m=240 =0.05 代入得:支持率0.5513,0.6468)p的95%的置信区间为( 222233(0,1)(1)1()()0.5513,0.6468)pmnpUNmmnZUZmm nmmm nmn

22、nnn 解:这是大样本情况下事件概率 的置信区间 选用 对给定的1- 由P 得 ( -Z ,+Z )这里:n=400,m=240 =0.05 代入得:支持率p的95%的置信区间为( 例10:在甲、乙两市进行的职工家计调查结果表明：甲市抽取的500户中平均每户消费支出元，标准差元；乙市抽取的1000户中平均每户消费支出元，标准差元，试求:两市职工家庭每户平均年消费支出之间差别的置信水平为0.95的置信区间。13000 x 1400s 24200 x 2500s 21 122212()()(0,1)XYUNSSmn-选用 =:解 这里可作为大样本来处理对给定的1- 221ZUZ 由P12得-的置信

23、区间为2222221212(,)SSSSXYZXYZmnmn500,1000,0.05mn这里211200 46.79代入可得- 的置信区间 例11:设总体服从 上的均匀分布，求 的区间估计。 , 0 解:由极大似然估计得 容易得到 的分布函数为 对给定的置信度 令从而得到的置信区间为 ( )( )12( )()(,)nnnFxP XxP Xx XxXx)max()(inXX)(nXxxxxnn10001, 22PcPd1,22nncd(,)122nn 假设检验假设检验问题提出 某厂有一批产品，须经检验后方可出厂。按规定标准，次品率不得超过1%。今在其中随机抽取100件进行检查，结果发现有2件

24、次品，能否出厂？ 分析:我们可算得，不合格品出现的频率为0.02。由于我们不可能对所有生产的产品进行检验，因此即使可以出厂，不合格率不超过0.01，在随机抽样检验中，不合格品出现的频率也有可能比0.01大. 如果记“X=1”表示生产出来的产品为不合格品；“X=0”表示生产出来的产品为合格品，我们有 这里参数 为不合格率。那么产品可以出厂等价于总体X的分布为0-1分布，参数 ；产品不可以出厂等价于总体的分布为0-1分布，参数 。关于产品能否可以出厂的两种假设就转化为关于总体分布的两种假设 1; 01P Xp P Xp p0.01p 0.01p 所谓假设检验问题，就是要判断原假设是否正确，也就是要

25、作出一个决定，是接受还是拒绝原假设 01:0.01:0.01HpHp01HH称为原假设或者零假设;称为备择假设或者对立假设. 如何作出选择，需要我们从总体中抽取样本，然后根据样本的观测值作出决定。这就需要我们给出一个规则，此规则告诉我们，在有了样本观测值后，我们可以作出是接受还是拒绝原假设。 我们把这样的规则称为检验。要给出一个有实际使用价值的检验，需要有丰富的统计思想。我们首先对样本进行加工，把样本中包含的关于未知参数的信息集中起来，构造出一个适合于假设检验的统计量T。 上面例子中，我们取 它表示所检验的100件产品中不合格品的总数。是p的充分统计量，服从参数是100, p的二项分布。一般说

26、来，在 为真即生产过程稳定时，T的值应比较小；而在 不真即生产过程不稳定时，T的值应相对地比较大。因此，我们可以根据T值的大小来制定检验法则。对样本的每个观测值，当统计量的观测值较大时就拒绝 ，而当T较小时就接受 。这就是说，按照规则 niiXT10H0H0H0H 当 时，拒绝原假设； 当 时，接受原假设； 其中c是一个待定的常数。不同的c值表示不同的检验，如何确定c，需要有熟练的计算技巧和丰富的统计思想，我们称T为检验统计量；c为检验临界值； 为拒绝域； 为接受域。 ct tcWtcWTc 两类错误 每一个检验都会不同程度地犯两类错误。上面例子中，原假设本来正确，由于样本的随机性，检验统计量

27、的观测值落入了拒绝域，就拒绝原假设，这时称假设检验过程中犯了第一类错误，也称“弃真错误”；原假设本来不正确，由于样本的随机性，检验统计量的观测值落入了接受域，就接受原假设，这时称假设检验过程中犯了第二类错误，也称“存伪错误”。 一个检验的好坏可由犯这两类错误的概率来度量。常把犯第一类错误的概率记为，犯第二类错误的概率记为。由于它们常依赖于总体中未知参数，故又常记为。上面例子中 ( )( ) 和1001( )|00.01iipPXcp100100100(1);00.01jjjj cCppp100111001000( )|0.011(1);0.011iicjjjjpPXcpCppp可见，犯两类错误

28、的概率均为参数p的函数。犯第一类错误的概率是的函数；犯第二类错误的概率是的函数。犯两类错误的概率也是c的函数，c的值越大，犯第一类错误的概率就越小，而犯第二类错误的概率就越大；相反， c的值越小，犯第一类错误的概率就越大，而犯第二类错误的概率就越小；因此，犯两类错误的概率是相互制约的 00.01p0.011p 奈曼（Neyman）和皮尔逊（Pearson）提出，首先控制犯第一类错误的概率，即选定一个数，使得检验中犯第一类错误的概率不超过。然后，在满足这个约束条件的检验中，寻找犯第二类错误的概率尽可能小的检验。这就是假设检验理论中的奈曼-皮尔逊原则。寻找犯第二类错误的概率尽可能小的检验，在理论和

29、计算中都并非容易。为简单起见，在样本容量n固定时，我们着重对犯第一类错误的概率加以控制，适当考虑犯第二类错误的概率的大小。称控制犯第一类错误的概率不超过的检验为显著性检验。称为显著性水平 (01) 假设检验的一般步骤（1）根据实际问题提出原假设和备择假设；（2）确定检验统计量；（3）取适当的显著性水平，并由显著性水平和统计量的分布确定拒绝域，使得检验中犯第一类错误的概率的最大值尽可能的接近,特别在总体为连续型总体时，往往要使它等于 拒绝域有单侧和双侧两种形式 （4）由样本观测值算得统计量的观测值，并与拒绝域中临界值比较，如果观测值落入拒绝域，则拒绝原假设，否则接受原假设|sup0为真HWTP例

30、13： 由点估计，可用 ，因此，我们可选取统计量 来检验,显然它的值太大或者太小都应拒绝 ,因此,拒绝域的形式为22( ,); ,XN 设总体为参数220,在已知时 关于 的假设检验00010:();:HH 为已知数X来估计0X0H0|WXc 由来确定 00000000|P TW HP TWPXcXcPnn为真c 而在为真时 ，由标准正态分布的分位数可知 因此拒绝域为 00:H00(0,1)XUNn20cZn0022|WXZnWUZ或者 例14 某工厂生产的一种产品的强度长期以来一直服从正态分布(55,0.01)，,现采用新的工艺进行生产后，抽取n=100的样本，测得有样本均值为56。假设方差

31、保持不变，问在新的工艺下，产品的强度是否有所变化？（取 ） 05. 0 解：假设采用新的工艺进行生产后，产品的强度仍服从正态分布 作假设选取统计量在原假设为真的条件下拒绝域为( ,0.01)N55:00H1:55H00XUn(0,1)UN|2ZUW 经计算，统计量的观测值 u=100，查表得 。从而 ，说明样本观测值落入了拒绝域中，应该拒绝 ，即在新的工艺下，产品的强度已经发生了变化。 96. 1025. 0Z025. 0Zu 0H正态分布中参数假设检验可列表正态分布的假设检验.doc 例15某种食品在处理前后含脂率抽样数据如下： 处理前： 0.19 0.18 0.21 0.30 0.41 0

32、.12 0.27 处理后： 0.15 0.13 0.07 0.24 0.19 0.06 0.08 0.12假定处理前后的含脂率均服从正态分布，且标准差保持不变，问在0.05显著性水平下，处理前后的含脂率有无显著变化？ 解：我们采用t检验。设处理前后含脂率分别为X、Y， ，作假设2212(,);(,)XNYN 012112:;:HH2(),11|(2)WXYTSmnWTtmn选取则拒绝域应为 0.025227,8;(13)2.160.24,0.00780.13,0.00342.68,xymntxsyst 这里 经计算 从而 这样样本观测值落入了拒绝域内即处理前后的含脂率有显著变化 例16 某厂有

33、一批产品，共1000件，须经检验后方可出厂。按规定标准，次品率不得超过1%。今在其中随机抽取100件进行检查，结果发现有2件次品，问这批产品能否出厂？（ ） 05. 0 解：设这一批产品的次品率为p,我们作假设01:0.01;:0.01HpHp0,(1)1.645,mnpUmmnWUZ0.05我们选取统计量得拒绝域为这里,n=100,m=2,计算得U=0.71对 =0.05,Z从而样本观测值未落入拒绝域中,因此这一批产品可以出厂.例17.某市对某项决定需要全市市民表决才能执行，并规定表决同意此项决定的人数所占比例超过50%时就可以执行此决定。今在表决前随机地抽取了400名市民进行民意调查，结果

34、有220名同意此项决定。问此项决定能否执行？01. 0解：设表决同意此项决定的人数所占比例为p，作如下假设01:50%;:50%HpHp0(1)mnpUmmn选用WUZ拒绝域0220,400,0.5mnp这里0.012202002.012.33220 (1 0.55)UZ有没落入到拒绝域，即此项决定在显著性水平0.01之下不能执行 分布假设检验 参数的假设检验中，总体分布的类型是已知的。然而在许多场合，并不知道总体分布的类型，此时首先需要根据样本提供的信息，通过概率论有关理论推导或有关专业知识、经验等形成对总体X的分布类型的猜想、看法，提出假设。对这种假设的检验称为分布假设检验。(1)单个分布的假设检验 设总体X的分布函数为 ，我们对总体的分布作如下假设： 其中， 为一个完全已知为分布函数，它不含任何的未知参数 . 假设检验的重要步骤是要构造一个检验统计量。采用不同的统计量，就形成不同的统计检验方法。关于分布的假设检验常用的有皮尔逊（K.Pearson）检验法和柯尔莫哥洛夫（Kolmogorov）检验法。我们仅介绍皮尔逊检