概率论第七章参数估计

1、第七章第七章 参数估计参数估计 7.1 7.1 点估计点估计一一. . 问题的提法问题的提法: :1212X( ; ), , , , nnF x XXXXx , x , , x设总体 的分布函数的形式为已知是待估参数，是 的一个样本，是相应的一个样本观测值。 )( ), , ,(),() , ,(21212121的估计值。的估计值。为参数为参数称称的估计量，的估计量，为为，我们称，我们称来估计未知参数来估计未知参数，用它的观察值，用它的观察值一个适当的统计量一个适当的统计量点估计问题就是要构造点估计问题就是要构造nnnn,x, ,xxXXXxxxXXX二、矩估计法二、矩估计法: :kkPnik

2、ikEXXnA11 由辛钦大数定理可知：样本的原点矩依概由辛钦大数定理可知：样本的原点矩依概率收敛到总体的原点矩，即率收敛到总体的原点矩，即据此，得到参数的矩估计法。据此，得到参数的矩估计法。为未知参数）为未知参数）（其中（其中，的分布函数为的分布函数为设总体设总体kkxFX , ,) , , ;(2121的样本，的样本，是来自是来自XX, X Xn21定义：定义：1122( ,(,)(1,2), )2,1, ,rkrnrrX XXrrkkA 方程组 的解为的矩估计量。121=( ,)1=,1,2,rrknrrikiEXEXrAXrrkn 假设存在为总体的 阶原点矩；为样本的 阶原点矩。121

3、2122,(,),nXXXU 例 .已知为来自总体的样本，求的矩估计。222121X , , , , nXXX 例 .设总体 的均值 及方差都存在， 但均未知， 又设是一个样本， 求的矩估计。| |1214.( , )2(,)xnXf xexXXXX 例 设总体，是来自总体 的样本， 求 的矩估计。2221222223.(,)( ,),0 ( ,)0,0nxXXXXf xxexf xx例 设是来自总体的样本，其中 求的矩估计。三、极大似然估计方法三、极大似然估计方法:, , ,), , , ;(n212121的一个样本的一个样本是是的参数的参数待估计待估计是是其中其中定义：总体定义：总体XXX

4、XxfXkk12121( , , )(; , , ).nkikiLf X称为样本的似然函数12 1, ,.k 似然函数是参数 的函数为密度函数。为密度函数。为连续型随机变量时，为连续型随机变量时，为分布律；为分布律；为离散型随机变量时，为离散型随机变量时，)()(2 xfXxfX。即似然函数的值比较大的概率比较大可以认为取到这组值已经发生的随机事件它是是一组样本值容易发生的事件概率大的事件比概率小根据经验 , , , ,21n, x, , x x12121212, , , , , , ,nkkkx ,x , ,xLL 对似然函数而言是常数 它是参数的函数 因而是参 数值使得 较大 我们就将使得

5、 取到最大值的参数值 称为的极大似然估计值。121212:( , ,)( ,), (,) (1,2, )kiniiiniLx xxXXXik 定义 如果似然函数 在处取最大值 则称 为 的极大似然估计值，而相应的统计量称为参数 的极大似然估计量。极大似然估计的求解方法极大似然估计的求解方法: :2.2.直接根据定义计算。直接根据定义计算。1.1.求解对数似然方程：求解对数似然方程：12ln(,)0. (1,2, )kiLik 若驻点唯一，即为极大似然估计。若驻点唯一，即为极大似然估计。1125 ( , )(1)0,1(,)xxnXf x pppxXXXXp例 .设，；是来自 的样本，求参数 的

6、极大似然估计。126,( )nXXXe例 .已知为来自总体的样本，求 的极大似然估计。221227 (, ), , , .nX NX , X , X 例 .设总体其中均未知 设是来自该总体的一组样本 求的极大似然估计例例8.8.设总体设总体X服从服从 0 , 区间上的均匀分布区间上的均匀分布, , 求求 的极大似然估计的极大似然估计。例例9.9.设总体设总体X服从服从 ,+1 区间上的均匀分布区间上的均匀分布, , 求求 的极大似然估计的极大似然估计。极大似然估计的性质极大似然估计的性质:( ),( ), ( )( )uuu uuuu 设 的函数具有单值反函数是参数 的极大似然估计则是的极大似

7、然估计。例如，例例如，例8 8中参数中参数的方差的方差DX的极大似然估计的极大似然估计为：为：2221max121212iDXX7.2. 7.2. 估计量的评选标准估计量的评选标准 :, .无偏估计的性 有效性三个常用标准和一致性是1 1、无偏性、无偏性: :12n(,)( ), , ( ),XXXEE 定义：若估计量的数学期望存在且对于有则称 是 的无偏估计量。的的渐渐近近无无偏偏估估计计。为为，则则称称若若limEn例例2.2.X1,X2,Xn是来自是来自XU( (0 0, ,) )的样本，的样本， 证明：证明： 都是都是的无偏估计。的无偏估计。,max1,22121nXXXnnX2 2、

8、有效性、有效性: :. )()( :212121有效有效比比称称则则，若有，若有若若定义定义DDEE 所有无偏估计中方差最小的无偏估计称为所有无偏估计中方差最小的无偏估计称为最小方差无偏估计，或称为有效估计。最小方差无偏估计，或称为有效估计。例例3.3.对任何总体对任何总体X，EX= =，DX=2 2 , , X1 ,X2, ,Xn 是来自是来自X 的样本，的样本，证明：证明： 比比 有效。有效。121211,.(1)nniiiiiiXX为 常 数 ,.)(1)(的无偏估计）的无偏估计）（或称为达到方差下界（或称为达到方差下界的有效估计，的有效估计，为为，则称，则称若若nID1( )lim1,

9、( )nInD若则称 为 的渐近有效估计。信息数。信息数。称为称为其中其中下界）下界）（则则，若，若定理：总体定理：总体FisherXfEIRGnIDExfX2),(ln)()(1)();(212225.X,X( ,),:1X2nnNS 例 设，为正态总体的样本证明是 的有效估计；是的渐近有效估计。1124( ; )(1),0,1,xxnXf x pppxXXXXpXp例 .总体，为来自 的样本，证明：是参数 的有效估计。3 3、相合性（一致估计）、相合性（一致估计）: :,0, lim 0, .PnP 定义 若即对则称为 的相合估计量根据辛钦大数定理，样本原点矩根据辛钦大数定理，样本原点矩依

10、概率收敛于相应的总体依概率收敛于相应的总体原点原点矩矩, , 从从而样本矩的连续函数依概率收敛于相应的总体矩的连续函数而样本矩的连续函数依概率收敛于相应的总体矩的连续函数，所以所有的矩估计都是相合估计量。所以所有的矩估计都是相合估计量。 12+,- liml,im0nnnXXXbEDDb ：设是 的估计量，为估计偏差，存在。如果则 是 的定理相合估计量。2122226,( ,),nnXXNXSB 例 .为正态总体的样本证明： 为 的相合估计；为的相合估计；为的相合估计。7.3 7.3 区间估计区间估计 112( ; ),(01): Xf x设总体其中参数 未知 若对于给定的值，统计量和满足定义

11、定义: :1212(, )1,11()则称随机区间 是 的置信度为的置信区间和分别称为置信度为的置信上限和置信下限，称为置信度 置信水平 。12()1P 2.2.置信区间长度越短，估计越精确，一般置信区间长度越短，估计越精确，一般 我们是我们是对称地取对称地取；可以证明此时的置信；可以证明此时的置信 区间长度最短。区间长度最短。1212 ,P( )=1-1.置信区间的定义中，统计量 满足条件即可， 所以置信区间并不唯一。212()()PP12123.(,; ) 1naZ XXXb根据不等式解得这就是 的置信度为 的置信区间。1221, , (,; )1na bP aZ XXXb .对于给定的置

12、信度求出使得求置信区间的一般思路求置信区间的一般思路（枢轴量法）（枢轴量法）1.1.构造一个随机变量构造一个随机变量Z=Z(X1,X2,Xn; ), 除参数除参数 外外, , Z不包含不包含其他任何未知参数其他任何未知参数, ,Z的分布已知的分布已知( (或可求出或可求出),),并且不依赖于参并且不依赖于参数数 , ,也不依赖于其他任何未知参数。（也不依赖于其他任何未知参数。（Z称为枢轴量称为枢轴量）7.4.7.4.正态总体参数的区间估计正态总体参数的区间估计一、单个正态总体参数的区间估计一、单个正态总体参数的区间估计: :2122( ,), , , , 1nXNXXXX 设总体是来自 的样本

13、，求 ,的 置信区间。7.4 正态母体参数的置信区间正态母体参数的置信区间已知2XUn22,XuXunn) 1 , 0(N未知2nSXT/22,SSXtXtnn) 1( nt被估 条件 选用 分布 1 的置信区间参数 枢轴量 已知212niiX)(2n221122122()(),( )( )nniiXXnn2222) 1(Sn) 1(2n2222122(1)(1),(1)(1)nSnSnn未知1.1.通常我们讲的都是双侧的置信区间，实际通常我们讲的都是双侧的置信区间，实际中还有单侧的置信区间，如书上的定义。中还有单侧的置信区间，如书上的定义。2.2.若函数若函数g(x)单调增，则：单调增，则：

14、1)()()(1)(2121gggPP 若函数若函数g(x)单调减，则：单调减，则：1)()()(1)(1221gggPP例例1：设某异常区磁场强度服从正态分布：设某异常区磁场强度服从正态分布 ， 现对该区进行磁测，按仪器规定其方差不得超过现对该区进行磁测，按仪器规定其方差不得超过0.01， 今抽测今抽测16个点，算得个点，算得 问此仪器工作是否稳定问此仪器工作是否稳定 ？2( ,)N 212.7,0.0025,XS例例2：设样本：设样本 为正态分布为正态分布 的样本，的样本， 其中其中 和和 为未知参数。设随机变量为未知参数。设随机变量 L 是关于是关于 的置信度为的置信度为 1- 的置信区

15、间的长度，求的置信区间的长度，求 。12,nXXX2( ,)N 22()E L例例3：设某种清漆的：设某种清漆的9个样品，其干燥时间（以小时计）分别个样品，其干燥时间（以小时计）分别 为为6.0、5.7、5.8、6.5、7.0、6.3、5.6、6.1、5.0. 设干燥时间总体服从正态分布设干燥时间总体服从正态分布 ，求：，求：（1） 为为0.6时，时， 的置信度为的置信度为0.95 的单侧置信上限。的单侧置信上限。（2） 为未知，为未知， 的置信度为的置信度为0.95 的单侧置信上限。的单侧置信上限。2( ,)N 例例4：随机地取某种炮弹：随机地取某种炮弹9发做试验，得炮口速度的样本发做试验，

16、得炮口速度的样本 标准差为标准差为 S11（m / s），设炮口速度服从正态分布。），设炮口速度服从正态分布。 求这种炮弹的炮口速度的标准差求这种炮弹的炮口速度的标准差 的置信度为的置信度为0.95的的 置信区间。置信区间。二、两个正态总体的区间估计二、两个正态总体的区间估计:., . 1212221的置信区间的置信区间求求已知时已知时和和当当., . 221222221的置信区间的置信区间求求未知未知但但2211221212(,),(,),mnXNYNXXXXY YYY，相互独立，为来自的样本，为来自的样本. . 32221的置信区间的置信区间求求三、两个正态总体中统计量的分布三、两个正态总

17、体中统计量的分布的的样样本本）为为来来自自（的的样样本本，）为为来来自自（，相相互互独独立立，YYYYXXXXNYNXnm,),(),(2121222211niinniimiimmiiYYnSYnYXXmSXmX1222112211)(11,1)(11,1令令211111,(0,1)mmXXNN即221212122212(,)()(0,1)mnXYNXYUNmn即)()(22212222111nYmXniimii，1222121(-1)(-1)mmmSXSm与独立，且)(221222111nmYXniimii122222212(-1)( -1)(-2)mnmSnSmn113 (1) mSmXt

18、 m12122212() (2)11(1)(1)2mnXYt mnSmnmSnSSmn当时，其中),()()(42122122121nmFYXmnFniimii)1, 1(21222221nmFSSFnm用表格表示如下：用表格表示如下：222112, 已知22111122/21/22211()()11,( , )( , )()()mmiiiinniiiiXXnnmFm nmFm nYY已已知知2221,2222121222,XYuXYumnmn未未知知21221111,XYt SXYt Smnmn 参数参数 条件条件 1 的置信区间的置信区间2112, 未知221122/21/22211,(1,1)(1