4-一致最小方差无偏估计

1、0)(lim nnP定义定义 设设 是总体参数是总体参数 )(21nnnX,X,X 则称则称n是总体参数是总体参数 的一致的一致(或相合或相合)估计量估计量.的估计量的估计量. 若对于任意的若对于任意的 , 当当n 时时, n依概率收敛于依概率收敛于 , 即即,0相合估计量仅在样本容量 n 足够大时,才显示其优越性.4、相合性、相合性-估计的大样本性质估计的大样本性质最最基基本本要要求求。被被认认为为是是对对估估计计的的一一个个不不可可取取的的。所所以以相相合合性性的的估估计计量量是是估估计计的的足足够够精精确确，这这样样也也无无法法把把论论我我们们收收集集多多少少资资料料，有有的的性性质质。

2、若若不不然然，不不是是好好的的估估计计量量应应具具的的偏偏差差应应愈愈来来愈愈小小，这这与与的的增增加加，估估计计量量着着注注：大大量量实实践践证证明明，随随 n关于相合性的两个常用结论关于相合性的两个常用结论 1. 样本样本 k 阶原点矩是总体阶原点矩是总体 k 阶原点矩的相合估计阶原点矩的相合估计. 是是 的相合估计的相合估计.n 由大数定律证明由大数定律证明用切比雪夫不用切比雪夫不 等式证明等式证明2. 设设 是是 的无偏估计的无偏估计 量量, 且且 , 则则0)Var( nnlim n 若若的的一一个个估估计计量量，是是设设定定理理 )(21nnnx,xx ,Ennnn0)Var(li

3、m)(lim .n的的相相合合估估计计是是则则 证证明明：由由切切比比雪雪夫夫不不等等式式有有对对任任意意的的,0 ).Var(4)2(2nnn/|E|P 另另一一方方面面，由由Enn )(lim可可知知，充充分分大大时时有有当当n. 2/|En 就就有有注注意意到到此此时时如如果果,/|E|nn2 , |E|E|nnnn 故故 ,|/|E|nnn 2 ,|/|E|nnn 2由由此此即即有有2)E()(/|P|Pnnn ).(n0)Var(42 n 例例4 4 0001)(x,xe;xfXx 0为常数为常数则则 是是 的无偏、相合估计的无偏、相合估计.X证证 )Var( Xlimn所以所以 是

4、是 的相合估计的相合估计, 证毕证毕.X02 nlimn XE的的样样本本，来来自自总总体体为为设设例例)(0,51 UXXn是是相相合合估估计计。并并证证明明的的求求MLE,MLE 的的相相合合估估计计，分分别别是是，若若定定理理knkn 11的的连连续续函函数数，则则，是是，kkg 11)( .gnkn的的相相合合估估计计是是， )(1 .)()()(是是连连续续函函数数的的相相合合估估计计，其其中中是是的的相相合合估估计计，则则是是若若定定理理xfffnn 推推广广矩法得到的估计量一般为相合估计量矩法得到的估计量一般为相合估计量相相合合估估计计样样本本均均值值是是总总体体均均值值的的注注

5、：相相合合估估计计样样本本方方差差是是总总体体方方差差的的差差的的相相合合估估计计样样本本标标准准差差是是总总体体标标准准所以,X比21nX,X,Xminn更有效.00, 01);(xxexfx0为常数为常数引例引例 设总体设总体 X 的密度函数为的密度函数为且且 ，221)Var( nX,X,XminnnX2)Var( 6.3 最小方差无偏估计最小方差无偏估计的无偏估计，的无偏估计，都是都是与与 21nX,X,XminnX.无无偏偏估估计计量量的的比比较较问问题题在在上上例例中中有有效效性性解解决决了了最最好好的的无无偏偏估估计计量量？方方差差越越小小越越好好，有有没没有有既既然然一一个个无

6、无偏偏估估计计量量的的问问题题1、Rao-Blackwell 定理定理.)(几几乎乎处处处处相相等等和和要要条条件件是是其其中中等等号号成成立立的的充充分分必必YX 定理定理1 1定定义义是是两两个个随随机机变变量量，和和设设0.)Var( X,EXYX ) blackwell-(Rao定定理理),|()(yYXEy 则则有有),Var()(Var(,)(XYYE )|()(yYXEy dxyxxh)|( dxypyxpxY)(),(证证明明：.r.vYX都都是是连连续续和和设设)(y|xhXyY的的条条件件密密度度下下给给定定 ),(yxpYX的联合密度为的联合密度为和和设设定理定理2 2的

7、的充充分分统统计计量量，是是是是其其样样本本，设设总总体体概概率率密密度度函函数数是是 )(),;(2121nnX,X,XTTX,X,Xxp 令令的的任任一一无无偏偏估估计计则则对对,X,X,Xn)(21 的的无无偏偏估估计计，且且也也是是则则 TE),|( )Var()Var( .了了无无偏偏估估计计的的方方差差的的无无偏偏估估计计，从从而而降降低低新新条条件件期期望望可可以以得得到到一一个个则则将将其其对对充充分分统统计计量量求求数数，计计不不是是充充分分统统计计量量的的函函注注：定定理理说说明明若若无无偏偏估估.则称为充分性原则则称为充分性原则常将该原常将该原化统计推断的程序，通化统计推

8、断的程序，通统计量进行，这可以简统计量进行，这可以简充分充分任何统计推断可以基于任何统计推断可以基于在充分统计量存在时，在充分统计量存在时，统计的一个基本原则：统计的一个基本原则：.p.pXpbX,X,Xn的无偏估计的无偏估计求求的充分统计量的充分统计量是是的样本，则的样本，则是来自是来自设设例例221)(1,1 构造估计构造估计 .0,1;1,1,211其他其他XX ppXXPE 1)1,()(211 )|(1tTE )|1(1tTP niiXT1)()1,1,(21tTPtTXXP )(2)1,1,(321tTPtXXXPnii 解解)(2)1,1,(321tTPtXXXPnii tntt

9、ntpptnpptnpp )-(1)-(1222 tntn221)(1)( nntt1)(1)(11 nnXXniinii 新新的的估估计计)Var()Var(,)(1 E 且且2、最小方差无偏估计最小方差无偏估计，在在参参数数的的无无偏偏估估计计个个计计，如如果果对对另另外外任任意意一一的的一一个个无无偏偏估估是是对对于于参参数数估估计计问问题题，设设 定义定义1 1上上都都有有空空间间 )(Var)(Var .,UMVUE简简记记为为计计的的一一致致最最小小方方差差无无偏偏估估是是则则称称 1)(2)UMVUE(1)2121 UUPU,U.无无偏偏估估计计，则则同同为为最最小小方方差差若若

10、存存在在必必唯唯一一，即即若若的的函函数数统统计计量量存存在在，则则它它一一定定是是充充分分若若注注：EstimatorUnbiasedVarianceMinimunUniform定理定理3 3.)Var()(,),(21 的的一一个个无无偏偏估估计计，是是样样本本是是来来自自某某总总体体的的一一个个设设XXXXXn，都都有有的的对对任任意意一一个个满满足足)(0)(XXE ,0,),(Cov 的的充充要要条条件件是是的的是是则则UMVUE 的的一一个个准准则则判判断断UMVUE00, 01);(xxexfx0为常数为常数例例 设总体设总体 X 的密度函数为的密度函数为UMVUE.的的是是证证

11、明明 X充充分分性性原原则则.数数一一定定是是充充分分统统计计量量的的函函不不一一定定存存在在，若若存存在在则则、任任一一参参数数的的UMVUE1.的的函函数数中中寻寻找找只只需需要要在在充充分分统统计计量量、考考虑虑参参数数的的估估计计时时，23、Cramer-Rao 不等式不等式定义定义2 2下下列列条条件件：满满足足设设总总体体概概率率密密度度函函数数是是 ),;(xp；是是直直线线上上的的一一个个开开区区间间参参数数空空间间 (1)无无关关；与与支支撑撑集集 0);(:(2) xpxS都都存存在在；对对一一切切导导数数 );(3)xp换换次次序序，即即，积积分分与与微微分分运运算算可可

12、交交对对);(4) xp dxxpdxxp);();( 存存在在，则则称称期期望望2);(ln(5) XpE 2);(ln)I( XpE .(Fisher)信信息息量量为为总总体体分分布布的的费费希希尔尔.(5)-(1)RC称称为为正正则则条条件件正正则则分分布布族族，称称该该分分布布族族为为 亦亦存存在在，且且进进一一步步有有若若22);(5) xp 22);(ln)( XpEI证证明明 22);(lnXpExxpxpxpd );();();(1 xxpxpd );();(ln22 dxxpdxxp);();(22 则则xxpxpxpxpxpxpd );();();(1);();();(12

13、22 xxpxpxpxpxpxpd );();();(1);();();(1222 xxpxxpxpxpd);(d );();();(1222 xxpxxpxpd);(d );();(ln222 )();(2 IXplnE 22);(ln)( XpEI.P信信息息量量计计算算设设总总体体为为泊泊松松分分布布例例Fisher),( 解解的的分分布布列列为为)( P,x,xxpx10e!);( ，且且可可以以看看出出正正则则条条件件满满足足,xxxp) !(lnln);(ln .xx;p1)(ln 于于是是.XEI 1)(2 .Exp信信息息量量计计算算设设总总体体为为指指数数分分布布例例Fish

14、er),1( 总总体体的的密密度度函函数数为为解解.,x,xxp00exp1);( 且且可可以以验验证证正正则则条条件件满满足足 ,xxxp221);(ln 于于是是.XXEI24221)Var()( 定理定理4 4) Rao-(Cramer不不等等式式是是来来自自该该总总体体，设设正正则则条条件件满满足足，nX,XX21的的任任一一个个无无偏偏是是的的样样本本，)(),(21 gX,XXTTn ，对对存存在在，且且对对估估计计， )()(ggnniindxdx;xpx,xxTg1121)(),()( 行行，即即的的微微分分可可在在积积分分号号下下进进nniindxdx;xpx,xxTg112

15、1)(),()( .求和等式成立求和等式成立对离散总体，积分改为对离散总体，积分改为nniiniindxdx;xp;xplnx,xxT11121)()(),( )I()(g)Var(2 n/T 则则有有不不等等式式，上上式式称称为为Rao-Cramer.n/下下界界下下界界，简简称称无无偏偏估估计计的的方方差差的的称称为为RCRC)I()(g2 -1)()Var( nI ，有有的的无无偏偏估估计计特特别别对对.)g(),T(TR-C1的的有有效效估估计计是是称称不不等等式式中中等等号号成成立立，则则若若 nXX 则则样样本本的的分分布布相相应应的的为为取取自自总总体体分分布布若若样样本本注注：

16、),;(),(1)1 xpXXXn n1i1);();,( inxpxxp niinxpxxp11);(ln);,(ln 且且)();(ln);,(lnE)(211 nIxpExxpIniinX 则则.,n比比例例的的增增加加样样本本包包含含的的信信息息量量也也成成的的增增加加所所以以随随着着样样本本量量.,方方差差的的下下界界越越小小估估计计多多样样本本包包含含参参数数的的信信息息越越不不等等式式表表明明R-(2)C.FisherXXTXXTnn信信息息量量相相同同的的包包含含参参数数，与与样样本本的的充充分分统统计计量量，则则是是，若若统统计计量量 11)(3)UMVUE.10)(1);(

17、-1得得求求设设总总体体分分布布列列为为例例 ,x,xpxx UMVUE.),1(得得求求设设总总体体分分布布为为例例 Exp回回顾顾)I()(g)Var(2 n/TRC 不不等等式式下下界界，可可看看下下例例：计计不不一一定定能能达达到到估估；但但一一致致最最小小方方差差无无偏偏一一致致最最小小方方差差无无偏偏估估计计下下界界，则则一一定定是是等等于于注注：若若无无偏偏估估计计的的方方差差RCRC .,N下下界界的的信信息息量量及及计计算算满满足足正正则则条条件件，设设总总体体为为例例R-CFisher),(02 解解由由于于,xxp/- 2221222exp)(2);( 注注意意到到,X(

18、1)222 故故22222);(ln)( XpEI224221-2 XE)/Var(41224X ,421 令令,g22)( 下下界界为为的的则则RC ,n/n/nI2)2()2(1)()(g242222 的的无无偏偏估估计计为为.Xnnn/ nii 1211)/2)()2(2n.下下界界都都大大于于其其的的无无偏偏估估计计的的方方差差下下界界，这这表表明明所所有有，且且其其方方差差大大于于的的可可以以证证明明，这这是是R-CRCUMVUE 定理定理5 5区区间间，假假定定为为非非退退化化有有密密度度函函数数设设总总体体 ,),;( xpX;ln,ln,ln,(1)3322都都存存在在对对所所有有偏偏导导数数对对任任意意的的 pppx有有,(2) ),(1xFp ),(222xFp ),(ln333xFp 满满足足其其中中函函数数)(),(),(321xF