3.2最小方差无偏估计和有效估计ppt课件

1、一、均方误差的准则一、均方误差的准则二、一致最小方差无偏估计二、一致最小方差无偏估计1一、均方误差准则一、均方误差准则设为 参 数计评假用作的 估量 ，价 估计优劣的一个自然准则可定义如下：计优劣的一个自然准则可定义如下：2()E( )MSE称上式为均方误差，称上式为均方误差，(Mean Squared Error)简记为简记为MSE。( )MSEMSE 如果，则由 的均值和方差确定，即确定，即2( )( )( ,),MSEVarb 其中其中(,)(),bE( , )bT称为用 估计 产生的偏向偏向（bias）。）。2例例的的和和方方差差均均值值求求正正态态总总体体22),( NMLE的均方误

2、差。的均方误差。, 0)(),( XEXb2MSE( ,)(),XVar Xn,)(),(2222nEb 422222(21)MSE( ,)()( ,).nVarbn 221EnnSnE()EXX 3从均方误差可知，我们自然希望估计的从均方误差可知，我们自然希望估计的MSE越小越好。越小越好。G用表示 所有可能估计组成的类，如果GG在中存在一个元使得对任一，有MSE( ,)MSE( , ) 对所有的对所有的 成立，成立， ( ) x则应是 的最好估计。估计。4遗憾的是，这样的估计并不存在。因为因为倘若这样的估计倘若这样的估计 存在，存在，( )x，那么对任一那么对任一 0 0,令 0MSE(,

3、 )0 则，这样00MSE( ,)MSE( , )0, 0( ).x即 0( )x由 的任意性，因此这样不存在。不存在。平凡估计平凡估计(Trivial Estimate)5由此可见，均方误差一致达到最小的由此可见，均方误差一致达到最小的最优估计并不存在，那么应如何评判和寻找最优估计并不存在，那么应如何评判和寻找优良的估计呢？方法之一是对估计提出一些优良的估计呢？方法之一是对估计提出一些合理性的要求，将那些诸如不合理的平凡估合理性的要求，将那些诸如不合理的平凡估计排除在外，然后在满足合理性要求的估计计排除在外，然后在满足合理性要求的估计类中寻找优良的估计。无偏性便是一种常用类中寻找优良的估计。

4、无偏性便是一种常用的合理性要求。的合理性要求。6方方差差，即即MSE( , )( ).Var 由定义由定义2.2可知无偏估计的均方误差就是它可知无偏估计的均方误差就是它在均方误差准则下，既然最好的估计不存在均方误差准则下，既然最好的估计不存的无偏估计一致最小方差无偏估计是否的无偏估计一致最小方差无偏估计是否那么现在的问题是对无偏估计类那么现在的问题是对无偏估计类 而而U在，在，若存在，它是否是唯一的？若存在，它是否是唯一的？言，同样在均方误差方差准则下，最好言，同样在均方误差方差准则下，最好存在？存在？如何求？如何求？这些就是我们下面需要讨论的主题。这些就是我们下面需要讨论的主题。71. 定义

5、定义有有效效比比则则称称均均有有若若对对任任意意样样本本容容量量的的无无偏偏估估计计量量均均是是带带有有限限方方差差和和设设212121, , (1) DDn ., , (2)000的的最最小小方方差差无无偏偏估估计计量量为为则则称称均均有有的的任任意意一一个个无无偏偏估估计计量量于于若若对对的的无无偏偏估估计计量量是是带带有有限限方方差差设设 DD 目的是目的是: 寻找一个最有效的估计量寻找一个最有效的估计量. D记为：记为：MVUE.就就是是最最有有效效的的估估计计量量的的MVUE 82.3 2.3 最小方差无偏估计最小方差无偏估计 9一、最小方差无偏估计一、最小方差无偏估计 由定义由定义

6、2.42.4知，最小方差无偏估计知，最小方差无偏估计MVUEMVUE是在无是在无偏估计类中，使均方误差达到最小的估计量，即在均偏估计类中，使均方误差达到最小的估计量，即在均方误差最小意义下的最优估计。它是在应用中，人们方误差最小意义下的最优估计。它是在应用中，人们希望寻求的一种估计量。希望寻求的一种估计量。 10证证 明明 设设)(1X 是是 的的 任任 一一 无无 偏偏 估估 计计 ， 记记)()()(1XXXL ，则则)(XL为为 0 的的无无偏偏估估计计，由由于于 )()()()(2 )()( )()()(1XEXXELXLEXDXDLXXLDXD )()()(XDXDXDL ， 故故)

7、(X 是是 的的 MVUE。 11证明证明 设设)(XL满足满足0)( XEL，则有，则有 上上式式关关于于 求求导导，得得 0)(21exp)(1221dxxxLniinii ， 12故故有有 0)( XXLE， 所以所以X是是 的的 MVUE。 0)(21exp)(12221dxxxLniinii 13利利用用21212)()()( xnxxxniinii，可可得得 0)(21exp)(12221dxxxxLniinii , 故有故有 0)(2 nSXLE 所以所以2 nS是是2 的的 MVUE。 14 定理定理2.72.7给出了最小方差无偏估计的一种判别方法，给出了最小方差无偏估计的一种

8、判别方法，但由上例可见，该判别法使用并不方便，而且还只是一但由上例可见，该判别法使用并不方便，而且还只是一个充分条件。为了寻求更好的方法，需要借助充分统计个充分条件。为了寻求更好的方法，需要借助充分统计量甚至充分完备统计量的概念。量甚至充分完备统计量的概念。 1516证明证明 设设1 和和2 是是 的任意两个无偏估计，由定理的任意两个无偏估计，由定理 3.7知，知，)|(1TE 和和)|(2TE 也是也是 的无偏估计，的无偏估计， 17且且 11)|( DTED ， 22)|( DTED 。 1819(|)E XTX， 222(|)nnE STS。 分分别别是是和和2惟惟一一的的最最小小方方差

9、差无无偏偏估估计计。 20解解 样本的联合分布为样本的联合分布为 12111, 0,( )( )0, ,nnniiix xxLf x其他 (1)( )(0, )( )1, 0(),0, ,nnnxxIx其他 21其中其中(1)x、( )nx为最小、最大次序统计量的取值，为最小、最大次序统计量的取值，(0, )( )Ix为为示性函数，即示性函数，即 (0, )1 0( )0 ,xIx其他 22易验证该分布族是完备的， 因而易验证该分布族是完备的， 因而( )nX是是的充分完的充分完备统计量。备统计量。 又因又因 ( )0,1nnnnnEXx dxn ( )( )( )11|nnnnnEXXXnn 是是的最小方差无偏估计。的最小方差无偏估计。 232、有效估计、有效估计1) 定义定义的有效估计量的有效估计量为为则称则称即即下界下界的方差达到的方差达到的一个无偏估计量的一个无偏估计量若若 )(1)