04估计量的优良性准则

1、2 估计量的优良性准则 一、无偏准则一、无偏准则 四、一致最小方差无偏估计四、一致最小方差无偏估计 二、均方误差的准则二、均方误差的准则 五、无偏估计的五、无偏估计的C-R下界下界 三、有效性准则三、有效性准则 六、相合六、相合(一致）准则一致）准则 定义定义2.1未未知知，设设统统计计模模型型为为)(, qP TXXX n是 是来来自自总总体体的的样样本本，参参数数，, 21 有有所有的所有的是一个统计量，如果对是一个统计量，如果对 )()( qXTE 成成立立，的的是是参参数数则则称称)()( qXT 无偏估计量无偏估计量 (Unbiased Estimate)。 一、无偏准则一、无偏准则

2、 例例1 ，服服从从正正态态分分布布设设总总体体),( 2 NX 估估计计为为的的和和方方差差其其均均值值MLE 2 , 1 1 n i i X n X .)( 1 1 22 n i i XX n 试讨论它们的无偏性。试讨论它们的无偏性。 解解容易验证容易验证 是无偏的。是无偏的。 X 因为因为 2 2 n )1( 2 n ，所所以以且且1) ( 2 2 n n E . 1 )( 22 n n E 有偏估计。有偏估计。是是故故 22 这样这样 的无偏估计为的无偏估计为 2 .) 1 ( 22 n n E 然而然而 .)( 1 1 1 22 n i i XX n S 一般总体下，一般总体下， 也

3、是无偏估计！也是无偏估计！ )()( qq的的无无偏偏估估计计存存在在，则则称称如如果果参参数数 可估可估。 注意：注意： （1）无偏估计可能不存在。无偏估计可能不存在。 （2） 若无特别声明，均认为若无特别声明，均认为 是可估参数。是可估参数。 )( q 对可估参数对可估参数 ，无偏估计一般不唯一。，无偏估计一般不唯一。)( q （3）无偏估计不一定是好的估计，即它可能 无偏估计不一定是好的估计，即它可能 是非容许的。是非容许的。 （4）在函数变换下，无偏性可能消失，即在函数变换下，无偏性可能消失，即 )() ( qq可能是可能是是无偏的，但是无偏的，但而言，而言，对对 的有偏估计。的有偏估

4、计。 二、均方误差准则二、均方误差准则 的估计量，评价估的估计量，评价估作为参数作为参数假设用假设用)()( qxT 计优劣的一个自然准则可定义如下：计优劣的一个自然准则可定义如下： 2 )()( qxTE),()(TRTMSE 称上式为称上式为均方误差均方误差， (Mean Squared Error) 简记为简记为MSE。 ),()(),( 2 TbxTVarTR 其中其中),()(),( qxTETb 产产生生的的估估计计为为用用称称)()(),( qxTTb 偏差偏差。 （bias） 方差方差偏差偏差 的的均均值值和和方方差差由由，则则如如果果TTRMSE),( 确定，即确定，即 例例

5、4.1的的和和方方差差均均值值求求正正态态总总体体 22 ),( N MLE的均方误差。的均方误差。 , 0)(),( XEXb ,)(),( 2 n XVarXR ,)(),( 2 222 n Eb ) 1(2 ) 1( ) 1() 1( )( 2 4 2 2 2 4 2 2 22 2 n n Sn Var n n Sn Var n Sn VarVar . ) 12( ),()(),( 2 4 2222 n n bVarR 2 42 2 2 2222 )1( )1(2 0 1 )1( ),()(),( n n n Sn Var SbSVarSR MLE估计的估计的 均方误差均方误差 更小！更

6、小！ 的的两两个个估估计计，如如是是参参数数和和设设)()()( qxTxS 果对所有果对所有 不等式不等式 ),(),(SRTR 成立，成立，严严格格不不等等式式成成立立，且且对对某某些些 则称则称T比比 S好，好，也说也说S是是非容许的非容许的。 (Inadmissible) 通常不会采通常不会采 用用 不容许的估不容许的估 计计 从均方误差可知，我们自然希望估计的从均方误差可知，我们自然希望估计的MSE 越小越好。越小越好。 ，如果，如果所有可能估计组成的类所有可能估计组成的类表示表示用用)( qGq ，有有使使得得对对任任一一中中存存在在一一个个元元在在 qq GTTG ),(),(T

7、RTR 对所有的对所有的 成立，成立， 的的最最好好应应是是则则)()( qxT 估计。估计。 并不存在。并不存在。遗憾的是，这样的估计遗憾的是，这样的估计 T因为因为 倘若这样的估计倘若这样的估计 存在，存在，)(xT ，那么对任一那么对任一 0 ),()( 0 qxS令令，这这样样则则0),( 0 SR , 0),()()(),( 0 2 00 0 SRqxTETR ).()( 0 qxT 即即 )( 0 xT 的的任任意意性性，因因此此这这样样由由 不存在。不存在。 由此可见，均方误差一致达到最小的由此可见，均方误差一致达到最小的 最优估计并不存在，那么应如何评判和寻找最优估计并不存在，

8、那么应如何评判和寻找 优良的估计呢？方法之一是对估计提出一些优良的估计呢？方法之一是对估计提出一些 合理性的要求，将那些诸如不合理的平凡估合理性的要求，将那些诸如不合理的平凡估 计排除在外，然后在满足合理性要求的估计计排除在外，然后在满足合理性要求的估计 类中寻找优良的估计。无偏性便是一种常用类中寻找优良的估计。无偏性便是一种常用 的合理性要求。的合理性要求。 方方差差，即即 ).(),(XTVarTR 由定义由定义4.1可知无偏估计的均方误差就是它可知无偏估计的均方误差就是它 在均方误差准则下，既然最好的估计不存在均方误差准则下，既然最好的估计不存 的无偏估计（的无偏估计（一致最小方差无偏估

9、计一致最小方差无偏估计）是否）是否 那么现在的问题是对无偏估计类那么现在的问题是对无偏估计类 而而 q U在，在， 若存在，它是否是唯一的？若存在，它是否是唯一的？ 言，同样在均方误差（言，同样在均方误差（方差方差）准则下，最好）准则下，最好 存在？存在？如何求？如何求？ 这些就是我们下面需要讨论的主题。这些就是我们下面需要讨论的主题。 三、有效性准则三、有效性准则 定义定义 的的无无偏偏估估计计类类，是是)( qU q 是是可可估估，设设统统计计模模型型为为)(, qP 参数，参数， 有效。比则称 ， ，并且，如果无偏估计 )()( )()( )()( xSxT SVarTVar UxSxT

10、 q 同为无偏估，同为无偏估， 方差越小方差越小 越有效！越有效！ 例例3.9 四、一致最小方差无偏估计四、一致最小方差无偏估计 定义定义 的的无无偏偏估估计计类类，是是)( qU q 是是可可估估，设设统统计计模模型型为为)(, qP 参数，参数， ，使使得得如如果果存存在在无无偏偏估估计计 q UxT)( ，有有对对任任意意的的 q UxS)( )()(xSVarxTVar 都都成成立立，对对所所有有的的 的的为为则则称称)()( qxT 一致最小方差无偏估计一致最小方差无偏估计， (Uniformly Minimum Variance Unbiased Estimate) 简称为简称为U

11、MVUE。 五、五、C-R信息不等式信息不等式 如果如果 的的UMVUE存在，存在， 则它在无偏估计类中最优，则它在无偏估计类中最优，且其方差不可且其方差不可 能是能是零，零， 不是无偏估计。不是无偏估计。 因为参数因为参数 的方差为零的平凡估计的方差为零的平凡估计)( q 对对 的无偏估计类的无偏估计类 ，)( q q U 既然无偏估计的方差不是零，既然无偏估计的方差不是零， 一个下界，一个下界， 则必存在则必存在 这个下界到底是多少？这个下界到底是多少？ )( q ，密密度度函函数数为为设设分分布布族族为为),(, xpP 。为为直直线线上上的的一一个个开开区区间间 满足下述条件的分布满足

12、下述条件的分布 称为称为族族, P （1）无无关关，且且对对任任与与支支撑撑 0),(:xpxA 存存在在。偏偏导导数数一一),(ln, xpAx （2） |)(TExT 是满足是满足，如果对所有如果对所有 Cramer-Rao正则族：正则族： 1、Fisher 信息量信息量 ，积积分分和和微微任任一一统统计计量量，则则对对),()( xpxT 分可交换次序，分可交换次序， n dxdxxpxT 1 ),()( n dxdxxpxT 1 ),()( 即即 我们定义该分布族的我们定义该分布族的 Fisher 信息量信息量: 2 ),(ln)( xpEI （Fisher Information N

13、umber） 是来自总体的样本，是来自总体的样本，如果如果 n XXX, 21 可以证可以证明明 ，)()( 1 nII .),(ln()( 2 11 XpEI 其其中中 例例 设总体分布是设总体分布是Poisson分布族，分布族， 即即 ., 1 , 0, ! ),( xe x xp x 则则, 1),(ln x xp . 1 )()1()( 2 x Var x EI 因而因而 Poisson分布族的分布族的Fisher信息量信息量 定理定理 (C-R 信息不等式信息不等式 ) )()(XTVarXT 满满足足是是对对所所有有设设 的统计量，的统计量， 。记记)()(XTE 如果分布族是如果

14、分布族是 Cramer-Rao正则族，正则族， ,)(0 I且且 则对所则对所 是可微的，且是可微的，且，有的有的)( . )( )( )( 2 I XTVar 2、Rao-Cramer 方差下界方差下界 证明证明由于对所有由于对所有 ， n dxdxxpxT 1 ),()()( 等式两边对求导可得等式两边对求导可得 n dxdxxpxT 1 ),()()( n dxdxxpxpxT 1 ),(),(ln)( .),(ln)( xpxTE 有有 有有又因为对所有的又因为对所有的 ， 1),( 1 n dxdxxp . 0),( 1 n dxdxxp 等式两边对求导可得等式两边对求导可得 即就是

15、即就是. 0),( ),(ln 1 n dxdxxp xp . 0 ),(ln xp E这样就有这样就有 从而有从而有 ),(ln)()( xpxTE 由由Schwarz Inequality )()(| )(| 22 YEXEXYEXYE .),(ln),( xpxTCov 有有 ),(ln),(| )(| xpxTCov ),(ln)( xpVarXTVar 而而 )( ),(ln),(ln 2 I xp E xp Var 所以有所以有)()(| )(| IXTVar 即就是即就是 . )( )( )( 2 I XTVar 在信息不等式中，下界通过在信息不等式中，下界通过 依赖于依赖于)(

16、XT ),( 因它是的因它是的 数学期望，数学期望，)(XT 也就是说对也就是说对 不同的统计量而言，下界是变化的。不同的统计量而言，下界是变化的。 :)(就就有有的的无无偏偏估估计计类类定定理理应应用用于于参参数数 q Uq ,)()( q UXTq的任一无偏估计的任一无偏估计对参数对参数 . )( )( )( 2 I q XTVar 特别地，特别地，,)( UXT对对任任一一时时，当当 )(q有有 . )( 1 )( I XTVar 通常称量通常称量 为为Cramer-Rao下界下界。 )( 1 I 3、无偏估计的、无偏估计的 C-R 下界下界 注意注意：（：（1）在以上三个不等式中在以上

17、三个不等式中 的密度函数或分布律。的密度函数或分布律。 )()( 1 nII ,),(ln()( 2 11 XpEI 其其中中为为总总体体),( 1 xp 通常将通常将 看成一次观察所能获得的关于看成一次观察所能获得的关于 )( 1 I 参数参数 的信息，的信息，即一个观测值即一个观测值 所含所含 的信息，的信息， 1 X 那么那么 就表示样本就表示样本 所含所含 的信息。的信息。)( I n XX, 1 对无偏估计类而言，对无偏估计类而言， 了方差的下界，了方差的下界，那么那么UMVUE方差是否一定取方差是否一定取 既然信息不等式给出既然信息不等式给出 得这个下界？得这个下界？ 的方差取得的

18、方差取得的无偏估计的无偏估计如果参数如果参数)( )(Xqq 信息不等式的下界，信息不等式的下界，即即 , )( )( )( ( 2 I q XqVar 。的的必必是是参参数数则则UMVUE)()( qXq 定义定义正正是是设设分分布布族族RaoCramer , P 则族，则族，是可估参数，是可估参数，)( q ,)( q UXq其方差达到信息不等式的下界，其方差达到信息不等式的下界， 如果存在某无偏估计如果存在某无偏估计 即即 , )( )( )( ( 2 I q XqVar 则称则称 为为 的的)( Xq)( q有效估计有效估计。 (Efficient Estimate) 定义定义 ,)(

19、 )( q UXqq的的任任一一无无偏偏估估计计对对参参数数 ,)( ( )( )( )( ( 2 XqVar I q Xqe 的的为为估估计计称称)() ( ( qXqe有效率有效率(Efficiency)。 显然显然, 1)( (0Xqe 因此，有效估计乃是有效率为因此，有效估计乃是有效率为1的无偏估计。的无偏估计。 例例 的的来来自自正正态态总总体体设设), 0(, 2 21 NXXX n 一个简单样本。一个简单样本。的的试试求求参参数数UMVUE 2 解解 ),(ln )( )( 2 1 22 2 2 1 XpEI 32 2 22 )()(2 1 x E 2 2 222 2 2 exp

20、 2 1 ln )( x E , )(2 1 22 从而从而。 22 2 )(2 )( n I 由由信信息息不不等等式式知知， ,)( 2 2 UX 一无偏估计一无偏估计对任对任有有 . )(2 )( )( )( 2222 2 nI XVar 所以所以 , 1 )( 1 22 n i i X n X 若取若取可可知知服服从从由由)1( 2 2 2 i X n i i XXn 1 2 2 2 2 )( )( 2 n ,2 )( 2 2 n Xn Var , )( 2 2 n Xn E 即即 . )(2 )( 22 2 n XVar ,)( 22 XE 故故 , )( )()(2 )( 2222

21、2 In XVar 。的的是是参参数数从从而而UMVUE 2 1 22 1 )( n i i X n X 例例3.10 定义定义 估估计计序序列列，是是参参数数设设)()( qXT n 如果如果 ),()(lim qXTE n n ，对所有的对所有的 都有都有 的的为为参参数数则则称称)()( qXTn渐近无偏估计。渐近无偏估计。 （Asymptotic Unbiased Estimate） 例如对证态总体例如对证态总体 ，),( 2 N我们知道我们知道 是总是总 2 n 体方差体方差 的有偏估计，的有偏估计， 2 且且 . 1 )( 22 n n E n , 1 lim)(lim 222 n

22、 n E n n n 这样有这样有 的的渐渐近近无无偏偏估估计计。是是总总体体方方差差故故 22 n 定义定义是是可可估估参参数数，设设)( q ,)( qn UXq计计序序列列 如果存在无偏估如果存在无偏估 使得使得 1)( ( )( )( lim)( (lim 2 XqVar I q Xqe nn 成立，成立，则称则称 为为 的的)(Xqn)( q渐近有效估计。渐近有效估计。 (Asymptotic Efficient Estimate) 例如例如的样本，的样本，是来自正态总体是来自正态总体), 0(, 2 1 NXX n 。的有效估计是的有效估计是知方差知方差由例由例 n i i X n

23、 1 22 1 10. 4 由于由于 所以所以 n i in XXSn 1 2 2 2 2 )()1( )1( 2 n ).1(2 )1( 2 2 n Sn Var n , 1 )1( 2 2 n Sn E n 即即,)( 22 n SE. 1 )(2 )( 22 2 n SVar n ，也也不不的的既既不不是是这这说说明明无无偏偏估估计计UMVUE 22 S 而而Cramer-Rao下界为下界为 , )(2 )( 1 22 2 nI 是有效估计。是有效估计。但是但是 , 1 1 )(2 )(2 lim )( )( 1 lim)(lim 22 22 2 2 2 n n SVar I Se n

24、n n n n 的的渐渐近近有有效效估估计计。是是故故样样本本方方差差 22 n S 六、相合性准则六、相合性准则 引例引例 假设掷一枚硬币，假设掷一枚硬币，p出现正面的概率是出现正面的概率是 ， 出现反面的概率为出现反面的概率为 。pq1为了估计正面出为了估计正面出 现的概率现的概率 ， p 做做 次独立重复试验，次独立重复试验，n即将硬币即将硬币 反复掷反复掷 次，次，n令令 ),2 , 1( 0 1 niX i 出出现现反反面面， 出出现现正正面面， , 1 1 率率次次掷掷硬硬币币出出现现正正面面的的频频表表示示则则nX n X n i in 由大数定律知，由大数定律知，试验次数试验次

25、数 越多，越多，n频率频率 越越 n X 时时，即即当当n频频 p率率 稳定于（趋于）概率稳定于（趋于）概率 。 n X 接近于正面出现的概率接近于正面出现的概率 ，p 时，时， 当样本容量变大当样本容量变大 要求参数的估计量具有这种极限性质实际要求参数的估计量具有这种极限性质实际 的的估估计计量量。概概率率作作为为掷掷硬硬币币正正面面出出现现的的把把pX n 上是对估计量的基本要求，上是对估计量的基本要求，这就是下面要介绍这就是下面要介绍 估计量的估计量的相合性相合性(Consistency)准则。准则。 定义定义 的的是是参参数数设设)(),()( qXXqXq nnnn 任一估计序列，任

26、一估计序列，依概率收敛于参数真依概率收敛于参数真如果如果 n q ，有，有即对任意的即对任意的0 , 0| )()(|lim qXqP n n 的的是是则称则称)()( qXqn ),( q真值真值 相合估计。相合估计。 (Consistent Estimate) 时时估估计计量量的的性性质质，相相合合性性只只是是反反映映了了n 即大样本性质。即大样本性质。 定理定理 的的是是参参数数设设)(),()( qXXqXq nnnn 任一估计序列，任一估计序列， , 0lim ),(lim n n n n qDqqE如果 )( )( 的相合估计。是则qXqn 例例3.12 证明证明 例例 相合估计。

27、相合估计。 上均匀分布总体上均匀分布总体是来自是来自设设, 0, 1 n XX 的一个简单样本，的一个简单样本，是是其其估估计计的的试试证证明明 )(n XML 证明证明 , 0 0 );( 1 otherwise ttn tp nn 由例由例4.6知知 的密度函数为的密度函数为 )(n X 且且, 1 )( )( n n XE n , 1 lim)(lim )( n n XE n n n 渐渐近近无无偏偏估估计计。是是所所以以 )(n X | )()( nn XPXP ，有有又又因因为为对对0 . 0 1 n nn dttn 这样这样. 0lim|lim )( n n n n XP 的相合估

28、计。的相合估计。是是故故 )(n X 定理定理 的的相相合合估估计计，是是参参数数如如果果)()( qXqn 的的是是则则)()( qhqh n 相合估计。相合估计。 且且 处处连连续续，在在函函数数)()( qyyh 证明证明处处连连续续，所所以以对对在在由由于于函函数数)()( qyyh , 0 , 0 时时，有有使使得得当当 | )(|qy .|)()(| qhyh 从而从而 .| )()(|)()(| qXqPqhqhP nn 的的相相合合估估计计，所所以以是是又又因因为为)()( qXqn . 0| )()(|lim qXqP n n 这样这样|)()(|lim0 qhXqhP n

29、n . 0| )()(|lim qXqP n n 即就是即就是. 0|)()(|lim qhXqhP n n 的的相相合合估估计计。是是故故)()( qXqh n 在在Hardy-Weinberg模型中同位基因模型中同位基因 . 2 ,1 , 21 3 3 2 1 1 n n n n n n n n 之一发生频率之一发生频率 的三个频率替换估计为的三个频率替换估计为 又因为相应的函数又因为相应的函数 2 ,1, 2 131 p ppp 且由大数定律知且由大数定律知的的相相合合是是 i i p n n 估计，估计， 的相合估计。的相合估计。都是都是知知故由定理故由定理 321 , , 5 . 4

30、 都是连续函数，都是连续函数， 例例 注：注： （1）这里仅介绍（弱）相合性这里仅介绍（弱）相合性(依概率收敛依概率收敛)， 还有强相合性还有强相合性(概率概率1收敛收敛或或几乎必然收几乎必然收 敛敛)就不涉及。就不涉及。 （2）相合性本身不能说明估计达到某一可靠度相合性本身不能说明估计达到某一可靠度 时，要求样本容量至少为多少。时，要求样本容量至少为多少。 （3）对同一参数而言，满足相合性的估计也许对同一参数而言，满足相合性的估计也许 有多个。有多个。 （4）在一定的条件下，可以证明频率替换估计，在一定的条件下，可以证明频率替换估计， 矩估计，极大似然估计都是相合估计。矩估计，极大似然估计都

31、是相合估计。 对于对于(3)，当存在多个相合估计时，当存在多个相合估计时，关于它们关于它们 的优劣往往可通过比较其渐近分布的渐近方差的优劣往往可通过比较其渐近分布的渐近方差 的大小来进行，的大小来进行， 定义定义 的的估估计计序序是是设设)(),()( 1 qXXqXq nnn ),()( 2 nn 和和如果存在数列如果存在数列 , 2 exp 2 1 )( )()( lim 2 x n nn n du u x Xq P 都有都有 对任意实数对任意实数 ，x 最常用的渐近分布是正态分布。最常用的渐近分布是正态分布。 简记为简记为 ),1 , 0( )( )()( N Xq L n nn 列，列， )(Xqn记记为为).(),( 2 n AN 具具有有则则称称)(Xqn (Asymptotic Normality)