概率论与数理统计必考点

1、6.6.3 3克拉默克拉默- -拉奥（拉奥（Cramer-Cramer-RaoRao）不等式）不等式一、问题的提出一、问题的提出二、复习无偏估计和二、复习无偏估计和一致估计一致估计三、有效估计三、有效估计四、小结四、小结一、问题的提出 从前一节可以看到从前一节可以看到, 对于同一个参数对于同一个参数, 用不用不同的估计方法求出的估计量可能不相同同的估计方法求出的估计量可能不相同,那么那那么那一个估计量好坏的标准是什么一个估计量好坏的标准是什么?下面介绍几个常用标准下面介绍几个常用标准.二、复习无偏估计和一致估计12,n 若为总体 的一个样本，是包含在总体 的分布中的待 估参数.126.2( ,

2、)( ), ( ), .nEE 定义若估计量的数学期望存在 且对于任意有 则称 是 的无偏估计量(2)无偏估计的实际意义无偏估计的实际意义: 无系统误差无系统误差. (1)无偏性是对估计量的一个基本而重要的要求无偏性是对估计量的一个基本而重要的要求 .如果有估计如果有估计 ,满足关系式满足关系式12,( ,.,)nnn ),.,2 , 1( nlim()nnEn )(E 则称则称 是是 的渐近无偏估计（量）。的渐近无偏估计（量）。 一个估计量如果不是无偏估计量，就称一个估计量如果不是无偏估计量，就称 这个估计量是有偏的，且称这个估计量是有偏的，且称 为估为估计量计量 的偏差。的偏差。121(1

3、), ,1, .kknnkkiikkEkknk 设总体 的 阶矩存在又设是 的一个样本，试证明不论总体服从什么分布阶样本矩是阶总体矩的无偏估计证明证明12,n 因为与 同分布，., 2 , 1ni11()()nkkiiEEn即.k 例例1 .kkkk故阶样本矩是 阶总体矩的无偏估计特别地特别地:1 .E不论总体 服从什么分布，只要其数学期望存在，则 总是总体 的数学期望的无偏估计量 222222n1 , 0 , , 1 , s()().niin对于均值方差都存在的总体 若均为未知 则的估计量是有偏的即不是无偏估计证明证明22211niin22, E因为222,E22 ()EDE又,22 n22

4、2 ()()EE所 以22()()EE例例2,122 nn. 2是有偏的是有偏的所以所以 . , 1 2偏的偏的所得到的估计量就是无所得到的估计量就是无乘乘若以若以 nn(这种方法称为这种方法称为无偏化无偏化).)(11222 EnnnnE221*nSnn 因为211(),1niin, 2的无偏估计是即2*nS.2的估计量作故通常取2*nS证明证明(2 )2EE因为,22 2 .所以是的无偏估计量( )12 max( ,)nn 因为的概率密度为 其它,)(001xnxxpnn例例3P252 的无偏性和极大似然估计的矩估计的样本，讨论是来自总体上服从均匀分布，参数在设总体nn2, 00,21(

5、)0()nnnnxEdx所以12max( ,).1nnn 故也是 的无偏估计量1nn 的无偏估计不是所以n nnnE1由于证明证明,EE .所 以是的 无 偏 估 计 量例例4 0, , ,1/ 又设又设其中参数其中参数其它其它度度概率密概率密的指数分布的指数分布服从参数为服从参数为设总体设总体 , 00,1);(xxexp1212,.min(,.)nnn 是来自总体 的样本，试证明与都是 的无偏估计。(1)12 min( , , , ) ,nn 而服 从 参 数 为 的 指 数 分 布(1) (),En故知(1)(),E n(1) .n所以也是的无偏估计量 由以上两例可知,同一个参数可以有不

6、同的无偏估计量.从,00,1,其他xexFx 其他, 00,1xengnx nxengx10时，即当 无偏性虽然是评价估计量的一个重无偏性虽然是评价估计量的一个重要标准要标准,而且在许多场合是合理的而且在许多场合是合理的, 必要必要的。然而有时一个参数的无偏估计可能的。然而有时一个参数的无偏估计可能不存在，或不合理的。不存在，或不合理的。 这些说明仅有无偏性要求是不够的。于这些说明仅有无偏性要求是不够的。于是，人们又在无偏性的基础上增加了对是，人们又在无偏性的基础上增加了对方差方差的的要求。若估计量的方差越小要求。若估计量的方差越小,表明该估计量的取表明该估计量的取值（即估计值）围绕着待估参数

7、的波动就越小，值（即估计值）围绕着待估参数的波动就越小，也就是更为理想的估计量。为此，引入最小方也就是更为理想的估计量。为此，引入最小方差无偏估计。差无偏估计。 2.如例如例4 有时对同一个参数可有多个无偏估计有时对同一个参数可有多个无偏估计. 1.例例:设总体设总体 ,则则 就没有无偏就没有无偏估计。估计。,1N三、有效估计 由于方差是随机变量取值与其数学期望的由于方差是随机变量取值与其数学期望的偏离程度偏离程度, 所以无偏估计以方差小者为好所以无偏估计以方差小者为好.1112221212126.3( , ,)( , ,), ( )( ).nnDD 定义设与都是 的无偏估计量 若有则称 较

8、有效(1)1 , . nn试证当时的无偏估计量 较有效证明证明2 ,D由于2 ,Dn故有2(1)2 (),Dn又因为2(1) (),D n故有 ,1时时当当 n(1)()( ),D nD(1) . n故的无偏估计量 较有效例例5 (续例续例4)121221321max , ,2, . nnnn 在例 中已证明和都是的无偏估计量 现证当时较有效证明证明1 4DD由于24,3Dnn2( )1 ()nnDDn2( )1,nnDn( )1 (),nnEn又因为练习练习 (续例续例3)（课本例（课本例6.10）21( )0()dnnnnExx,22 nn22( )( )( )()() ()nnnDEE,

9、)2()1(22 nnn,)2(1)( 22 nnD故故 ),()( , 212 DDn 所以所以又又 .12有效有效较较 下面讨论建立一个方差下界的克拉默下面讨论建立一个方差下界的克拉默- -拉奥不等式拉奥不等式11(,),.(,)(),:1:(,)0(,)()(,)(,) (6 .2 3nnfxaba babugxfxfxgfxfxd xd x 设 母 体具 有 概 率 密 度，：，为 已 知 常 数 ， 可 以 设，,为 取 自 母 体的 一 个 子 样又是的 一 个 无 偏 估 计且 满 足 正 则 条 件（ ） 集 合与无 关 ；（ 2 )与存 在 ， 且 对 一 切，罗 - 克 拉

10、 美 不 等 式 111111)(,)(,)(,)(,)(,) (6 .2 4 )nnnnniniuxxfxfxd xd xuxxfxd xd x2211ln( , )(3)( )()0.( ) (6.25)( ),ln(, )( ) (6.26).( ),(6.25)1(nniifIEgDnIKfKggDnI 令称为信息量 则且等式成立的充分必要条件为存在一个不依赖于但可能依赖于 的使得等式以概率1成立特别当时 不等式化为 (6.27).这个不等式是罗-克拉罗和克拉美几美不等乎同时提出的，所以称为也称为式信息不等式注注（1 1）称满足上述两个正则条件（）称满足上述两个正则条件（1 1）和（）

11、和（2 2）的估计量为正规估计。）的估计量为正规估计。（2 2）克拉默）克拉默- -拉奥不等式所规定的下界不是整个无偏估计类的下界，而拉奥不等式所规定的下界不是整个无偏估计类的下界，而是无偏估计类的一个子集是无偏估计类的一个子集正规无偏估计类的下界。正规无偏估计类的下界。2222(),( ,)( ,) (6.36)ln(,)() (6.37)IfxfxdxdxfIE 性 质为 了 便 于 计 算 信 息 量下 面 有 一 个 重 要 性 质若则 16.11 (1),0,1( , )0,.xxpppxf x pp例设母体 服从参数为 的0-1分布，即其他证明： 的一个无偏估计 达到了罗 可拉美不

12、等式的下界2210,1ln( , ): ln(1)ln(1)1.1ln( , )1() ()(1)11,(1)1( ) (6.39)(1)(1)1( )( ).( )xxxf x pxpxpppxxppfpxxEpppppppI pppDpPD PDnnnI pp证明 由于因此， 的一个无偏.估计 达到了罗 可拉美不等式的下界6.12 ,0,1,( , )!0,.xexf xx例设母体 服从参数为 的普哇松分布，即其他证明： 的一个无偏估计 达到了罗 可拉美不等式的下界22ln( , ): lnln( !)1.ln( , )1( )() ( 1) (6.40) 1( )( ).( ).f xx

13、xxfIEEDDDnnnI 证明 由于因此， 的一个无偏估计 达到了罗 可拉美不等式的下界 对于方差达到对于方差达到克拉默克拉默- -拉奥不等式所规定的下界的估计，给它名称如下：拉奥不等式所规定的下界的估计，给它名称如下：2111211( )log( , )(). ,()1( ) 6 (6.41)()ln( , ),( )() .4 6.5.DfnEDnIeDfIE 若 的一个无偏估计 使罗克拉美不等式中等式成立，则称 为 的一个有效估计若是 的一个无偏估计 且罗克拉美不等式中等式下界存在 则称下界与的比为估计的有效率 这里定义定义2126.13 ,( ,).nN 例设是取自正态母体的一个子样

14、，证明： 的一个无偏估计 是 的有效估计22()22222242211(): ln( , )lnln222ln( , )ln( , )11( )() () 1( )( ).( ).xxf xef xxfIEEDDDnnnI 证明 由于因此， 的一个无偏估计 是 的有效估计1( ), 1()( ). 6.1,6.6 .nIenD 若 是 的一个无偏估计 且有效率则称 为 的渐近有效估计满足定理中条件得出的估计是渐近有效估计 因此它是渐近正态渐近无偏、渐定系近有效估计义2122212*2221226.14 ,( ,)1 ().1(2)()1.nniinniiNSnSn 例设是取自正态母体的一个子样

15、，（1）若 为已知，可以证明是的一个有效估计若 为未知,是的一个无偏估计，但它不是的一个有效估计，而是的一个渐近有效估计22()222222222224222462222246641ln(2)(): ln( , ,)ln222ln( , ,)()1ln( , ,)1(); ()22()2ln( , ) (6.37)( ) 1()1()= =22xxf xef xxf xxfIEIE 证明 由于由式得到：442221422422111.22. 1()( ),12() 2 , () 2, .niinniiiinnDnDnD Sn因此罗 可拉美不等式的下界为由于服从分布*2222212224114*

16、222144(1)1(2)()-1)11() () 2(1),12() .(1)1211 ().21nniinniiiinniinSnDDnD SDnnnnennn 由于服从 （，所以有效率为复习一致估计复习一致估计有时候我们不仅要求估计量有较小的方差，还有时候我们不仅要求估计量有较小的方差，还希望当样本容量希望当样本容量n充分大时，估计量能在某种充分大时，估计量能在某种意义下收敛于被估计参数，这就是所谓相合性意义下收敛于被估计参数，这就是所谓相合性（或一致性）概念。（或一致性）概念。 定义定义6.16.1 设设 是未知参数是未知参数 估计序列，如果估计序列，如果 依概率收敛于依概率收敛于 ，

17、即对任意，即对任意 ，有，有 12,.,nnn n0lim|0nnP定理（补充）定理（补充） 设设 是是 的一个估计量，若的一个估计量，若nlim|1nnP或或则则 称是称是 的一致估计量（的一致估计量（相合估计相合估计）。）。n nnElim 0limnnD且且则则 是是 的一致估计（的一致估计（相合估计）相合估计）。n 0nP221nE证明：证明：由于由于 221nnED22)()(1 nnnEEE令令 且由定理的假设，得且由定理的假设，得 n0lim nnP即即 是是 的一致估计的一致估计n例（补充）例（补充） 若总体若总体 的的 和和 存在存在,则样本均值则样本均值 是总体均值的相合估计是总体均值的相合估计.ED解解：EElimlim0nnDDn一般地一般地,样本的样本的k 阶原点矩阶原点矩 是总体是总体 的的k 阶原点矩阶原点矩 的一致估计的一致估计.由此可见由此可见,矩矩估计往往是一致估计估计往往是一致估计.11nkkiinkE六、小结估计量的评选的三个标准估计量的评选的三个标准 无偏估计无