3.6 估计的优良性

1、13.6 点估计与优良性点估计与优良性 2一、点估计概念及讨论的问题一、点估计概念及讨论的问题例例1 已知某地区新生婴儿的体重已知某地区新生婴儿的体重X),(2 N,2未知 随机抽查随机抽查100个婴儿个婴儿得得100个体重数据个体重数据10,7,6,6.5,5,5.2, 呢呢? ? 据此据此, ,我们应如何估计我们应如何估计和和而全部信息就由这而全部信息就由这100个数组成个数组成.3 为估计为估计 ,我们需要构造出适当的样本我们需要构造出适当的样本的函数的函数T(X1,X2,Xn)，每当有了样本，就，每当有了样本，就代入该函数中算出一个值，用来作为代入该函数中算出一个值，用来作为 的的估计

2、值估计值 . 把样本值代入把样本值代入T(X1,X2,Xn) 中，得到中，得到 的一个的一个点估计值点估计值 .T(X1,X2,Xn)称为参数称为参数 的的点估计量点估计量，4 请注意，被估计的参数请注意，被估计的参数 是一个是一个未知常数，而估计量未知常数，而估计量 T(X1,X2,Xn)是一个随机变量，是样本的函数是一个随机变量，是样本的函数,当当样本取定后，它是个已知的数值样本取定后，它是个已知的数值,这这个数常称为个数常称为 的估计值的估计值 . 5使用什么样的统计量去估计使用什么样的统计量去估计 ？ 可以用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数;还可以用别的统计

3、量还可以用别的统计量 .问题是问题是: 6,)( XE我们知道我们知道, ,服从正态分布服从正态分布,.),(2vXrN的 由大数定律由大数定律, , 1|1|lim1 niinXnP自然想到把样本体重的平均值作为总体平均自然想到把样本体重的平均值作为总体平均体重的一个估计体重的一个估计. .22 估计S类似地，用样本体重的方差类似地，用样本体重的方差 . ., 估计X用样本体重的均值用样本体重的均值,11niiXnXniiXXnS122)(11样本体重的平均值样本体重的平均值7样本均值是否是样本均值是否是 的一个好的估计量？的一个好的估计量？ (2) 怎样决定一个估计量是否比另一个估计怎样决

4、定一个估计量是否比另一个估计 量量“好好”？样本方差是否是样本方差是否是 的一个好的估计量？的一个好的估计量？2 这就需要讨论以下几个问题这就需要讨论以下几个问题: :(1) 我们希望一个我们希望一个“好的好的”估计量具有什么估计量具有什么 特性？特性？(3) 如何求得合理的估计量？如何求得合理的估计量？那么要问那么要问: :8这是因为估计量是样本的函数，是个随机变量这是因为估计量是样本的函数，是个随机变量 . 因此，由不同的观测结果，就会求得不同的参数因此，由不同的观测结果，就会求得不同的参数估计值估计值. 因此一个好的估计，应在多次试验中体现出优因此一个好的估计，应在多次试验中体现出优良性

5、良性 .而且尽可能接近待估计参数值的真值，在真而且尽可能接近待估计参数值的真值，在真值左右摆动尽可能小。值左右摆动尽可能小。 二、估计量的优良性准则二、估计量的优良性准则 在介绍估计量优良性的准则之前，我们必须强在介绍估计量优良性的准则之前，我们必须强调指出：调指出： 评价一个估计量的好坏，不能仅仅依据评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量一次试验的结果，而必须由多次试验结果来衡量 .9 常用的几条原则标准是：常用的几条原则标准是：1. 无偏性无偏性2. 有效性有效性3. 相合性相合性10一、无偏估计一、无偏估计估计量是随机变量，对于不同的样本值会得到估计

6、量是随机变量，对于不同的样本值会得到不同的估计值不同的估计值 . 我们希望我们希望估计值在未知参数真值附估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值近摆动，而它的期望值等于未知参数的真值，这就，这就导致导致无偏性无偏性这个标准这个标准 . 设设 是未知参数是未知参数 的估计量，的估计量，),(1nXX 1. 定义定义3.6.3 P78P78 )(E则称则称 为为 的的无偏估计无偏估计 . 若若则称则称 为估计量为估计量 的的偏差偏差 . )(E 若若 )(E )(lim En则称则称 为为 的的渐近无偏估计渐近无偏估计 . 若若11 例如，用样本均值作为总体均值的估计例如，用样

7、本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在这种偏差随机地在0的周围波动，对同一统的周围波动，对同一统计问题大量重复使用不会产生系统偏差计问题大量重复使用不会产生系统偏差 .无偏性是对估计量的一个常见而重要的要求无偏性是对估计量的一个常见而重要的要求 .无偏性的实际意义是指没有系统性的偏差无偏性的实际意义是指没有系统性的偏差 .12例例3.6.2 设设X1,X2,Xn是取自具有一阶矩、二阶矩存是取自具有一阶矩、二阶矩存在的总体在的总体X一个样本，证明一个样本，证明的的无无偏偏估估计计；是是 EXX ).1(的无偏估计；的无

8、偏估计；是是22* ).2( DXSn . ).3(22的渐近无偏估计的渐近无偏估计是是 DXSn证证 niiXnEXE11)( ).1(由由于于 niiEXn11EX 22*1 ).2(nnSEnnSE 由由于于 221 nnSEn 而而2 13 221 ).3( nnSEn 22lim nnSE试问：试问：? ).1(22的的无无偏偏估估计计是是否否是是 X .1)()( 22222 nXEXDXE事事实实上上的的无无偏偏估估计计？是是否否是是 * (2)nS)1()1( 22222* nnSSnnn 事事实实上上 .2)1()2(12* nnnSEn可计算得：可计算得： .)()(,无无

9、偏偏估估计计的的不不一一定定是是的的无无偏偏估估计计参参数数一一般般地地 ff14.1 , ,)1()(121的无偏估计的无偏估计阶总体矩阶总体矩是是阶样本矩阶样本矩总体服从什么分布总体服从什么分布论论的一个样本，试证明不的一个样本，试证明不是是又设又设存在存在阶矩阶矩的的设总体设总体knikiknkkkXnAkXXXXkXEkX 证证同同分分布布，与与因因为为XXXXn,21)()(kkiXEXE 故故有有., 2 , 1,nik nikikXEnAE1)(1)(即即.k 一般的，一般的，152. 无偏性的弱点无偏性的弱点, )1(可可能能不不存存在在无无偏偏估估计计一一个个参参数数 . ,

10、 )2(弊弊病病无无偏偏估估计计可可能能有有明明显显的的其其中中的的可可能能存存在在多多个个无无偏偏估估计计一一个个参参数数 无偏估计量是对估计量的一个重要而常见的要无偏估计量是对估计量的一个重要而常见的要求求 ，实际意义是，实际意义是多次试验后没有系统性的偏差，多次试验后没有系统性的偏差，也是工程技术中完全合理的要求，但不要一味认为也是工程技术中完全合理的要求，但不要一味认为估计量不满足无偏原则，就是估计量不满足无偏原则，就是“不好不好”的估计量。的估计量。(3) 无偏估计知只反映了估计量在参数真值附近无偏估计知只反映了估计量在参数真值附近波动。波动。16例例2, 2 , 1 , 0,!)(

11、kekPk 的样本，其中的样本，其中DXEX ;)1 (,1 , 0 )1 ( 2*的的无无偏偏估估计计是是则则 nSX;2( )2( 31的无偏估计的无偏估计是是 e)X事实上事实上 2*)1(,1 , 0 )1(nSXE 2*)1(nESXE )1( 设设X1,X2,Xn是取自总体是取自总体X：17;2( )2( 31的的无无偏偏估估计计是是 e)XkkkXekE)2(!)2(01 0!)2(kkke 2ee 3e但是，此估计量有明显的不合理：但是，此估计量有明显的不合理：,1的的取取值值为为奇奇数数时时当当X,2( 1估估计计值值即即为为负负数数X) .3显显然然不不合合理理用用一一个个

12、负负数数估估计计 e从而，仅有无偏性原则不够。从而，仅有无偏性原则不够。例例2, 2 , 1 , 0,!)(kekPk 的样本，其中的样本，其中DXEX ;)1 (,1 , 0 )1 ( 2*的的无无偏偏估估计计是是则则 nSX;2( )2( 31的无偏估计的无偏估计是是 e)X设设X1,X2,Xn是取自总体是取自总体X：18.),max(12, 0,0, 2121的无偏估计都是和的样本，试证明是来自总体参数上服从均匀分布在设总体nnXXXnnXXXXXX证证)(2)2(XEXE 因因为为)(2XE ,22 . 2的无偏估计量的无偏估计量是是所以所以 X的概率密度为的概率密度为因为因为),ma

13、x( 21nhXXXX 其他其他, 0,0,)(1 xnxxfnn例例19xnxxXEnnhd)(01 所所以以,1 nn,1 hXnnE故有故有.),max(121的无偏估计量也是故nXXXnn20二、最小方差无偏估计与有效估计二、最小方差无偏估计与有效估计一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计,无偏性原无偏性原则不够，还应要求估计量围绕参数的真值波动尽可则不够，还应要求估计量围绕参数的真值波动尽可能小，能小，如何刻划？如何刻划？概率论用随机变量的均方误差（方差）刻划概率论用随机变量的均方误差（方差）刻划“离散离散”或或“集中集中”的程度。的程度。我们可以比较我们可以比

14、较21)( E22)( E和和的大小来决定二者谁更优，由的大小来决定二者谁更优，由于于 ,)()(211 ED222)()( ED方差小者为佳，从而有最小方差无偏估计与方差小者为佳，从而有最小方差无偏估计与有有效性效性这一概念。这一概念。211. 定义定义有有效效比比则则称称均均有有若若对对任任意意样样本本容容量量的的无无偏偏估估计计量量均均是是带带有有限限方方差差和和设设212121, , (1) DDn ., , (2)000的的最最小小方方差差无无偏偏估估计计量量为为则则称称均均有有的的任任意意一一个个无无偏偏估估计计量量于于若若对对的的无无偏偏估估计计量量是是带带有有限限方方差差设设

15、DD 目的是目的是: 寻找一个寻找一个最有效最有效的估计量的估计量. D记为：记为：MVUE.就就是是最最有有效效的的估估计计量量的的MVUE 222、有效估计、有效估计1) 定义定义的的有有效效估估计计量量为为则则称称即即下下界界的的方方差差达达到到的的一一个个无无偏偏估估计计量量若若 )(1)( ,nIDCR 的的效效率率为为称称的的任任意意一一个个无无偏偏估估计计量量若若 )( )(1)(,DnIe 的的有有效效估估计计是是时时且且从从而而 ,1)( , 1)(0 ee的的渐渐近近有有效效估估计计是是则则称称的的效效率率满满足足的的无无偏偏估估计计量量若若 1)(lim en23三、一致

16、性（相合性）估计三、一致性（相合性）估计无偏估计无偏估计无系统误差；无系统误差；的真值附近波动的真值附近波动在在 MVUE与有效估计与有效估计离散程度小，法则较好，离散程度小，法则较好，但前题是无偏估计。但前题是无偏估计。问题：问题：. ,)(,)( )1估估计计仍仍不不理理想想作作为为可可知知较较大大但但尽尽管管 DE .)(,)( )2较较小小但但尽尽管管 DE 如何取舍、兼顾如何取舍、兼顾.目的：目的：希望一个估计量是无偏的，且具有较小的方希望一个估计量是无偏的，且具有较小的方差，还希望当样本容量差，还希望当样本容量n无限增大时，估计能在某无限增大时，估计能在某种意义下收敛于被估计参数的

17、真值，这就是相合性种意义下收敛于被估计参数的真值，这就是相合性(一致性一致性)估计的要求。估计的要求。24相合性（一致性）定义：相合性（一致性）定义：估估计计一一致致的的相相合合是是则则称称概概率率收收敛敛于于依依如如果果的的一一个个估估计计序序列列是是设设)(,),(1 nnnnnXX 即即1|lim0|lim, 0 nnnnPP或或 相合性被认为是对估计的一个最基本要求相合性被认为是对估计的一个最基本要求, ,如果如果一个估计量一个估计量, ,在样本量不断增大时，它都不能把被估在样本量不断增大时，它都不能把被估参数估计到任意指定的精度参数估计到任意指定的精度, ,那么这个估计是很值得那么这

18、个估计是很值得怀疑的。通常怀疑的。通常, ,不满足相合性要求的估计一般不予考不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由虑。证明估计的相合性一般可应用大数定律或直接由定义来证。定义来证。25., 0lim,lim,的的相相合合估估计计是是则则且且的的一一个个估估计计序序列列是是若若 nnnnnnDE 定理定理2.1证证 |)(|0 xnxdFP0|lim, nnPn时时则则 |22)()(xxdFx2222)(1)()(1 nExdFx)(122 nnED.)(的分布函数的分布函数是是其中其中nxF 26例例.,11的相合估计的相合估计阶原点矩阶原点矩的的是是

19、则则存在存在阶原点矩阶原点矩样本的样本的kknikikEXkXAxnAk 事实上事实上kkEXEAThP 2 . 14知知)( , 0)( 22 nnEXEXDAkkk且且从而，矩估计量是相合的。从而，矩估计量是相合的。27例例 设设 x1, x2 , , xn 是来自均匀总体是来自均匀总体U(0, )的样本，的样本，证明证明 的极大似然估计是相合估计。的极大似然估计是相合估计。证明：证明： 的极大似然估计是的极大似然估计是 x(n)。由次序统计量的。由次序统计量的分布，我们知道分布，我们知道 x(n) 的分布密度函数为的分布密度函数为 p(y)=nyn- -1/ n, y , 故有故有 由定

20、理可知，由定理可知，x(n)是是 的相合估计。的相合估计。021202222d/1d/2Var( )0, 21(1) (2)nnnnnEnyynnEnyynnnnnnnn28例例3 设设X1,X2,Xn是取自总体是取自总体X),( 2 N一个样本一个样本.2未未知知与与其其中中 试对其进行估计。试对其进行估计。解解由前可知由前可知2)1(122)(1 nniiXX 1)(),1(2)(2)1(2)1( nEnDnn 构造构造, 2 , 1,)(1122 kXXkSniik2)1(12222)(1 nniikXXkS 则则24222)1(2)(,)1()(knSDknSEkk 且且且且当当422212)(,)(, 1 nSDSEnkkk特别地特别地,12)(,)(42)1(22)1( nSDSEnn29特别地特别地42)1(22)1(42)1(22)1(1)1(2)(,11)(,12)(,)( nnSDnnSEnSDSEnnnn显然有显然有42)1(42)1(12)(1)1(2)( nSDnnSDnn.,2)1(22)1(不是不是的无偏估计的无偏估计是是然而然而 nnSS 如何衡量估计量的修劣呢，任何选取较好的估计量？如何衡量估计量的修劣呢，任何选取较好的估计量？方法之一：方法