北邮考研概率论与数理统计7.3估计量的评选标准

1、7.3点估计的评价标准,对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题,定义设是总体X的样本,是总体参数的估计量,则称,是的无偏估计量，否则称为有偏估计。,1、无偏性,无偏性的实际意义是指没有系统性的偏差.,证,因而,由于,特别地,样本均值,是总体期望E(X)的无偏估计量,样本二阶原点矩,是总体二阶,原点矩,的无偏估计量。,例2设总体X的期望E(X)与方差D(X)存在,是X的一个样本,n1，,(1)不是D(X)的无偏估计量;,(2)是D(X)的无偏估计量。,证,证明：,故证毕。,例3设总体X的密度函数为,为常数,为X的一个样本。,证明,与,都是,的无偏,估计量，,证,令,即,

2、故nZ是的无偏估计量。,证,例4,都是总体参数的无偏估计量,2、有效性,且至少有一个使得上述不等号严格成立,例5设x1,x2,xn是取自某总体的样本，记总体均值为，总体方差为2，则,都是的无偏估计，但显然，只要n1，比有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。,是的无偏估计量,问哪个估计量更有效？,为常数,解,(1)设常数,(2),证:(1),利用柯西不等式,有,例如XN(,2),(X1,X2)是一样本。,都是的无偏估计量,估计量。若对于任意的，当n时,定义设是总体参数的,则称,是总体参数的相合估计量。,依概率收敛于,即,相合估计量仅在样本容量n足够大，才显示其优越性。

3、,3、相合性,关于相合性的常用结论,样本k阶矩是总体k阶矩的相合估计。,由大数定律证明,矩法得到的估计量一般为相合估计量,在一定条件下,极大似然估计具有相合性,附录,1、相合性的相关定理。2、估计的评选标准-均方误差。3、其他举例。,1相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下。,定义设为未知参数，是的一个估计量，n是样本容量，若对任何一

4、个0，有(1)则称为参数的相合估计。,若把依赖于样本量n的估计量看作一个随机变量序列,相合性就是依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。,相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时，它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的。通常,不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.,在判断估计的相合性时下述两个定理是很有用的。定理1设是的一个估计量，若则是的相合估计，,定理2若分别是1,k的相合估计，=g(1,k)是1,k的连续函数，则是的相合估计。,例1,为常数,则是的

5、相合估计。,证明：经过简单计算可得,于是,所以是的相合估计量，证毕。,证明,由大数定律知,例2,由大数定律知,例3设是来自均匀总体U（0，）的样本，证明的极大似然估计是相合估计。,证明在前面我们已经给出的极大似然估计是x（n）。由次序统计量的分布，我们知道的分布密度为。,故有,由定理1可知x（n）是的相合估计。,定理2若分别是的相合估计，是连续函数，则有是的相合估计。,由大数定律及定理2，我们可以看到：矩估计一般都具有相合性。比如：,样本均值是总体均值的相合估计；样本标准差是总体标准差的相合估计；样本变异系数是总体变异系数的相合估计。,又由的相合性，对给定的，对任意的存在正整数N，使得时,证明

6、由函数的连续性，对任意给定的，存在一个，当,时有，,从而有,由的任意性，定理得证。,根据上述的式子，,故有,例4设一个试验有三种可能结果，其发生概率分别是，现做了n次试验，观测到三种结果发生的次数分别为n1，n2，n3，可以采用频率替换方法估计。由于可以有三个不同的的表达式：从而可以给出的三种不同的频率替换估计，分别是。分别是p1，p2，p3相合估计。,2、估计的评选标准-均方误差对于两个无偏估计，我们可以通过比较它们的方差来比较哪个更好，但对有偏估计来讲，比较方差意义不大，我们关心的是估计值围绕真值波动的大小，因而引入均方误差准则。,无偏估计不一定比有偏估计更优。评价一个点估计的好坏一般可以

7、用：点估计值与参数真值的距离平方的期望，这就是下式给出的均方误差均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。,注意到，因此(1)若是的无偏估计，则，这说明用方差考察无偏估计有效性是合理的。(2)当不是的无偏估计时，就要看其均方误差。下面的例子说明：在均方误差的含义下有些有偏估计优于无偏估计。,例1对均匀总体U(0,)，由的极大似然估计得到的无偏估计是，它的均方误差现我们考虑的形如的估计，其均方差为用求导的方法不难求出当时上述均方误差达到最小，且其均方误差所以在均方误差的标准下，有偏估计优于无偏估计。,因此，均方误差由点估计的方差与偏差的平方两部分组成。如果估计是无偏估计

8、，则此时用均方误差评价点估计与用方差是完全一样的，这也说明了用方差考察无偏估计有效性是合理的。当估计不是无偏估计时，就要看其均方误差，即不仅要看其方差大小，还要看偏差大小。,例2设总体,为样本.则作为方差的估计量,的均方误差为的均方误差为.则的均方误差比的小.,而的均方误差是,证：易知,由本例可知，从无偏性角度考察，用估计方差是好的，但从均方意义上讲用估计方差更好。它们从不同侧面去考察估计量的好坏，至于具体采用什么估计则需要根据实际问题来定。,的均方误差是,例3前面我们已经指出对均匀总体，由的最大似然估计得到的无偏估计是，它的均方误差。,现在我们考虑的形如的估计，其均方误差为,用求导的方法不难

9、求得当上述均方误差达到最小,且这表明虽是的有偏估计，但其均方误差,有偏估计优与无偏估计。,所以在均方误差的标准下，,最小方差无偏估计,Rao-Blackwell定理,以下定理说明：好的无偏估计都是充分统计量的函数。定理设总体概率函数是p(x,)，x1,x2,xn是其样本，T=T(x1,x2,xn)是的充分统计量，则对的任一无偏估计，令，则也是的无偏估计，且,定理说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差。换言之，考虑的估计问题只需要在基于充分统计量的函数中进行即可，该说法对所有的统计

10、推断问题都是正确的，这便是所谓的充分性原则。,例设x1,x2,xn是来自b(1,p)的样本，则是p的充分统计量。为估计=p2，可令由于，所以是的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求关于充分统计量的条件期望，得,定义对参数估计问题，设是的一个无偏估计，如果对另外任意一个的无偏估计，在参数空间上都有则称是的一致最小方差无偏估计，简记为UMVUE。如果UMVUE存在，则它一定是充分统计量的函数。,定理设x=(x1,x2,xn)是来自某总体的一个样本，是的一个无偏估计，如果对任意一个满足E(x)=0的(x)，都有则是的UMVUE。,关于UMVUE，有如下一个判断准则。,例设x1,x2,xn是来自指数分布Exp(1/)的样本，则T=x1+xn是的充分统计量，而是的无偏估计。设=(x1,x2,xn)是0的任一无偏估计，则两端对求导得这说明，从而，由定理6.3.3，它是的UMVUE。,证明,例1,.,2,max,1,2,1,2,2,1,2,1,有效,较,时,现证当,计量,的无偏估,都