数理统计第三章点估计35cramer不等式

1、3.5 Cramer-Rao不等式(C-R不等式)3.5.1 引言C-R不等式是判别一个无偏估计量是否为UMVUE的方法之一.基本思想如下：设Ug 是g(q )的一切无偏估计的类，Ug中估计量的方差有一个下界，这个下界称为C - R下界。1如果g(q )的一个无偏估计g的方差达到这个下界，则g是g(q )的一个一致最小方差无偏估计(UMVUE).C-R不等式是由C.R.Rao和H.Cramer在1945年和1946年分别证明的.C-R不等式成立需要样本分布族满足一些正则条件，适合这些条件的分布族称为C-R正则族.2定义3.5.1(正则分布族)若单参数概率函数族F = f (x,q ),q &#

2、206; Q满足下列条件(1)参数空间Q是直线上的某个开区间(2)对任何x Î c和q ÎQ，f (x,q ) > 0;¶f (x,q ) 存在;(3)对任何x Î c和q ÎQ，¶q(4)概率函数f (x,q )的与微分运算可交换，即 ¶¶q¶ òòf (x,q )dx =f (x,q )dx¶q3 ¶¶ òòf (x,q )dx =f (x,q )dx¶q¶q若f (x,q )为离散型随量的概率分布，上述条

3、件改为无穷级数和微分运算可交换；(5)下列数学期望存在，且é¶ log f ( X ,q ) ù20<I(q )=Eq< ¥êëúû¶q则该分布族称为C-R正则分布族.其中(1)-(5)称为 C-R正则条件.I(q )称为该分布族的Fisher信息量(或称为Fisher信息函数).4C-R不等式在样本分布族满足一定的条件下给出了参数函数无偏估计的方差下界。满足此条件的样本分布族通常称为C-R正则族，即要求样本分布族满足：(1) 参数空间为开集(2) 分布的支撑与参数无关(3) 存在关于参数的偏

4、导且求导和(4) 对数偏导存在二阶矩可以换序53.5.2 单参数C-R不等式1 C-R不等式及例子定理3.5.1设F = f (x,q ),q Î Q是C - R正则族，g(q )是定义在参数空间Q上的可微函数., Xn )是由总体f (x,q ) Î F2 ,设中抽取的简单随机样本，g( X )是g(q )的任一无偏估计，且满足下列条件：6(6)òò g(x) f (x,q )dx号下对q求导数，此处dx = dx1dxn ,则可在g '(q )2nI (q )一切q ÎQ.Dq g(X) ³特别当g(q ) = q时，上式

5、变为1nI (q )一切q ÎQ.D g(X) ³q7g '(q )2nI (q )Dq g(X) ³当f (x,q )为离散型随量X的概率分布时，有g '(q )2Dq g(X) ³ìüï2¶ log f (x ,q )ïéùnåíêf (xi ,q )ýïþiú¶qïîëûi一切q ÎQ.8证明由于n为从总体X 抽取的样本f (x,q )

6、 = Õ f (xi ,q )ni=1¶ log f (x,q )¶q¶ log f (xi ,q )¶qn= åi=1记S(x,q ) =根据正则条件(3)和(4)得到下式ì¶ log f ( Xi ,q ) ünES( X ,q ) = å E íý¶qîþi=19ì¶ log f ( Xi ,q ) ünES( X ,q ) = å E íý¶qîþi

7、=1f (x ,q ) 1¶n= åi=1òf (x ,q )dxi¶qf (x ,q )iiif (x ,q )¶n= åòi¶qdxii=1 ¶n= åi=1¶q ò f (xi ,q )dxi= 010Cov (g(X),S(X,q ) = Eg(X) ×S(X,q )f (x,q )¶= òòg(x)dx¶q= ¶òòg(x) f (x,q )dxEg(X)¶q¶

8、82;q= g '(q )11ì¶ log f ( Xi ,q ) ünDq (S(X,q ) = å D íý¶qîþi=1ì¶ log f ( X ,q ) ü2n= å E íiý¶qîþi=1= nI (q )根据Cauthy - Schwartz不等式E( XY ) £EX 2 × EY 2得到122q ) ³ Cov(g(X),S(X,q )D g(X)D S(X,q

9、q= g '(q )2于是得到结论2q ) ³ g '(q )D g(X)D S(X,qqg '(q )2nI (q )Dq g(X) ³一切q ÎQ.13不等式g '(q )2Dq g(X) ³一切q ÎQ.nI (q )称为Cramer - Rao不等式，简称C - R不等式.C-R不等式与UMVUE的关系首先，要注意C-R不等式的成立是有条件的。其次，对满足正则条件的分布族，如果存在一个无偏估计达到方差的下界则它一定是UMVUE因此C - R不等式可以作为验证某一无偏估计是否为UMVUE的方法.14用C -

10、 R不等式寻找g(q )的UMVUE的方法.第一步：验证样本分布族满足正则条件(1)-(5)和(6).对于指数族条件(1)-(5)和(6)均成立.第二步：计算Fisher信息量I (q )和无偏估计g( X )的方差Dq (g( X )g '(q )2nI (q )第三步：计算Dq (g( X )是否达到C - R下界，g '(q )2nI (q ),则g( X )是g(q )的UMVUE.若Dq (g( X ) =15g '(q )2nI (q )注意：若Dq (g( X )达不到C - R下界,并不能得出结论：g(q )的UMVUE不存在.存在这样的例子，g(X )

11、是g(q )的UMVUEg '(q )2nI (q )但是其方差Dq (g( X )大于C - R下界.16例3.5.1: 设样本n )是从两点分布族b(1, p) : 0 < p < 1中抽取的样本.证明：p = X 为p的UMVUE.证：设Xb(1, p), 其概率分布为f (x, p) = px (1- p)1-x(1)两点分布族是指数族，C-R正则条件成立(2)Fisher信息函数为2é¶ log f ( X , p) ùI(p)=Eêúp¶pëû172ùé2

12、3;¶ log f ( X , p) ùX - p=E pI(p)=E pê p(1- p) úêú¶pëûëûDp ( X )=1=p2 (1- p)2p(1- p)= p(1- p)1因此，C-R下界为nI ( p)n由于X 为p的无偏估计且其方差(1- p) / n 达到C-R下界.为因此p = X 为p的UMVUE.18例3.5.1' : 设样本n )是从二项分布族b(m, p) : 0 < p < 1, m已知中抽取的样本.证明：p = X / m为p的U

13、MVUE.证：设Xb(m, p), 其概率分布为f (x, p) = æ m ö px (1- p)m-xç x ÷èø(1) 二项分布族是指数族，C-R正则条件成立(2) Fisher信息函数为2é¶ log f ( X , p) ùI(p)=Eêúp¶pëû192é X - mp ù2é¶ log f ( X , p) ù=E pI(p)=Eêúêúë

14、p(1- p) ûp¶pëûD( X )=mp=p2 (1- p)2p(1- p)= p(1- p)1因此，C-R下界为nI ( p)mn由于X 为p的无偏估计且其方差为D( X / m) = p(1- p) / mn达到C-R下界.因此p = X / m为p的UMVUE.20例3.5.2 : 设样本n )是从Poisson分布族P(l) : l > 0中抽取的样本.证明：X 为l的UMVUE.证：设XP(l), l > 0, 其概率分布为f (x, l) = e-ll x / x!，x = 0,1,(1)Poisson分布族是指数族，C-R

15、正则条件成立(2)Fisher信息函数为é¶ log f ( X , l) ù2I(l)=Elêëúû¶l21é X - l ù2é¶ log f ( X , l) ù2=ElI(l)=Elêëúûêëúûl¶l= 1= Dl ( X )ll 2= l1nI (l)因此，C-R下界为n由于X 为l的无偏估计且其方差为D( X ) = l / n达到C-R下界.因此l = X 为

16、l的UMVUE.22例3.5.3 : 设样本n )是从指数分布族Exp(l) : l > 0中抽取的样本.证明：X 为g(l) = 1/l的UMVUE.证：设XExp(l), l > 0, 其密度函数为f (x, l) = le-lx I x>0(1) 指数分布族是指数族，C-R正则条件成立(2) Fisher信息函数为é¶ log f ( X , l) ù2I(l)=Elêëúû¶l232é 1ùé¶ log f ( X , l) ù2=El &

17、#234;ë l -X úûI(l)=Elêëúû¶l1l 2=Dl ( X )=g'(l)2nI (l)1nl2因此，C-R下界为=由于X 为1/l的无偏估计且其方差为D( X ) = 1/(nl 2 )达到C-R下界.因此X 为g(l) = 1/ l的UMVUE.24例3.5.4 : 设样本n )是从正态分布族N(a,s 2 ) : a Î R未知,s 2 > 0已知中抽取的样本，证明：X 为a的UMVUE.证：设X N (a,s 2 ), 其密度函数为exp ì-ü

18、11f (x, a) =(x - a)2,íý2s2ps 2îþ其中a Î R未知,s> 0已知2(1) 正态分布族是指数族，C-R正则条件成立(2) Fisher信息函数为é¶ log f ( X , a) ù2I(a)=Eaêëúû¶a252é X - a ùé¶ log f ( X , a) ù2=EaI(a)=Eaêëúûêëúûs 2¶a= DX1s 2=s 4s 21因此，C-R下界为=nI (a)n由于X 为a的无偏估计且其方差为D( X ) = s 2 / n达到C-R下界.因此X 为a的UMVUE.26N (m,1)例B(1, p)P(l )例例在简单随机样本下，样本均值都是总体均值m, p, l()的一致最小方差无偏估计，并达到C-R下界。27é¶ log f ( X ,q )