数理统计课件：Cramer-Rao不等式

Cramer-Rao不等式C-R不等式是判别一个无偏估计量是否为UMVUE的方法之一.基本思想如下如果g(

)的一个无偏估计的方差达到这个下界，则

是g(

)的一个一致最小方差无偏估计(UMVUE).设Ug

是g(

)的一切无偏估计构成的类

Ug

中估计量的方差有一个下界，这个下界称为C-R下界.C-R不等式是由C.R.Rao和H.Cramer在1945年和1946年分别证明的.C-R不等式成立需要样本分布族满足一些正则条件，适合这些条件的分布族称为C-R正则族.1参数空间Θ是直线上的开区间；若单参数分布族满足下列条件2对任意

Θ，f(x,

)

>0；4f(x,

)的积分与微分运算可交换，即定义3.6.1(正则分布族)3对任意

Θ，存在；若f(x,

)为离散型随机变量的分布列，上述条件改为无穷级数和微分运算可交换；5下列数学期望存在，且则该分布族称为C-R正则分布族.其中(1)-(5)称为C-R正则条件.I(

)称为该分布族的Fisher信息量(或称为Fisher信息函数).要求样本分布族满足：(1)参数空间为开集(2)分布的支撑与参数无关(3)密度函数或分布列关于参数的导数存在(5)密度函数或分布列的对数的导数存在二阶矩(4)密度函数或分布列的积分和微分可以换序则该分布族称为C-R正则分布族.定理3.6.1(单参数C-R不等式)设分布族是C-R正则分布族，可估函数g(

)是定义在参数空间Θ上的可微函数.X1,X2,…,Xn

是从该分布族的某总体抽取的样本，是g(

)的任一无偏估计，且满足下列条件:6积分可在积分号下对𝜃求导数，此处dx=dx1…dxn

,则一切特别当g(

)=

时，上式变为一切当f(x,

)为离散型随机变量X的分布列时，有一切由于X1,X2,…,Xn的联合密度函数(联合分布列)为记证明:根据正则条件(3)和(4)得到下式其中x=(x1,x2,…,xn)

.4f(x,

)的积分与微分运算可交换，即根据正则条件(5)和(6)得到下式

是g(

)的无偏估计，可在积分号下对𝜃求导数根据Cauchy-Schwartz不等式得到5.数学期望存在于是,得到结论一切即不等式称为Cramer-Rao不等式，简称C-R不等式.一切C-R不等式与UMVUE的关系首先，注意C-R不等式的成立是有条件的.其次，对满足正则条件的分布族，如果存在一个无偏估计达到方差的下界则它一定是一致最小方差无偏估计.因此，C-R不等式可以作为验证某一无偏估计是否为一致最小方差无偏估计的方法.用C-R不等式寻找g(θ)的一致最小方差无偏估计的方法.第一步：验证样本分布族满足正则条件(1)−(5)和(6).对于指数族条件(1)−(5)和(6)均成立.第二步：计算Fisher信息I(

)和无偏估计的方差若，则是g(

)的UMVUE第三步：计算是否达到C-R下界若达不到C-R下界，并不能得出结论：g(

)的一致最小方差无偏估计不存在.但是其方差大于C-R下界注意存在这样的例子：是g(

)的一致最小方差无偏估计.设X~B(1，p)，其分布列为1两点分布族是指数族，C-R正则条件成立;2Fisher信息量为：证明：下面看几个例子.例3.6.1设X1,X2,…,Xn是从两点分布族{B(1,p)：0<p<1}中抽取的样本.用C-R不等式证明样本均值为p

的一致最小方差无偏估计.因此，C-R下界为由于为p的无偏估计且其方差为达到了C-R下界.因此，为p的一致最小方差无偏估计.设X~b(m,p),其分布列为1二项分布族是指数族，C-R正则条件成立;2Fisher信息量为：证明：例3.6.2设X1,X2,…,Xn是从二项分布族{B(m,p)：0<p<1,m已知}中抽取的样本.用C-R不等式证明为p

的UMVUE.因此，C-R下界为由于为p

的无偏估计且其方差为达到了C-R下界.因此，为p

的一致最小方差无偏估计.设X~P(λ

)，

其分布列为1泊松分布族是指数族，C-R正则条件成立；2Fisher信息量为：证明：例3.6.3设X1,X2,…,Xn是从泊松分布族{P(λ):λ>0}中抽取的样本.用C-R不等式证明为λ

的UMVUE.因此，C-R下界为由于，为λ的无偏估计且其方差为达到了C-R下界.因此，为λ

的一致最小方差无偏估计.设X~Exp(λ),其密度函数为1指数分布族是指数族，C-R正则条件成立；2Fisher信息量为：证明：例3.6.4设X1,X2,…,Xn是从指数分布族{Exp(λ):λ>0}中抽取的样本.用C-R不等式证明为1/λ

的UMVUE.因此，C-R下界为由于，为1/λ的无偏估计且其方差为达到了C-R下界因此为1/λ

的一致最小方差无偏估计.设X~N(μ,σ2)，其密度函数为1正态分布族是指数族，C-R正则条件成立；2Fisher信息量为：证明：其中μ

未知，

σ2已知例3.6.5设X1,X2,…,Xn是从正态分布族{N(μ,σ2):

-∞<μ<∞,σ2>0}抽取的样本，其中σ2已知.用C-R不等式证明为μ

的一致最小方差无偏估计.因此，C-R下界为由于，为μ的无偏估计且其方差为达到了C-R下界因此，为μ

的一致最小方差无偏估计.Fisher信息量(Fisher信息函数)：解释1：衡量总体模型中包含的信息量.

解释2：单个样本提供的信息量.对于简单随机样本，样本信息量是总体信息量的n倍.当样本量n=1时，样本的Fisher信息量称为总体的Fisher信息量.解释3：C-R不等式表明，样本包含参数的信息越多，无偏估计的方差下界越小.解释4：充分统计量与样本包含参数的信息量相同.

定义3.6.2(效率)设为g(

)的无偏估计，比值称为无偏估计的效率.

显然定义3.6.3(有效估计)定义3.6.4(渐近有效估计)说明1：有效估计是无偏估计类中最好的估计.说明2：有效估计不多，但是渐近有效估计多.说明3：有效估计一定是UMVUE，但是很多UMVUE不是有效估计1此时C-R下界偏小，在很多场合UMVUE的方差达不到C-R下界.2C-R不等式的成立有条件(C-R正则条件)，若条件不成立，此时再利用C-R下界去定义估计的效率或求有效估计就不合理.例3.6.1−例3.6.5给出的有关参数的无偏估计，其方差都能达到C-R下界，因此它们都是相应参数的有效估计.例3.6.6例3.6.7设X1,X2,…,Xn是从正态分布族{N(μ,σ2):

-∞<μ<∞,σ2>0}抽取的样本.当

μ

未知时，证明:样本方差S2不是σ2的有效估计，但是渐近有效估计.(2)当

μ

已知时，求σ2的有效估计.(1)证明：由于达不到C-R下界因此

S2不是σ2的有效估计.估计的效率为因此

S2是σ2的渐近有效估计.但是当

μ

未知时，证明:样本方差S2不是σ2有效估计，但是渐近有效估计.(2)由于μ

已知，令且得到(2)当

μ

已知时，求σ2的有效估计.达到了C-R下界因此，当μ