数理统计课件：一致最小方差无偏估计

方差无偏估计

一致最小设X=(X1,X2,…,Xn)是从该分布族中抽取的简单随机样本，设为一参数分布族，其中Θ为参数空间.g(θ)

是定义在参数空间Θ

上的实函数.

问题：如何评价估计量的优劣？定义3.5.1(均方误差)记为定义3.5.2(一致最小均方误差估计)且不等号至少对某个

Θ成立，则称在均方误差准则下但是，一致最小均方误差估计常不存在.解决办法：把最优性准则放宽些，使得适合这种最优性的估计一般存在.在一个大的估计类中，一致最优估计量不存在，把估计类缩小，就有可能存在一致最优的估计量.因此，把估计类缩小为无偏估计类来考虑.对无偏估计的说明：1无偏估计不一定存在例3.5.1设样本X~B(n,p),n已知，0<p<1为未知参数，令g(p)=1/p，则g(p)的无偏估计不存在.证明:反证法证明即上式左端是p的n+1次多项式，它至多在(0,1)区间有n+1个实根.可是无偏性要求对(0,1)中的任一实数p,上式都成立.导致矛盾，因此g(p)=1/p的无偏估计不存在.即2对同一个参数，无偏估计一般不唯一.在无偏估计类中，估计量的均方误差就是其方差，即：把不存在无偏估计的参数除外.若参数的无偏估计存在，则称此参数为可估参数.若参数函数的无偏估计存在，则称此函数为可估函数.一个无偏估计的方差越小越好，有没有最好的无偏估计量?为此引入如下一致最小方差无偏估计的定义.定义3.5.3设X1,X2,…,Xn是从该分布族中的某总体抽取的样本，设为一参数分布族，其中Θ为参数空间.g(θ)

是定义在参数空间Θ

上的可估函数.

3.5.1一致最小方差无偏估计的定义特殊的，取g(

)=

设X1,X2,…,Xn是从该分布族中的某总体抽取的样本，设为一参数分布族，其中Θ为参数空间.对给定参数分布族，寻找可估参数(或可估函数)的一致最小方差无偏估计的方法有如下：充分完备统计量法Cramer_Rao不等式法重点：统计思想3.5.2一致最小方差无偏估计的求法下面的引理提供了一个改进无偏估计的方法.引理3.5.1证明：第一步：证明h(T)是g(

)的无偏估计因此，h(T)是g(

)的无偏估计由于T(X1,X1,…,Xn)是充分统计量，根据定义可以得到给定T时，样本X1,X1,…,Xn

的条件分布与

无关.即因此，h(T)是统计量，可以作为g(

)

的估计量，且分三步证明与

无关.证明：从右侧出发证明第二步：证明方差更小，即证明下式成立讨论上式最后一项(交叉项)因此第三步：证明等号成立的充要条件即说明1该引理提供了一个改进无偏估计的方法.2一致最小方差无偏估计一定是充分统计量的函数.否则，可以通过充分统计量，按照引理的方法构造一个具有更小方差的无偏估计.解：由引理3.5.1可知，构造p的一个无偏估计利用T=T(X)构造一个具有比X1的方差更小的无偏估计.例3.5.1设X1,X2,…,Xn是来自两点分布总体B(1,p)，0<p<1的样本，显然X1是p的一个无偏估计，且是充分统计量.经过改进的无偏估计是否是UMVUE？问题：下面的定理给出了求一致最小方差无偏估计的的方法，即充分完备统计量法，是由E.L.Lemann.和H.Scheffe提出的.设T(X)=T(X1,X2,…,Xn)是一个充分完备统计量，若是g(

)的一个无偏估计.定理3.5.1(Lemann_Scheffe定理)：则是g(

)

唯一的UMVUE.X1,X2,…,Xn

是从该分布族中某总体抽取的样本，设为一参数分布族，其中Θ为参数空间.g(θ)

是定义在参数空间Θ

上的可估函数.

唯一性是在这样的意义下：若和都是g(θ)的UMVUE，则对一切

Θ成立.第一步：先证唯一性证明：设为g(θ)的任一无偏估计.令则由于T(X)为完备统计量，可知即唯一性成立.第二步：证明一致最小方差性.证明：设

(X)为g(θ)的任一无偏估计.令由于T(X)为充分统计量，因此，h(T(X))与θ无关，

h(T(X))是统计量.根据引理3.5.1，得到由唯一性，因此所以为g(θ)的UMVUE，且唯一.及

(X)为g(θ)的任一无偏估计，得到推论3.5.1设样本X1,X2,…,Xn的分布为如下指数族的自然形式其中令若自然参数空间Θ*作为Rk的子集有内点，且h(T(X))是g(θ)的无偏估计，则h(T(X))是g(θ)唯一的一致最小方差无偏估计.第一步：由指数族的性质可知证明：为充分完备统计量.第二步：由于h(T(X))是g(θ)的无偏估计，根据Lemann—Scheffe定理(简记为L—S定理)，可知h(T(X))是g(θ)唯一的一致最小方差无偏估计.例3.5.2设X1,X2,…,Xn是来自两点分布总体

B(1,p)，0<p<1的样本.证明：为p

的UMVUE.证明：根据因子分解定理可知是充分统计量.是完备统计量(指数族自然参数空间有内点)第一步：找充分完备统计量为充分完备统计量的函数.对因此根据定理1(L—S定理)知为p的UMVUE.第二步：找无偏估计由于是充分完备统计量的函数，又是p的无偏估计.说明：获得可估函数g(

)的一致最小方差无偏估计的方法是找到一个依赖于充分完备统计量的无偏估计.第一步：找到一个充分完备统计量T(X)=T(X1,X2,…,Xn)第二步：找到充分完备统计量T(X)的函数g(T(X))，使得

E[g(T(X))]=g(

)g(T(X))为g(

)的一致最小方差无偏估计.例3.5.3在例3.5.2中，已知服从二项分布B(n,p)，且T(X)为充分完备统计量.求g(p)=p(1-p)的一致最小方差无偏估计.设

(T)为g(p)=p(1-p)的一个无偏估计，目的：要导出

(T)的表达式按照无偏估计的定义以及T~b(n,p)，可得解:令，则有，则将展开得因此上式两边为ρ的多项式，比较其系数得到综合上述两式得为g(p)=p(1-p)的无偏估计.又是充分完备统计量的函数.因此根据定理1(L—S定理)知

(T)为g(p)=p(1-p)的UMVUE.说明：如果一个参数或参数函数没有显然的无偏估计，可以构造充分完备统计量的函数，由无偏性，用待定系数(比较系数)法求出依赖于充分完备统计量的一个无偏估计可得到可估函数的一致最小方差无偏估计..例3.5.4设X1,X2,…,Xn是来自泊松分布总体P(λ)的样本，分别求由指数族的性质，是充分完备统计量.解:(1)

λ

的UMVUE.(2)

λr的UMVUE

,其中r>0为自然数.(3)P{X1=x}的UMVUE.第一步：找充分完备统计量(1)令，则则是充分完备统计量T(X)的函数，又是λ的无偏估计.因此根据定理1(L—S定理)知为λ的UMVUE.(2)由于，令g2(T)为λr的无偏估计，于是有第二步：找无偏估计(1)g1(λ)=λ

的UMVUE.(2)g2(λ)=λr的UMVUE

将上式右边展开得等价于代入得到上述等式两边是λ的幂级数，比较其系数得综合上述两式得为

λr的无偏估计.又是充分完备统计量的函数.因此根据定理1(L—S定理)知g2(T)为

λr的UMVUE.(3)由于是参数λ的函数.令，则注意(3)P{X1=x}的UMVUE.因此，可用来表示P{X1=x}

.为

的无偏估计.因此,无偏估计量

(X1)关于充分完备统计量求条件期望因此由于g3(T)为

的无偏估计，为

的UMVUE.g3(T)又是充分完备统计量

的函数.

为g(

)的一致最小方差无偏估计说明：在本例第三种情况，存在一个显然的无偏估计，然后对这个无偏估计关于充分完备统计量求条件期望，得到UMVUE，具体做法如下：第二步：找到g(

)的一个无偏估计第三步：无偏估计量关于充分完备统计量求条件期望第一步：找到一个充分完备统计量T(X1,X2,…,Xn)例3.5.5设X1,X2,…,Xn

是来自指数分布总体Exp(λ)，λ>0的样本，分别求解:(1)1/λ

的一致最小方差无偏估计.

(2)

的一致最小方差无偏估计.

由指数族的性质，是充分完备统计量，且第一步：找充分完备统计量第二步：找无偏估计(1)由于

是

1/λ

的无偏估计.

又是充分完备统计量

的函数.

因此

是

1/λ

的一致最小方差无偏估计.

(2)由伽玛分布的性质知

由于即为λ的无偏估计又是充分完备统计量的函数.因此根据定理1(L—S定理)知

为λ的一致最小方差无偏估计.要使得，取(3)令h1(T)是exp(-λx0)

的无偏估计，且

(3)求g(λ)=1-exp(-λx0)的UMVUE密度函数为因此由于h2(T(X))是充分完备统计量T(X)的函数，

又是g(λ)的无偏估计.因此，根据定理1(L—S定理)知h2(T(X))为g(λ)=1-exp(-λx0)

的UMVUE.因此为g2(λ)=1-exp(-λx0)

的无偏估计例3.5.6设X1,X2,…,Xn是来自正态总体N(μ,σ2):

-∞<μ<∞,σ2>0的样本，记

=(μ,σ2)求：(1)μ和σ2的一致最小方差无偏估计.由于T(X)=(T1(X),T2(X))是充分完备统计量，其中(2)g(θ)=σr的一致最小方差无偏估计.解:第一步：找充分完备统计量(1)由于第二步：找无偏估计分别为μ

和σ2的无偏估计.它们又是充分完备统计量T(X)=(T1(X),T2(X))的函数.因此根据定理1(L—S定理)知和S2分别为μ

和σ2的UMVUE.(1)μ和σ2的UMVUE.说明：对极