数理统计课件：极大似然估计

极大似然估计3.3.1

极大似然估计的基本思想3.3.2极大似然估计的定义和若干例子极大似然估计方法首先是由德国数学家高斯在1821年提出的.GaussFisher然而，这个方法常归功于英国统计学家费歇(Fisher).Fisher在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.3.3.1极大似然估计的基本思想引例3.3.1某位同学与一位猎人一起外出打猎.一只野兔从前方窜过.如果要你推测，只听一声枪响，野兔应声倒下.是谁打中的呢？你会如何想呢?分析：因为只发一枪便打中，猎人命中的概率一般大于这位同学命中的概率.令X为打一枪的中弹数，则X~B(1,p),p未知.设想我们事先知道p只有两种可能:p=0.9或p=0.1两人中有一人打抢，估计这一枪是谁打的，即估计总体参数

p的值.其数学模型为当兔子中弹，即{X=1}发生了若p=0.9，则P{X=1}=0.9若p=0.1，则P{X=1}=0.1当兔子不中弹，即{X=0}发生了若p=0.9，则P{X=0}=0.1

若p=0.1，则P{X=0}=0.9现有样本观察值x=1,什么样的参数使该样本观察值出现的可能性最大呢？根据样本观察值，选择参数p的估计，使得样本在该样本观察值附近出现的可能性最大.极大似然估计法的基本思想：猎人同学一枪打中哪个概率大？猎人命中的概率一般大于这位同学命中的概率,看来这一枪是猎人射中的.这个例子确定的基本想法是:当试验中得到一个结果(上例中指兔子被一枪打中)时,哪个p值使这个结果的出现具有最大概率就应该取哪个值作为p的估计值.它用到“概率最大的事件最可能出现”的直观想法.说明：虽然参数p可取参数空间

中的所有值，但在给定样本观察值x1,x2,…,xn后，不同的p值对应样本X1,X2,…,Xn取x1,x2,…,xn的邻域的概率大小也不同，既然在一次试验中观察到X1,X2,…,Xn取值x1,x2,…,xn，因此有理由认为X1,X2,…,Xn落入x1,x2,…,xn的邻域中的概率较其它地方大.哪一个参数使得X1,X2,…,Xn落入x1,x2,…,xn的邻域中的概率最大，这个参数就是最可能的参数，我们用它作为参数的估计值，这就是极大似然原理.设总体X为离散型，其分布列为一极大似然估计的定义3.3.2极大似然估计的定义和例子其中

为待估参数，Θ为参数空间.设X1,X2,…,Xn

是来自总体X

的样本，则样本X1,X2,…,Xn的联合分布列为设x1,x2,…,xn是样本X1,X2,…,Xn

的一个观察值，则样本X1,X2,…,Xn

取x1,x2,…,xn的概率为这一概率随θ的取值而变化，它是θ

的函数，称为样本的似然函数.

似然的字面含义是看起来像，下面利用样本观察值确定参数看起来最像的值，这就是统计上的似然原理.已经得到了观察值x1,x2,…,xn，它是哪一个θ

所确定的总体(或分布)产生的?寻找最可能的！也就是产生这个样本的概率最大的，即求使得称为θ

的极大似然估计量.称为θ

的极大似然估计值.设总体X为连续型，其密度函数为f(x,

),其中

为待估参数，Θ为参数空间.设X1,X2,…,Xn

是来自总体X

的样本，则样本X1,X2,…,Xn的联合密度函数为设x1,x2,…,xn是样本X1,X2,…,Xn

的一个观察值，则样本X1,X2,…,Xn

落在x1,x2,…,xn的邻域内的概率为这一概率随θ的取值而变化，它是θ

的函数，取θ的估计值使得上式达到最大，但是不随θ取值的变化而改变，故只需考虑的极大值，L(θ)称为样本的似然函数.

若称为θ

的极大似然估计量.称为θ

的极大似然估计值.定义3.3.1(似然函数)设总体X的密度函数(或分布列)为f(x,

),其中未知参数=(

1,2,…,k)ΘRk

,X1,X2,…,Xn

是来自总体X的样本，则样本X1,X2,…,Xn

的联合密度函数(或联合分布列)为若已知样本观察值，称为样本的似然函数.

称为样本的对数似然函数.

注：似然函数和联合密度函数(或联合分布列)是同一表达式，但是表示两种不同含义.当

固定时，将其看成定义在样本空间χ

上的函数，称为联合密度函数(或联合分布列).当x固定时，将其看成定义在参数空间Θ

上的函数，称为似然函数.这是两个不同的概念.似然函数意味着：给定数据x，L(

)是以参数

标记的总体分布产生这个数据的可能性度量.例3.3.1设罐子里有许多黑球和红球.假定已知它们的比例是1:3，但不知道是黑球多还是红球多.也就是抽出一个黑球的概率或者是1/4或者是3/4.如果有放回的从罐子中抽n个球，要根据抽样数据，估计抽到黑球的概率是多少.解:将此问题建立统计模型令Xi表示第i次抽球的结果，即记每次抽样中抽到黑球的概率为p，此处，p只取可能的两个值p1=1/4和p2=3/4之一.

因此分布族为要根据抽样结果对p

做出估计，即

p取值为1/4还是3/4?

或说样本来自总体B(n,

p1)

还是B(n,

p2)

?注：因为是充分统计量，我们用替代了样本.当

X=(X1,X2,…,Xn)给定时，似然函数为为简单计，取n=3当x=0，1，2，3时似然函数取值如下表所示由上表可见当x=0，1时，L(1/4,x)

>

L(3/4,x)

当x=2，3时，L(3/4,x)

>

L(1/4,x)

因此得出结论：当x=0，1时，L(1/4,x)

>

L(3/4,x)

当x=2，3时，L(3/4,x)

>

L(1/4,x)

估计抽到的黑球概率为

估计抽到的黑球概率为

则

p的取值应使这个事件发生的概率最大.对于不同的p,L(p)不同，见下图发生了，现经过一次试验，事件定义3.3.2(极大似然估计)如果似然函数L(θ,x1,x2,…,xn

)在处达到极大值，即在不引起混淆的情况下，统称为极大似然估计(MaximumLikelihoodEstimator简记为MLE).称为θ

的极大似然估计值.与x1,x2,…,xn

有关，记为称为θ

的极大似然估计量.1.用微积分中求极值的方法若似然函数L(θ,x1,x2,xn)关于

θ=

(θ1,

θ2,θk)各分量的偏导数都存在，则

=(

1,

2,

,

k)的极大似然估计可由下述方程组求得二极大似然估计的求法该方程组称为似然方程组.又因为L(

)与lnL(

)在同一

处取得极值，因此

=(

1,

2,

,

k)的极大似然估计也可由下述方程组解得该方程组称为对数似然方程组,利用对数似然方程组求解更方便.求极大似然估计(MLE)的一般步骤是：(1)由总体分布导出样本的联合密度函数(或联合分布列)；(2)把样本的联合密度函数(或联合分布列)中自变量看作已知常数，

而把参数

看作自变量，得到似然函数L(

)；(3)求似然函数L(

)的极大值点(常常转化为求对数似然函数的极大

值点)，得θ的极大似然估计.因此，求极大似然估计首先求似然方程的解但是，此解是否一定是

的极大似然估计？满足似然方程，只是极大似然估计的必要条件，而非充分条件.一般只有满足下列条件：(1)似然方程的极大值在参数空间Θ

内部达到.(2)似然方程只有唯一解，则似然方程的解必为极大似然估计.因此求出似然方程的解后，要验证它为

的极大似然估计，有时并非易事.但是，对样本分布族是指数族的场合，有非常满意的结果.设X1,X2,…,Xn

是从指数族中抽取的样本，其中指数族的自然形式为其中Θ为自然参数空间，Θ0为Θ的内点集.似然函数为对数似然函数为因此，若样本分布族为指数族，只要似然方程的解属于自然参数空间的内点集，则解必为𝜃的极大似然估计.定理3.3.1若对任何样本X1,X2,…,Xn，方程组在Θ0内有解，则解必唯一且为

的极大似然估计.如二项分布族，Poisson分布族，几何分布族，正态分布族，Gamma分布族等都是指数族，定理的条件都成立.因此似然方程的解就是有关参数的极大似然估计.常见的分布族2从定义出发求当似然函数L(

,x)对参数

不可微时，甚至不连续时，似然方程一般没有意义，不能采用微积分极值方法，此时，需要从定义出发，直接求似然函数的极值点进一步得到参数

的极大似然估计.极大似然估计的不变性设总体X的分布类型已知，其密度函数(或分布列)为f(x,

)，

=(

1,

2,

,

k)为未知参数，参数

=(

1,

2,

,

k)的已知函数为g(

1,

2,

,

k)，函数g具有单值反函数.若分别为

1,

2,

,

k的极大似然估计.则为g(

1,

2,

,

k)的极大似然估计.

例3.3.2设X1,X2

,…,Xn是来自总体X的样本，且X~B(1,p),其中0<p<1是未知参数，x1,x2,…,xn是样本的一个观察值，求参数p的极大似然估计.解：X的分布列为似然函数为三极大似然估计的例题对数似然函数为对p求导并令导函数为0，得到对数似然方程似然函数对数似然方程解方程得p的极大似然估计值为极大似然估计量为注：两点分布中参数p的极大似然估计与矩估计一致.似然函数为：

对数似然函数为：

解:X的分布列为例3.3.3设X1,X2

,…,Xn是来自总体X的样本，且X~P(

),其中

>0是未知参数，x1,x2,…,xn是样本的一个观察值，求参数

和g(

)=e-的极大似然估计.解得

的极大似然估计值为的极大似然估计为对

求导并令导数为零，得对数似然方程为

的极大似然估计量为注：泊松分布中参数

的极大似然估计与矩估计一致.解：

似然函数为例3.3.4设X1,X2,…,Xn是来自总体X的样本，且总体X的密度函数为其中

>−1是未知参数，x1,x2,…,xn是样本的一个观察值，求参数

的极大似然估计.对数似然函数为：

解得

的极大似然估计值为对

求导并令导数为零，得对数似然方程为

的极大似然估计量为解：

似然函数为例3.3.5设X1,X2,…,Xn是来自指数分布总体X的样本，且X的密度函数为其中

>0是未知参数，x1,x2,…,xn是样本的一个观察值，求参数

的极大似然估计.对数似然函数为：

解得

的极大似然估计值为

对

求导并令导数为零，得对数似然方程为

的极大似然估计量为例3.3.6

设X1,X2

,…,Xn是来自总体X的样本，且X~N(μ,σ2),其中μ,σ2为未知参数，，x1,x2,…,xn是样本的观察值，

求参数μ，σ2

，μ

/

σ2及σ

的极大似然估计.解：X的密度函数为似然函数为对数似然函数为对μ,

σ2分别求偏导并令导数为0，得到对数似然方程组解得μ,

σ2的极大似然估计值为μ,

σ2的极大似然估计量为注：正态分布中参数的极大似然估计与矩估计一致.由极大似然估计的不变性，可得μ

/

σ2及σ

的极大似然估计为解：X的密度函数为似然函数为例3.3.7设X1,X2,…,Xn是来自总体X的样本，且X~U[θ1,θ2]，其中θ1<θ2

是未知参数，x1,…,xn是样本的一个观察值.

求参数θ1,θ2的极大似然估计.对数似然方程组为对数似然函数为不能求解设因为，θ1≤x1,···,xn≤θ2，等价于θ1≤x(1),x(n)≤θ2，我们用定义法求参数θ1,θ2的极大似然估计.因此，似然函数为因此，

1越大、

2越小，似然函数L越大.

1,

2的取值范围对于满足θ1≤x(1),x(n)≤θ2，的任意θ1,θ2有即在时，取极大值故θ1,θ2的极大似然估计值为：θ1,θ2的极大似然估计量为：

1,

2

的矩估计为注：均匀分布中参数的极大似然估计与矩估计不同.设x(n)=max(x1,···,xn)X的密度函数为：因为，0≤x1,···,xn≤θ，等价于0≤x(n)≤θ，解:例3.3.8设X1,X2,…,Xn是来自总体X的样本，且X~U[0,θ]，其中θ>0是未知参数，x1,…,xn是样本的一个观察值.

求参数θ的极大似然估计.因此，似然函数为对于满足0≤x(n)≤θ，的任意θ有即L(

)在

=x(n)

时，取极大值故θ的极大似然估计为设x(1)=min(x1,···,xn)，x(n)=max(x1,···,xn)，X的密度函数为：因为，θ≤x1,···,xn≤θ+1，等价于，x(n)－1≤θ≤x(1)，解:例3.3.9设X1,X2,…,Xn是来自总体X的样本，且X~U