极大似然估计课件

§6.2

极大似然估计

极大似然估计是在母体类型已知条件下使用的一种参数估计方法.

它首先是由德国数学家高斯在1821年提出的,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.§6.2极大似然估计极大似然估计是在母体类型已1

先通过一个简单的例子来说明极大似然估计的基本思想一只野兔从前方窜过，是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.

下面我们再看两个例子,进一步体会极大似然法的基本思想.

你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.

这个例子所作的推断已经体现了极大似然法的基本思想.先通过一个简单的例子来说明极大似然估计的基本思想2例1

一个箱子里装有黑、白球共9个,我们从中随机地无放回地抽取三个球，发现恰有2个黑球，请猜一下(估计)箱子里有几个黑球，几个白球.

这是典型的“黑箱”问题.可以这样来分析、推断：随机所以能取得“二个黑球一个白球”这是由箱中球的状况决定的.我们就从这个“信息”出发.例1一个箱子里装有黑、白球共9个,我们从中3

箱中球的状况能取得二个黑球一个白球的(所有可能情形)可能性大小

黑球数白球数P1.1802.273.364.455.546.637.728.819.90010.090箱中球的状况能取得二个黑球一4

比较这些概率的大小，我们可以推断箱中黑球数最有可能是6个(显然，这个推断不是绝对正确的).

这是一种新的逻辑推理方法：根据概率最大，推断“事情”发生的原因是什么.比较这些概率的大小，我们可以推断箱中黑球5例2一批产品，合格品率为p，从中抽得子样(1,1，0,1，1)，其中1为合格品，0为不合格品，试估计这批产品的合格品率p.它是p的一个函数解：该母体ξ服从两点分布：

ξ

01

P1-p

p因此，出现此子样的可能性的大小，是概率例2一批产品，合格品率为p，从中抽得子样它是p的一个函6极大似然估计课件7这时,对一切0<p<1,均有

以上这种选择一个参数使得实验结果具有最大概率的思想就是极大似然法的基本思想.这时,对一切0<p<1,均有以上这种8

极大似然估计原理：

当给定子样观测值x1,x2,…,xn时,定义似然函数（likelihoodfunction）为：

设ξ1,ξ2,…,ξn是取自母体ξ的一个子样，θ为未知参数，子样的联合密度(连续型）或联合分布列(离散型)为

f(x1,x2,…,xn;θ)=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)极大似然估计原理：当给定子样观测值x19

极大似然估计法就是用使L(θ)达到最大值的去估计θ，即

L(θ)看作参数θ的函数，它可作为θ将以多大可能产生子样观测值x1,x2,…,xn的一种度量.则称为θ的极大似然估计（MLE）.极大似然估计法就是用使L(θ)达到最大值的10§6.2

极大似然估计极大似然估计原理：

设ξ1,ξ2,…,ξn是取自母体ξ的一个子样，θ为未知参数，子样的联合密度(连续型）或联合分布列(离散型)为

f(x1,x2,…,xn;θ)定义似然函数（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)§6.2极大似然估计极大似然估计原理：设11

极大似然估计法就是用使L(θ)达到最大值的去估计θ，即

则称为θ的极大似然估计（MLE）.定义似然函数（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)极大似然估计法就是用使L(θ)达到最大值的12求极大似然估计(MLE)的一般步骤:(1)由母体分布写出子样的联合分布列(或联合密度);(2)把子样联合分布列(或联合密度)中的自变量看成已知常数,而把参数θ看作自变量,得到似然函数L(θ);(3)求似然函数L(θ)的最大值点(常常转化为求lnL(θ)的最大值点)，即θ的MLE求极大似然估计(MLE)的一般步骤:(1)由母体分布写出子样132、用上述求导方法求参数的MLE有时行不通，这时要用极大似然估计原理来求.说明：2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然14例1设ξ1,ξ2,…,ξn是取自母体ξ~b(1,p)的一个子样，求参数p的极大似然估计.例1设ξ1,ξ2,…,ξn是取自母体ξ~b(1,p)15注注16极大似然估计课件17极大似然估计课件18最大次序统计量注最大次序统计量注19极大似然估计课件20矩估计量矩估计量21极大似然估计课件22极大似然估计课件23注注24ЦЦ25例3一罐中装有白球和黑球，有放回地抽取一个容量为n的子样，其中有k个白球，求罐中黑球与白球之比R的极大似然估计值.解:设罐中有白球x个，则有黑球Rx个，从而罐中共有(R+1)x个球例3一罐中装有白球和黑球，有放回地抽取一个容量为n的子样26∴先求p的MLE：p的MLE为在前面例2中,我们已求得由前述极大似然估计的不变性不难求得的MLE是∴先求p的MLE：p的MLE为在前面例2中,我们已求得由前述27极大似然估计课件28作业：p.304-3056.7、6.8、6.12作业：p.304-3056.7、6.8、6.129§6.2

极大似然估计

极大似然估计是在母体类型已知条件下使用的一种参数估计方法.

它首先是由德国数学家高斯在1821年提出的,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.§6.2极大似然估计极大似然估计是在母体类型已30

先通过一个简单的例子来说明极大似然估计的基本思想一只野兔从前方窜过，是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.

下面我们再看两个例子,进一步体会极大似然法的基本思想.

你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.

这个例子所作的推断已经体现了极大似然法的基本思想.先通过一个简单的例子来说明极大似然估计的基本思想31例1

一个箱子里装有黑、白球共9个,我们从中随机地无放回地抽取三个球，发现恰有2个黑球，请猜一下(估计)箱子里有几个黑球，几个白球.

这是典型的“黑箱”问题.可以这样来分析、推断：随机所以能取得“二个黑球一个白球”这是由箱中球的状况决定的.我们就从这个“信息”出发.例1一个箱子里装有黑、白球共9个,我们从中32

箱中球的状况能取得二个黑球一个白球的(所有可能情形)可能性大小

黑球数白球数P1.1802.273.364.455.546.637.728.819.90010.090箱中球的状况能取得二个黑球一33

比较这些概率的大小，我们可以推断箱中黑球数最有可能是6个(显然，这个推断不是绝对正确的).

这是一种新的逻辑推理方法：根据概率最大，推断“事情”发生的原因是什么.比较这些概率的大小，我们可以推断箱中黑球34例2一批产品，合格品率为p，从中抽得子样(1,1，0,1，1)，其中1为合格品，0为不合格品，试估计这批产品的合格品率p.它是p的一个函数解：该母体ξ服从两点分布：

ξ

01

P1-p

p因此，出现此子样的可能性的大小，是概率例2一批产品，合格品率为p，从中抽得子样它是p的一个函35极大似然估计课件36这时,对一切0<p<1,均有

以上这种选择一个参数使得实验结果具有最大概率的思想就是极大似然法的基本思想.这时,对一切0<p<1,均有以上这种37

极大似然估计原理：

当给定子样观测值x1,x2,…,xn时,定义似然函数（likelihoodfunction）为：

设ξ1,ξ2,…,ξn是取自母体ξ的一个子样，θ为未知参数，子样的联合密度(连续型）或联合分布列(离散型)为

f(x1,x2,…,xn;θ)=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)极大似然估计原理：当给定子样观测值x138

极大似然估计法就是用使L(θ)达到最大值的去估计θ，即

L(θ)看作参数θ的函数，它可作为θ将以多大可能产生子样观测值x1,x2,…,xn的一种度量.则称为θ的极大似然估计（MLE）.极大似然估计法就是用使L(θ)达到最大值的39§6.2

极大似然估计极大似然估计原理：

设ξ1,ξ2,…,ξn是取自母体ξ的一个子样，θ为未知参数，子样的联合密度(连续型）或联合分布列(离散型)为

f(x1,x2,…,xn;θ)定义似然函数（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)§6.2极大似然估计极大似然估计原理：设40

极大似然估计法就是用使L(θ)达到最大值的去估计θ，即

则称为θ的极大似然估计（MLE）.定义似然函数（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)极大似然估计法就是用使L(θ)达到最大值的41求极大似然估计(MLE)的一般步骤:(1)由母体分布写出子样的联合分布列(或联合密度);(2)把子样联合分布列(或联合密度)中的自变量看成已知常数,而把参数θ看作自变量,得到似然函数L(θ);(3)求似然函数L(θ)的最大