最大似然估计法实用教案

1、会计学1最大似然估计最大似然估计(gj)法法第一页，共22页。 极大极大(j d)似然法的基本思想似然法的基本思想 先看一个简单先看一个简单(jindn)例子：例子：一只野兔一只野兔(yt)从前方窜从前方窜过过 .是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起某位同学与一位猎人一起外出打猎外出打猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 .第1页/共22页第二页，共22页。选择选择(xunz)一个参数使得实验结果具有最大概率一个参数使得实验结果具有最大概率第2页/共22页第三页，共22页。 极大似然估计极大似然估计(gj

2、)原理：原理： 当给定样本当给定样本X1,X2,Xn时，定义时，定义(dngy)似然函数为：似然函数为： 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本，样本的联合密度，样本的联合密度(连续型）或联合概率函连续型）或联合概率函数数(离散型离散型)为为 f (X1,X2,Xn; ) . )( Lf (X1,X2,Xn; ) 第3页/共22页第四页，共22页。 似然函数似然函数(hnsh)：)(max)( LL 极大似然估计法就是用使极大似然估计法就是用使 达到最达到最 大值的大值的 去估计去估计 . )( L 称称 为为 的极大似然估计（的极大似然估计（MLE）. )( Lf (

3、X1,X2,Xn; ) 看作参数看作参数 的函数，它可作为的函数，它可作为 将以多将以多大可能产生样本值大可能产生样本值X1,X2,Xn的一种度量的一种度量 .)( L 第4页/共22页第五页，共22页。极大极大(j d)似然估似然估计法计法可能取值的范围。可能取值的范围。是是为待估参数，为待估参数，的形式为已知，的形式为已知，属离散型，其分布律属离散型，其分布律若总体若总体 ),;().1(xpxXPX的的联联合合分分布布律律：的的样样本本；则则是是来来自自设设nnXXXXX,11 niixp1);( 的的一一个个样样本本值值；是是又又设设nnXXxx,11发生的概率为：发生的概率为：事件事

4、件的概率，亦即的概率，亦即取取易知样本易知样本,1111nnnnxXxXxxXX 第5页/共22页第六页，共22页。)1 . 1(., );();,()(11 niinxpxxLL。似似然然函函数数称称为为样样本本的的的的函函数数。它它是是)( L使得：使得：即取即取的估计值，的估计值，作为，作为达到最大的参数达到最大的参数挑选使概率挑选使概率定定由极大似然估计法：固由极大似然估计法：固 );,(;, 11nnxxLxx)2 . 1();,(max);,(11 nnxxLxxL 。极大似然估计值极大似然估计值的的称其为参数称其为参数有关，记为有关，记为与与 );,(,11nnxxxx。极极大大

5、似似然然估估计计量量的的称称为为参参数数 ),(1nXX 第6页/共22页第七页，共22页。;),;().2(为待估参数为待估参数的形式已知，的形式已知，属连续型，其概率密度属连续型，其概率密度若总体若总体 xfX的的联联合合密密度度：则则nXX,1 niixf1);( 似为：似为：维立方体）内的概率近维立方体）内的概率近的的的邻域（边长分别为的邻域（边长分别为落在落在机点机点的一个样本值，则随的一个样本值，则随是相应是相应设设ndxdxxxXXXXxxnnnnn,),(),(,11111)3 . 1( );(1iniidxxf 取到最大值。取到最大值。，使概率，使概率的估计值的估计值我们取我

6、们取)3 . 1( 第7页/共22页第八页，共22页。而变，故只需考虑：而变，故只需考虑：不随不随但但 iidx)4 . 1( , );();,()(11 niinxfxxLL 。似似然然函函数数称称为为样样本本的的的的最最大大值值，这这里里)( L);,(max);,( 11 nnxxLxxL 若若。极极大大似似然然估估计计值值的的为为则则称称 ),(1nxx 。极极大大似似然然估估计计量量的的为为称称 ),(1nXX . 0)( );(),;( ddLxfxp可由下式求得：可由下式求得：可微，故可微，故关于关于一般，一般，第8页/共22页第九页，共22页。(1.5) . 0)(ln )(l

7、n)( LddLL也可从下述方程解得：也可从下述方程解得：大似然估计大似然估计的极的极处取到极值，因此处取到极值，因此在同一在同一与与又因又因个个参参数数，若若母母体体的的分分布布中中包包含含多多., 1, 0ln., 1, 0kiLkiLii 或或即可令即可令的的极极大大似似然然估估计计值值。个个方方程程组组求求得得解解kk ,1第9页/共22页第十页，共22页。例例1、设一批产品、设一批产品(chnpn)中有次品和正品。为了中有次品和正品。为了估计次品率估计次品率P，从这批产品，从这批产品(chnpn)中抽取容量为中抽取容量为n的样本的样本X1, X2, ,Xn, 则有则有PXi =0=1

8、-p PXi =1=p的的分分布布律律为为：iXnixpppxfixxiii, 2 , 1; 1 , 0,)1(;1 对于样本对于样本(yngbn)一次观测值一次观测值x1, x2, ,xn ，似然函数为，似然函数为,)1()1(),(1111;1 niiniiiixnxxxninpppppxxL第10页/共22页第十一页，共22页。现抽取一容量现抽取一容量(rngling)为为10的样本，其的样本，其观测值为观测值为（x1, x2, ,xn ）=（1，1，0， ，0）对这一样对这一样(yyng)本观测值，似然函数为本观测值，似然函数为,)1(),(82;1pppxxLn 0),(;1 pxx

9、Ldpdn由微分由微分(wi fn)法，可令法，可令得得0)1(8)1(2728 pppp2 . 0 , , ppp得得并记为并记为解出解出第11页/共22页第十二页，共22页。求参数的最大似然估计求参数的最大似然估计(gj)(gj)的步骤：的步骤： ),;( ),;,(),(12121121 nikiknkxfxxLL （1 1）写出似然函数）写出似然函数(hnsh)(hnsh)（2 2）取对数）取对数(du sh)(du sh) nikikxfL12121),;(ln ),(ln 第12页/共22页第十三页，共22页。（3 3）将对数似然函数对各参数）将对数似然函数对各参数(cnsh)(c

10、nsh)求求偏导数并令其为零，得对数似然方程组。若偏导数并令其为零，得对数似然方程组。若总体分布中只有一个未知参数总体分布中只有一个未知参数(cnsh)(cnsh)，则为一个方程，称对数似然方程。则为一个方程，称对数似然方程。（4 4）从方程组中解出）从方程组中解出 1 1， 2 2， k k，并记为，并记为 ),(),(),(1122111nkknnXXXXXX 第13页/共22页第十四页，共22页。的的一一个个样样本本，是是来来自自设设例例XXXpBXn,);, 1(. 21试求参数试求参数(cnsh)p(cnsh)p的极大似然估计量。的极大似然估计量。的的分分布布律律为为：是是一一个个样

11、样本本值值。解解：设设Xxxn,1; 1 , 0,)1(1 xppxXPxx故似然函数故似然函数(hnsh)(hnsh)为为,)1()1()(1111 niiniiiixnxxxnipppppL).1ln()(ln)()(ln11pxnpxpLniinii 而而. 01)(ln11 pxnpxpLdpdniinii令令p206第14页/共22页第十五页，共22页。xxpnii 1n1p 的极大似然估计值的极大似然估计值解得解得XXpnii 1n1p 的极大似然估计量为的极大似然估计量为第15页/共22页第十六页，共22页。的一个样本值，的一个样本值，是来自是来自为未知参数，为未知参数，设设例例

12、XxxNXn,);,(. 3122 的的极极大大似似然然估估计计量量。求求：2, 的概率密度为：的概率密度为：解：解：X)(21exp21),;(222 xxf似然函数似然函数(hnsh)为：为： niixL1222)(21exp21),( niixnnL1222)(21)ln(2)2ln(2ln p207第16页/共22页第十七页，共22页。 0)()(212n-01 0ln0ln21222122 niiniixnxLL即：即：令令 0)(n02121 niiniixnx整理得整理得第17页/共22页第十八页，共22页。 niixn11 解得：解得： niiXXn122)(1 XXnnii

13、11 代入，解得代入，解得将将X 第18页/共22页第十九页，共22页。是是一一个个样样本本值值，未未知知，设设例例nxxUX,;, 0. 41 的极大似然估计量。的极大似然估计量。求求 其它其它 , 0n),1,2,(i ;0 ,1);,(21 innxxxxL解：似然函数解：似然函数(hnsh)为为 其它其它 , 0n),1,2,(i ;max ,1 inx当当L0时，有时，有lnL=-nln p210第19页/共22页第二十页，共22页。对对 求导，并令其为零，得求导，并令其为零，得0 n对数似然函数无解，只能应用最大似然法基本对数似然函数无解，只能应用最大似然法基本思想，选择思想，选择的最小可能的最小可能(knng)值，使最大值，使最大似然函数达到最大。似然函数达到最大。max1ixni 即即第20页/共22页第