第八章(第节极大似然估计)

1、第八章 参数估计第一节参数的点估计二、极大似然估计法 极大似然估计最早是由高斯于1821 年提出，但一般将之归功于英国 统 计 学 家 Fisher,R.A, 因 为Fisher,R.A 在 1922年证明了极大似然估计的性质，并使得该方法得到了广泛的应用。这里介绍估计的另一种常用方法极大似然估计法。先看一个简单的例子:某位同学与一位猎人一起外出打猎, 一只野兔从前方窜过. 只听到一声枪响, 野兔应声倒下. 如果要你推测, 是谁打中的呢？你会如何想呢？你就会想, 只发一枪便打中, 猎人命中的概率一般大于这位同学命中的概率. 看来这一枪有极大的可能是猎人射中的.这个推断很符合人们的经验事实， 这

2、里的 “极大的可能”就是 “极大似然”之意。这个例子所作的推断已经体现了极大似然法的基本思想.极大似然法的基本思想在社会思维意识中常有所体现。例如某地发生了一个疑难案件，警察欲破案或民众推测嫌疑人，一般是将重点集中在作案可能性较大的可疑人身上。为了说明极大似然估计的原理，我们先来考察一个简单的估计问题。设袋中装有许多白球和黑球。只知两种球的数目之比为3:1 ， 试判断是白球多还是黑球多。显然，从袋中任取一球为黑球的概率p是1或者3,如果是L则袋中 444白球多，如果是3,就是黑球多。现 4在我们从袋中有放回的任取 3只球, 那么黑球数目X服从二项分布：PX x;p C；px(1 p)3x,1

3、3x 0,123;p 1,34 4其中p为取到黑球的概率.从常识上可以接受这样的判断：(1)若取出的3只中有0只黑 球，3只白球，则我们以较大的把握认为 袋中白球多，应认为是从黑球概率、，1 一为p 1的总体中取来的.4(2)若取出的3只中有1只黑球，2只白球，则我们以较大的把握认为袋中白球多,应认为是从黑球概率为p 1的总体中取来的；4(3)若取出的3只中有2只黑球，1只白球，则我们以较大的把握认为 袋中黑球多，应认为是从黑球概率 为p 3的总体中取来的；4(4)若取出的3只中有3只黑球，0只白球，则我们以较大的把握认为 袋中黑球多，应认为是从黑球概率 为p 3的总体中取来的.4分别计算p

4、1和p '时) 44PX x的值，列于表81.x0123p 1时,PX x的值427642764964164p 3时,PX x的值416496427642764由于样本来自于总体，因而应 很好的反映总体的特征。如果样本中的黑球数为 0,就应当估计p为1,而不估计为3,（这是44常识判断），同时注意到有1 2731PX 0;p -PX 0;p -,4 644 64正是选的使 P X 0; p达到最大值 的p.这说明，黑球数x 0的样本来自于p 1的总体比来自于p 3的总体的44可能性要大，因而取1作为p的估计 4更合理.类似的，x 1是也取1作为p的4估计。当x 2,3时取3作为p的估计

5、。4即得到p的估计量为;1 3, ,O 2X X, ,1-43-4x)即若取出的3只球中有x只黑球, 则总体中任取一只为黑球的概率为-,X 0,1?(x)3；3, X 2,34即认为是从任取一只为黑球的概率为1, X 0,1做x) 43, x 2,34的总体中来的.从表中看出成立不等式PX x;?(x) PX x;p,1 3x 0,1,2,3； p -,4 4也就是说，根据样本的具体情况 选择？，使得该样本发生的概率最大。即对每个(固定)x ,选取？(x), 使得PX x; p?( x) PX x; p 其中p是不同于？(x)的另一值。这就 是极大似然估计法的基本思想。极大似然估计的问题如下一

6、般地，设总体X的分布函数为 F (x; ) ，其中 是未知参数(,不同 , 总体也不同) 。Xi,X2, ,Xn为来自于总体X的样本，若在对总体的抽样中，得到样本值 ( 观察值, 发生的事件) x1 , x2 , , xn。问 x1,x2, ,xn, 是从哪个总体中抽 出的？ ( 即 应取多少？)直观的想法是：小概率事件在一次试验中一般不会发生，而大概率事件在一次试验中常常会发生；反之，如果在一次实验中，某个随机事件发生了，若问是什么样的情况引起的，我们往往会认为极有可能是使这个随 机事件发生的概率最大的那个情况 所引起的。下面，我们分连续型总体和离散型总体两种情况进行讨论。1、 连续型总体参

7、数的极大似然估计一般地，设总体X的概率密度为 f （x; ） ， 其中 是未知参数（, 不同，总体也不同）。Xi,X2, ,Xn为来自 于总体X的样本，若已抽取得到 Xi,X2, ,Xn为样本Xi,X2, ,Xn的样本 值 （ 观察值 , 发生的事件）,问 X1,X2, ,Xn, 是从哪个总体中抽出的？ （ 即 应取多少？）我们来考察(Xi，X2，,Xn)落在 点( , X2，, 4)的邻域内的概率P| X1X1 | ；，,|Xn Xn | ；P| XiXi |i 1nX)dtixihXf(ti；i 12Xi。nnnf(Xi； ) Xi (f (Xi；)i 1i 1i 1从直观上讲，既然在一次

8、试验 中得到了观察值(X1，X2，,Xn),那么可 以认为样本落在(XL, ,Xn)的邻域 里这一事件是较易发生的，具较大 的概率.所以就应是从使得样本落 在点(X1,X2, ,Xn)的邻域内的概率达 到最大的总体中抽取的，这样才能在一次抽取中以较大可能性取到 (X1,X2, ,Xn).即选取使这一概率达到 最大的参数作为真参数的估计.极大似然法就是选取总体参数的估计值？，使得样本(Xi，X2，,Xn) 落在点(X,X2, ,Xn)的邻域内的概率 nn(f(Xi； )Xi达到最大，也就是i 1i 1n使f(Xi；)达到最大值.i 1记nL( ) L(Xi,X2, ,Xn； )f (Xi；),i

9、 1称 L( ) L(x,Xz， ,Xn；)为以然函数 .定义 1 如果 L( ) L(X1,X2, ,Xn；) 在？达到最大值，则称？是的极大 似然估计。即如果选取使下式L( ?) max L()成立的？作为的估计，则称？是的极大似然估计。因此，求总体参数的极大似然 估计值？就是求似然函数的最大值诃题。根据微积分的知识，要使 L()达 到最大值，若L()可导，？必满足0L( ) 0 。d通常用简化求法：因为L与lnL 在同一值处达到最大，？ 也可由lnL( ) 0 d求得，这在计算上常常带来方便.多参数情形的极大似然估计若总体X的概率密度为 f(X： 1, 2, k)其中 1, 2, 一为未

10、知数，X1,X2, ,Xn 为样本 X1,X2, ,Xn 的 样本值(观察值),此时似然函数为nL(Xi,X2,L ,Xn； 1, 2,L , k)f(Xi； i, 2,L , k)i 1(8.4)求解方程组ln L( 1,0, i 1,2, ,k即可得到极大似然估计 ？，？，？I , 2 , k数学上可以严格证明，在一定条件下，只要样本容量n足够大，极 大似然估计和未知参数的真值可相 差任意小。例5设总体 X服从参数为的指数分布，即有概率密度f(x,)xe , x00, x00)又X,X2, ,Xn为来自于总体X的样 本值，试求的极大似然估计.解似然函数为nnXiLn _ Xin i iL(

11、Xi，X2，L ,Xn； ) e ei 1n于是 In L nlnXii 1d ln L n dXi , i 1方程的根为d In LdnXiXi经验证，lnL()在1处达x到最大值，所以“1是 的极大似然x估计。例6设XL ,Xn为正态总体N( , 2)的一个样本值，求：和2的极大似然估计；(2) PX t的极大似然估计.解(1)似然函数为2 n 112L(Xi，L ,Xn； ,)exp(x )i 1 22n1 : 一1 n , V1Z2 exp(Xi)，2 2 i1n21 n2lnL nln(2 ) (x ), 22 i1解方程组In L 1(Xi )0ln L2n 1 n。F (Xi22

12、 i1)2(Xi1 n XiXn i 1?)2这就是和2的极大似然估计 即 L( ?, ?2) maX L( , 2).(2)因为 PX t F(t)(t-),由(1)知道 似然函数L( , 2)在(?,?2) 处达到最大值，(t一)中的参数取?,?时，即取(t-)为(L?)时，似然函数L( , 2) 在(?,？2)处达到最大值，所以PX t的极大似然估计为t ?(下).由此可见，对于正态总体，的矩估计和极大似然估计是相同的， 都是样本均值。2的矩估计是样本方差n(Xi X)2A 2 i n一(x n ii在有些书中,极大似然估计是2 n 1 2x) s。n定义样本方差为*2ins一n ii(

13、Xi x)2 .例7设总体X的概率密度为(X ) e f(X,) 八 0,又Xi, X2,同为来自于总体X的样本 值，求参数的极大似然估计。解令 Xi* min Xi, ,4,似然函数L( ) L(Xi,X2, ,Xn；)f（Xi；）*Xi0,*Xi当X*时，L()是的单调增函数,*L( ) L(Xi)；*.当Xi 时，L（ ） 0。人于是L()在Xi*处达到最大值,所以的极大似然估计minx,区.例 设总体X的概率密度为1 f（X,）一0,0 X其它0）又Xi,X2, ,Xn为来自于总体X的样 本值，求参数的极大似然估计。*解 令 Xn maXXi,L ,Xn,似然函数L（ ） L（Xi,X

14、2, ,Xn；）n f(xi; ) i 11*, xn,*0，xn当xn时，L()是 的单调减函数，*L( ) L(Xn)；*当Xn 时，L( ) 0。八于是L()在 处达到最大值， 所以的极大似然估计八maxx"L ,Xn.实例：估计某路公交车几分钟发 一趟。2、离散型总体参数的极大似然 估计以上介绍了连续总体的极大似 然估计，现来看离散型的总体的极 大似然估计。一般地，若总体X是离散型的随 机变量，有分布律(分布列)aia2akp（a） p（a2； ）p（ak；）是未知参数（）【离散型】设Xi,X2, ,Xn为来自于 总 体 X 的 样 本 值 （Xi aa a , i 1,2,

15、 ,n）,则似然函数为L（ ） L（Xi,X2, ,Xn；）P（Xi； ）p（X2； ）p（Xn； ）|.A如果有一个统计量（Xi，X2，,Xn）,使AL （Xi，X2， ,Xn ）supL（Xi,X2, ,Xn；）,A则称（Xi，X2，,Xn）是的极大似然估 计量。例8设总体X服从参数为的泊 松分布，即X有分布列（分布 律）kp(k; ) PX k -e ,k 0,1,2, k!是未知参数，(0,),试求的极大似然估计。解样本的似然函数为L( ) L(X1,X2, ,Xn；)P(X1； )p(X2； )P(Xn；)x1X2Xne e e x!x2!Xn!n Xi i 1 n e Xi! X2

16、!Xn!Xi 0,1,2, , i 1,2, ,n .In L( ) In L(x,X2, ,Xn；) nnn ( xi)lnln(xi!),i 1i 1ln L(X1,X2, ,Xn；)n 1( X)一,i 1从上L 0可以解出nXi X。1所以Xi0时,21nL0,L(Xi,X2,1,Xn；-nX)supL(x,X2,Xn,(*)这时Xi。时,XiX2L(X1,X2,Xn一 ,1 nL(X1,X2,L ,Xn;- n i 1Xi)L(Xi,X2,L,Xn；0)1 supL(X1,X2,L ,Xn； ),(*)由(*),(*)知，an(X1 , X2 , ,Xn) X 是的极大 n i 1似然估计。X0123P22 (1)21 2例11设总体X的概率分布为其中1是未知参数，利用总体X的如下样本值3,1,3,031,2,3求的矩估计值和最大似然估计值。解因为EX 02 1 2 (1) 22 3 (1 2 )3 4，令EX X,即3 4 X,于是得矩估计量为？ 341用样本均值X(3 1 3031 2 3) 2,代入， 8得到的矩估计值为? 3 2 1 025 ：4 4对于给定的样本值，似然函数为【一个0,两个1, 一