续极大似然估计

1、(1) (0 ,1)XzNn X -2 t = t(n - 1)S/n （ ）2222(1)(3) (1)nSn 2211122222/4 F=(1,1)/SF nnS（ ）二、估计量的评选标准二、估计量的评选标准一一 、参数的点估计、参数的点估计 参数估计参数估计三、参数的区间估计三、参数的区间估计 问题：现有一名射击运动员，他的命中率可用其击中的概问题：现有一名射击运动员，他的命中率可用其击中的概率表示，假定其命中率要么是率表示，假定其命中率要么是0.80.8，要么是，要么是0.2,0.2,现试射击一现试射击一次，结果命中，命中率是次，结果命中，命中率是0.80.8还是还是0.20.2？问

2、题：如果射击问题：如果射击5 5次，仅前三次命中，次，仅前三次命中，p p有又该取多少呢？有又该取多少呢？合理的答案是合理的答案是: 0.8如果没有命中率可选项如果没有命中率可选项,取多少合理呢取多少合理呢?合理的答案是合理的答案是: p=1 A, (A)PP事事件件 发发生生了了越越大大越越合合理理，因因此此取取 的的极极大大值值2233(1)2(1)0dPppppdp 令令 3得得到到（1 1- -p p) )= =2 2p p p p= =3 3/ /5 5分析分析A 前前三三次次命命中中，后后两两次次未未中中做做为为事事件件32( )(1) P App 小概率事件在一次试验中应该不发生

3、小概率事件在一次试验中应该不发生概率试验中某事件发生了，我们就有理由认为，概率试验中某事件发生了，我们就有理由认为，该事件发生的概率应该是大的该事件发生的概率应该是大的.常理：常理：根据这一思路进行参数估计的方法称为根据这一思路进行参数估计的方法称为极大似然估计极大似然估计极大似然估计法极大似然估计法(1).( ; ), XP Xxp x 若若总总体体 属属离离散散型型，其其分分布布律律11, nnxxXX又又设设是是的的一一个个样样本本值值；11, nnXXxx易易知知样样本本取取的的概概率率，亦亦即即事事件件 的的形形式式为为已已知知， 为为待待估估参参数数，是是 可可能能取取值值的的范范

4、围围。11, nnXxXx 发发生生的的概概率率为为：11( )(,; )(; ),.(1.1) nniiLL xxp x 11( )(,; )(; ),.(1.1) nniiLL xxp x ( ) L 它它是是 的的函函数数。称称为为样样本本的的似似然然函函数数。11,; (,; )nnxxL xx ：固固定定挑挑选选使使概概率率达达到到最最大大值值的的参参数数 ，作作为为 的的估估计计值值，即即取取极极大大似似然然估估计计法法使使得得：11(,; )max (,; )(1.2) nnL xxL xx 11,(,); nnxxxx 与与有有 关关 ， 记记 为为称称 其其 为为 参参 数数

5、的的 极极 大大 似似 然然 估估 计计 值值。1(,) nXX 称称为为参参数数 的的极极大大似似然然估估计计量量。(2).( ; ), ;Xf x 若若总总体体 属属连连续续型型，其其概概率率密密度度的的形形式式已已知知， 为为待待估估参参数数11111, (,)(,),nnnnnxxXXXXxxdxdxn设设是是相相应应的的一一个个样样本本值值，则则随随机机点点落落在在的的邻邻域域（边边长长分分别别为为的的 维维立立方方体体）内内的的概概率率近近似似为为：1(; ) (1.3) niiif xdx (1.3) 我我们们取取 的的估估计计值值 ，使使概概率率取取到到最最大大值值。 iidx

6、 但但不不随随 而而变变，故故只只需需考考虑虑：11( )(,; )(; ), (1.4) nniiLL xxf x ( ) L 的的最最大大值值，这这里里称称为为样样本本的的似似然然函函数数。11 (,; )max (,; ) nnL xxL xx 若若1(,) nxx 则则称称为为 的的极极大大似似然然估估计计值值。1(,) nXX 称称为为 的的极极大大似似然然估估计计量量。11( )(,; )(; ),nniiLL xxf x 11 (,; )max (,; ) nnL xxL xx 若若1(,) nxx 则则称称为为 的的极极大大似似然然估估计计值值。1(,) nXX 称称为为 的的

7、极极大大似似然然估估计计量量。( ; ),( ; ) ( ) 0.p xf xdLd 一一般般，关关于于 可可微微，故故 可可由由下下式式求求得得：11( )(,; )(; ),nniiLL xxp x 似似然然函函数数定义归纳定义归纳( )ln ( ) ln ( )0. (1.5)LLdLd 又又因因与与在在同同一一 处处取取到到极极值值，因因此此 的的极极大大似似然然估估计计 也也可可从从下下述述方方程程解解得得： 若若母母体体的的分分布布中中包包含含多多个个参参数数，ln0,1, .0,1, . iiLLikik 即即可可令令或或1, kk 解解 个个方方程程组组求求得得的的极极大大似似

8、然然估估计计值值。设设X X的分布律的分布律x xY Y1 2 31 2 3 1-21-2 0 0今有样本今有样本 1 1，1 1，1 1，3 3，2 2，1 1，3 3，2 2，2 2，1 1 2 2，2 2，3 3，1 1，1 1，2 2求求的矩估计和最大似然估计的矩估计和最大似然估计解：解：( )12 (1 2 ) 3 3 3 E 128(1+1+1+3+2+1+3+2+2+1+ 2+2+3+1+1+2)=1616X 28() 33 16E XX 令令即即 2048161( )() iILP Xx133(1 2 )(1 2 )(1 2 ) 123131213(1 2 ).3.(1 2 )

9、 ( 2)dLd11300 232dLd令得到 或者 或者 13 32显然仅有适合题意11.(1,);, nXBpXXX例例设设是是来来自自 的的一一个个样样本本，试求参数试求参数p p的极大似然估计量。的极大似然估计量。概率分布的表示方法概率分布的表示方法XP011-PP1(1),0,1; xxP Xxppx 11.(1,);, nXBpXXX例例设设是是来来自自 的的一一个个样样本本，试求参数试求参数p p的极大似然估计量。的极大似然估计量。1, nxxX解解：设设是是一一个个样样本本值值。 的的分分布布律律为为：1(1),0,1; xxP Xxppx 故似然函数为故似然函数为1111(

10、)(1)(1), nniiiiiinxnxxxiL ppppp （11ln( )()ln()ln(1). nniiiiL pxpnxp 而而11ln ( )0. 1nniiiixnxdL pdppp 令令1 1 pnniipxx 解解得得 的的极极大大似似然然估估计计值值1 1 pnniipXX 的的极极大大似似然然估估计计量量为为-它与矩估计量是相同的。它与矩估计量是相同的。2212.( ,); , nXNxxX 例例设设为为未未知知参参数数，是是来来自自 的的一一个个样样本本值值，2, 求求：的的极极大大似似然然估估计计量量。 X解解： 的的概概率率密密度度为为：22211( ;,)exp

11、() 22f xx 似然函数为似然函数为：222111( ,)exp() 22niiLx 22211lnln(2 )ln()() 222niinnLx 212222211ln00 n1ln-()002(2)niiniiLxnLx 令令即即：12211 1 ()niiniixxnXXn 解解得得：休息片刻休息片刻)0(,00,1);(: elsexexfXx今取得一组样本数据如下，问如何估计今取得一组样本数据如下，问如何估计？16162929505068681001001301301401402702702802803403404104104504505205206206201901902102

12、1080080011001100某厂生产的电子管的使用寿命某厂生产的电子管的使用寿命 X X （小时（小时) ) 服从指数分布服从指数分布 分析分析 可用两种方法：矩法估计可用两种方法：矩法估计 和极大似然估计和极大似然估计. .1 1）矩法估计）矩法估计e1)(0 dxxXExXX. 令令则则可可得得 的的矩矩法法估估计计量量为为： 代代入入具具体体数数值值可可得得 的的估估计计值值为为：1115723318(). 18niixn 小小 时时2 2）极大似然估计）极大似然估计1.1. 构造似然函数构造似然函数 当当x xi i0,0,（i i=1,2, ,=1,2, ,n n) ) 时，似然

13、函数为时，似然函数为 111( ,.,; )inxniL xxe（） niixnL11lnln2.2. 取对数取对数3.3. 建立似然方程建立似然方程. 01ln12 niixndLd11niixne5. 得得M.L.E量量：,11XXnnii 代代入入具具体体数数值值可可得得 的的估估计计值值为为：4. 求解得求解得M.L.E值值,11xxnnii ).(318572318111小小时时 niixn1.1.写出似然函数写出似然函数12121(,.,; )(;,.,)nnimiL xxxf x 121lnln(;,.,)nimiLf x 2. 2. 对似然函数取对数对似然函数取对数)m,.,j

14、(,Llnj210 3. 3. 对对 j j ( (j j = =1 1, , m m) )分别求偏导分别求偏导, ,建立似然方程建立似然方程( (组组) )m,., 1解得解得m,., 1易出错点：似然函数的构造过程中，连乘号的运用易出错点：似然函数的构造过程中，连乘号的运用分别作为分别作为 的极大估计值的极大估计值. .13. , ; , nXU a b a bxx例例设设未未知知，是是一一个个样样本本值值，, a b求求：的的极极大大似似然然估估计计量量。(1)1( )1min(,),max(,),nnnxxxxxx 解解：设设X X的概率密度为：的概率密度为：1,;( ; , ) 0

15、, axbf x a bba 其其它它1(1)( ), nnaxxbaxxb因因为为等等价价于于(1)( )1,;()( , ) 0 , nnaxbxbaL a b 其其它它(1)( ), naxbxa b 对对于于满满足足的的任任意意有有( )(1)11( , ) ()()nnnL a bbaxx (1)( )( )(1)( , ),() nnnL a baxbxxx 即即：在在时时，取取最最大大值值, a b故故的的极极大大似似然然估估计计值值为为：(1)( )min,max, iniaxxbxx , a b故故的的极极大大似似然然估估计计量量为为：min,max, iiaXbX例例5 矩

16、估计与似然估计不等的例子矩估计与似然估计不等的例子设总体概率密度为设总体概率密度为., 0; 10,) 1(),(其他xxxf求参数求参数的极大似然估计的极大似然估计, 并用矩法估计并用矩法估计.解解 1) 极大似然估计法极大似然估计法1. 构造似然函数构造似然函数11( 1),01;(,.,;) 0,nniiinxxL xx 其其它它niixnL1ln) 1ln(ln2. 取对数：取对数：当当 0 xi1, (i=1,2, ,n) 时时3. 建立似然方程建立似然方程, 0ln1ln1niixndLd4. 求解得求解得M.L.E. 值为值为, 1ln1niixn5. M.L.E. 量为量为.

17、1ln1niiXn211001()(1)(1), 22xE Xxx dx 1X, 2 令令可可得得 的的矩矩法法估估计计量量为为1212. 11XXX ( ), ( )( )uuuuu 性性质质： 设设 的的函函数数具具有有单单值值反反函函数数，是是 的的极极大大似似然然估估计计；则则是是的的极极大大似似然然估估计计。22211() niiXXn例：是的极大似然估计2222(),(0) uuuu有有单单值值反反函函数数2211() niiXXn 故故是是 的的极极大大似似然然估估计计返回主目录iiixxNxiNP XxCp q 111211( ,; )()nniiiiiiiinnxnNxxxN

18、 xxnNNiiL x xx pC p qCpq111lnln()()ln()ln(1)innnxNiiiiiLCxpnNxp11ln01nniiiixnNxdLdppp11niiXpxnNN由由得得() X1, ( ; ; )0 , ,xexf x 设设随随机机变变量量 的的密密度度函函数数其其他他求求的的极极大大似似然然估估计计量量1()/:L( ; , )niixnxe 解解1, 2,xxxn 当当取取定定时时的的值值在在(1)12=min(,)nxx xx ,L=maxL( , ) 时时 ,代代入入似似然然函函数数 并并取取对对数数 得得到到(1)11ln ( , )ln()niiLnxx (