极大似然估计（课堂PPT）

1、1第七章第二节极大似然估计极大似然估计极大似然估计极大似然估计 2 极大似然法的基本思想极大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 . .是谁打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎 . .如果要你推测，如果要你推测，你会如何想呢你会如何想呢? ?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . .3基本思想基本思想: :,1nAA 若事件若事件Ai i 发生了发生了, ,则认为事件则认为事件Ai在这在这n个可能结果个可能结果中出现的概率最大。中出现的概率最大。极大似然估计就是在一次抽样中极

2、大似然估计就是在一次抽样中, ,若得到观测值若得到观测值nxx,1则选取则选取),(1nxx 若一试验有若一试验有n个可能结果个可能结果现做一试验现做一试验, ,作为作为的估计值的估计值。),(1nxx 使得当使得当时时, ,样本出现的概率最大样本出现的概率最大。4极大似然估计法极大似然估计法: :nXX,1设是的一个样本值nxx,1);,()(1 nxxLL , );(1Dxpnii),( iixpxXP nXX,1, );(1 niixp ,11nnxXxX 事件 发生的概率为为 的函数， ),( ixp形式已知(如离散型) X的分布列为的联合分布列联合分布列为：为样本的似然函数样本的似然

3、函数。121( ; )(, ) (, )(, ),ninip xp xp xp xD定义定义7.15);,(max);,(11nDnxxLxxL即取 使得： 与nxx,1有关, 记为);,(1nxx 称为参数的极大似然估计值极大似然估计值。),(1nXX 称为参数的极大似然估计量极大似然估计量。);,(1 nxxL达到最大的参数， 作为的估计值。现从中挑选使概率);,()(1 nxxLL 样本的似然函数6若总体X属连续型, 其概率密度Dxp),;(的形式已知，为待估参数； 则nXX,1的联合密度：niixp1);()();,(1 LxxLn 0)( ddL);(xp一般，关于可微，故可由下式求

4、得：0)(lnLdd)()(l LnL与与因此 的极大似然估计也可从下式解得：在同一点处取极值。7( )ln ( ) ln ( )0. LLdLd与处计从：又因在同一取到极值，因此 的极大似然估也可下述方程解得个参数，若母体的分布中包含多., 1, 0kiLi即可令的极大似然估计值。个方程组求得解kk,1., 1, 0lnkiLi或8; 1 , 0,)1 (1ixxixppxXPii故似然函数为)(pL)(lnpL例例1 1 设nXXpBX,);, 1 (1是来自总体X的一个样本， 试求参数 p 的极大似然估计值.解解：设nxx,1是一个样本值。 X的分布列为：而iixxnipp11)1 (,

5、)1 (11niiniixnxpp)1ln()(ln)(11pxnpxniinii)(lnpLdpd令0111pxnpxniinii9xxnp nii 11XXnpnii 11 它与矩估计量是相同的。它与矩估计量是相同的。解得解得p的极大似然估计值的极大似然估计值p的极大似然估计量的极大似然估计量)(lnpLdpd令令)1ln()(ln)()(ln11pxnpxpLniinii0111pxnpxniinii111nniiiixnxpp1niinpx解得10设总体X的分布列为：(1)iiixxm ximP XxC pp0,1,(01)imp是来自总体X的样本，求 p 的极大nXX,1解：解：的样

6、本值是对应设nnXXxx,11似然函数为似然函数为 )(pLniiixXP1,)1 ()(111niiniiixmnxnixmppCiiixmxnixmppC)1 (1似然估计值。例例2 211)(lnpL)ln(1nixmiCpxniiln)(1)1ln()(1pxmnnii)(pL,)1 ()(111niiniiixmnxnixmppC, 0)(lnpLdpd令令0111pxmnpxniinii即即mxp 所以参数所以参数的极大似然估计量为的极大似然估计量为pmXp 12解解例例3 3设 X1, X2, , Xn 是取自总体X 的一个样本,，求参数的极大似然估计值。( )X ,0,1,!i

7、xiiieP Xxxx1( )!ixniieLx似然函数为似然函数为: :111!niinxniiex11ln ( )ln(!)(ln )nniiiiLxnx 0)(1niixnddLnxnii 1 为一样本值，设nxx,1x13其它 , 0;,1),;(bxaabbaxp 其它其它 , 0;,)(1),(bxaabbaLin例例4 4设nxx,1babaUX,;,未知，是一个样本值ba,求的极大似然估计量.解解 设X的概率密度为：似然函数为14,)()1(bxxan等价于等价于因为因为,1bxxan),min(1)1(nxxx),max(1)(nnxxxminabmax),(baLnnnxx

8、abbaL)(1)(1),()1()()()1(,nxbxa对于满足对于满足的任意的任意有有ba,( )(1)1()nnxx即即时时, ,取最大值取最大值),(baL在在)()1(,nxbxa 其它 , 0;,)(1),(bxaabbaLin似然函数为似然函数为15,max,min)()1(inixxbxxa,max,miniiXbXa ba,故故的极大似然估计值为:故故ba,的极大似然估计量为:( )(1)1()nnxx即时,取最大值),(baL在在)()1(,nxbxa 其它其它 , 0;,)(1),(bxaabbaLin似然函数为似然函数为161,0:( ; )(0)0,xexXp xo

9、ther今取得一组样本Xk数据如下，问如何估计？162950681001301402702803404104505206201902108001100 某电子管的使用寿命 X （单位：小时) 服从指数分布 例例5 指数分布的点估计指数分布的点估计 分析 可用两种方法：矩法估计 和极大似然估计.171）矩法估计01xEXxedx.XX则计为：令可得 的矩法估量数计为：代入具体值可得的估值).(318572318111小时niixn1,0:( ; )(0)0,xexXp xother182）极大似然估计）极大似然估计构造似然函数 当xi0,（i=1,2, ,n) 时，似然函数为1111( )nii

10、inxxniLee niixnL11lnln取对数建立似然方程. 01ln12 niixndLd1,0:( ; )(0)0,xexXp xother195. 得极大似然估计量：,11XXnnii 的的估估计计值值为为：代代入入具具体体数数值值可可得得 求解得极大似然估计值,11xxnnii ).(318572318111小小时时 niixn. 01ln12 niixndLd niiixnxnineexxL11111);,.,( niixnL11lnln2022()221( ; ,)e2xp x 似然函数为：),(2LniixnnL1222)(21)ln(2)2ln(2ln例例6 6设nxx,1

11、22,);,(NX为未知参数，是来自X的一个样本值，求2,的极大似然估计值。解解： X的概率密度为：22()211e2ixni niixne122)(21)21( 21解得：解得：xxnnii11niixxn122)(1令令即：即：2110niixn 0ln0ln2LLniixnnL1222)(21)ln(2)2ln(2ln21snn22221n1-()02(2)niix22 注：lnx 是 x 的严格单增函数，lnL 与L有相同的极大值，一般只需求lnL 的极大值.求极大似然估计的求极大似然估计的一般步骤一般步骤：写出似然函数 nimin),.,;x(p);x,.,x,x(L12121 ni

12、mi),.,;x(plnLln1212. 对似然函数取对数ln0,(1,2,.,)iLim 3. 对i (i =1, m)分别求偏导,建立似然方程(组)m,., 1解得 分别为 的极大估计值.m,., 123例例7 矩估计与似然估计不等的例子设总体概率密度为(1),01;( , )0,.xxp x其他求参数的极大似然估计, 并用矩法估计.解解 1) 极大似然估计法构造似然函数01)0nniiinxxL xx11(1),;(,.,;,其它niixnL1ln) 1ln(ln2. 取对数：当 0 xi1, (i=1,2, ,n) 时24niixnL1ln) 1ln(ln2. 取对数：当 0 xi 1

13、, (i=1,2, ,n) 时建立似然方程, 0ln1ln1niixndLd求解得极大似然估计值为11,lnniinx 5. 极大似然估计 量为11.lnniinX (1),01;( , )0,.xxp x其他25,21) 1(2) 1(10210 xdxxxEX2) 矩估计法1,2X计为令可得的矩法估量1212.11XXX261. 矩法估计量与极大似然估计量不一定相同；2. 用矩法估计参数比较简单,但有信息量损失；3. 极大似然估计法精度较高,但运算较复杂；4. 不是所有极大似然估计法都需要建立似然方程小小 结结求解.27作业作业P294 1；2；3；428解解.,0, 1次取到合格品第次取

14、到不合格品；第iiXi例例6. 不合格品率的矩法估计 分析分析 设总体X 即抽一件产品的不合格产品数，相当于抽取了一组样本X1，X2， ，Xn , 且因 p=EX, 故 p 的矩估计量为 设某车间生产一批产品，为估计该批产品不合格品率，抽取了n件产品进行检查.niniAfXnXp1)(1(即出现不合格产品的频率).29不合格品率p 的估计设 总体X是抽一件产品的不合格品数，记 p= PX=1=P产品不合格则 X的分布列可表示为.其它0,0,1;,)(1);(1xpppxPxx 现得到X的一组样本X1，X2，,Xn的实际观察值为 x1, x2, ,xn , 则事件 X1=x1，X2=x2，,Xn

15、=xn例例7 7出现的可能性应最大, 其概率为30,.,);,.,(221121nxXxXxXPpxxxLnn 应选取使L(p) 达到最大的值作为参数 p 的估计. nixpixpnixiXPii111-)-(11)0,1;0( ,1)-(11 pixniixnpniixp.其它0,0,1;,)(1);(1xpppxPxx31,niniiipxnpxpL11)ln(1(ln)(ln, 01)(ln11pxnpxdppLdniinii令令解得解得.11nmxxpniin （频率值）（频率值）,)(lnmax)(ln)(max)(1010pLpLpLpLpp注意到注意到32xexp xx ()/1

16、,;( )0,.其中0，与是未知参数，X1，X2，,Xn，dxeEXxx解解,)(01 dyeyy设总体设总体X的概率密度为的概率密度为是X 的一组样本，求与 的矩估计量., xy例例8 833令令 .,22MX注意到注意到 DX=E(X2)E(X)2=2 2e)(2dxXExx 0222122)(dyeyy=2+(+)2,)(1212 niinXXM.MX2 34例例 9 均匀分布的极大似然估计均匀分布的极大似然估计 设样本设样本X1，X2， ，Xn来自在区间来自在区间 0 , 上均匀分布的总体上均匀分布的总体X , 求求 的极大似然估计的极大似然估计.解解 设设x1, x2 , xn是是X1, X2, , Xn的样本值，的样本值，总总体体的的概概率率密密度度为为1,0( )0,xp xelse似然函数为似然函数为35. max1iniX el