概率论第十九讲极大似然估计法

1、第十九讲极大似然估计法、 估计量优劣的标准教学目的：1.讲解极大似然估计法；2 .讲解评价估计量优劣的三个标准。教学内容：第六章，§ 6.1-2; § 6.2O o+ 极大似然估计法壬例如:有两外形相同的箱子，各装1 oo个球99个白球 1个红球一相一箱 1个白球 99个红球?思想方法：一次试验就出现的 :事件有较大的概率¥:P现从两箱中任取一箱，并从箱中任取一球, :P结果所取得的球是白球.壬问：所取的球来自哪一箱？答：第一箱设总体X服从01分布，且P (X二1)二P， 用极大似然法求P的估计居.总体X的概率分布为P(X =x) = px(l- p)lx, x

2、= O,l设jq,兀2,，心为总体样本X, X2,.9 XnP(X = X1，X2 = X2，X“ = £)nn二pH (l-p) /=I=L(p) Xj= 12畀对于不同的p,L0)不同，见右下图Lp现经过一次试验，事件(X=西,X?=兀2,X n = £)Evil发生了，则#的取值应使这个事件发生 的概率最大.±在容许范围内选择P，使Up）最大±注意到，：InUp）是厶的单调增函数，故若 舉个p使In Up）最大,则这个p必使Up）最大。dlnL£兀A1dp1-P工兀令=0ni=l(1PTxt =x、所以d2lnLdp 2上1TP<0

3、p-X为所求p的估计血般,设X为离散型随机变量，其分布律为* P(X = x) =x = uvu2,-,0 e 0干则样本X，X2，.，Xn的概率分布为干 P(Xl = xi,X2 = x2,-,Xn=xn')* =/(西,0)/(兀2，0)/(£，&)X记为或干 二厶(心兀2,，兀,)二厶(°)%二知%2,，王称厶(&)为样本的似然函数心12/供®于极大似然法的思想厶（西，兀2，£，&）=max /（兀 1，。）/（兀 2，。）/<X，。）0E&王选择适当的。二0使L（0）取最大值，即mle干称这样得到的务

4、如心凡） 干为参数0的极大似然估计值简记0 卡称统计量 0 = g（X1,X2,-；Xn） 干为参数0的极大似然估计量简记玄心 王主1若X连续，取于&,0）为X,的密度函数n似然函数为厶（0）二盯心,0）匸1主2未知参数可以不止一个，如久，Ok 设X的密度（或分布）为jx©, 则定义似然函数为，£1，仇）=L(q,ej=J-J/(兀,仇,，仇)00兀+00,心1,2,/ (%，如申:p若L（X,；q，关于久我可微，则称 dX 右厶（兀1，兀2,£；&1，&2,，伏）=°厂= 1,2,kX o3r干为似然方程组王若对于某组给定的样本

5、值可,勺，人， r 数&,玄,&使似然函数取得最大冷，即-.X3 n-max（&2厂仇）旳L （知凡;目，&）厶（西，兀2,心;仇，2,，4）则称乞点为久，仇的极大似然估计值干显然，干 &二巩耳兀2，£) 厂= 1,2, 干称统计量干 = &(石2,，XJ厂= 1,2,裁干为&1，佻同 的极大似然估计量工例7设总体XN (q2),1 -害e l=i 的样本值，求/, CT2的极大似然箱计. 工解 L(xpx2,-5xn;/,cr2)(x 厂“)2nn(2)2(o-2)22<r2_nlnL = "§2&l

6、t;t2(兀一“)2 n、/c ® / 2、1-ln(2)-ln(o-2)Ll 厂（_d_彳刖l然粗为InL3“ 丿 （dcr? InLi ）丿八1n1 n2 S （兀“）=0i=1 J 、2 n 二亦沪一 "）=0Cdnle =_X严 Xni=iV；1n_（7 mle 二一丫（X- X）n上1CT2的极大似然估计量分别为1 n1 n_-产x, -s（x.-x） n i=i1 nn i=i士极大似然估计方法1）写出似然函数厶2）求出&,&,& ,使得L（X，X2亦（忌驚）2心7；恥2厶是G0的可微函数,解似然方程组 dQQ L（X，兀2，兀71

7、9;&1，&2'，伏）°d9rr = l,2,北未知参数的极大似然估计值&,。2,&然后，再求得极大似然估计量.若L不是久说的可微函数，需用其它 方法求极大似然估计值请看下例：干例8设XU(a,b),X,Xb，xn是X的一个 干样本值，求° , b的极大似然箱计值与极大 ：p似然估计量.干解X的密度函数为a<x<b0,V其它似然函数为1a <Xj <b,厶(兀1兀,=心 1,2,+似然函数只有当a<xt<bfi= l?29.9n时 干才能获得最大值，且a越大,b越小,L越大.干令 兀min = mi

8、n xvx2.xn干 xmax = max xvx2.xnH 取 a =, b = xmax则对满足a<xn <xx Sb的一切a<b,1（b _ C" （max 一仏）"7.b = x故 ° = Xmin -max 是Q , Z?的极大似然估计值.X聞=minX”X2,，XJ Xmax =maxXnX2，- 分别是d, b的极大似然估计量.1）待估参数的极大似然估计是否一定存在?2）若存在，是否唯一？L例9 设 X U (a Vi, a + %), 七，xn 是X的一个样本，求a的极上似然估计值. 解由上例可知，当1 1产"min +

9、 q时，厶取最大值1,即1 . 1仏n+显然，Q的极大似然估计值可能不存在,也 可能不唯一.不仅如此，任何一个统计量 g(X,X2,X 若满足兀 Wg(XlM2,，£)5X(1)+ 都可以作为a的估计量.干极木似然估计方法牛设&7血是&的极大似然估计量，况=况（&） 卡是&的实值函数，且具有单值反函数。 干& 则"（岳沧）是%（“）的极大似然 卡估计量需|JXN（q2）, "2的极大似然估计.Xt a1j-工（X厂元孑V n i=i王几e（兀-习彳则CT的极大似然估计为Amle _作业P.192习题六1234点估计的评价标准

10、对于同一个未知参数，不同的方法得,于是提出问题应该选用哪一种估计用何标准来评价一个估计量的好坏?常用标准'(1)无偏性< (2)有效性、(3) 一致性O无偏性若义定E® = 0的无偏估计量.我们不可能要求每一次由样本得到的 估计值与真值都相等，但可以要求这些估 计值的期望与真值相等.例1设总体X的k阶矩以=E（Xk）存在 （X】,X2,XQ是总体X的样本，证明：不论X服从什么分布（但期望存在）, 贝u vk=-工x：是s的无偏估计量. n I证由于E（X：） = /4心1,2,/因而1 &1 nE（%） = E（X；） = E（X：）n tn t1=吨以=Mk

11、.一 _=特别地样本均值X是总体期望E( X)的 无偏估计量1 n样本二阶原点矩v2=-txf是总体n上1二阶原点矩“2=疋(屮)的无偏 估计量T干例2设总体X的期望与方差存在，X的E样本为(X,X2,XJ >1)|证明tapt1 n壬不是D(X)的无偏估量； 苹(2) S? = _-X)2是£)( X)的无偏估计量.于证前已证-X(-x)2 = -Yxf-x2 丰“ 口“ Z=1干 E(X) = E(X) = “，D(Xz) = D(X) = a2 王 E(X) = E(X) = /, D(Q =丰因而(1 n? E 吃(X厂 X)2+5 m丿H2X二(/+/?)(+/?)X

12、nH -1 2 , 2=(7 H (7Xn1 n/=2证毕.Evil干故E干例3设(儿2,XJ是总体X的一个样本, ZpXE(n, p) > 1 ,求p 2的无偏估计量.J解由于样本矩是总体矩的无偏估计量 干以及数学期望的线性性质，只要将未知 工参数表示成总体矩的线性函数，然后用样 壬本矩作为总体矩的估计量，这样得到的未 干知参数的估计量即为无偏估计量.$ 令 X = Em = npi jn干 二工 X； = E(X 2) =)2 + 矽(1 _ p)壬故因此,0 2的无偏估计量为n(n -1)例4设总体X的密度函数为X念;0)二刁八兀°&0为常数0x 0(X|,X2,

13、X为X的一个样本证明X与irin X1?X2,.,XJ都是0的无偏估计量证 x E(x)= e故 E(X) = E(X) = OX是。的无偏估计量.令 Z二minX,X2,X*>z，X2>z，X&>z) =1>z)P(X2 >z) P(X >z) 0z<0nz1-e 3z>0n=i-H(i-p(x=)二0z < 0Z)= <即 Z-E(-3丿z >0nE(Z)二- E(nZ)二 6n故是0的无偏估计量O有效性定义设a=q(X，X2，XJ a=0(X,X2，X： 都是总体参数&的无偏估计量,且 D(&)&l

14、t;D02)则称0比2更有效.设总体X的密度函数为1 -八 x0,x<00 > 0为常数0由例4可知，产与minXi，X2，,X都是&的无偏估计量，问哪个估计量更有效?D(X)二一,D(niiiiXi，X2，,XJ) = &2 n牛所以，乂比minXi，X2,X屠直致.IJ6 设总体 X，且 E(X)=/z, D(X)=ct2(X,X2,X*)为总体X的一个样本 1 n(1)设常数 q H 7 = 1,2,，兀.y cz. =1. n上i证明 认二是口的无偏估计量i=证明 =乂比几二工q.x,更有效1=1nn E(如=i=li=lnn(2) D(即二 £c

15、；D(XJ 二i=ln=+ 2 工 C£jz=ll<z< j<n n工 C；+ 工(c；+c；) = £cji=< /=1n<i=l(n 2而1= D丿& +l<i< j<n1c>-ni D()2<D(%)ni=nui=l结论算术均值比加权均值烫有效:P 例如 X N（q2）,（Xi，X2）是一样本.0 1¥ 岔二严+3X2、H13干 A +-2卜都是/的无偏估计量工11H 厶二X|+乂2X严322丿T由例6（2）知仏最有效.X o 致性I WAA主 定义 设y = (X,X2，,XJ是总体参数杉 干的估计量若对于任意的0 0 .当-> 00时 X八干诊依概率收敛于0,即> 0,Xlim P(0-0)>s) = Omoo/nisi一致性估计量仅在样本容量 足够大时，才显示其优越j生关于敷性的两个常用结论由大数定律证明1 样本k阶