1矩估计和极大似然估计

1、推断的过程参数估计的方法估计方法点估计区间估计-矩估计法一顺序统计量法一最大似然法-最小二乘法W itu购跚数的点估计#/22参数估计问题的_般提法设总体x的分布函数为F（x,e）,其中为未知参数或参数向量,现从该总体中抽样，得到样本心禺，乙依样本对参数g做出估计，或估计参数的 某个已知函数g（）。这类问题称为参数估计。参数估计包括：点估计和区间估计。为估计参数“，需要构造适当的统计量一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为“的估计，称该计算 值为“的一个点估计。7/22寻求估计量的方法1. 矩估计法2. 极大似然法3. 最小二乘法4. 贝叶斯方法我们仅介绍前面的两种参数估

2、计法。6/22、矩估计矩估计是基于“替换”思想建立起来的 一种参数估计方法最早由英国统计学家K皮尔逊提出。其思想是:用同阶、同类的样本矩来估计总体矩。总体点阶原点矩兔二E(X'),1 n样本R阶原点距4-Zx：,总体k阶中心矩bkECX-EXYl1 n_ f样本p阶中心距优二£(x厂乂Nn z=i矩估计就是用相应的样本矩去估计总体矩o11/22會I例1：设总体X的概率密度为于（兀）二(a + 1)门0,0 < x < 1,箕他其中00-1为未知参数。求理的矩估计。解：先求总体的期望E(X) = f-(a + l)xadx =(a + l)£xa+1 d

3、xa + 113/228由矩法，令a+1丿总体矩a+ 2解得为a的矩估计。注意：要在参数上边加上“人”, 表示参数的估计。它是统计量。8X有概率密度函数/（兀）=< 00,其他:8其中为未知参数，&0。求的矩估计。解：先求总体的均值和2阶原点矩。討皿d 4土必=（° y + 小 Q d y =0 才“ 勺0d i丄 令尸炉“）万 “ 0=J7（° y+mF旷汪、=£° （少 y1 + 20 y +zz =202 4- 20“ + /j2二少 +（ + “）2,8亠士用样本矩6 X,n估计总体矩&2 + （+ 刖=_ 輕.n 口 &#

4、39;#/22#/224 工 X"匸i v1 nn z=i#/22#/22M 4为参数"&的矩估计S?13/22设总体X的均值为“，方差为o2,求“和o2的矩估计。19/22#/22解：由JE(X)沖, <E(X2)=(?+y2.円=X，21/22#/22翩跚故，均值"方差*的矩估计为1 n&2 二竺（厂 XT n i=#/22如：正态总体N(“，o2)中“和o2的矩估计为J 1 ”疔2 = £(X, - X)2.Tl Z=1设总体X的分布函数中含A;个未知参数步骤一：记总体X的加阶原点矩E(X为 , m = l9 2,，k.一般地

5、，am(m = l, 2,-K)是总体分布中参数或参数向量(九九，&)的函数。故，am 0=1，2,，Q应记成:细（九血层）,m =1, 2,k.#/22再傷二爭出样本的加阶原点矩= XX .,加=12 & n z=i步骤三：令厂°1（6,&2,，2）= 4，(1)。2（&,2,0） =ye” &2昇级）_人乙得到关于外o2f ek的方程组（空q。一般要求方程组（1）中有氐个独立方程。18/22步骤四：解方程组(1),并记其解为4=4(X,X2,X)加= 1,2,人 则 0 = (&,©2,A)就是& = (0 ,&a

6、mp;2，,Q) 的矩估计。这种参数估计法称为参数的矩估计法，简称矩法。19/22又如？若总体XU(a，方)，求偽方的矩估计。解：列出方程组f E(X)轨吩(X) = &2.1 n其中二X,疔2=_£(x,_x)2.n i=因 E(X) = ,Var(X) = .20/22(Z? a)? _ $212 _b *解上述方程组，得到的矩估计:a = X-j3a, b = X + y/3a.21/22矩估计的优点是：简单易行，不需要事 先知道总体是什么分布。缺点是：当总体的分布类型已知时，未 充分利用分布所提供的信息；此外，一般情 形下，矩估计不具有唯一性。膏I二、极大似然估计极大

7、似然估计法是在总体的分布类型已 知前提下，使用的一种参数估计法。该方法首先由德国数学家高斯于1821年 提出，其后英国统计学家费歇于1922年发现了这一方法，研究了方法的一些性质，并给出T求参数极大似然估计一般方法极大似然估计原理o23/22（1）设总体X属离散型似然函数的定义设分布律PX =灯=/（x； e e为待估参数,处（其中®是0可能的取值范围）2,x“是来自总体x的样本则&, X?,，乙的联合分布律为n /（羽；&）. 上12-最大似然估计法1设总体X为离散型随机变量，它的分布律为PX=x = /(x)现有样本观察值X2"中也取值于叭k=I,2问：

8、根据极大似然思想，如何用xpx2,.xn估计e?n = 11心,&)i=l兀己A. = X=旺,X” 贝U P(A) = PX|=%.,X“=£根据极大似然思想,0值应是在®中使P(A)达到最大的那一个,也就是使样本联合分布律n臬矢&)1(&)=匸/(七；&), & w 丄(0)称为样本似然函数.i =1最大似然估计法得到样本值r 1, £，兀“时，选取使似然函数X &）取得最大值的$作为未知参数0的估计值, 即 1（兀1，兀2,，无“；0） = maxl（兀,无2,，无”；0）0e0（其中®是0可能的取值

9、范围）0（兀1，兀2,，兀=|1 1这样得到的4与样本值兀"2,心有关,记为 ,参数&的最大似然估计值 0（笛，1，xj参数0的最大似然估计量假定现在我们观测到一组样本心蜀, 要去估计未知参数&。种直观的想法是:哪个参数(多个参数时是哪组参数)使得现在的出现的可能性(概 率)最大，哪个参数(或哪组参数)就作为参数 的估计。这就是极大似然估计原理。如果L(<9) = max 乙(0)030可能变化空间，称为参数空间。 称0为&的极大似然估计(MLE) o27/22III.下面举例说明如何求参数的MLE例1：在正确使用情况下，某手机电池的保修 期为400小时

10、，假设P是一批这种手机电池在保修期内失效的比例。(1) 求P的极大似然估计量;(2) 随机抽取了2000块电池作为样本，发现有3块电池在保修期内失效，根据这些信息求 参数P的极大似然估计值。解 从这批手机电池中任意取一块，定义X, 当电池在保修期内失效时X=l,否则X=0,贝！| 心禺，X”是取自总体的一个 样本。似然函数为n,=1n=ripx,(i-p)1j=l(1_P) ig数似然函数为:In L(p)=工兀 ln( p) + (n 一工兀)ln(l - pi=、J=1dlnL(p) _ 1 右 1=乙兀- p i=1-p对p求导，并令其等于零，得i=nxdp上式等价于X _ 1-xp 1

11、 px _l-xp _p解上述方程，得p = x得p = X为p的极大似然估计量。根据样本信息，-2000, X =0.0015的极大似然估计值为0. 0015o31/22#/22nf求极大似然估计(MLE)的一般步骤(1) .由总体分布导出样本的联合概率函数(连续型时为联合概率密度，离散型时为联合 概率分布)；(2) .把样本的联合概率函数中的自变量看成已知常数，参数。看成自变量，得到似然 函数U0);(3) .求似然函数1(")的最大值点(常常转化为求In 1(")的最大值点)，即“的MLE;(4) 在最大值点的表达式中，代入样本值，就得参数的极大似然估计。膏IMW.求

12、似然函数1(")的最大值点，可应用微积 分中的技巧。由于Ind)是兀的增函数，所 以InL(0)与乙(砂)在&的同一点处达到各自 的最大值。假定&是一实数，lnl()是砂的 一个可微函数。通过求解似然方程ln厶(0)八二 U,de可以得到&的MLE。47/22若是向量，上述似然方程需用似然方程组沁”2,久）0,Qin厶©,&2,QlnZXq,&2，.，Q)=0代替。用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求。34/22n务某机器生产的金属杆用于汽车刹车系统, 假设这种金属杆直径服从正态分布N（“，a2）参 数“

13、和X未知，求此两参数极大似然估计量。解：似然函数为n1（xzA）2乙（“。2）=n2，i=l 72兀（71 “厶工（兀厂“）2=（2心）2幺 2r ,对数似然函数为In L（T）= -ln（2） - £ln cr2 -柑f （兀一“冗4 k222b 口35/22rad似然方程组为In L(“q2)二丄f；(易=“)二 0,lnL(,a2) = -+ 丁盲土 (球-“尸=0.2a /=ia i=i由第一个方程，得到 n“=一工羽二兀;m=i代入第二方程，得到36/22#/22it密湍：设总体X服从泊松分布P(2),求参 的极大似然估计。解：由X的概率分布函数为f (如彳)=-e-2,

14、x =(X h 2八 i XIm的似然函数乙（久）=I/ （兀，几） e A i=li=l Xj n Z=1-nA九=e 二，n!i=l对数似然函数为n比In L(久)=m2 + (In 2)工兀ln(兀!)，日i=l似然方程为lnL(2) = -n + -Xx, =0. dAAi=i其解为1 n兄二一工兀=X .n i=i#/22t 力21 n因ylnL(2) = E%z <0,CAZ i=l知兀是hL(2)的唯一极大值点。所以它 又是最大值点。换成X72换成为兀=兀： 一Jn i=i得2的极大似然估计八2 = X.例4：设XU（a），求為方的极大似然估计。解：因f 1:fga,b)

15、=b_a0,x e a.b.x 幺a.b.所以nL(a，b)=,a,b)i=,x. e a.b, i = ',2,，n, (b _ aY0, 其他.40/2259/22©0) j)0,xt e _a.b.其他Z = 1,2,，弘#/22#/22=v (b - ay0,a < minxz. < max a:. < b,<i<n<i<n其他.住的变化区域,D的变化区域5煦心l<2<n憐区61/22L(a.b) = v (b _ a)0,a < minx. < maxxz. < b.l<i<n<

16、;i<na的变化区域|! &的变化区域加gJ其他.由上式看到：LS,b）作为a和方的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义,求£（偽方）的最大值。42/22#/22为使L(a, b)达到最大，方P应该尽量地小。 但方不能小于max xp x2,xn。否则,L(aQ =Oo类似地,a不能大于min xp x2,xn。 因此，。和0的极大似然估计为a = minx,l<i<nb = maxx.l<i<n设xp x2,是抽自总体X的一旃|如本，X有如下概率密度函数0 xe 0 < % < 1,f(X0)=<0,其他其中砂0为未知常数。求的极大似然估计。 解：似然函数为厶ni=l0,e (0,1), i = l, 2, ,!, 其他.也可写成65/22r ( n 屮 T =1丿0,BOW厶=,0 < minx < maxx <1,<i<n<i<n、其他.当0<minxz <ma