概率统计 第六章 点估计

1、武汉纺织大学备课纸第六章 点估计教学目的1、使学员掌握参数点估计的概念及基本思想。2、使学员牢固掌握求未知参数估计量的两种常用方法：矩法和极大似然法。3、掌握判断估计量的三个标准：无偏性、一致性和有效性。4、理解单参数正则分布族C-R不等式的含义，会求有效估计或有效率。参数点估计的概念在用数理统计方法解决实际问题时，常会碰到这类问题：由所得资料的分析，我们能基本推断出母体的分布类型，比如其概率函数（密度或概率分布的统称）为f(X,)，但其中参数(一维或多维)却未知，只知道的可能取值范围是，需对作出估计或推断。这类问题称为参数估计问题。这类问题中的称为参数空间，f(,), 称为母体的概率函数族。

2、例如：1、某灯炮厂生产的灯泡的使用寿命据已有资料分析服从N(,2)分布，这里=(,2)的具体值未知，只知取值范围为(0,+)×(0,+)需对作估计。这里参数空间=(,2)：0+，20,的概率函数族为f(, ,2)：(,2)而f(, 2)= -+2、某纺织厂细纱机上的断头次数可用Poisson分布P()描述，只知0，不知其值,为掌握每只纱绽在某一时间间隔内断头数K次的概率，需对作出推断。这里参数空间=:0，的概率函数族为f(,): ,其中f(,)=P(=x)=，=0,1,2一个参数估计问题就是通过子样估计出母体分布中的未知参数或的函数的问题。参数估计根据估计的形式，又分为点估计和区间估

3、计。本章主要讨论点估计：设母体具有概率函数族f(,) 未知待估，1，2，n是取自的子样,如我们构造一个统计量(1，n)来估计，(要求u的维数与的维数相同)，则称该统计量u为的估计量。并记为=u(1，n)，对一组子样观测值(1，n)代入估计量得到的值=u(1，n)称为的估计值。估计值和估计量统称为的估计。但估计是估计值(一个具体值)或是估计量(一个随机变量)，可根据具体要求作判断。像这类用一个统计量来估计未知参数的问题，称为参数的点估计问题。如何求估计量呢？方法很多，下面介绍最常用的两种方法。§6.1矩法估计一、矩法对于随机变量来说，矩是其最广泛，最常用的数字特征，母体的各阶矩一般与分

4、布中所含的未知参数有关，有的甚至就等于未知参数。由辛钦大数律，简单随机子样构成的子样矩依概率收敛到相应的母体矩。自然会想到用子样矩替换母体的相应矩，进而找出未知参数的估计，基于这种思想求估计量的方法称为矩法。用矩法求得的估计称为矩法估计，简称矩估计。具体作法是：设母体的概率函数为f(,1，k),其中(1，k) 未知待估，设EK=Vk存在，则当jK时，Ej=Vj;必存在。令Vj(1，k)= j=1,2,，k (6.1)解(6.1)所示的关于1，k的k个方程，则得 为1，2,k的矩估计,(6.1)中也可用子样中心矩代母体中心矩。 例6.1设母体的均值,方差2未知，1, 2n为取自的子样，求与2的矩

5、估计。解：由, 2分别是的一阶原点矩和二阶中心矩根据矩法求估计的思想令 即是与2的矩估计注意到我们这里求出 并未用到的分布例6.2设母体服从(p,6) 分布，其密度为f(;P,6)= ，0这里b0, P0未知待估，求其矩法估计。分析与解：这里要估计的未知参数有两个，根据用矩法求估计的作法，应先求出的两个矩，我们知道用特征函数求矩最简便，由第三章习题91(3) 的特征函数为： ，=E= ，E2= 故D= 令 解得 二、判断估计好坏的两个标准上面用矩法求出的估计是否好？现介绍两个评判估计量好坏的标准。1、一致性定义6.1，设母体具有概率函数f(,)，为未知参数，1，2，,为子样，为的一个估计量，若

6、对任给0，有 =0则称 为的一致估计。按此定义， 是的一致估计 显然，矩估计都是一致估计。2、无偏性定义6.2，设是母体分布所含未知参数的一个估计量，若对一切均有，则称为的无偏估计，否则称为有偏的。现在来验证母体期望E=与方差D=2的矩估计是否为无偏估计，由定理5.1 是的无偏估计类似可证母体K阶原点矩EK=的矩估计，都是的无偏估计。而 Sn2不是2的无偏估计，现纠偏令 则由此得是2的无偏估计，Sn2不是2的无偏估计，但 ESn2= 我们称Sn2为2的渐近无偏估计，当样本容量较大时，用Sn2与来估计2差别不大，但容量n较小时，用估计2比用Sn2来估计2性能更好。一般地，若未知参数的一个估计是有

7、偏的，但当n时，有E，则称为的渐近无偏估计。例6.3（教材P262）例6.4设母体服从（0, 上的均匀分布，0未知，求的矩估计，并验证其无偏性。解E=令=得为的矩估计，而E 所以 是的无偏估计，又矩估计都是一致估计，所以， 是的一致，无偏估计。§6.2极大似然估计矩法估计具有直观、简便等优点，特别求母体均值和方差的矩估计并不要求了解母体的分布，但它有缺点：对原点矩不存在的分布如哥西分布不能用，另方面它也没有充分利用母体分布F(；)对提供的信息，下面再介绍一种求点估计的方法最大（极大）似然法。极大似然法最早是由CF Gauss提出的，后来R A Fisher在1912年的一篇文章中重新

8、提出，并证明了这个方法的一些性质，极大似然估计这一名称也是由Fisher（费歇）给出的，这是目前仍得到广泛应用的一种求估计之方法，它建立在极大似然原理的基础上，即：一个随机试验下有若干个可能的结果A B C，等，如在一次试验中，结果A出现了，那么可以认为P(A)较大。再看下面的例例6.5罐中放有若干黑、白球、仅知两色球的数目之比为1:3，但不知何色球多，试估计抽到黑球的概率P是或。解：以有放回抽样的方式抽球n个进行观察，以表抽得的黑球数：则P(=)=f(;P)= =0，1，n(其中q=1-p) 现以n=3为例，讨论如何根据的值来估计参数P0123P(; )1/649/6427/6427/64P

9、(; )27/6427/649/641/64通过分析、可定义P的估计量 如下： 由上面的分析看出，这里选取 的原理是根据P(; )P(;)其中是异于 的另一估计值。这就是极大似然原理的基本思想。一般地,设母体的概率函数族为 其中=(1,2,k)是k维得侍估参数向量，又设(1, n)=是子样（1, n）=的一个观察值，则子样落在点的领域内的概率是 ，可见这个概率会受变化的影响，(即是的函数)最大似然法原理就是要选取使得子样落在观察值(1, n)邻域里的概率达最大的参数值 作为的估计，即对固定的(1,n)选取合定义6.3设母体具有概率函数族f(;), =(1,2, n)为抽取的一个子样，记 （可为

10、向量 ） （6.2） 作为的函数称为的似然函数。若能选取使得 成立 （6.3）则称 为的极大（最大）似然估计。且将 中换成，即j(1, )称为j的极大似然估计量，极大似然估计简记为MLE或。求极大似然估计常用如下方法：对(6.2)所示的似然函数取对数 (6.4)因是L的增函数，故与L有相同的极大值点令 j=1,2,k (6.5)称(6.5)为似然方程。解之并验证是否为最大值点可得 为=(1, k)的最大似然估计。例6.6设母体服从Poisson分布P(),其中0是一未知参数，求的MLE。解 由已知具有概率函数f(;)= , =0,1,2,设子样1, n的观测值为1,2,n则L(;1,n)= 上

11、式两边取对数令 解上面的似然方程得=经验证解出=是从而也是L()的最大值点，所以是的MLE。在求解L()的最大值点时，并非每次存在易解的似然方程，见下面的例：例6.7设母体服从0,上的均匀分布，0是未知参数，求的MLE。解：由已知概率函数为f(; )= （0）设1, , n为取自的子样则，L()= 由于f(；)的支撑与有关，不存在易解的似然方程，我们由定义6.3，找L()的最大值点，由L()的表达式，越小L()=就越大因Lmaxi=(n)所以=(n)时L()达极大。=(n)是的MLE，这与例6.4中的矩估计=不一样。现验证是否为的无偏估计，由第五章TH5.5系1，(n)有密度： 0y （6.6

12、）可见是有偏估计。将其纠偏，令 则为的无偏估计。于是均匀分布U（0, ）的未知数现有两个无偏估计：与 ，易验对任意满足1+2=1的正数1+2，都是的无偏估计，即存在无数个无偏估计。例6.8N（,2）,=（,2）(-,)×(0,+)=是未知参数，从抽取子样(1, , n)，试求的极大似然估计解：由题设的密度为 故似然方程组为：解之并验证得：即和是和2的最大似然估计，与矩估计一样。极大似然估计有一个简单而有用的性质性质定理 设是母体概率函数中未知参数的MLE，可估计函数g()=u, 具有单值反函数=g-1(u) uU(U为g()的值域)则 是g()的MLE。证：例6.9(例6.8续)，设

13、1, 2, n取自正态母体N(,2), 与2未知，=-+，20求标准差的MLE。解：由例6.8 极大似然估计法应用很广泛源于极大似然估计的优良性质，教材P272定理6.1描述了极大似然估计的一个重要性质渐近正态性，这对于研究大子样问题十分有用。定理6.1 （参见教材P272P273）§6.3 RaoCramer不等式 对于母体分布中的未知参数，用不同的估计法可能得到不同的无偏估计量，比如U0, ，0未知，其矩估计为无偏估计，由极大似然估计也是的无偏估计，那么与哪个更好呢？定义6.3 参数有两个无偏估计与，若有 对一切成立则称比更有效。例6.10检验U0, 中与哪个更有效。 而故当n2

14、时，比更有效。由上面的讨论我们知道，无偏估计的方差越小越好，一个很自然的问题是：无偏估计的方差是否可以任意小？如果不可以任意小，那么这个无偏估计方差的下界是什么？这个下界能否达到？回答这些问题的最重要结果是Cramer和Rao分别在1945年和1946年所证明的一个重要不等式，即被称之为C-R不等式，由于该不等式的证明要求母体分布满足一系列的正则条件，为此先介绍关于C-R正则分布族的概念。定义：假设单参数概率函数族f(,), 满足如下条件：（1）参数空间是直线上的某个开区间；（2）支撑 0不依赖于；（3）存在，且对一切成立。（4）下面的数学期望存在，且则称分布族f(,),为C-R正则分布族，其

15、中条件(1)(4)称为C-R正则条件，I()称为该分布族的Fisher信息量,易验证，贝努里分布族b(1,P),P(0,1),Poisson分布族P(),0,正态分布族 N(,2),-, 20关于它的一个参数， 分布族关于它的一个参数等都属于C-R正则分布族。但均匀分布族U（0,）0不是C-R正则分布族。定理(C-R不等式)，设母体f(,)而f(,)为C-R正则分布族，1, , 为取自的一个子样，=u（1, , ）为待估函数g()的一个无偏估计，满足 (6.7) (6.8)且(6.8)中等号成立存在一个不依赖于子样的K()(即K可能依赖于)使以Pr为1地成立 (6.9)上面(6.8)称C-R不

16、等式，特别当g()= 时，记= 则有 (6.10)证明见书P275-P277上面的C-R不等式，给出了无偏估计的方差的一个下界，这个下界称为Rao-cramer下界，对于C-R正则分布族，如果某个的无偏估计的方差达到这个下界，那么它就是满足条件(6.7)的无偏估计类中方差最小的，无疑这个估计量是比较理想的。进一步，如果的无偏估计都满足(6.7)，那么达到C-R下界的无偏估计就是最有效的，也就是最小方差无偏估计。定义6.4若的一个无偏估计满足： (即达到C-R不等式的下界)则称为的有效估计。定义6.5若是的一个无偏估计，存在I()=则称为的有效率显然有01而有效估计是最有效的一个，其有效率达到1。在求C-R下界时，母体的Fisher信息量I()是一个重要的量，I()出现在C-R下界的分母中，因此I()越大，下界越小，此时，有效估计也就越精确，我们可把这一点解释为子样中包含未知参数的“信息”越多，这也许可作为“信息量”这个名称的一种解释。例6.10设母体b(1，p) P(0.1) 1, , n为子样，求P的C-R下界。解：先求I(P)令 取 是P的有效估计例6.11设母体P(),0未知，求的C-R下界解：f(,)= x=0,1,2, = =的C-R下界为 取 则是的有效估计在求某个未知参数的C-R下界时，除像上面的几