6-1点估计ppt课件

1、总体总体样本样本统计量统计量描述描述作出推断作出推断研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质的性质.随机抽样随机抽样参数估计问题参数估计问题假设检验问题假设检验问题点点 估估 计计区间估区间估 计计统计统计推断推断 的的基本基本问题问题什么是参数估计？什么是参数估计？参数是刻画总体某方面概率特性的数量参数是刻画总体某方面概率特性的数量. .参数的类型有参数的类型有: :1 1、分布中所含的未知参数、分布中所含的未知参数. 例如，例如，X N ( , 2), 若若 , 2未知未知, 通过构造统计量通过构

2、造统计量, 给出给出它们的估计值或取值范围就是参数估计它们的估计值或取值范围就是参数估计的内容的内容.区间估计区间估计参数估计的两种参数估计的两种类型类型点估计点估计3 3、分布的各种特征数、分布的各种特征数2 2、分布中所含的未知参数、分布中所含的未知参数的函数的函数g(g().).例如：例如：EX，VarX, 分布中位数等。分布中位数等。 例如：例如：X N ( , 2), 其中其中 , 2未知，未知，对于某定值对于某定值a ,要估计要估计()()aP Xa 即为即为 , 的函数。的函数。 一般地，用一般地，用（可以是向量）来表示参数，它的所有可能取值组成的集合称为（可以是向量）来表示参数

3、，它的所有可能取值组成的集合称为参数参数空间空间，用，用表示表示。 参数估计问题是利用从总体抽样得到的样本参数估计问题是利用从总体抽样得到的样本, 通过通过估计量估计量来估计上述各种参数。来估计上述各种参数。估计估计量量就是估计总体参数的统计量就是估计总体参数的统计量.第一节第一节 参数的点估计参数的点估计一、替换原理与矩法估计一、替换原理与矩法估计二、最大似然估计二、最大似然估计 参数的点估计参数的点估计是指是指: :对未知参数对未知参数选用一个统计量选用一个统计量 的取值作为的取值作为的估计值的估计值, 就是就是的点估计的点估计( (量量),),简称估计简称估计. . 好的估计量好的估计量

4、体现好的统计思想体现好的统计思想. .12(,)n x xx 用样本均值用样本均值 来估计总体均值来估计总体均值 EX ; ;x 用样本方差用样本方差 ( (或或S2) )来估计总体方差来估计总体方差VarX ;*2S一、替换原理与矩法估计一、替换原理与矩法估计1、矩法估计（、矩法估计（Moment Estimation)替换原理替换原理:用样本矩代替总体矩；用样本矩的函数代替总体矩的函数。用样本矩代替总体矩；用样本矩的函数代替总体矩的函数。如：无论总体分布如何如：无论总体分布如何, 都可以都可以 用样本的用样本的 p 分位数来估计总体的分位数来估计总体的 p 分位数分位数 ;矩法估计的思想矩

5、法估计的思想：实质是根据格里汶科定理实质是根据格里汶科定理, ,可用样本经验分布函数代替总体分布函数可用样本经验分布函数代替总体分布函数. .利用替换原理而获得的估计量称为利用替换原理而获得的估计量称为矩估计矩估计( (量量).). 用事件用事件A出现的频率来估计事件出现的频率来估计事件A发生的概率发生的概率. .PkkxEX 11 ()()nPkkiiXXE XEXn 进而有 等等；更具体地说是根据大数定律更具体地说是根据大数定律, , 有有 例例1 某型号的某型号的20辆汽车记录其每辆汽车记录其每5L汽油的行驶路程（公里）如下汽油的行驶路程（公里）如下:经计算可得：经计算可得：29.8，2

6、7.6，28.3，27.9 ，30.1，28.7，29.9，28.0, 27.9，28.7，28.4，27.2，29.5，28.5，28.0，30.0，29.1，29.8，29.6，26. 9*20.528.695;0.9185;28.6xSm由矩法估计得总体的均值、方差和中位数点估计分别为：由矩法估计得总体的均值、方差和中位数点估计分别为：28.695; 0.9185; 28.62. 概率函数已知时未知参数的矩法估计概率函数已知时未知参数的矩法估计 矩估计法是英国统计学家矩估计法是英国统计学家K K. .皮尔逊最早提出来的皮尔逊最早提出来的 . .在总体分布已知时在总体分布已知时, ,且有关

7、各阶且有关各阶矩存在的条件下矩存在的条件下, , 用用“总体矩等于样本矩总体矩等于样本矩”列出矩方程组，解之可得矩估计列出矩方程组，解之可得矩估计。设总体设总体X具有已知的概率函数具有已知的概率函数212( ;,), (,)kkp x 1 1未未知知12,k 12,kx1,x2,.xn 是来自是来自 X 的样本，假定总体的的样本，假定总体的k 阶矩存在，那么它的阶矩存在，那么它的 前前 k 阶矩阶矩 都存在。都存在。 若若 能够表示为能够表示为 的函数，即由的函数，即由12,ki=1,2, ,k12(,)iik 这这 k 个方程中解出个方程中解出j=1,2,k12(,)jjk 进一步要估计进一

8、步要估计 的函数的函数12,k 12(,)kg 12(,)kg 则直接可得其矩法估计则直接可得其矩法估计例例1 1 设总体设总体 X Exp( ), x1, x2, xn为总体的样本为总体的样本, 求未知参数求未知参数 的矩法估计量的矩法估计量.解解( )1/ ,E X1/.EX则则故故1/ . xj=1,2,k那么用诸那么用诸 的估计量的估计量 ai 分别代替上式中的诸分别代替上式中的诸 , ii12(,)jjk a aa j即可得诸即可得诸 的矩估计量的矩估计量 ：矩估计量的观察值称为矩估计值矩估计量的观察值称为矩估计值 .注：由于注：由于 由替换原理由替换原理的矩估计也可取为的矩估计也可

9、取为 ，s*为样本标准差为样本标准差 . 因此矩估计不唯一因此矩估计不唯一, ,一般采一般采 用低阶矩作为未知参数的矩估计用低阶矩作为未知参数的矩估计。21/,VarX*1/s例例2 2 设总体 X U (a, b), a, b 未知, x1,xn为取自该总体的样本，求参数 a, b 的 矩法估计量.解解: 1()E X 2ab 22()E X 2()12ba 2()()Var XE X 2()4ab 即即 1221212()abba 解得解得于是于是 a , b 的矩估计量为的矩估计量为 21213()a 21213()b21*3()3,niiaxxxnxS 21*3()3niibxxxnx

10、S 样本矩表示样本矩表示总体矩表示总体矩表示解解: 1()E X 22()E X 2()()Var XE X 例例3 设总体设总体 X 的均值的均值 和方差和方差 都存在都存在 , 未知未知 . 是来自是来自 X 的样本的样本 , 试求试求 的矩估计量的矩估计量 .1,nxx2(0) 2, 2, 22解得解得1ax1 2221于是于是 的矩估计量为的矩估计量为 2, 22222111niiaaxxn 2*211()niixxsn 样本矩表示样本矩表示总体矩表示总体矩表示注：该例表明无论总体注：该例表明无论总体X服从什么分布，只要总体的二阶矩存在，则样本均值服从什么分布，只要总体的二阶矩存在，则

11、样本均值就是总体均值的矩估计，样本方差就是总体方差的矩估计就是总体均值的矩估计，样本方差就是总体方差的矩估计.例例4. 已知总体已知总体12111NXNNN ，其中，其中N为未知参数，求为未知参数，求N的矩估计的矩估计.3. 总体分布为一般情形总体分布为一般情形(包括分布未知包括分布未知)时的矩法估计方法时的矩法估计方法用样本均值用样本均值 来估计总体均值来估计总体均值 EX . .x 用样本方差用样本方差 来估计总体方差来估计总体方差 VarX . .*2S 用样本的用样本的 p 分位数来估计总体的分位数来估计总体的 p 分位数。分位数。 用事件用事件A出现的频率来估计事件出现的频率来估计事

12、件A发生的概率发生的概率. .例例5. 设总体为设总体为N(,1)，现对该总体观测，现对该总体观测n次，发现有次，发现有k次观测值为正，使用频率替次观测值为正，使用频率替换方法求换方法求的估计值的估计值.优点是简单易行优点是简单易行,并不需要事先知道总体的分布形式并不需要事先知道总体的分布形式 .缺点缺点（1）要求总体相应原点矩必须存在，对于不存在原点矩的总体如）要求总体相应原点矩必须存在，对于不存在原点矩的总体如Cauchy分布，则不分布，则不能用矩估计。能用矩估计。 （2）当总体类型已知时，没有充分利用分布提供的信息）当总体类型已知时，没有充分利用分布提供的信息 . 矩法的优缺点：矩法的优

13、缺点： 相比较，下面的最大似然估计则充分利用了总体分布所提供的信息。故一般较矩相比较，下面的最大似然估计则充分利用了总体分布所提供的信息。故一般较矩法估计优法估计优. 二二. 最大似然估计最大似然估计 它是在总体类型已知条件下使用的一种参数估计方法它是在总体类型已知条件下使用的一种参数估计方法 . .由德国数学家由德国数学家高斯在高斯在18211821年提出的年提出的 . .然而然而, ,费歇在费歇在19121912年重新发现了这一方法，并首先研年重新发现了这一方法，并首先研究了这种方法的一些性质究了这种方法的一些性质 . .Fisher例例6 : 有两外形相同的箱子有两外形相同的箱子,各装各

14、装100个球个球 一箱一箱 99个白球个白球 1 个红球个红球 一箱一箱 1 个白球个白球 99个红球个红球现从两箱中任取一箱现从两箱中任取一箱, 并从箱中任取一球并从箱中任取一球,结果所取得的球是白球结果所取得的球是白球.答答: : 第一箱第一箱. .问问: : 所取的球来自哪一箱？所取的球来自哪一箱？ 这个例子所作的推断已经体现了最大似然法的基本思想（即这个例子所作的推断已经体现了最大似然法的基本思想（即最大似然原理最大似然原理：在一次随机：在一次随机试验中某一事件已经发生试验中某一事件已经发生, 则认为试验条件有利于该事件的发生）则认为试验条件有利于该事件的发生）. 下例说明如何求最大似

15、然估计下例说明如何求最大似然估计例例7. 设设X1,X2,Xn是取自总体是取自总体 Xb(1, p) 的一个样本，求参数的一个样本，求参数p(可以是产品的不合格可以是产品的不合格率率)的最大似然估计量的最大似然估计量.nixxiipp11)1 (011iXpp似然函数似然函数解：抽取一个样本值解：抽取一个样本值x1, x2, xn, 这些观测值发生的概率为这些观测值发生的概率为1122( )(,; )nnL pP Xx XxXx p11(1)nniiiixnxpp显然显然p 的不同取值，对应的观测值发生的概率不同，由最大似然原理，应选择使得的不同取值，对应的观测值发生的概率不同，由最大似然原理

16、，应选择使得P(X1=x1,Xn=xn)最大的最大的p值，即为值，即为p的最大似然估计值的最大似然估计值.注：对于连续型总体，可用联合密度代替注：对于连续型总体，可用联合密度代替P(X1=x1,Xn=xn).)1ln()()ln()(ln11pxnpxpLniinii对数似然函数为对数似然函数为11()(1)nniiiixnxL ppp对对p求导并令其为求导并令其为0，)(111)(ln11niiniixnpxpdppLd=0得得xxnpnii11即为即为 p 的最大似然估计的最大似然估计 .222211ln ( )11 ()0(1)nniiiidL pxnxdppp检验ln()0dL pdp

17、 欲求似然函数欲求似然函数L(p) 的最大值点，可以应用微积分中的技巧。通过求解下的最大值点，可以应用微积分中的技巧。通过求解下面的方程求得面的方程求得. 利用最大似然原理而获得的关于未知参数的估计称为最大似然估计。利用最大似然原理而获得的关于未知参数的估计称为最大似然估计。为为似然函数似然函数 定义定义：设：设x1,x2,xn是取自总体是取自总体X的一个样本，样本的联合概率函数为的一个样本，样本的联合概率函数为 p (x1,x2, ,xn ; ) .)( L p(x1, x2 , xn; ) 当当 x1, x2 , xn 为样本的观察值时，为样本的观察值时，( )sup ( )LL如果某个统

18、计量如果某个统计量 满足满足 1(,)nxx则称则称 为为 的的最大似然估计最大似然估计 . 记为记为MLE.注注1：求：求MLE时，只须在支撑上考虑时，只须在支撑上考虑. x : p(x ;)0叫做叫做支撑支撑.注注2 : 若若是是k维向量维向量, 则构造则构造k个统计量分别为相应参数分量的个统计量分别为相应参数分量的MLE.称称注意似然函数与注意似然函数与联合概率函数的联合概率函数的区别区别求求MLE的方法：的方法： 1、微分法、微分法求似然函数求似然函数L( ) 的最大值点，可以应用微积分中的技巧。由于的最大值点，可以应用微积分中的技巧。由于lnx是是 x 的增函的增函数数, lnL(

19、)与与L( )在在 的同一值处达到它的最大值的同一值处达到它的最大值. 假定假定 是一实数，且是一实数，且lnL( )是是 的一个可微函数。通过求解方程：的一个可微函数。通过求解方程：可以得到可以得到 的的MLE . 0)(lndLd 若若 是向量，上述方程必须用方程组代替是向量，上述方程必须用方程组代替 . 2、用定义直接求、用定义直接求当用上述求导方法求参数的当用上述求导方法求参数的MLE有时行不通有时行不通(如似然函数不连续如似然函数不连续)，这时要用最大，这时要用最大似然原理似然原理(即定义即定义)来求来求.例例8 . 设总体设总体 X P ( ) , 未知未知 . 是来自是来自 X

20、的样本值的样本值 , 试求试求 的最大似然估计量的最大似然估计量 .1,nxx例例9 设总体设总体 X N( ) , 未知未知 . 是来自是来自 X 的样本值的样本值 , 试求试求 的最大似然估计量的最大似然估计量 .1,nxx2, 2, 2, 似然函数为似然函数为 解：解：X 的概率密度为的概率密度为 22()21( ),2xp xex222()211(,)2ixniL e 2222211(2 )()exp() 2nnniix 于是于是222211( ,)ln(2 )ln()222niinnlnL x 令令211()0niilnLxn 2222211()022()niinlnLx 11nii

21、xxn 222*11()niixxsn 解得解得经检验知它们就是经检验知它们就是 的最大似然估计的最大似然估计2, 222211( ,)ln(2 )ln()222niinnlnL x 注注: 对于正态总体对于正态总体,2 2的矩估计与的矩估计与MLE是相同的是相同的. .但对于其它很多分布但对于其它很多分布, ,它们并不一样它们并不一样. .例例10 设设x1,x2,xn是取自总体是取自总体XU(0,)的一个样本的一个样本1,0( )00,xXp x为未知参数其它求求的最大似然估计和矩估计的最大似然估计和矩估计.(1)( )1( ), 0nnLxx 故故的最大似然估计为的最大似然估计为( )n

22、x另一方面另一方面,由于由于EX=/2, 故故矩估计为矩估计为2x两者不同两者不同!用求导方法无法最终确定用求导方法无法最终确定用定义直接来求用定义直接来求 .要使要使L()达到最大，达到最大，应最小，但它小不过应最小，但它小不过x(n) ，解解: 当当x1,x2,xn为样本值时，似然函数为为样本值时，似然函数为例例1111 设设 X U (a,b), x1, x2, xn 是是 X 的一个的一个样本值样本值, 求求 a , b 的最大似然估计的最大似然估计.解解X 的密度函数为的密度函数为1,( ; , )0,axbp x a bba其它似然函数为似然函数为(1)( )1( , ),()nn

23、L a baxxbba似然函数只有当似然函数只有当 b -a 最小最小 时才能获得最大值时才能获得最大值, 且且 a 越大越大, b 越小越小, L 越大越大.取取(1)( ),naxbx则对满足则对满足(1)( )naxxb的一切的一切 a 0,求求 的最大似然估计和矩估计的最大似然估计和矩估计. ,()11( , )inxiiLex ，,i=1,2,n11()(1)1,niixnex解解: (1) 当当x1,x2,xn为样本值时，似然函数为为样本值时，似然函数为对数似然函数为对数似然函数为niixnL1)(1ln),(ln 用求导方法无法最终确定用求导方法无法最终确定用定义直接来求用定义直

24、接来求 .、 , niixn11 nL),(ln0 niixnL12)(1),(ln =0 令令(1)x而而(1)( ,),Lx 且是是故使故使 达到最大的达到最大的 即即 的的MLE ),( L , (1)11niixxxn于是于是 即即 分别为分别为 的的MLE ., ,由上式解得由上式解得(2) 由密度函数知由密度函数知 X具有均值为具有均值为 的指数分布的指数分布Exp(1/) 即即 EX= 2 VarX= E(X- ) = 2 Var(X- )= 故故解得解得x2*11()niixxsn211()niixxn也就是也就是 EX= 2 VarX=()Var X ()()E XVar X的矩估计量为的矩估计量为于是于是, 例例1414 设设X Ga(,1), x1, x2, xn 是是 X 的一个样本值的一个样本值, 求求 的最大似然估计的最大似然估计.11,0()( ;)0,xxexp xx0*xs最大似然估计的性质最大似然估