第七章 参数估计 (3)

1、7.1 矩估计法矩估计法7.2 最大似然估计最大似然估计7.3 评价点估计量的准则评价点估计量的准则7.4 * * 一致一致最最小方差无偏估计小方差无偏估计7.5 * * 贝叶斯估计贝叶斯估计 7.6 区间估计区间估计 7.1.1 点估计问题点估计问题 22( ,), ,;( ),;XNunkown XPunkown 一般常用一般常用 表示表示参数参数，参数，参数 所有可能取值所有可能取值组成的集合称为组成的集合称为参数空间，参数空间，常用常用 表示。参表示。参数估计问题就是根据样本对上述各种未知参数估计问题就是根据样本对上述各种未知参数作出估计。数作出估计。参数估计的形式有两种：参数估计的形

2、式有两种：点估计与区间估计点估计与区间估计。点估计问题的一般提法点估计问题的一般提法: :1212( ; ).,.,.,1,.1nnXF xXXXXx xx定设总体的分布函数的形式为已知是待估参数是的一个样本为相应的一个义样本值71212(,),( ,).nnXXXx xx点估计问题就是要构造一个适当的统计量用它的观察值来估计未知参数12(,).nX XX称为 的估计量(estimator)12( ,).nx xx称为 的估计值(estimate),.通称估计简记为例例7.1.1 设总体设总体X服从参数为服从参数为的泊松分布，的泊松分布，为未知参为未知参数，现有以下样本值数，现有以下样本值 3

3、 4 1 5 6 3 8 7 2 0 1 5 7 9 8试求未知参数试求未知参数的估计值的估计值解：解：11511()1;111(3 48)4.6.1515niiniiiiE XXXnxxxn 在这里如何构造统计量在这里如何构造统计量 并没有明确的规定，只要并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：它满足一定的合理性即可。这就涉及到两个问题： 其一其一 是是如何给出估计如何给出估计，即估计的方法问题，即估计的方法问题( (常常用方法有：矩法，最大似然法，最小二乘法，用方法有：矩法，最大似然法，最小二乘法，BAYESBAYES方法等）；方法等）； 其二其二 是是如何对不同

4、的估计进行评价如何对不同的估计进行评价，即估，即估计的好坏判断标准（常用有无偏性，有效性，相计的好坏判断标准（常用有无偏性，有效性，相合性等）。合性等）。7.1.2 矩估计法矩估计法 矩估计法矩估计法是基于一种简单的是基于一种简单的“替替换换”思想建立起来的一种估计方思想建立起来的一种估计方法法 . .英国统计学家英国统计学家K.皮尔逊皮尔逊(K.Pearson)1894年提出的年提出的 .矩法估计矩法估计 : :用样本的数字特征去用样本的数字特征去替换替换总体的相应数字总体的相应数字特征，从而得到参数估计的一种方法。特征，从而得到参数估计的一种方法。 即用样本即用样本( (原点，中心原点，中

5、心) )矩及其函数去矩及其函数去替换替换相应的相应的总体总体( (原点，中心原点，中心) )矩及其函数，从而得到参数估计量矩及其函数，从而得到参数估计量的方法的方法. . 比如比如：（1）用样本原点矩估计相应的总体原点矩，）用样本原点矩估计相应的总体原点矩， 即即 ； （2）用样本中心点矩估计相应的总体中心矩；）用样本中心点矩估计相应的总体中心矩； （3）用事件）用事件A出现的频率估计其概率，出现的频率估计其概率， 即即（4）用样本的）用样本的 p 分位数估计总体的分位数估计总体的 p 分位数，分位数， 即即,()kkAE XX特别( )( );nP AfA0.50.5;.ppxMxM特别例例

6、7.1.2 设从某次考试成绩中，随机抽取了设从某次考试成绩中，随机抽取了8位同学位同学的成绩如下：的成绩如下： 94 89 85 78 75 71 65 63 试求总体均值、标准差和中位数的矩估计值试求总体均值、标准差和中位数的矩估计值解：解：8182.0.510 517581()12.14;876.5.iiiixxxxmx；矩法估计矩法估计其其基本思想基本思想是是替换原理替换原理:用样本矩替换（估计）总体相应矩用样本矩替换（估计）总体相应矩 . . 理论依据理论依据: : 大数定律；大数定律；矩法估计的实质是用经验分布函数去替换总体矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格

7、里纹科定理分布，其理论基础是格里纹科定理1212,nkkkknXXX iid XXXXiid X样本样本()(),1,2,kkikE XE Xin11.nPkkikiAXn 则有：11nkkiikkXn当n充分大时，可以用样本的k阶原点矩A作为=E(X )的估计.即：即：1(),1,1, 2,.;kknkkkiikXkE XAXknA若总体的 阶原点矩存在样本的k阶原点矩则有：11(.,),:(.,).kkgg AA如果，得矩法估计量， 理论依据之二理论依据之二: : 矩法估计的实质是用经验分布函矩法估计的实质是用经验分布函数去替换总体分布，其理论基础数去替换总体分布，其理论基础是格里纹科定理

8、是格里纹科定理.1( )( ),()( ),1( ),.nkkkRnkkkiniRkkF xF xE Xx dF xAXx dF xnA22122,.nXX XX设总体的均值 和方差都存在且有但 和均为未知 又设是一个样本 求 和的矩估计量解解1(),E X替换得到矩估计量分别为替换得到矩估计量分别为1,AX222222211111().nniiniiAAXXXXSnn例：例：222221() (),E XE X 设总体具有已知的概率函数设总体具有已知的概率函数 p(x；1, , k)， X1, X2 , , Xn 是样本，假定总体的是样本，假定总体的i 阶原点矩阶原点矩 i i 存在，若存在

9、，若1, , k 能够表示成能够表示成 1, , k 的的函数函数i = i( 1, , k)，则可给出诸，则可给出诸i 的矩法估的矩法估计为计为 1( ,),1,2, ,iikAAik12()( ; ,)diiikE Xx p xx (X为连续型为连续型)12()( ; ,),iiikE Xx p x 或(X为离散型为离散型)1, 2,ik1111221(,.,)(,.,):.(,.,)1kkkkkstep 求1112211(,.,)(,.,).(,.)2:.,kkkkkstep解出1111:(.,),.,(.,).kkkkAAAA: 替换得矩法估计，t量s ep3，11( ,).kkg=g

10、( , ,)矩法估计为:120,(0),(,),.nXX XXX设总体 在（）上服从均匀分布其中未知是来自总体 的样本求 的矩估计量解解11 ( ),22 ,E X因为根据矩估计法根据矩估计法, ,122,AX 2.X所以为所求 的矩估计量例：例：例例7.1.3 X1, X2, , Xn是来自是来自(1,2)上的均匀分布上的均匀分布U(1,2)的样本，的样本，21均是未知参数，这里均是未知参数，这里k=2，由于，由于 得到得到 12122221122( ),2()()() .122E XE X12122211222,()().122不难推出不难推出 122112212,12-(). 21121

11、221213(),3().解方程组得到解方程组得到1, 2的分别为的分别为由此即可得到由此即可得到1, 2的矩估计：的矩估计：123,3nnXSXS即：21121221213(),3().AAAAAA略解略解: : 例例 设总体设总体X的概率密度为的概率密度为1,( ; , )0,xexp x 其它是未知参数是未知参数, ,其中其中0, 求参数求参数 的矩估计的矩估计.12222( )( ; , ),()( ; , )().E Xx p xdxE Xx p xdx 2121221,.2121221,.nnAAAXSAAS解解: : 1101()(1)2E Xxx dx11211从中得从中得21

12、,1XX的矩估计量的矩估计量. .即为即为 例例7.1.4 设总体设总体X的概率密度为的概率密度为(1),01( ; )0,xxp x其它是未知参数是未知参数, ,其中其中1 求参数求参数 的矩估计的矩估计.20.6010.600.5.10.6x例例7.1.5 设总体服从参数设总体服从参数的的POISSON分布，由于分布，由于E(X)= ， 即即 = E(X)，故，故 的矩法估计为的矩法估计为 另外，由于另外，由于Var(X)= ，因此，从替换原理来看，因此，从替换原理来看， 的的矩法估计也可取为矩法估计也可取为 这说明这说明矩估计可能是不唯一的矩估计可能是不唯一的，这是矩法估计的一，这是矩法

13、估计的一个缺点，此时通常应该个缺点，此时通常应该尽量采用低阶矩尽量采用低阶矩给出未知参给出未知参数的估计。数的估计。X21nS(0).XP Xee此外， 矩法的矩法的优点优点是简单易行；是简单易行； 缺点缺点是是:当总体类型已知时，没有充分利用分当总体类型已知时，没有充分利用分布提供的信息布提供的信息 . 一般场合下一般场合下,矩估计量不具有唯一矩估计量不具有唯一性性 . 最大似然法最大似然法是在总体分布类型已知条件是在总体分布类型已知条件下使用的一种参数估计方法下使用的一种参数估计方法 . . 它首先是由德国数学家它首先是由德国数学家高斯高斯在在18211821年年提出的提出的 , ,然而，

14、这个方法常归功于英国然而，这个方法常归功于英国统计学家统计学家费歇费歇. . 费歇在费歇在19121912年重新发现了这一方法，年重新发现了这一方法，并首先研究了这种方法的一些性质并首先研究了这种方法的一些性质 . .GaussFisher1.最大似然估计原理最大似然估计原理 最大似然估计法，是建立在最大似然原理的基最大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法。础上的求点估计量的方法。最大似然原理是：在试最大似然原理是：在试验中概率最大的事件最有可能出现验中概率最大的事件最有可能出现. 反过来应用（合情推理）：反过来应用（合情推理）：一个试验的结果一个试验的结果A,如有若干个

15、可能导致其发生的条件如有若干个可能导致其发生的条件C1,C2 ,Ck。若。若在一次试验中结果在一次试验中结果A发生了，则认为发生了，则认为A发生的发生的条件条件是使是使P（A）达到最大的条件）达到最大的条件. 或者说在试验的很多可能条件中，认为应该或者说在试验的很多可能条件中，认为应该是使事件是使事件A A发生的概率为最大的那种条件存在发生的概率为最大的那种条件存在. . 如：有如：有1010个射手同时向一目标射击，其中一个射手同时向一目标射击，其中一人为运动员射手。现在目标被射中一次。则认人为运动员射手。现在目标被射中一次。则认为：为：目标是运动员射手射中的目标是运动员射手射中的。 再如：盒

16、中有黑白两种球。比例为再如：盒中有黑白两种球。比例为99：1，但不知那种颜色的球多。现从中任取一球，结但不知那种颜色的球多。现从中任取一球，结果为白球。则认为：果为白球。则认为：盒中白球多盒中白球多。例如：例如：该方法这样用于参数估计：该方法这样用于参数估计：( )( ),.,( )( )( )maxP AfAP Aff 现在 发生了 应估计 为，它使得12102881001(1) ,01154()( ).5maxAXXXP AL 则现在=1,=0,.,=0发生了,P(A)=L( )（）应估计 为，它使得L( )=12101210(1, ),(,XBx xxXXX： 设)=(1,0,0,0,0

17、,0,1,0,0,0)为相应于样本（） 的引一个样本值例10.2OL()2. 最大似然估计求法最大似然估计求法(1)X设总体属离散型( ; ),P Xxp x 设总体X的分布列为待估参数其中是 可能的取值范围12,nXXXX是来自总体的样本1212,.nnx xxX XX又设为相应于样本的一个样本值1212,nnX XXx xx则样本取到观察值的概率1122,nnXx XxXx即事件发生的概率为121( )( ,; )( ; ),nniiLL x xxp x( ).L称为样本似然函数12,( )nx xxL得到样本值时选取使似然函数,取得最大值的作为未知参数的估计值( )max ( ).LL即

18、1212,( ,),nnx xxx xx这样得到的 与样本值有关记为12(,)nXXX ,参数的最大似然估计值 .参数的最大似然估计量12(,),nx xx(2)X设总体属连续型( ; ),p x 设总体X的分布密度函数为待估参数其中是可能的取值范围12,nXXXX是来自总体的样本1212,.nnx xxX XX又设为相应于样本的一个样本值121212(,)( ,)(d ,d ,d)nnnX XXx xxxxxn则随机点落在点的邻域 边长分别为的 维立方体 内的概率近似地为111(;)d(;)dniiinniiiip xxp xx121( )(,; )( ; ),nniiLL x xxp x(

19、 ).L称为样本的似然函数( )max ( ).LL若 ,参数的最大似然估计值 .参数的最大似然估计量12(,),nx xx12(,)nXXX定义定义7.2.1 设总体的概率函数为设总体的概率函数为p(x; )， 是参数是参数可可能取值的参数空间，能取值的参数空间，X1, X2 , , Xn 是样本，其观测是样本，其观测值为：值为： 则称下列函数为样本的则称下列函数为样本的似然函数似然函数 .1211( )(,; )( ; )(;( ; ),.)(; )ninniLL xxp xp xp xp x 12,.nx xx 如果如果 满满 足足 则称则称 是是 的的最（极最（极)大似然估计值大似然估

20、计值，则称则称 是是 的的最（极最（极)大似然估计量大似然估计量，两者统称为最大似然估计（两者统称为最大似然估计（Maximum Likelihood Estimate，MLE），并简记为），并简记为 1(,)nxx1( , , )nxx ( )max( )LL1(,)nXX. lnln ( )LLL由于与（ ）在同一点处达最大值，故为了方便有时求的极大值点。 oln()L( )L人们通常更习惯于由人们通常更习惯于由对数似然函数对数似然函数lnL( )出发寻出发寻找找 的极大似然估计的极大似然估计. .当当L( )是可微函数时是可微函数时, ,求导求导是求极大似然估计最是求极大似然估计最常用的

21、方法，对常用的方法，对lnL( )求导更加简单些求导更加简单些. .求最大似然估计量的步骤如下求最大似然估计量的步骤如下: :121() ( )(,; )( ; );nniiLL x xxp x二写出似然函数3. 最大似然估计法步骤最大似然估计法步骤() ( ; );Xp x一写出总体的概率函数() ()ln()lL三取 对 数dln ( )dln ( )( ) ,0,dd.LL四 对求导并令解方程即得未知（注：驻点唯一，一般为最大值点参数 的最大似然，一般不估计值用验证！） 最大似然估计法也适用于分布中含有多个最大似然估计法也适用于分布中含有多个未知参数的情况未知参数的情况. . 此时只需令

22、此时只需令ln0,1,2, .iLik, (1,2, ).iikik解出由个方程组成的方程组 即可得各未知参数的最大似然估计值解：解：似然函数为似然函数为11111( ),0,1,2,niiixnxiniLeexin例例7.2.1 设设X1,X2,Xn是取自指数总体是取自指数总体X的一个样本的一个样本1,0,( ; )0,0.xexXp xx求求 的极大似然估计的极大似然估计. .0其中未知其中未知 1ln( )10niidLnxd 求导并令其为求导并令其为0 0从中解得从中解得11,niixxn 的的MLE 为：为：对数似然函数为对数似然函数为11ln( )lnniiLnx 11.niiXX

23、n如果样本值为：如果样本值为：1067 919 1196 785 1126 936 918 1156 920 948 有有1011997.1.10iix例例7.2.2 设一个试验有三种可能结果，其发生概率设一个试验有三种可能结果，其发生概率分别为分别为 现做了现做了n次试验，观测到三种结果发生的次数分次试验，观测到三种结果发生的次数分别为别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，求，求 的的MLEMLE。22123,2 (1),(1)ppp22,1,( ;)2 (1),2,(1,3.)xpxXxx1232232212212( )() 2 (1) (1) )2(1)( ;

24、nnnnnnniinnLp x解解: : 12322ln ( )(2)ln(2)ln(1)ln2Lnnnnn将之关于将之关于 求导，并令其为求导，并令其为0得到似然方程得到似然方程解之，得解之，得 1235,6,9,2560.4.220nnn 当12322201nnnn1212123222()2nnnnnnnn解：解：似然函数为似然函数为1( )(1)niiLx1(1) () ,01,1,2, .nniiixxin例例7.2.3 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本(1),01,( ; )0,xxXp x其它.求求 的极大似然估计的极大似然估计. .1 其中其中 1l

25、n ( )ln01niidLnxd求导并令其为求导并令其为0 0从中解得从中解得1ln1niinx 的的MLE 为：为：对数似然函数为对数似然函数为1ln ( )ln(1)lnniiLnx1ln1.niinX 例例7.2.4 对正态总体对正态总体N( , 2)，=( , 2)是二维是二维参数，求参数，求 =( , 2)的的MLE。 22()221( ;,)2:,xXp xeSolutnxio 设有样本值设有样本值x1, x2 , , xn，则似然函数及其对数分别为，则似然函数及其对数分别为 22212/2221222211()( ,)exp221(2)exp(),2,1,2, .1ln ( ,

26、)()lnln(2 )222niinniiiniixLxxinnnLx 将将 lnL( , 2) 分别关于两个分量求偏导并令其为分别关于两个分量求偏导并令其为0, 即得到似然方程组即得到似然方程组 221ln ( ,)1()0niiLx 222421ln ( ,)1()022niiLnx 解此方程组，可得解此方程组，可得 的极大似然估计为的极大似然估计为 2的极大似然估计的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。估计使得似然函数取极大值。 11niixxn2211()niixxn可得可得 的极大似然估计量为的极大似

27、然估计量为得出得出 2的极大似然估计量为的极大似然估计量为11;niiXXn22211()niniXXSn 注：虽然求导函数是求极大似然估计最常用的方注：虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。法，但并不是在所有场合求导都是有效的。12121212( ,),) . .,. , X 7 2 5 设总体在上服从均匀分布其中未知(求的最大似然估计例1112121221(1)( )22(1)1)1(11()(1(,1,2,., ,),)min ,., ,max ,., ( ;)nninnninniLxinxxwherepxxxxxxx 121221:,1(;),Xp

28、 xSolutnxio 要使要使L()达到最大，必须是达到最大，必须是1/(n尽可能大。尽可能大。亦即亦即的取值应尽可能小，须的取值应尽可能小，须尽可能小，须尽可能小，须尽可能大，由于，尽可能大，由于， 由此给出由此给出的极大似然估计：的极大似然估计： 给出给出 的极大似然估计量：的极大似然估计量：1121(1)( )min,.,max,.,.nnnXXXXXX12(1)( ),nxx1(1)( )2,nxx(0, ),.X设总体在上服从均匀分布 其中未知 求的最大似单情形：然估计边( )12max,.nnXXXX2()1(1)2,( ; )min,.,.,0 xMLnEexXp xXX：总体

29、X其它未知，则再补充一例 极大似然估计有一个简单而有用的性质：如果极大似然估计有一个简单而有用的性质：如果 是是 的极大似然估计，则对任一函数的极大似然估计，则对任一函数 g( )，其极大似然估计为其极大似然估计为 。该性质称为。该性质称为极大似然极大似然估计的估计的不变性不变性，从而使一些复杂结构的参数的从而使一些复杂结构的参数的极大似然估计的获得变得容易了。极大似然估计的获得变得容易了。 ( )g 例例 设设 X1 , X2 , , Xn是来自正态总体是来自正态总体N( , 2) 的样本，则的样本，则 和和 2的极大似然估计为的极大似然估计为 于是由不变性可得如下参数的极大似然估计，它于是

30、由不变性可得如下参数的极大似然估计，它们是们是: 3(3)P X22, nXSnS 标准差标准差 的的MLE是是 ；概率概率 的的MLE是是 . .3nSX定义定义7.3.1 设设 是是 的一个估计，的一个估计， 的参数空间为的参数空间为，若对任意的，若对任意的 ，有，有 则称则称 是是 的的无偏估计无偏估计，否则称为否则称为有偏估计有偏估计。 1(,)nXX( )E7.3.1 无偏估计无偏估计无偏估计的实际意义无偏估计的实际意义: : 无系统误差无系统误差. .定义定义7.3.1续续 设设 是是 的一个估计，的一个估计， 的参数空间为的参数空间为，若对任意的，若对任意的 ，有，有 则称则称

31、是是 的的渐近渐近无偏估计无偏估计. 1(,)nXXlim( )nE( )( ).BE偏差(系统：误差）例例7.3.1 对任一总体而言，样本均值是总体均值的无偏估计。对任一总体而言，样本均值是总体均值的无偏估计。当总体当总体k阶矩存在时，样本阶矩存在时，样本k阶原点矩阶原点矩Ak是总体是总体k阶原点矩阶原点矩 k的无偏估计。的无偏估计。 但对中心矩则不一样，譬如，由于但对中心矩则不一样，譬如，由于 ，样本，样本方差方差Sn2不是总体方差不是总体方差 2的无偏估计，对此，有如下两点说的无偏估计，对此，有如下两点说明：明： (1) 当样本量趋于无穷时，有当样本量趋于无穷时，有E(Sn2) 2， S

32、n2 为为 2的的渐近无偏估计渐近无偏估计。 (2) 若对若对Sn2的的修正：修正： 则则 S2 是总体方差的无偏估计。是总体方差的无偏估计。221()nnE Sn22211()11nniinSSXXnn例例7.3.3 设总体为设总体为N( , 2)，X1 , X2 , , Xn是样本，是样本，则则S2是是 2的无偏估计，且可求出的无偏估计，且可求出 这说明这说明 S 不是不是 的无偏估计的无偏估计. . 利用修正技术可得利用修正技术可得 cn S 是是 的无偏估计的无偏估计，其中，其中 是修偏系数是修偏系数. . 可以证明，当可以证明，当n时时, , 有有cn1. . 这说明这说明 S 是是

33、 的渐近无偏估计的渐近无偏估计。 2( / 2)( )1(1) / 2)nnE Snnc1(1)/2)2( /2)nnncn解解2221(1),nYSn由第由第6章第章第4节节FISHER定理知定理知112210211edy122nynnSEyyn122102212edy,11222ynnnynn22( ),112nE Snn ,S故不是的无偏估计量112 .22nnSn是的无偏估计量定义定义7.3.2 设设 是是 的两个无偏估计，如的两个无偏估计，如果对任意的果对任意的 , 有有 且至少有一个且至少有一个 0使得上述不等号严格使得上述不等号严格成立，则称成立，则称 比比 有效。有效。 12,

34、 12Var()Var(),127.3.2 有效估计有效估计 例例7.3.4 设设 X1, X2 , , Xn 是取自某总体的样本，记总是取自某总体的样本，记总体均值为体均值为 ，总体方差为，总体方差为 2，则，则 都是都是 的无偏估计，但的无偏估计，但 显然，只要显然，只要 n1， 比比 有效。这表明用全部数据有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。的平均估计总体均值要比只使用部分数据更有效。 121,XX2212Var()/ ,Var()n1211=,0,1nniiiiiiXXX一般地,在 的无偏估计量类：中，最有效.例例7.3.5 设设 X1, X2 , , X

35、n 是取正态总体的样本，总是取正态总体的样本，总体均值为体均值为 0已知已知 ，总体方差为，总体方差为 2 未知未知，则，则 _2222200112422222000212_4222222122011()()12( )12(1)1nniiiiniiniiSXSXXnnnXSnE SVar SnnXXSnE SVar SnSS考虑 的两个无偏估计量：，；，。比 有效。例例7.3.6 均匀总体均匀总体U(0, )中中 的两个无偏估计是的两个无偏估计是：试比较其有效性。试比较其有效性。 12( )12nnXXn，1221( )2 ( )2 ( )2= ,244Var( )4Var( )Var( ).

36、123EE XE XXXnnn 由次序统计量的分布，我们知道由次序统计量的分布，我们知道 X(n) 的分布密度函的分布密度函数为数为 p(y)=n y n-1/ n, 0y 0，有，有 ( (7.3.6) ) 则称则称 为为 参数的参数的相合估计（一致估计）量相合估计（一致估计）量。 1(,)nnnXXlim(|)0nnPn 相合性被认为是对估计的一个最基本要求相合性被认为是对估计的一个最基本要求, 如果一个估计量如果一个估计量, 在样本量不断增大时，它都不在样本量不断增大时，它都不能把被估参数估计到任意指定的精度能把被估参数估计到任意指定的精度, 那么这个那么这个估计是很值得怀疑的。估计是很

37、值得怀疑的。 通常，不满足相合性要通常，不满足相合性要求的估计一般不予考虑。求的估计一般不予考虑。 若把依赖于样本量若把依赖于样本量n的估计量的估计量 看作一个随看作一个随机变量序列，相合性就是机变量序列，相合性就是 依依概率收敛于概率收敛于 , 所所以证明估计的相合性可以证明估计的相合性可应用依概率收敛的定义应用依概率收敛的定义 性质及大数定律和下面的定理性质及大数定律和下面的定理。 nnn()ng定理定理7.3.1 若若 是是 的相合估计，的相合估计，g( ) 是是 连续函数，连续函数，则则 是是g( )的相合估计。的相合估计。0,0,|,( )( ) |;|)( ) |.1lim(|)l

38、im()( ) |)1lim()( ) |Pr:)1.nnnnnnnngxxggPPgfPgoo由函数 的连续性，当|有|g| g(|g(|g(1,nkn1(,)nkng定理定理7.3.2 若若 分别是分别是1, , k 的相合估的相合估计，计，g(1 , , xk) 是是1, , k 的连续函数，则的连续函数，则 是是 g(1 , , k ) 的相合估计。的相合估计。1110 ,0 ,|,1, 2 , .,.(, .,)(, .,) |;, .,00 ,(|),1, 2 , . .P r. ,:jjnnnk njnjgjkgvNnNvPjkokof由 函 数的 连 续 性 ，当 |有| g又

39、 由的 相 合 性 ， 对 给 定 的，正 整 数， 使 得时 ， 有 ：|111111(,.,)(,.,) |)(|)(|),(,.,)(,.,).nknkkjnjjkjnjjPnknkPgPPvg |g|即g222 2 S S A nnkkXSS （ 1） 样 本 均 值 是 总 体 均 值 的 相 合 估 计 量 ;（） 样 本 方 差及都 是 总 体 方 差的 相 合 估 计 量 ;（ 3） 样 本 标 准 差 及 都 是 总 体 标 准 差 的 相 合 估 计 量 ;（ 4） 样 本 原 点 矩是 总 体 原 点 矩 的 相 合 估 计 量 .例例7.3.8 设设 X1, X2 ,

40、, Xn 是取自某总体的样本，总是取自某总体的样本，总体各阶矩存在。记总体均值为体各阶矩存在。记总体均值为 ，总体方差为，总体方差为 2。注：注： 由该题，我们可以看到由该题，我们可以看到, ,矩估计一般都具有相合性。矩估计一般都具有相合性。证明证明（1 1）由）由辛钦大数定律辛钦大数定律知知, , 0,11 lim1,niniPXn有11 .niiXXn所以是的相合估计量22221111(2) S()nnniiiiXXXXnn222,() AXA是样本二阶原点矩由辛钦大数定律知由辛钦大数定律知, , 22211(), niiAXE Xn依概率收敛于11( ), niiXXE Xn依概率收敛于

41、222 SnAX故222() (),E XE X依概率收敛于22 S . n所以是的相合估计量 lim1, 1nnn又222 S . 1nnSn所以也是的相合估计量; , S . PPnnSSS (3) 由定理7.3.1知：所以均为的相合估计量k1k1(), . nkkikikAXE XnA(4)由辛钦大数定律知,依概率收敛于所以是的相合估计量定理定理7.3.3 设设 ，是，是 的一个估计量，的一个估计量，若若 则则 是是 的相合估计。的相合估计。1(,)nnnXXlim(),lim()0nnnnEVarn22220 ,(| )0(|)()()0P r:nnnnb yM a rk o vin

42、e q u a lityw e h a v eEPV a rEo o f|例例7.3.9 设设 X1, X2 , , Xn 是来自均匀总体是来自均匀总体U(0, ) 的样本，证明的样本，证明 的极大似然估计是相合估计。的极大似然估计是相合估计。证明证明: 的极大似然估计是的极大似然估计是X(n)。故由例。故由例7.3.6有有 由定理由定理7.3.3可知，可知，X(n)是是 的相合估计。的相合估计。22(),1V a r ()0 , (1) (2 )nEnnnn定理定理7.3.4 设总体设总体X有概率函数有概率函数 p(x; )， ， 为非退化区间，假定为非退化区间，假定 (1) 对任意的对任意

43、的x，偏导数，偏导数 ， 和和 对所有对所有 都存在；都存在； (2) , 有有 ， 其中函数其中函数F1(x) , F2(x), F3(x)可积可积. .ln p22ln p33ln p2312323ln( ),( ),( )pppF xF xF x7.3.5 其它准则（其它准则（ (3) , 若若 X1, X2 , , Xn 是来自该总体的样本，则存在是来自该总体的样本，则存在未知参数未知参数 的极大似然估计的极大似然估计 ，且，且 具具有有相合性和渐近正态性相合性和渐近正态性: : 1,( )nNnI2ln0( )( ; )dpIp xx1(,)nnnXXn 定义定义6.4.2 对参数估

44、计问题，设对参数估计问题，设 是是 的一个无的一个无 偏估计，如果对另外任意一个偏估计，如果对另外任意一个 的无偏估计的无偏估计 ， 在参数空间在参数空间上都有上都有 则称则称 是是 的的一致最小方差无偏估计，一致最小方差无偏估计，简记为简记为 UMVUE。Var ( )Var ( )7.4.1 一致最小方差无偏估计一致最小方差无偏估计 介绍介绍UMVUE的概念，找的概念，找UMVUE的三种方法。的三种方法。 定理定理7.4.1 设设 (X1, X2 , , Xn) 是来自某总体的一个样是来自某总体的一个样本，本， 是是 的一个无偏估计，的一个无偏估计， 则则 是是 的的UMVUE的的充要条件

45、充要条件是：是： 如果对任意如果对任意一个满足一个满足 E( )=0，Var( )0, 用条件期望构造一个新的随机用条件期望构造一个新的随机变量变量 （Y），其定义为），其定义为 则有则有 ( )(|)yE X Yy( ( ),( ( )(),EYVarYVar XXY等号成立和（ ）几乎处处相等。7.4.2 充分性原则充分性原则 以下定理说明：以下定理说明：好的无偏估计都是充分统计量的函好的无偏估计都是充分统计量的函数数。 定理定理7.4.3 设总体概率函数是设总体概率函数是 p(x; )， X1, X2 , , Xn 是其样本是其样本，T=T(X1, X2 , , Xn )是是 的的充分充

46、分统计统计量，则量，则 对对 的任一无偏估计的任一无偏估计 ，令令 ， 则则 也是也是 的无偏估计，且的无偏估计，且 1(,)nXX(| )ETVar( )Var( ) 定理定理7.4.3说明说明：如果无偏估计不是充分统计如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑了无偏估计的方差。换言之，考虑 的估的估 计问题只需要在基于充分统计量的函数中计问题只需要在基于充分

47、统计量的函数中 进行即可，该说法对所有的统计推断问题进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的都是正确的，这便是所谓的充分性原则充分性原则。 例例7.4.2 设设 X1, X2 , , Xn 是来自是来自B(1, p)的样本，则的样本，则 是是p 的充分统计量。为估计的充分统计量。为估计 =p(1- p)，可令可令 由于由于 ，所以，所以 是是 的的无偏估计。这个只使用了两个观测值的估计并不无偏估计。这个只使用了两个观测值的估计并不好好. .下面我们用下面我们用Rao- -Blackwell定理对之加以改进：定理对之加以改进：求求 关于充分统计量关于充分统计量 的条件期望，

48、的条件期望，得得TnX1211,00XX， 其它12( )(1,0)(1)EP XXpp 1niiTX()()(1)(|)(1)(1)(1).t ntT nTnXXETtn nn nn n 定理定理7.4.4 设总体概率函数是设总体概率函数是 p(x; )， X1, X2 , , Xn 是其样本，是其样本，T=T(X1, X2 , , Xn )是是 的的充分完备充分完备统计统计量，则量，则 对对 的任一无偏估计：的任一无偏估计： 令令 则则 是是 的唯一的唯一UMVUE。 1(,)nXX( | )ET 例例7.4.3 设设 X1, X2 , , Xn 是来自是来自B(1, p)的样本，则的样本

49、，则 是是p 的的充分完备充分完备统计量。由于统计量。由于1niiTX1(|)(|)niipE p TE XXpXXpUMVUE是p的常用无的偏估计，是。定义定义7.4.2 设总体设总体 X 的概率函数的概率函数 p(x; ), , ，则称，则称 为总体分布的为总体分布的费希尔费希尔(Fisher) 信息量。信息量。 2( )ln ( ; )IEp X7.4.3 Cramer-Rao不等式不等式定义定义7.4.2 设总体的概率函数设总体的概率函数 p(x; ), 满足下列条件：满足下列条件： (1) 参数空间参数空间是直线上的一个开区间；是直线上的一个开区间； (2) 支撑支撑 S=x: p(

50、x; )0与与 无关；无关； (3) 导数导数 对一切对一切 都存在；都存在； (4) 对对p(x; )，积分与微分运算积分与微分运算可交换次序；可交换次序； (5) 期望期望 存在；则称存在；则称 为总体分布的为总体分布的费希尔费希尔(Fisher) 信息量。信息量。 ( ; )p x2ln(; )Ep X2( )ln ( ; )IEp X 费希尔信息量是数理统计学中一个基本概念，费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔

51、信息量界等都与费希尔信息量I( )有关。有关。I( )的种种的种种性质显示，性质显示，“I( )越大越大”可被解释为总体分布可被解释为总体分布中包含未知参数中包含未知参数 的信息越多。的信息越多。例例7.4.4 设总体为泊松分布设总体为泊松分布P( )分布，则分布，则 于是于是ln( ; )lnln( !)p xxxln( ; )1xp x21( )XIE例例7.4.5 设总体为指数分布，其密度函数为设总体为指数分布，其密度函数为 1( ; )exp,0, 0 xp xx221ln( ; )xxp x2242Var()1( )XXIE定理定理7.4.5（Cramer-Rao不等式）不等式） 设

52、定义设定义7.4.2的条件满足，的条件满足，X1, X2 , , Xn 是来自该是来自该总体的样本，总体的样本，T=T(X1, X2 , , Xn )是是g( )的任的任 一个无偏估计，一个无偏估计， 存在，且对存在，且对 中一切中一切 ，微分可在积分号下进行，则有，微分可在积分号下进行，则有 ()()gg2Var( ) ( )( )TgnI证明证明以连续总体为例加以证明以连续总体为例加以证明.(; )1,1,2,iip xdxin 0(; )iip xdx ln (; ) (; )iiip xp xdx ln (; )iEp X 11=ln(; )ln (; )nniiiiZp Xp X 1

53、ln (; )0niiEZEp X 2()()E ZVar Z 1ln (; )niiVarp X 21ln (; )( )niiEXnIp ( )()( )gE TZE TgZ 又又222( )( ) ()gE TgE Z ( )()Var T Var Z 2Var( ) ( )( )TgnI 上式称为上式称为克拉美克拉美-罗（罗（C-R）不等式）不等式; g()2/(nI( )称为称为g( )的无偏估计的方差的无偏估计的方差 的的C-R下界，下界，简称简称g( )的的C-R下界。下界。 特别，对特别，对 的无偏估计的无偏估计 ,有有 ;1Var( ) ( ( )nI 如果等号成立，则称如果

54、等号成立，则称 T=T(X1, , Xn) 是是 g( )的的优效估计优效估计，一般，一般优效估计一定是优效估计一定是 UMVUE。例例7.4.6 设总体分布列为设总体分布列为p(x, )= x(1- - )1- -x, , x=0,1，它满足定理，它满足定理7.4.5的所有条件，可以算得的所有条件，可以算得该分布的费希尔信息量为该分布的费希尔信息量为 ，若，若 X1, X2, , Xn 是该总体的样本，则是该总体的样本，则 的的C- -R下界下界为为(nI( )- -1= (1- - )/n。因为。因为 是是 的无偏估计，的无偏估计，且其方差等于且其方差等于 (1- - )/n，达到，达到C

55、- -R 下界，所以下界，所以 是是 的有效估计，它也是的有效估计，它也是 的的UMVUE。 1()(1)IXX例例7.4.7 设总体为指数分布设总体为指数分布Exp(1/ )，它满足定理，它满足定理7.4.5的所有条件，例的所有条件，例6.4.4中已经算出该分布的费中已经算出该分布的费希尔信息量为希尔信息量为I( ) = - -2，若，若X1, X2, , Xn 是样本，是样本，则则 的的C- -R下界为下界为(nI( )- -1=2/n。而。而 是是 的无偏估计，且其方差等于的无偏估计，且其方差等于2/n，达到了，达到了C- -R下界，所以，下界，所以， 是是 的有效估计，它也是的有效估计

56、，它也是 的的UMVUE。XX能达到能达到C- -R下界的无偏估计不多下界的无偏估计不多: :例例7.4.8 设总体为设总体为N(0, 2 )，满足定理，满足定理7.4.5的条件，的条件，且费希尔信息量为且费希尔信息量为 ，令，令 , , 则则 的的C- -R下界为下界为 , , 而而 的的UMVUE为为 其方差大于其方差大于C- -R下界。这表明所有下界。这表明所有 的无偏估计的的无偏估计的方差都大于其方差都大于其C- -R下下界。界。 241()2I22()g2222()()2gnIn21( / 2)12(1) / 2)niinnXnn7.5.1 统计推断的基础统计推断的基础 经典学派经典

57、学派的观点：的观点：统计推断是根据样本信息统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里对总体分布或总体的特征数进行推断，这里用到两种信息：用到两种信息：总体信息总体信息和和样本信息样本信息；贝叶斯学派贝叶斯学派的观点：除了上述两种信息以外，的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：统计推断还应该使用第三种信息：先验信息。先验信息。 （1）总体信息总体信息: :总体分布提供的信息。总体分布提供的信息。（2）样本信息样本信息: :抽取样本所得观测值提供的信息。抽取样本所得观测值提供的信息。（3）先验信息先验信息: :人们在试验之前对要做的问题在经人们在试验之前对要

58、做的问题在经 验上和资料上总是有所了解的，这些信息对验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。信息在日常生活和工作中是很重要的。 基于上述三种信息进行统计推断的统计学称为基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。贝叶斯统计学。它与经典统计学的差别就在于它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总是否

59、利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。有时还会导出不合理的结论。 贝叶斯学派的基本观点：贝叶斯学派的基本观点：任一未知量任一未知量 都可看都可看作随机变量，作随机变量，可用一个概率分布去描述，这个可用一个概率分布去描述，这个分布称为分布称为先验分布先验

60、分布；在获得样本之后，总体分在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量得到一个关于未知量 新的分布新的分布后验分布后验分布；任何关于任何关于 的统计推断都应该基于的统计推断都应该基于 的后验分的后验分布进行。布进行。 （1）总体的条件分布：）总体的条件分布：总体依赖于参数总体依赖于参数 的概率的概率函数在贝叶斯统计中记为函数在贝叶斯统计中记为p (x | )，它表示在随机，它表示在随机变量变量取某个给定值时总体取某个给定值时总体X的的条件概率函数；条件概率函数； （2）参数）参数根据参数根据参数 的先验信息的先验信息