第八章参数估计(教案)

1、精心整理学习资料第八章参数估计§ 8.1点估计1 .点估计问题概述设总体X的分布函数为F(X,。)，。是未知参数，Xi, X2,，Xn是X的一样本，样本值为 xi, X2,，Xn,构造一个统计量? (Xi,X2,，Xn),用它的观察值敦汽,乂2,用，4)作为0的估计值，这种问题称为 点估计问题.习惯上称随机变量?(x1,x2MI,xn)为。的估计量，称L(e)为3的估 计值.构造估计量 政K, ,x2,1 I, 2)的方法很多，下面仅介绍矩法和极大似然估计法2 .矩估计矩估计的基本步骤：设总体XF (X; 0 1,9 2,，0 1)其中0 1,。2,-。i均未知.1 0求出总体X的前

2、k阶矩E(Xk)= k( 0 1, 0 2,，。i),(1<k<1).但包川叫=A,H(q, 0,川, 母)=a ,其中Ak (1<k< l)为样本k阶矩.(3)解出上述方程组的解为用何，耳,我们称W=(X1,X21，Xn)为参数0 k(1WkW|)的矩估计量，4=1(x1,x2，xn)为参数9 k的矩估计值.例8.1 设总体X服从二项分布B(n, p), n已知，X1，X2,，Xn为来自X的样本， 求参数p的矩法估计.解 E(X) =np, E(X) =A =X,因此 np=X所以p的矩估计量？ = X例8. 2设总体X的二阶矩存在且未知，X1，X2,，Xn为来自总体

3、的一个样本.求科=E(X),2b =D(X)的矩估计重.解 由于 E(X)=科,E(X2) = D(X) + (E(X)2= b 2+ J ,令1 ni = E(X) = AXi,n i i221 n 22 = E(X2) = A2' Xi2.n i i故p，° 2的矩估计量分别为? = X, :?22 n - 1 21 n 2=A2 - ?2 二S2(Xi -X )2 .n n y特别地，如果X为正态总体，我们可以对其期望和方差得到类似的估计 例8. 3设总体X的密度函数2( - x), 0 :二 x二,f(X, 0 ) <e2' 八0 0,其他.X1, X2

4、,，Xn为其样本，试求参数0的矩法估计.解。的矩估计量为e=3X.矩估计法的优点是计算简单，且作矩法估计时无需知道总体的概率分布，只要知道总体矩即可.但矩法估计量存在结果不唯一的缺点.原则上，矩估计既可以使用样本的低阶矩估计总体的低阶矩， 也可以使用样本的高阶矩估计总体的高阶矩.如总体X服从参数为入的泊松分布时，分别用一阶矩和二阶矩进行估计，得到X和B2都是参数入的矩法估计.本书进行矩估计时采用就低不就高的原则.3.极大似然估计极大似然估计法(Maximum likelihood estimation)只能在已知总体分布的前提下进行，为了对它的思想有所了解，我们先看一个例子.例8. 4设有甲、

5、乙两个袋子，袋中各装有4个同样大小的球，已知甲袋装有3个黑球和1个白球，乙袋装有 3个白球和1个黑球.现在任取一袋，有放回地从袋中取2个球，结果取出的两球均为黑球，问此球最象取自甲袋还是乙袋？ 解在上仞中，p是分布的参数，它只能取两个值1和3 ,需要通过抽样来决定分布中的参数是-还444口 3是一.在给定样本观察值后去计算该样本值出现的概率，这一概率依赖于p的值，在相对比较之下，4哪个概率大，p就最象哪个.极大似然估计的基本思想就是根据上述想法引申出来的.如果随机抽样得到的样本观测值为x1, x2,，xn,则我们应当这样来选取未知参数。的值，使得出现该样本值的可能性最大，我们把这样的参数记为夕

6、，并称夕为未知参数0的极大似然估计.下面分总体X是离散型和连续型两种情况加以讨论.1 °离散型总体设总体X为离散型，PX = x=p (x,日)，其中。为待估计的未知参数，假定 x1，x2,，xn为 样本X1，X2,，Xn的一组观测值.PXi = Xi, X2=X2,，Xn=xn= PXi = XiPX2=X2PXn=Xn= P（X,e ） p（X2,e）川 P（Xn f）n=口 p（X，e）.i且nn将口 p（Xi,e）看作是参数日的函数，记为L（e）,即L（e）=n p（Xi,e）.（8.1）1 1i 1这一概率依赖于未知参数日，对不同的日，L（e）不一定一样.L（越大，表明出现

7、样本值Xi, X2,Xn的机会越大，即要求对应的概率 L（e）的值达到最大，所以选取这样的也作为未知参数8的估计，使得L（韦=maX L（二）.2 0连续型总体设总体X为连续型，已知其分布密度函数为f（X,日），日为待估计的未知参数，则样本（ Xi,X2,，Xn）的联合密度为：nf （Xi, 9）f（X2, 0 ） f （Xn,。）二口 f （Xi,9）.i 1类似于离散型总体，将它也看作是关于参数。的函数，记为L （。），即nl（ 0）=n f （x,W.（8.2）i=1综合上述两种情况，我们给出如下定义：定义8.1设总体的分布形式已知，但含有未知参数0 （。可以是向量），X1,X2| Xn

8、为来自总体的样本，Xi,X2,|,Xn为样本观察值，称由（8.1）或（8.2）定义的L （。）为样本的似然函数由此可见：不管是离散型总体，还是连续型总体，只要知道它的概率分布或密度函数，我们总 可以得到一个关于参数0的似然函数L （。）.如果随机抽样得到的样本观测值为Xi, X2,，Xn,则我们应当这样来选取未知参数0的值，使得出现该样本值的可能性最大，即使得似然函数L（ 0 ）取最大值，从而求参数0的极大似然估计的问题，就转化为求似然函数L （。）的极值点的问题，一般来说，这个问题可以通过求解下面的方程来解决(8.3)由于 In L （。）是L （。）的单调增函数, .于是求解（8.3）可转

9、化为求解然而，L （。）是n个函数的连乘积，求导数比较复杂， 所以L （。）与In L （。）在。的同一点处取得极大值(8.4)dlnL.odi称ln L （。）为对数似然函数，方程（7.4）为对数似然方程，求解此方程就可得到参数0的估计值.例8. 5在泊松总体中抽取样本，其样本值为：Xi, X2,，Xn,试对泊松分布的未知参数入作极大 似然估计解 例8. 6设Xi, X2,III Xn是取自双参数指数分布总体的一组样本，密度函数为xle- -X f（x；u,J） - 二 ,10, 其它其中出日0是未知参数，x1,X2,|H,xn是一组样本值，求：（1）出a的矩法估计；（2）叱日的极大似然估计

10、.例8. 7设一批产品含有次品，今从中随机抽出100件，发现其中有 8件次品，试求次品率 0的极大似然估计值.矩估计法和极大似然估计法是两种不同的估计方法.对同一未知参数，有时候它们的估计相同，有时候估计不同.一般情况下，在已知总体的分布类型时，最好使用极大似然估计法.当然，前提条件是通过解方程（组）或其它方法容易得到极大似然估计§ 8.2 估计量的评选标准对同一个未知参数，可以有不同的点估计，矩估计和极大似然估计仅仅是提供两种常用的估计 而已在众多的估计中，我们总是希望挑选“最优”的估计.这就涉及到一个评选标准问题1 .无偏性定义8. 2若估计量（"，X2,，4）的数学期

11、望等于未知参数 0 ,即：E（g=8 ,（8.6）则称4为日的无偏估计量。估计量存的值不一定就是。的真值，因为它是一个随机变量， 若k是8的无偏估计，则尽管夕的值随样本值的不同而变化，但平均来说它会等于e的真值.1 n 口例8. 8 设Xi, X2,，Xn为总体X的一个样本，E (X)则样本平均数 X=£ Xi是 n p科的无偏估计量.证 因为E (X) = I ,所以E (为)=科，i=1 , 2,，n,于是1，、 1E(X) = E -Z Xi = £ E(Xi)=-(n vJ n v所以X是科的无偏估计量.例8.9设有总体X,E(X)=科，D(X)=b2,(X1，X2

12、,，Xn)为从该总体中抽得的一个1 n样本，样本方差S2及二阶样本中心矩 Bzn1!： (Xi - X)是否为总体方差 b2的无偏估计？n i 4解2 .有效性对于未知参数日，如果有两个无偏估计量 耳与用，即E (4)=E (同)=日，那么在田，国中谁更好呢？此时我们自然希望对0的平均偏差E (侪-9 ) 2越小越好，即一个好的估计量应该有尽可能小的方差，这就是有效性.定义8.3设阴和您都是未知参数e的无偏估计，若对任意的参数 a ,有D (幻 W D (日?)，(8.7)则称印比同有效.如果用比用有效，则虽然用还不是日的真值，但用在日附近取值的密集程度较 内高，即用耳估 计日精度要高些._

13、1n -例如，对正态总体 N ( j b2), X = £ Xi , Xi和X都是E (X)二科的无偏估计量，但 n i 1D (X) = <D (Xi) =(2,n故X较个别观测值 Xi有效.实际当中也是如此，比如要估计某个班学生的平均成绩，可用两种方法进行估计，一种是在该班任意抽一个同学，就以该同学的成绩作为全班的平均成绩；另一种方法是 在该班抽取n位同学，以这n个同学的平均成绩作为全班的平均成绩，显然第二种方法比第一种方 法好.3 . 一致性无偏性、有效性都是在样本容量n 一定的条件下进行讨论的，然而 3 （Xi, X2,，Xn）不仅AA与样本值有关，而且与样本容量n有关

14、，不妨记为 可，很自然，我们希望n越大时，19 n对8的估计应该越精确.A定义8. 4如果en依概率收敛于0 ,即Vs>0 ,有limpt?n_e< 名=1,（8. 8）nc I则称 是6的一致估计量 （Uniform estimator ）.由辛钦大数定律可以证明：样本平均数X是总体均值 W的一致估计量，样本的方差S2及二阶样本中心矩B2都是总体方差° 2的一致估计量.§ 8.3 区间估计1 .区间估计与置信区间所谓区间估计就是依据样本估计未知参数在某一范围内，在数轴上往往表现为一个区间.具体来说，估计某个未知参数 8 ,要求日的区间估计就是要设法根据样本构造

15、两个统计量耳（Xi,X2,Xn）及玛（Xl,X2，,Xn）,在抽样获得样本观察值（Xi,X2,，Xn）后，便用一个具体的区间虏（Xi, X2,，Xn）,用（Xi,X2-Xn）来估计未知参数 日的取值范围.定义8. 5设耳（Xi,X2，,Xn）及您（Xi,X2，,Xn）是两个统计量,如果对于给定的概率 i- " （ 0<a<i）,有： P6V 6 V 用=i- a ,（8.9）则称随机区间（叶，岑）为参数0的置信区间，耳称为置信下限，岑称为置信上限，i-a叫置信概率或置信度。定义中的随机区间（耳，或）的大小依赖于随机抽取的样本观测值，它可能包含日，也可能不包含日，（8.9）

16、式的意义是指（耳，耳）以i-a的概率包含日.。例8. 10设XN （j（T2）,科未知，（T 2已知，样本Xi,X2,，Xn来自总体X,求科的置信区间，置彳t概率为 1-a.解因为Xi, X2,Xn为来自X的样本，而XN（小b2 X - 1),所以u=尸N (0, 1),对于:/ ； n给定的a ,查附录中表2可得上分位点Z值，使得P<-21<与£卜=1- a，即PqXZ门 <N<X +Z0'=1-a.2、.n2、n(8. 10)所以科的置信概率为1-a的置信区间为IXz：=，X+Z»；二.2、. n ,2、. n由（8. 10）式可知置信区

17、间的长度为 2z飙' ,若n越大，置信区间就越短；若置信概率1-a越大，a就越小， 密就越大，从而置信区间就越长2.正态总体参数的区间估计由于在大多数情况下，我们所遇到的总体是服从正态分布的（有的是近似正态分布） 在来重点讨论正态总体参数的区间估计问题.XN （科，I）, X1，X2,，Xn为其样本.在下面的讨论中，总假定（1）对科的估计 分两种情况进行讨论.1 ° （T 2已知置信概率为1-“时,的置信区间为Lw，2未知当（T2未知时，不能使用8. 10）式作为置信区间，因为（8. 10）式中区间的端点与b有关，考.c 1n C虑到 S2=(Xi -X)2n T i m是b

18、 2的无偏估计，将Xt中的b换成S得T=JXS上t(n-1).对于给定的a ,查附录中t分布表4可得上分位点t仃（n-1）,使得2,一 Sn -1)< N <X + -y= t«(n -1) >=1- a .所以科的置信概率为1-a 的置信区间为'X _StJn-1),X +-StJn-1) |. ,n 2n 2(8. 11)由于SoSo= 1Z (Xi -X)2 ,所以科的置信区间也可写成 n i 4SoX n -1 S)t-2x(n-1)，X + r1 t9t(n-1).(8. 12)例 8. 11测得直径如下某车间生产滚珠(单位：毫米)14.6，已知其直径XN( j。2),现从某一天生产的产品中随机地抽出6个,15.114.914.815.215.1试求滚珠直径 解X的均值科的置信概率为95%的置信区间.工(Xi -X)2 是 i 1b 2的无偏估计，由于(2) b 2的置信区间我们只考虑科未知的情形.，此时由于S2= n -1_2(n -1)S2CT2/ (n -1),对于给定的a ,P 2 (n -1):二1盘(n-1)S2 .2"an-1)1-12(n-1)S2_2:二'、-T (n -1)2(n-1)S2,c3=1 (n -1)2的置信区