第八章参数估计-BaiBai

1、第八章,参数估计,研究参数估计，要解决两个方面的问题：,1.,怎样估计参数，即用什么样的办法对参数进行估计；,2.,对估计出的参数值用什么标准衡量其优劣程度。,8.1,估计量的优劣标准,8.2,获得估计量的方法,点估计,8.3,区间估计,参数估计的概念,定义,设总体,X,的,分布函数,F(,x,;,?,),的形式为已知,?,。其中,?,为未知参数,?,为参数空间,X,1,，, ，,X,n,是总体,X,的一个样本，若统计量,f(X,1,，,，,X,n,),可作为,?,的一个估计,则称其为,?,的,一个估计量，记为,?,即,?,?,?,f(,X,X,).,?,1,n,若,x,1,，,，,x,n,是

2、样本的一个观测值。,?,?,f,(,x,x,),称为,?,的估计值,?,1,n,在不致混淆的情况下统称估计量与估计值为,估计,注：,X,的分布函数,F(x;,?,),也可用分布律或密度函数代替,.,8.1,估计量的优劣标准,（,一,）,一致估计,如果当,n,?,?,时，,?,依概率收敛于,?,即任给,?,定义,8.1,lim,P(,?,?,?,n,?,0,，,?,)=1,，则称,?,为参数,?,的一致估计。,?,?,设,?,(X,1,X,n,),是,的估计量，若,P,?,?,?,?,，,则称,是,的一致性估计量。,一致性是对于极限性质而言的，它只在样本,容量较大时才起作用。,（二）无偏估计,设

3、,?,?,?,(,X,1,X,n,),为,?,的估计量,若,E,?,?,?,则称,?,是,?,的无偏估计量,.,定义,8.2,如果,E,?,=,?,成立,则称估计,?,为参数,?,的无偏估计。,例,1,从总体中取一样本（,X,1,X,n,），,E,=,D,=,2,试证样本平均数,2,2,分别是及,的无偏估计。,X,及样本方差,S,证,1,X,?,?,X,i,n,i,?,1,n,n,1,1,1,E,(,X,),?,E,(,?,X,i,),?,?,EX,i,?,n,?,?,?,n,i,?,1,n,i,?,1,n,n,1,2,S,?,(,X,i,?,X,),?,n,?,1,i,?,1,2,n,E,(

4、,X,),?,?,样本均值,X,是的无偏估计。,n,1,2,2,2,ES,=,E,(,X,i,?,X,),?,?,.,?,n,?,1,i,?,1,?,1,?,1,DX,?,D,?,?,X,i,?,?,2,?,n,i,?,1,?,n,n,1,2,DX,i,?,?,?,n,i,?,1,n,?,1,2,?,ES,?,E,?,(,X,i,?,X,),?,?,?,n,?,1,i,?,1,?,2,n,1,?,?,E,?,?,X,?,?,?,X,?,?,?,?,i,?,?,n,?,1,i,?,1,n,n,2,2,?,1,?,2,?,E,?,?,(,X,i,?,?,),?,n,?,X,?,?,?,?,n,?,

5、1,?,i,?,1,?,1,n,2,?,E,?,X,i,?,?,?,?,E,X,?,?,?,n,?,1,i,?,1,n,?,1,n,1,2,DX,=,?,n,?,?,2,1,n,?,2,2,?,n,?,?,?,?,n,?,1,n,?,1,n,2,S,2,是,2,的无偏估计,如果从总体中随机取出两个相互独立的样本,（,X,11, ,X,1n1,）及（,X,21, ,X,2n2,），则可以证明,n,1,?,1,?,S,?,?,n,2,?,1,?,S,?,1,2,X,?,n,1,X,1,?,n,2,X,2,?,S,?,?,n,1,?,n,2,n,1,?,n,2,?,2,2,1,2,2,分别是总体中和

6、,2,的无偏估计量。其中，,1,1,2,2,X,i,?,?,X,i,j,S,i,?,(,X,i,j,?,X,i,),?,n,j,?,1,n,i,?,1,j,?,1,2,?,?,i,?,1,，,n,n,（三）有效估计,对总体的某一参数的无偏估计量往往不止一个，而,且无偏性仅仅表明,所有可能取的值按概率平均等,于,，可能它取的值大部分与相差很大。为保证,的取值能集中与附近，自然要求,的方差越小越好。,设,?,i,?,?,i,(,X,1,X,n,),i,?,1,2,分别是参数,?,的两个,无偏估计,若,D,?,1,?,D,?,2,则称,?,1,比,?,2,有效,.,定义,8.3,设,和,都是,的无偏

7、估计，若样本容量为,n,的方差小于,的方差，则称,是比,有效的估计量。,如果在,的一切无偏估计量中,的方差达到最小，,则,称为,的有效估计量。,实际上，样本平均数,X,是总体期望值,的有效估计量。,由定义可知，一个无偏估计量取的值是在可能范围内最密,集与未知参数的真值,附近摆动。,例,2,比较总体期望值的两个无偏估计的有效性。,1,X,?,?,X,i,n,i,?,1,解：,n,X,?,?,a,X,i,i,?,1,n,n,i,?,a,i,?,1,?,?,a,?,0,?,i,?,?,?,i,?,1,?,n,i,E,(,X,),?,?,EX,?,?,a,E,X,i,i,?,1,n,1,2,DX,?,

8、?,n,i,?,a,i,?,1,n,?,?,i,1,2,DX,?,?,n,DX,?,?,a,DX,2,i,i,?,1,n,?,?,?,?,a,i,?,?,i,?,1,?,2,n,2,?,?,a,i,?,1,n,n,2,i,2,?,?,?,?,a,i,?,?,i,?,1,?,?,2,利用不等式,n,2,n,(,a,i,?,a,j,),?,0,n,2,a,i,a,j,?,a,?,a,2,i,2,j,?,?,2,2,2,2,a,?,a,?,2,a,a,（,a,i,+,a,j,）,?,?,?,i,i,i,j,?,?,a,i,?,?,?,?,i,?,1,i,j,?,i,?,1,?,i,?,1,i,j,n

9、,?,n,?,a,i,?,1,n,2,i,1,i,?,1,?,2,n,n,?,?,a,?,i,?,?,?,i,?,1,?,?,a,2,i,1,2,DX,?,?,n,DX,?,2,i,?,a,DX,2,i,i,?,1,n,1,i,?,1,?,2,n,?,n,?,a,?,i,?,?,?,i,?,1,?,?,a,n,?,?,?,?,a,i,?,?,i,?,1,?,n,2,?,?,a,i,?,1,n,n,2,i,2,?,?,?,?,a,i,?,?,i,?,1,?,2,i,?,2,?,DX,?,?,a,i,?,1,n,i,?,1,n,n,?,a,i,1,2,?,?,?,?,DX,n,2,2,故,X,比,

10、X,有效,8.2,获得估计量的方法,点估计,点估计就是以样本的某一函数值作为,总体中未知参数的估计值的一种估计方法,若,x,1,，,，,x,n,是样本的一个观测值。,?,?,f,(,x,x,),称为,?,的估计值,?,1,n,由于,f,(x,1,，,，,x,n,),是实数域上的一个点，,现用它来估计,?,，,故称这种估计为,点估计,。,点估计的经典方法是,矩估计法,与,极大似然估,计法,。,(,一）矩估计法（简称“矩法”）,矩法是求估计量的最古老的方法。,具体的做法是：以样本矩作为相应的总体矩的估计，,以样本矩的函数作为相应的总体矩的同一函数的估计。,常用的是用样本平均数,估计总体期望值,。,

11、关键点,：,1.,用样本矩作为总体同阶矩的估计，即,1,k,E,(,X,),?,?,X,i,.,n,i,?,1,k,n,2.,约定：若,?,是未知参数,?,的矩估计，则,f(,?,),的矩,估计为,f( ),?,例,1,某灯泡厂某天生产了一大批灯泡，从中抽取了,10,个进行寿命实验，得数据如下（单位：小时）问该天生,产的灯泡平均寿命是多少？,1050,1100,1080,1120,1200,1250,1040,1130,1300,1200,解,计算出X1147，以此作为总体期望值的估计。,矩法比较直观，求估计量有时也比较直接，但它,产生的估计量往往不够理想。,（二）最大似然估计法,1,、最大似

12、然思想,有两个射手，一人的命中率为,0.9,另一人的,命中率为,0.2,现在他们中的一个向目标射击了一,发，结果命中了，估计是谁射击的？,一般说，事件,A,发生的概率与参数,?,有关，,?,取值,不同，则,P(A),也不同。因而应记事件,A,发生的概率,为,P(A|,?,).,若,A,发生了，则认为此时的,?,值应是在,?,中,使,P(A|,?,),达到最大的那一个。这就是,最大似然思想,最大似然法是要选取这样的,，当它作为,的估计,值时，使观察结果出现的可能性最大。,对于离散型的随机变量就是估计概率函数中的参数,；,对于连续型的随机变量就是估计概率密度中的,。,设为连续性随机变量，它的分布函

13、数是,F(x;,),概率密,?,?,x,;,?,?,其中是未知参数，可以是一个值，也可,度是,以是一个向量。由于样本的独立性，则样本,?,X,1,X,n,?,的,联合概率密度,是,L,?,x,1,x,n,;,?,?,?,?,?,?,x,i,;,?,?,i,?,1,n,L,?,x,1,x,n,;,?,?,?,?,?,?,x,i,;,?,?,i,?,1,n,x,1,x,n,是常数，,L,是,对每一个取定的样本值,参数,的函数，称,L,为样本的似然函数（如果,是一个向量，则,L,是多元函数）。,设为离散型随机变量，有概率函数,P,?,?,?,x,i,?,?,p,?,x,i,;,?,?,n,则似然函数

14、,L,?,x,1,x,n,;,?,?,?,?,p,?,x,i,;,?,?,i,?,1,定义,8.4,如果,L,x,1,x,n,;,?,在,处达到最大值，则称,是,的最大似然估计。,与样本有关，它是样本的函数，即,?,?,?,?,?,?,x,1,x,n,?,式子右边的,表示函数关系。问题是如何把的最大似然,估计,求出来，由于,L,与,L,同时达到最大值，故只需,求,L,的最大值点即可。,如果,是一个向量，即,?,?,?,?,1,?,2,?,m,?,?,?,lnL,?,0,?,?,?,1,?,?,考虑方程组：,?,?,?,ln,L,?,?,0,?,?,?,?,m,(,?,1,?,m,),一般情况下

15、，,L,在最大值点,的一阶偏导数等于,0,，即,?,1,?,m,是上面方程组的,解。要求最大似然估计，首先要解这个似然方程组。,1.,设总体,X,为离散型随机变量，它的分布律为,P,X,?,x,i,?,P,(,x,i,;,?,),i,?,1,2,现有样本观察值,x,1,x,2,x,n,其中,x,i,取值于,x,i, i=1,2,问：根据极大似然思想，如何用,x,1,x,2,x,n,估计,?,L,?,x,1,x,n,;,?,?,?,?,p,?,x,i,;,?,?,i,?,1,n,例,5,.,设,X,1,，,，,X,n,为取自参数为,?,的泊松分,布总体的样本，求,?,的极大似然估计,2.,设总体

16、,X,为连续型随机变量，概率密度,(x;,),现有样本观察值,x,1,x,2,，,x,n,问：根据极大似然思想，如何用,x,1,x,2,x,n,估计,?,L,?,x,1,x,n,;,?,?,?,?,?,?,x,i,;,?,?,i,?,1,n,2,、似然函数与极大似然估计,设,X,1,X,n,?,(,x,;,?,),?,?,则称,x,n,;,?,),?,?,?,(,x,i,;,?,),i,?,1,n,iid,L,(,?,),?,L,(,x,1,为该总体的似然函数。,3,、求极大似然估计的步骤,(1),做似然函数,L,(,?,),?,L,(,x,1,ln,L,(,?,),?,L,(,x,1,(2)

17、,做对数似然函数,x,n,;,?,),?,?,?,(,x,i,;,?,),i,?,1,n,x,n,;,?,),?,?,ln,?,(,x,i,;,?,),i,?,1,n,(3),求导数，列似然方程,d,ln,L,(,?,),?,0,d,?,(4),解似然方程,若该方程有解，则其解就是,的最大似然估计。,例,6,：,设,X,1,n,本，求参数,2,的极大似然估计。,，,，,X,2,为取自,N(,),总体的样,例,2,已知,?,?,1,?,?,?,e,x,0,?,?,?,?,?,x,;,?,?,?,?,?,?,?,0,其他,?,?,?,x,0,?,x,1,x,2,x,n,为,的一组样本观察值，求,的

18、最大似然估计。,解,似然函数,L,?,x,1,x,2,x,n,;,?,?,?,?,e,i,?,1,n,1,?,x,i,?,?,?,1,?,?,e,n,x,i,?,?,i,?,1,1,n,L,?,x,1,x,2,x,n,;,?,?,?,?,e,i,?,1,n,1,?,x,i,?,?,?,1,?,?,e,n,x,i,?,?,i,?,1,1,n,ln,L=,?,n,ln,?,?,d,ln,L,?,1,?,?,?,2,d,?,n,?,x,?,?,i,?,1,1,n,i,?,x,i,i,?,1,n,?,?,n,?,?,1,2,?,x,i,?,1,n,i,?,0,1,?,?,?,x,i,?,x,解似然方程

19、,n,i,?,1,n,?,的最大似然估计。,x,就是,例,3,某电子管的使用寿命（从开始使用到初次失效为止）,服从指数分布（概率密度见例,2,），今抽取一组样本，其,具体数据如下；问如何估计,？,16,29,50,68,100,130,140,270,280,340,410,450,520,620,190,210,800,1100,解,根据例,2,的结果，参数,用样本平均数估计,1,1,?,?,?,x,i,?,?,16,?,29,?,n,i,?,1,18,n,?,800,?,1000,?,1,?,?,5723,?,318,18,?,?,?,318,为,的估计值。,例,4,已知服从正态分布,N,

20、?,?,?,?,?,x,1,x,2,x,n,?,2,为,的一组样本观察值，用最大似然估计法估计,?,?,2,的值。,解,L,?,?,i,?,1,n,1,2,?,n,?,2,e,?,?,x,i,?,?,?,2,?,2,2,?,1,?,?,1,?,?,?,e,?,?,?,?,2,?,?,2,?,?,?,n,2,?,1,2,?,2,?,i,?,1,n,(,x,i,?,?,),2,1,?,1,?,n,2,2,ln,L=,n,ln,?,?,ln,?,?,(,x,?,?,),?,i,?,2,2,2,?,i,?,1,?,2,?,?,n,1,?,1,?,n,2,2,ln,L=,n,ln,?,?,ln,?,?,

21、(,x,?,?,),?,i,?,2,2,2,?,i,?,1,?,2,?,?,?,ln,L,1,?,2,?,?,?,n,?,?,x,i,?,1,n,i,?,?,?,n,2,?,ln,L,n,1,?,?,?,2,2,4,?,?,2,?,2,?,?,(,x,?,?,),i,i,?,1,解似然方程组,?,1,n,x,?,?,?,0,?,?,?,i,?,?,2,?,i,?,1,?,n,n,1,2,?,?,?,(,X,?,?,),?,i,2,4,?,2,?,i,?,1,?,2,?,解似然方程组,?,1,?,?,2,?,?,x,i,?,?,?,?,0,?,i,?,1,?,n,n,1,2,?,?,?,(,X,

22、i,?,?,),2,4,?,?,2,?,i,?,1,?,2,?,n,1,?,?,?,x,i,?,x,n,i,?,1,n,1,1,2,2,?,?,?,(,x,i,?,?,),?,?,(,x,i,?,x,),n,i,?,1,n,i,?,1,2,n,n,P164 2,、,3,、,4,7,、,8,、,11,、,15,、,16,、,19,8.,3,区间估计,P,157,一、概念,估计未知参数所在的范围,的方法称为区间估计,定义：,设总体,X,的分布函数,F(x,；,?,),含有未知参,数,?,，对于给定值,?,（,0,?,1),若由样本,X,1, X,n,确定的两个统计量,?,?,使,P,?,?,?,?

23、,?,?,1,?,?,*,(,?,?,),为,?,的,置信度,为,1,?,的,置信区间,则称,随机区间,?,和,?,分别称为置信度为,1,?,?,的置信下限和置信上限。,注：,F(x;,?,),也可换成概率密度或分布律,。,单正态总体参数的区间估计,设,X,1,，,，,X,n,是来自正态总体,N,(,?,，,?,),的样本,给定,?,，,由观测值,x,1,x,n,，求出,?,的,1,?,?,置信区间,.,2,1,、,?,2,已知，估计,令,p,X,?,a,?,?,?,X,?,b,?,1,?,?,?,p,?,b,?,X,?,?,?,a,?,1,?,?,?,p,?,b,?,X,?,?,?,a,?,

24、1,?,?,U,?,X,?,?,?,N,(0,1),n,?,b,n,?,p,可取,b,n,?,?,a,n,?,U,?,?,1,?,?,?,?,?,?,u,?,?,b,?,2,?,n,u,?,?,/2,1-,?,?,u,?,2,?,/2,u,?,2,0,2,a,n,?,?,u,?,?,a,?,2,?,n,u,?,2,?,的置信度为,1,?,的置信区间为,(,X,?,?,n,u,?,/,2,X,?,?,n,u,?,/,2,),。,(1-,?,),?,注：,?,的,1,?,置信区间不唯一。,?,?,(,X,?,1-,?,?,?,n,u,(1,?,?,),?,X,?,?,n,u,?,),。,?,u,(

25、1,?,?,),?,0,u,?,都是,?,的,1,?,置信区间,.,但可以证明,?,=1/2,时区间长最短,.,求正态总体参数置信区间的解题步骤：,(1),根据实际问题构造样本的函数，,要求仅含,X,?,?,待估参数且分布已知；,选取估计量,U,N(0,1),?,n,(2),令该函数落在由分位点确定的区间里的概率,为给定的置信度,1,?,?,，,要求区间按几何对称或概率,对称；,?,X,?,?,?,P,?,?,?,?,n,u,?,2,?,?,1,?,a,?,?,(3),解不等式得随机的置信区间；,?,?,(,X,?,u,?,/,2,X,?,u,?,/,2,),。,n,n,(4),由观测值及,?

26、,值查表计算得所求置信区间。,例,2,若灯泡寿命服从正态分布,N(,8),从中抽取了,10,个进行寿命实验，得数据如下（单位：小时）试估计平,均寿命所在范围（,a=0.05,）,.,1050,1250,1100,1040,1080,1130,1120,1300,1200,1200,解：已知总体方差,2,，估计总体期望,X,?,?,选取估计量,U,N(0,1),?,n,对于给定的,，查表确定,u,?,/,2,使,P(,U,u,?,/,2,)=1,?,?,成立,?,?,?,?,整理得,P,?,X,?,u,a,2,?,?,?,X,?,u,a,2,?,?,1,?,a,n,n,?,?,解：已知总体方差,

27、2,，估计总体期望,X,?,?,选取估计量,U,N(0,1),?,n,对于给定的,0.05,，查表确定,u,?,/,2,1.96,使,P(,U,u,?,/,2,)=1,?,?,成立,?,?,?,?,整理得,P,?,X,?,u,a,2,?,?,?,X,?,u,a,2,?,?,1,?,a,n,n,?,?,根据样本值计算,2,2,X,?,u,?,/,2,1147-,?,1.96,?,1147,?,1.753,1145.25,n,10,?,2,2,X,?,u,?,/,2,1147+,?,1.96,?,1147,?,1.753,1148.75,n,10,?,的置信度为,1-,0.95,的置信区间是,（,

28、1145.25,，,1148.75,）,例,3,已知某炼铁厂的铁水中含碳量在正常情况下服从,正态分布，其方差,2,= 0.108,2,.,现在测定了,9,炉铁水，其,平均含碳量为,4.484.,按此资料计算该厂铁水平均含碳量,的置信区间，并要求有,95%,的可靠性。,解：已知总体方差,2,，估计总体期望,X,?,?,选取估计量,U,N(0,1),?,n,对于给定的置信系数,1-,0.95,，查表确定,u,?,/,2,1.96,使,P(,U,u,?,/,2,)=1,?,?,成立,?,?,u,?,/,2,4.555,u,?,/,2,4.413,X,?,根据样本值计算,X,?,n,n,的置信系数为,

29、1-,0.95,的置信区间是,（,4.413,，,4.555,）,2,、总体方差,?,2,未知，估计期望,X,?,?,选取估计量,T,?,t,(,n,?,1),s,/,n,?,/2,令,p,T,?,t,?,/,2,(,n,?,1),?,1,?,?,，,即得,p,X,?,t,?,/,2,(,n,?,1),s,n,1-,?,0,2,?,/2,t,?,(,n,?,1),?,t,?,(,n,?,1),2,?,?,?,X,?,t,?,/,2,(,n,?,1),s,n,?,1,?,?,?,的,1?,置信区间为,S,S,(,X,?,t,?,/,2,(,n,?,1),X,?,t,?,/,2,(,n,?,1),

30、n,n,例,4,假定初生婴儿（男孩）的体重服从正态分布，,随机抽取,12,名婴儿，测其体重为,3100,，,2520,，,3000,，,3600,，,3160,，,3560,，,3320,，,2880,，,2600,，,3400,，,2540,。,试以,0.95,的置信系数估计新生婴儿的平均体重（单,位：,g,）,解,:,方差,2,未知，估计,的置信区间,X,?,?,选取估计量,T,?,t,(,n,?,1),s,/,n,对于给定的,，查表确定,t,?,(,n,?,1),t,0.25,(12,?,1),2.201,2,使,p,T,?,t,?,/,2,(,n,?,1),?,1,?,?,成立,p,X

31、,?,t,?,/,2,(,n,?,1),s,n,?,?,?,X,?,t,?,/,2,(,n,?,1),s,n,?,1,?,?,对于给定的置信系数,1-,0.95,，查表确定,t,?,(,n,?,1),t,0.25,(12,?,1),2.201,2,p,X,?,t,?,/,2,(,n,?,1),s,根据样本值计算：,n,?,?,?,X,?,t,?,/,2,(,n,?,1),s,n,?,1,?,?,1,x,=,(3100,?,12,12,?,2540),?,3057,1,2,S=,(,x,i,-3057),?,375.3,?,12-1,i=1,的置信度为,0.95,置信区间是,S,S,(,X,?,

32、t,?,/,2,(,n,?,1),X,?,t,?,/,2,(,n,?,1)=(2818 , 3295),n,n,3,、单正态总体方差的置信区间,设,X,1,，,，,X,n,N,(,?,，,?,),，给定置信度,1,?,?,，由,2,iid,观测值,x,1,，,，推求,x,n,?,（或,?,）的置信区间。,假定,?,未知，估计,2,2,?,/2,1,?,?,2,?,1-,?,/2,(,n,?,1),?,/2,选取估计量,?,?,(n-1)S,2,?,?,/2,(,n,?,1),2,?,2,?,(,n,?,1),2,2,令,p,?,2,1-,?,/2,(,n,?,1),?,?,?,?,?,/2,(

33、,n,?,1),?,1,?,?,令,p,?,2,1-,?,/2,(,n,?,1),?,?,?,?,?,/2,(,n,?,1),?,1,?,?,2,2,2,(n-1)s,(n-1)s,2,可得,p,2,?,?,?,2,?,1,?,?,?,?,/2,(,n,?,1),?,1,?,?,/2,(,n,?,1),?,2,的置信度为,1,?,的置信区间为,?,(,n,?,1),s,(,n,?,1),s,?,2,?,2,?,?,?,?,/2,(,n,?,1),?,1,?,?,/2,(,n,?,1),?,2,2,例,5,根据例,4,测的数据对新生男婴儿体重的方差进行区间,估计（,=0.05,）,.,解,:,未知，估计,方差,2,的置信区间,选取估计量,?,?,2,1-,?,/2,(n-1)S,2,对于给定的,0.05,，查表确定,?,2,?,(,n,?,1),2,a,=,?,(,n,?,1)=,?,2,1-,?,/2,2,0.975,(11)=3.82,(,n,?,1)S,2,b,=,?,?,/2,(,n,?,1)=,?,满足,p,?,2,2,2,0.025,(11)=21.9,?,2,2,(,n,?,1),?,?,?,?,/2,(,n,?,1),?,1,?,?,2,(n-1)s,(n-1)s,2,即,p,2,?,?,?,2,?,1,?,?,2,?,?,/2,(