西北工业大学《概率论与数理统计》课件-第六章-参数估计

参数估计参数估计的目的：用样本观察值估计总体的某些数字特征.如：数学期望E(X)，方差D(X)等等.1.估计法点估计区间估计矩估计法最大似然估计法内容：第六章内容：2.估计量的评选标准无偏性有效性一致性(或相合性)参数估计第六章第一节参数的点估计第二节估计量的评价标准第三节参数的区间估计参数估计第六章第一节参数的点估计一、点估计问题的提法二、估计量的求法三、内容小结第六章一、点估计问题的提法设总体X的分布函数形式已知,但它的一个或多个参数为未知,借助于总体X的一个样本来估计总体未知参数的值的问题称为点估计问题.例1解用样本均值来估计总体的均值E(X)点估计问题的一般提法：二、估计量的求法由于估计量是样本的函数,是随机变量,故对不同的样本值,得到的参数值往往不同,因此如何求得参数

的估计量便是问题的关键所在.常用构造估计量的方法:(两种)1.矩估计法2.最(极)大似然估计法.1.矩估计法

基本思想：用样本矩估计总体矩.理论依据:或格列汶科定理它是基于一种简单的“替换”思想建立起来的一种估计方法.是英国统计学家K.皮尔逊最早提出的.大数定律记总体k阶原点矩为样本k阶原点矩为记总体k阶中心矩为样本k阶中心矩为

用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,这种估计法称为矩估计法.矩估计法的具体步骤:设总体X的分布函数为m个待估参数(未知)为来自总体X的简单随机样本.矩估计量的观察值称为矩估计值.注方程组中方程的个数=待估参数的个数.解根据矩估计法，令例2解例3解方程组得到a,b的矩估计量分别为解解方程组得到矩估计量分别为例4注.上例表明:总体均值与方差的矩估计量的表达式不因不同的总体分布而异.一般地:例5设总体X的分布密度为为来自总体X的样本.求参数

的矩估计量.分析：一般地，只需要求：

的矩估计量.不含有

，故不能由此得到

的矩估计量.解(方法1)要求：—的矩估计量(方法2)要求：

的矩估计量：注此例表明：同一参数的矩估计量可不唯一.

矩法的优点：简单易行,并不需要事先知道总体是什么分布.缺点：当总体类型已知时，没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性.小结：是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的,GaussFisher然而，这个方法常归功于英国统计学家费歇.

费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.2.最大似然估计法先看一个简单例子：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.(1)最大似然法的基本思想下面我们再看一个例子,进一步体会最大似然法的基本思想.你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.这个例子所作的推断已经体现了最大似然法的基本思想.设X~B(1,p),p未知.

设想我们事先知道

p只有两种可能:问:应如何估计p?p=0.7或p=0.3如今重复试验3次,得结果:0,0,0由概率论的知识,3次试验中出现“1”的次数(k=0,1,2,3)例6(k=0,1,2,3)Y01230.3430.4410.1890.0270.0270.1890.4410.343依题设，“重复试验3次,得结果:0,0,0”应如何估计p?p=0.7还是p=0.3？(1)如果有p1,p2,…,pm可供选择,又如何从中选取使Qi最大的pi

作为p的估计.i=1,2,…,m则估计参数p为时Qi

最大,比方说,当若重复进行试验n次,结果“1”出现k次(0≤k≤n),我们计算一切可能的

P{Y=k;pi

}=Qi，

i=1,2,…,m一般地，合理地选p呢?(2)如果只知道0<p<1,并且实测记录是Y=k(0≤k≤n),又应如何估计p呢?注意到:是p的函数,可用求导的方法找到使f(p)达到极大值的p.但因f(p)与lnf(p)达到极大值的自变量相同,故问题可转化为求lnf(p)的极大值点.=

f(p)将lnf(p)对p求导并令其为0,这时,对一切0<p<1,均有从中解得=0便得

p(n-k)=k(1-p)参数p的估计值

以上这种选择一个参数使得实验结果具有最大概率的思想就是最大似然法的基本思想.综上所述：设某试验的可能结果为：A1,A2,···,Ai

,···若在一次试验中，某结果Ai

出现，则应选择参数使Ai

出现的概率最大.为自总体X的样本(X1,X2,…,Xn)的一个观察值，则称样本的联合分布(2)似然函数定义6.1设总体X的分布密度(或分布律)为p(x;

),又设p(x1,x2,…,xn;

)为似然函数.(3)最大似然估计量(值)定义最大似然估计值(MLE).maximumlikelihoodestimate注1º对于给定的样本值在最大似然估计值处，L(

)取得最大值;则称(4)求最大似然估计(MLE)的步骤:注1º上述求最大似然估计的方法，要求lnL可微，若不满足此条件，则须从定义出发最大似然估计.2º似然估计方程组与最大似然估计之间没有必然的关系.解似然函数例7这一估计量与矩估计量是相同的.解例8这一估计量与矩估计量是相同的.解X的似然函数为例9它们与相应的矩估计量相同.解例10分析三、内容小结两种求点估计的方法:矩估计法最大似然估计法在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时,再用矩估计法.费希尔资料RonaldAylmerFisherBorn:17Feb1890inLondon,England

Died:29July1962inAdelaide,Australia第二节估计量的评价标准一、问题的提出二、无偏性三、有效性四、相合性第六章一、问题的提出从前一节可以看到,对于同一个参数,用不同的估计方法求出的估计量可能不相同,如上节的例3和例10.而且,很明显,原则上任何统计量都可以作为未知参数的估计量.问题(1)对于同一个参数究竟采用哪一个估计量好?(2)评价估计量的标准是什么?下面介绍几个常用标准.二、无偏性定义6.2证例1特别地,不论总体X服从什么分布,只要它的数学期望存在,证例2分析例3设总体X的方差D(X)存在，且D(X)>0,(X1,X2,···,Xn

)为来自总体X的样本，试选择适当的常数C，使得为D(X)的无偏估计.需选择C，使而X1,X2,···,Xn

相互独立，且与X同分布解依题意，要求：注一般地，一个参数

的无偏估计量不唯一.如：设样本(X1,X2,···,Xn

)来自总体X，E(X)=

,也均是

的无偏估计.问题：对于同一个参数的多个无偏估计量，如何评价它们的优劣？三、有效性换句话说，的波动越小，即方差越小越好.定义6.3例4来自总体X的样本，问：下列三个对

的无偏估计量哪一个最有效？解注一般地，在

的无偏估计量可用求条件极值的拉格朗日乘数法证明(1)证例5解背景随机抄n个自行车的号码，由这n个号码来估计某市市区的自行车总数N.如：样本值100,1000,10000,100000,1000000.可算得：2.最小方差无偏估计量定义注最小方差无偏估计是一种最优估计.问题：无偏估计的方差是否可以任意小?如果不任意小,那么它的下界是什么?定理6.1(Rao-Cramer不等式)设是实数轴上的一个开区间,总体X的分布密度为p(x;

),

,是来自总体X的一个样本,是参数

的一个无偏估计量,且满足条件:上不等式的右端称为罗-克拉美下界,I(

)称为Fisher信息量.注(1)I(

)的另一表达式为(2)定理6.1对离散型总体也适用.由此,根据定理6.1求证的步骤为是

的最小方差无偏估计根据定理6.1,若参数

的无偏估计量的方差达到下界,则必为

的最小方差无偏估计.3.有效估计定义6.4定义6.5说明(2)求有效估计的方法和求MVUE的方法完全一样.

所以四、相合性例如定义6.6相合估计量(或一致估计量).证(1)由大数定律知,例6由大数定律知,通过此例题,我们看到,要证明一个估计量具有相合性,必须证明它依概率收敛,这有时很麻烦.因此,我们下面我们不加证明的给出一个相合性的判定定理.利用定理6.2再证例6.同样六、小结估计量的评选的三个标准无偏性有效性相合性相合性是对估计量的一个基本要求,不具备相合性的估计量是不予以考虑的.由最大似然估计法得到的估计量,在一定条件下也具有相合性.估计量的相合性只有当样本容量相当大时,才能显示出优越性,这在实际中往往难以做到,因此,在工程中往往使用无偏性和有效性这两个标准.证例5由以上两例可知,一个参数可以有不同的无偏估计量.证明例6

(续例5)第三节参数的区间估计一、区间估计的基本概念二、正态总体均值与方差的区间估计三、内容小结第六章一、区间估计基本概念1.问题的提出点估计法：不足之处：例1问：很小较大区间估计解决了上述问题，从而克服了点估计的不足之处.2.置信区间与置信度定义6.7关于定义的说明因此定义中下述表达式的本质是:若反复抽样多次(各次得到的样本容量相等,都是n)按贝努利大数定理,当抽样次数充分大时，在这些区间中包含

真值的频率接近置信度1

,即例如一旦有了样本，就把估计在区间内.这里有两个要求:由定义可见，对参数作区间估计，就是要设法找出两个只依赖于样本的界限(构造统计量)(X1,…Xn)(X1,…Xn)2.估计的精度要尽可能的高.如要求区间长度尽可能短，或能体现该要求的其它准则.1.要求以很大的可能被包含在区间内，就是说，概率要尽可能大.即要求估计尽量可靠.可靠度与精度是一对矛盾，一般是在保证可靠度的条件下尽可能提高精度.3.求置信区间的一般步骤(共3步)3°作等价变形二、正态总体均值与

方差的区间估计1.I.单个总体的情况4°作等价变形简写成其置信区间的长度为例2包糖机某日开工包了12包糖,称得重量(单位:克)分别为506,500,495,488,504,486,505,513,521,520,512,485.假设重量服从正态分布,解查表得4°作等价变形简写成例3解有一大批糖果,现从中随机地取16袋,称得重量(克)如下:设袋装糖果的重量服从正态分布,试求总体均值就是说估计袋装糖果重量的均值在500.4克与507.1克之间,这个估计的可信程度为95%.这个误差的可信度为95%.例4解(续例2)如果只假设糖包的重量服从正态分布推导过程如下:根据第五章第三节定理知2.方差

2的置信区间进一步可得:注意:在密度函数不对称时,习惯上仍取对称的分位点来确定置信区间(如图).例5

(续例3)求例3中总体标准差

的置信度为0.95的置信区间.解代入公式得标准差的置信区间Ⅱ.两个总体的情况讨论两个总体均值差和方差比的估计问题.推导过程如下:1.为比较І,ІІ两种型号步枪子弹的枪口速度,随机地取І型子弹10发,得到枪口速度的平均值为随机地取ІІ型子弹20发,得枪口速度平均值为假设两总体都可认