概率论与数理统计第6章 参数估计

1、第6章：参数估计，6.1概念和无偏点估计，6.2矩估计和一致性，6.3最大似然估计和电磁算法，6.4最小方差的无偏估计，6.5贝叶斯估计，6.6区间估计。参数通常用。由所有可能的参数值组成的集合称为参数空间，通常用。参数估计的问题是根据样本估计上述未知参数。参数估计有两种形式：点估计和区间估计。设x1，x2，xn是总体x的样本，我们用统计量的值作为的估计值，这叫做的点估计(量)。这里没有关于如何构建统计的明确规定，只要它符合一定的合理性。这涉及到两个问题：一是如何给出估计，即估计的方法；第二是如何评价不同的估计，即判断估计的质量。6.1点估计的概念和无偏性，6.1.1点估计和无偏性的定义，6.

2、1.1假设x1，x2，xn是来自总体的样本，用于估计未知参数的统计量称为估计量，或称为“点估计”，6.1.1无偏性，定义，6.1.2假设它是，的参数的估计。对于任何总体，样本均值是总体均值的无偏估计。当总k阶矩存在时，样本k阶原点矩ak是总k阶原点矩k的无偏估计，但中心矩不同。例如，因为样本方差s*2不是总体方差2的无偏估计，所以有如下两种解释：(1)当样本量趋于无穷大时，有E(s*2) 2，我们称s*2为2的渐近无偏估计。(2)如果s*2修改如下，s2是总体方差的无偏估计。例6.1.2如果总体是N(，2)，x1，x2，xn是样本，s2是2的无偏估计，这表明s不是无偏估计。使用校正技术，我们可

3、以得到cn s的无偏估计，即无偏系数。可以证明，当n时，有cn1。这表明s是一个渐近无偏估计。无偏性没有不变性，也就是说，如果它是无偏估计，它的函数g()不是g()的无偏估计，除非g()是线性函数，6.1.2是有效的，并且定义6.1.3被设置为两个无偏估计。如果存在并且至少其中一个使得上述不等式严格成立，那么它就被认为是有效的。10，例6.1.4让x1，x2，xn是从某个总体中取得的样本，并且记住总体平均值是2，那么，是无偏估计，但是很明显，只要n1，该比率是有效的。这表明，用所有数据的平均值来估计人口平均数比只用一些数据更有效。6.2矩估计和一致性，6.2.1替代原则和矩方法估计。替代原则是

4、指用样本矩及其函数来替代相应的总矩及其函数，例如：用样本均值来估计总均值E(X)，即：用样本方差估计总体方差Var(X)，即用样本p分位数估计总体p分位数，用样本中值估计总体中值。例6.2.1记录20辆某型汽车每加仑汽油的里程(公里)，观测数据如下：29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9经计算，矩估计的实质是替换6.2.2当概率函数P(x)用矩方法已知时，未知参数的估计。假设总体具有已知的概率函数p (x，1，k)，x1，x2，xn是样

5、本。假设种群的k阶原点矩k存在，如果1，k可以表示为函数j=j (1，k)例6.2.2假设种群服从指数分布，因为EX=1/，即=1/EX，它的矩方法被估计为另外，因为Var(X)=1/2，它的反函数因此，从替代原理的角度来看，它的矩方法估计也可以作为样本标准差。这表明矩估计可能不是唯一的，这是矩估计的一个缺点。在这种情况下，应尽可能使用低阶矩来估计未知参数。例6.2.3 x1、x2、xn是(a，b)上均匀分布的u (a，b)的样本。a和b都是未知参数，其中k=2。因为从中不难推断，我们可以得到a和b的矩估计：6.2.3的一致性。我们知道点估计是一个统计量，所以它是一个。但是，如果我们有足够的观

6、测值，根据格里文科定理，随着样本量的增加，经验分布函数接近真实分布函数，所以我们可以要求估计量随着样本量的增加接近参数的真实值。这就是一致性，严格定义如下。定义6.2.1被设置为未知参数，它是的一个估计量，n是样本容量，如果有(6.2.1)为任意0，则称之为参数的一致估计。一致性被认为是评估的最基本要求之一。当样本量增加时，如果一个估计器不能以任何指定的精度估计估计参数，那么估计是非常可疑的。一般来说，不符合一致性要求的估计通常不被考虑。为了证明估计的一致性，我们通常可以应用大数定律或者直接通过定义来证明它。如果依赖于样本大小n的估计量被看作一个随机变量序列，其一致性就是概率上的收敛性，因此为

7、了证明估计量的一致性，我们可以应用概率上的收敛性和各种大数定律。以下两个定理对判断估计的一致性非常有用。定理6.2.1是的估计量，如果它是的一致估计量，并且定理6.2.2是g (1，k)是1，k的连续函数的一致估计量，那么它是的一致估计量。例6.2.5让x1，x2，xn是均匀总体U(0)的样本，并证明x(n)是一致估计。证明了从序统计量的分布中，我们知道x(n)的分布密度函数是p(y)=nyn-1/n，y，所以我们可以从定理6.2.1中知道x(n)是一致估计。从大数定律和定理6.2.2中，我们可以看到矩估计通常是一致的。例如，样本均值是总体均值的一致估计；样本标准差是总体标准差的一致估计；样本

8、的变异系数是总体变异系数的一致估计。6.3最大似然估计和电磁算法，定义6.3.1让总体的概率函数为P(x；)，是参数可以取值的参数空间，x1，x2，xn是样本，样本的联合概率函数被视为一个函数，以及l(；X1，x2，xn)，缩写为l()，称为样本的似然函数。如果满足某个统计量，则称之为极值(最大)最大似然估计，缩写为MLE(最大似然估计)。人们通常更习惯于基于对数似然函数(lnL)的最大似然估计。当l()是可微函数时，求导是最常用的最大似然估计方法，并且求导lnL()更简单。在例6.3.3(6.2.6)中，假设在一个测试中有三个可能的结果，出现的概率是我们现在已经做了n个测试，并且观察到这三个

9、结果出现的次数是n1，n2，n3 (n1 n2 n3=n)，那么似然函数就是它的对数似然函数，所以我们可以通过微分它并使它为0来得到似然方程的解。例6.3.4对于正态总体，N(2)=(2)是一个二维参数，样本为x1，x2，xn，则似然函数及其对数分别为，且LNl(2)相对于两个分量的偏导数为0，从而得到似然方程(6.3.6) (6.3)将从(6.3.6)得到的最大似然估计代入(6.3.7)，得到最大似然估计2。二阶导数函数矩阵的非正性质表明上述估计使似然函数取最大值。虽然导数函数是最常用的最大似然估计方法，但导数函数并非在所有情况下都有效。例6.3.5假设x1、x2、xn是来自均匀总体U(0)

10、的样本，并试图找到最大似然估计。为了求解似然函数，为了最大化l()，首先，指示函数的值应该是1，其次，1/n应该尽可能大。由于1/n是一个单调递减函数，的值应该尽可能小，但是1的显式函数确定它不能小于x(n)，因此给出了最大似然估计：最大似然估计有一个简单而有用的性质：如果它是最大似然估计，对于任何函数g()，它的最大似然估计是。这种性质被称为最大似然估计的不变性，这使得获得一些复杂结构参数的最大似然估计变得容易。例6.1.9假设x1，x2，xn是来自正态总体N(，2)的样本，则和的最大似然估计为2，因此下列参数的最大似然估计可由不变性得到，它们是：标准差的最大似然估计为；概率的最大似然值为：

11、总体0.90分位数x0.90=u0.90的最大似然值为，其中u0.90为标准正态分布的0.90分位数。6.4最小方差的无偏估计和6.4.1均方误差的无偏估计不一定比有偏估计好。为了评估点估计的质量，我们通常可以使用：点估计和参数的真实值之间的距离的平方的期望值，即由以下公式给出的均方误差，是评估点估计的最通用的标准。我们希望估计的均方差越小越好。值得注意的是，因此，(1)如果它是无偏估计，它表明使用方差来检验无偏估计的有效性是合理的。(2)当它不是无偏估计时，它取决于它的均方误差。下面的例子表明，在均方误差的意义上，一些有偏估计优于无偏估计。例6.4.1对于均匀总体U(0)，由最大似然估计得到

12、的无偏估计是其均方误差是我们正在考虑的形式估计，当上述均方误差通过求导达到最小值时，其均方误差不难找到，并且在均方误差标准下，其均方误差优于无偏估计。定理6.4.2表明，如果无偏估计不是充分统计量的函数，则可以通过充分统计量的条件期望得到新的无偏估计，并且该估计的方差小于原始估计的方差，从而减小了无偏估计的方差。换句话说，所考虑的估计问题只需要在基于充分统计的函数中执行。这种说法对所有的统计推断问题都是正确的，这就是所谓的充分性原则。例6.4.3假设x1，x2，xn是b(1，p)的样本，那么它就是p的充分统计量。仅使用两次观测的这种估计是不好的。让我们用拉奥-布莱克威尔定理来改进它：要找到关于

13、充分统计量的条件期望，我们必须定义6.4.2。对于参数估计问题，让它是无偏估计。如果在参数空间中有任何其他无偏估计，它被称为一致最小方差无偏估计，简称UMVUE。如果UMVUE存在，它必须是足够统计的函数。6.4.2一致最小方差无偏估计，定理6.4.1让x=(x1，x2，xn)是来自某个总体的样本，这是一个无偏估计，如果有任何(x)满足E(x)=0，它就是UMVUE。关于UMVUE，有一个标准如下。例6.4.2假设x1，x2，xn是指数分布Exp(1/)的样本，那么T=x1 xn是的充分统计量，但是的无偏估计。假设=(x1，x2，xn)是0的任何无偏估计，那么两端的求导可以得到这个陈述。因此，

14、根据定理6.3.3，它是UMVUE。6.4.4克莱姆-拉奥不等式，定义6.4.3让总体的概率函数满足以下条件：(1)参数空间是直线上的开区间；(2)支架S=x: P(x)，0与它无关；(3)一切事物都有导数；(4)对于P(x)，积分和微分运算的顺序可以互换；(5)期望存在；它被称为总体分布的费希尔信息量。费希尔信息是数理统计中的一个基本概念，许多统计结果都与费希尔信息有关。例如，最大似然估计的渐近方差和无偏估计的方差下界都与费希尔信息有关。I()的各种性质表明，“较大的I()”可以解释为总体分布中包含未知参数的信息越多。在例6.4.4中，假设总体是泊松分布p()分布，然后在例6.4.5中，假设

15、总体是指数分布，并且其密度函数可以验证定义6.3.2的条件被满足，然后，定理6.4.3(Cramer-Rao不等式)让定义6.3.2的条件被满足，x1，x2，xn。Xn)是g()的任何无偏估计，它存在并且可以在整数下微分，那么上述公式称为克莱姆-罗不等式；G()2/(nI()称为g()无偏估计方差的C-R下界，简称为g()的C-R下界。尤其是无偏估计，有；如果等号成立，那么t=t (x1，xn)是g()的有效估计，有效估计必须是UMVUE。在示例6.4.6中，假设人口分布列表为p(x)，=x(1)-1-x，x=0，1，满足6.3.2中定义的所有条件。可以计算出这个分布的Fisher信息是，如果x1，x2，xn是这个总体的样本，那么C-R的下界是(ni()是的无偏估计，并且它的方差等于(1- )/n，达到C-R的下界，所以它是