概率统计chart6-1.ppt

1、不像其他科学，统计从来不打算使 自己完美无缺，统计意味着你永远 不需要确定无疑。 Gudmund R.Iversen,第六章 参数估计,参数是刻画总体某方面概率特性的数量.,当此数量未知时,从总体抽出一个样本， 用所获得的样本值去估计参数取值称为 参数估计.,例如，X N ( , 2),若, 2未知, 通过构造样本的函数, 给出 它们的估计值或取值范围就是参数估计 的内容.,一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。 参数估计的形式有两种：点估计与区间估计。,点估计的思想方法,设总体X 的分布函数的形式已知, 但

2、含有一个或多个未知参数：1,2, ,k,设 X1, X2, Xn为总体的一个样本,构造 k 个统计量：,随机变量,当测得样本值(x1, x2, xn)时,代入上述 统计量，即可得到 k 个数：,数 值,如何构造统计量？,如何评价估计量的好坏？,选择统计量,估计量,代入样本值,估计值,X分布为F(x;)待估,6.1 点估计的几种方法,6.1.1 替换原理和矩法估计,一、矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如： 用样本均值估计总体均值E(X)，即 ； 用样本方差估计总体方差Var(X)，即 用样本的 p 分位数估计总体的 p 分位数， 用样本中位数估计总体中位数。,

3、例6.1.1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。,二、概率函数P(x,)已知时未知参数的矩法估计,方法,用样本 k 阶矩作为总体 k 阶矩的估计量, 建立含有待估参数的方程, 从而解出待估

4、参数,设待估计的参数为,设总体的 r 阶矩存在，记为,样本 X1, X2, Xn 的 r 阶矩为,令, 含未知参数 1,2, ,k 的方程组,解方程组 , 得 k 个统计量：,未知参数 1, ,k 的矩估计量,代入一组样本值得 k 个数:,未知参数 1, ,k 的矩估计值,例6.1.2 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为,另外，由于Var(X)=1/2，其反函数为 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。 这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。,例6.1.3 设总体 X U (

5、a, b), a, b 未知, 求参数 a, b 的 矩法估计量.,解,由于,令,解得,6.1.2 极(最)大似然估计,例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球,现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球.,答: 第一箱.,问: 所取的球来自哪一箱？,基本思想:,实际问题(医生看病、公安人员破案、技术人员进行质量检验等)尽管千差万别,但他们具有一个共同的规律,即在获得了观察资料之后,给参数选取一个数值,使得前面的观察结果出现的可能性最大.,最大似然估计就是通过样本值 来求得总体的分布参数,使得 取值为 的概率最大

6、.,定义6.1.1 设总体的概率函数为P(x; )，是参数 可能取值的参数空间，x1, x2 , , xn 是样本，将样本的联合概率函数看成 的函数，用L( ; x1, x2, , xn) 表示，简记为L( )， 称为样本的似然函数。,经过一次试验，,事件,发生了，则 总体参数 的取值应使这个事件发生的概率最大。,如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。,人们通常更习惯于由对数似然函数lnL( )出发寻找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最常用的方法，对lnL( )求导更加简单些。

7、,例6.1.6 设一个试验有三种可能结果，其发生概率分别为 现做了n次试验，观测到三种结果发生的次数分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为 其对数似然函数为,将之关于 求导，并令其为0得到似然方程 解之，得 由于 所以 是极大值点。,例6.1.7 对正态总体N(, 2)，=(, 2)是二维参数，设有样本 x1, x2 , , xn，则似然函数及其对数分别为,将 lnL(, 2) 分别关于两个分量求偏导并令其为0, 即得到似然方程组 (6.1.9) (6.1.10),解此方程组，由(6.1.9)可得 的极大似然估计为 将之代入(6.1.10)，得出 2的

8、极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。,解：似然函数为,对数似然函数为,例* 设X1,X2,Xn是取自总体X的一个样本,求 的极大似然估计.,其中 0,求导并令其为0,=0,从中解得,即为 的MLE .,对数似然函数为,(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .,求极大似然估计(MLE)的一般步骤是：,(1) 由总体分布导出样本的联合概率函数 (或联合密度);,(2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );,(3) 求似然函数L( ) 的最大值点(常常转化

9、为求ln L( )的最大值点) ，即 的MLE;,两点说明：,1、求似然函数L( ) 的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似然方程”：,可以得到 的MLE .,若 是向量，上述方程必须用似然方程 组代替 .,2、 L不是 的可微函数, 需用极 大似然原则其它方法求极大似然估计值. 请看下例：,例6.1.8设X服从0,区间上的均匀分布,参数 0,求的最大似然估计.,解 由题意得:,无解.,基本方法失效.,考虑L的取值,要使L取值最大,应最小,取,此时,

10、L取值最大,所以,最大似然估计为,极大似然估计有一个简单而有用的性质：如果 是 的极大似然估计，则对任一函数 g( )，其极大似然估计为 。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。,极大似然估计的不变性,例6.1.9 设 x1 , x2 , , xn是来自正态总体N( , 2) 的样本，则和 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是:,标准差 的MLE是 ；,概率 的MLE是 ；,总体0.90分位数 x0.90= + u0.90 的MLE是 ，其中u0.90为标准正态分布的0.90分位数。,6.2 点估计的评价标准,对

11、于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题,(2) 无偏性,(1) 相合性,(3) 有效性,定义6.2.1 设 为未知参数， 是 的一个估计量，n 是样本容量，若对任何一个0，有 (6.2.1) 则称 为 参数的相合估计。,相合性：估计量随着样本量的不断增大而逼近参数真值。 相合估计量仅在样本容量n 足够大时,才显示其优越性.,6.2.1 相合性(一致性）,在判断估计的相合性时下述两个定理是很有用的。 定理6.2.1 设 是 的一个估计量，若 则 是 的相合估计，,定理6.2.2 若 分别是1, , k 的相合估 计， =g(1 , , k) 是1, , k 的连续函数，则

12、 是 的相合估计。,例6.2.2 设 x1, x2 , , xn 是来自均匀总体U(0, )的样本，证明 的极大似然估计是相合估计。 证明：在例6.1.7中我们已经给出 的极大似然估计是 x(n)。由次序统计量的分布，我们知道 x(n) 的分布密度函数为 p(y)=nyn-1/ n, 0y , 故 由定理6.2.1可知，x(n)是 的相合估计。,由大数定律及定理6.2.2，我们可以看到： 矩估计一般都具有相合性。 比如：,样本均值是总体均值的相合估计； 样本标准差是总体标准差的相合估计； 样本变异系数是总体变异系数的相合估计。,在一定条件下, 极大似然估计具有相合性,6.2.2 无偏性,定义6

13、.2.2 设 是 的一个估计， 的参数空间为，若对任意的，有 则称 是 的无偏估计，否则称为有偏估计。,无偏性要求估计值的期望与真值相等.,例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差 .,无偏性是对估计量的一个常见而重要的要求 .,无偏性的实际意义是指没有系统性的偏差 .,例6.2.4 设总体 X 的期望 与方差存在, X 的,样本为 (n 1) .,(1) 不是 2的无偏估量;,(2) 是 2的无偏估计量.,证,前已证,证明,因而,故 证毕.,注：当样本量趋于无穷时，有E(s*2) 2， 我

14、们称 s*2 为 2的渐近无偏估计。,例6.2.5 设总体 X 的密度函数为,为常数,为 X 的一个样本,证明 是 的无偏估计量。,证,故,是 的无偏估计量.,注意：无偏性不具有不变性；,即，若 分别是1, , k 的无偏估 计，而 不是 =g(1 , , k) 的无偏估计，除非 的线性函数。,例 设总体为N( , 2)，x1 , x2 , , xn是样本，则s2是 2的无偏估计，且可求出 这说明 s 不是 的无偏估计. 利用修正技术可得 cn s 是 的无偏估计，其中 是修偏系数. 可以证明，当n时, 有cn1. 这说明 s 是 的渐近无偏估计。,所以无偏估计以方差小者为好, 这就引进了有效

15、性（Effectiveness）这一概念 .,的大小来决定二者,和,一个参数往往有不止一个无偏估计, 若,和,都是参数 的无偏估计量，,比较,我们可以,谁更优 .,由于,6.2.3 有效性,定义6.2.3 设 是 的两个无偏估计，如果对任意的 , 有 且至少有一个 使得上述不等号严格成立，则称 比 有效。,估计量的方差越小, 表明该估计量的取值（即估计值）围绕着待估参数的波动就越小，也就是更为理想的估计量.,有效性的意义是，用 估计 时，除无系统偏差外，还需考虑估计的精度,例6.2.6 设 x1, x2 , , xn 是取自某总体的样本，记总体均值为 ，总体方差为 2，则 , , 都是 的无偏

16、估计，但 显然，只要 n1， 比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。,例6.2.7 设X1,X2,X3为来自总体X的简单随机样本, EX=,DX=2,验证下列的估计量哪个更有效.,解,=EX=,=DX/2=2/2,同理,所以,为无偏估计量,更有效.,6.2.4 均方误差,无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。,注意到 ，因此 (1) 若 是 的无偏估计，则 ， 这说明用方差考察无偏估计有效性是合理的。 (

17、2) 当 不是 的无偏估计时，就要看其均方 误差 。 下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。,例6.2.8 对均匀总体U(0, )，由 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑的形如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计 优于无偏估计 。,6.3 最小方差无偏估计,定义6.3.1 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ， 在参数空间上都有 则称 是 的一致最小方差无偏估计，简记为 UMVUE。,在数理统计中常用到最小方差无偏估计.,（也称最

18、佳无偏估计）,定理6.3.3 设 x=(x1, x2 , , xn) 是来自某总体的一个样本， 是 的一个无偏估计， 如果对任意一个满足E(x)=0的(x)，都有 则 是 的UMVUE。,关于UMVUE，有如下一个判断准则。,例6.3.2 设 x1,x2 ,xn 是来自指数分布Exp(1/ )的样本，则 是 的无偏估计。设 =(x1 , x2 , , xn)是0的任一无偏估计，则,两端对 求导得 这说明 ,从而， 由定理6.3.3，它是 的UMVUE。,我们知道如果某个参数的UMVUE存在，,则它在无偏估计类中是最好的，,且其方差不可,能是零，,不是无偏估计。,因为参数 的方差为零的平凡估计,

19、那么，现在的问题是：,（1）,既然无偏估计的方差不是零，,一个下界，,则必存在,这个下界到底是多少？,问题,（2）,若UMVUE存在，那么它的方差是否可以,达到这个下界？,问题（1）已由Cramer-Rao不等式揭示,问题（2）不一定成立，,我们举例,予以阐述。,Cramer-Rao不等式,定义6.3.2 设总体的概率函数 P(x, ), 满足下列条件： (1) 参数空间是直线上的一个开区间； (2) 支撑 S=x: P(x, )0与 无关； (3) 导数 对一切都存在； (4) 对P(x, )，积分与微分运算可交换次序； (5) 期望 存在；则称 为总体分布的费希尔(Fisher) 信息量。,费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I( )有关。I( )的种种性质显示，“I( )越大”可被解释为总体分布中包含未知参数 的信息越多。,例6.3.3 设总体为泊松分布P()分布，可以验证定义6.3.2的条件满足,则 于是,例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是,定理6.3.4（Cramer-Rao不等式） 设定义6.3.2的条件满足，x1, x2 , , xn 是来自该总体的样本，T=T(