第二讲 参数估计

1、总体总体样本样本统计量统计量描述描述作出推断作出推断随机抽样随机抽样第二讲第二讲 参数估计参数估计 参数估计问题是利用从总体抽样得到的信息来估计总参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的函数体的某些参数或者参数的函数.1.1 参数估计参数估计 在参数估计中，假定总体分布已知，未知的仅仅在参数估计中，假定总体分布已知，未知的仅仅是一个或几个参数是一个或几个参数.参数估计参数估计点估计点估计区间估计区间估计2.1 求点估计量的方法求点估计量的方法点估计的方法点估计的方法矩估计法矩估计法最大似然法最大似然法 参数估计参数估计是对已知是对已知分布类型的总体分布类型的总体，利

2、用样本利用样本对对其未知参数作出估计其未知参数作出估计。一、一、 矩法矩法理论依据理论依据:大数定律大数定律它是由简单它是由简单“替换替换”的思想建立起来的一种估计方的思想建立起来的一种估计方法法 .是英国统计学家是英国统计学家K.皮尔逊最早提出的皮尔逊最早提出的 .()kkE XE X 总总体体 阶阶中中心心矩矩为为 11()nkiikXXn 样样本本 阶阶中中心心矩矩为为 用相应的用相应的样本矩去代替总体矩样本矩去代替总体矩的估计方法就称为矩估计的估计方法就称为矩估计法法.()kkE X记记总总体体 阶阶原原点点矩矩为为 11nkiikXn 样样本本 阶阶原原点点矩矩为为 解解: dxxx

3、XE ) 1()(10121) 1(110 dxx由矩估计法由矩估计法,21 X样本矩样本矩总体矩总体矩从中解得从中解得,112XX 的矩估计的矩估计. 即为即为数学期望数学期望是一阶是一阶原点矩原点矩 例例1 设总体设总体X的概率密度为的概率密度为其它, 010,) 1()(xxxf 是未知参数是未知参数,其中其中1 X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.例例2 区间区间 0 , 上均匀分布的矩估计上均匀分布的矩估计设样本设样本X1，X2， ，Xn是来自在区间是来自在区间 0 , 上均匀分布的总体，上均匀分布的总体， 未知，求未知，求 的矩估计。的矩估计

4、。解：解：XAXE 1)(,令令要要估估计计 的的矩矩法法估估计计量量为为，故故 2 21)()(0 XxdxdxxxfXE X2 注意：估计量是随机变注意：估计量是随机变量而期望是数值量而期望是数值 其其它它,00 ,1)( xxf注意：样本矩是随机变量，而总体矩是数值注意：样本矩是随机变量，而总体矩是数值 要注意相应的字母大小写区分要注意相应的字母大小写区分注：注：1 运用矩估计的前提条件是总体对应的各阶矩要存运用矩估计的前提条件是总体对应的各阶矩要存在。在。2 尽量用低阶样本矩去估计未知参数。尽量用低阶样本矩去估计未知参数。 二、二、 极大似然法极大似然法它首先是由德国数学家高斯在它首先

5、是由德国数学家高斯在1821年提出的年提出的 , GaussFisher费歇尔费歇尔在在1922年重新发现了这一方法，并首先研究年重新发现了这一方法，并首先研究了这种方法的一些性质了这种方法的一些性质 .最大似然法的基本思想最大似然法的基本思想 先看一个简单例子先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？ 某位同学与一位猎人一起外某位同学与一位猎人一起外出打猎出打猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . 你就会想，只发一枪便打中你就会想，只发一枪便打中, 猎人命中的概率猎人命中

6、的概率一般大于这位同学命中的概率一般大于这位同学命中的概率 . 看来这一枪是猎人看来这一枪是猎人射中的射中的 . 这个例子所作的推断已经体现了极大似然法的这个例子所作的推断已经体现了极大似然法的基本思想基本思想 .例例 极大似然法极大似然法-简例简例 如果一个老兵和一个新兵同时打靶，但仅如果一个老兵和一个新兵同时打靶，但仅有一人命中，问谁命中的可能性大？有一人命中，问谁命中的可能性大？ (1) 老兵老兵 (2)新兵新兵大家首先想到的是老兵，因为它更符合情理！大家首先想到的是老兵，因为它更符合情理！ 若袋中有黑白两种球若袋中有黑白两种球 ( 除颜色外别无差异除颜色外别无差异 ) , 且且已知两种

7、球数之比为已知两种球数之比为 1:3 ，现任取一球，发现是白，现任取一球，发现是白色，问哪种颜色的球多一些？色，问哪种颜色的球多一些？显然，大家都会觉得白色的多一些。显然，大家都会觉得白色的多一些。极大似然法的基本思想极大似然法的基本思想选择一个参数使得实验结果具有最大概率的思想选择一个参数使得实验结果具有最大概率的思想就是最大似然法的基本思想就是最大似然法的基本思想 .极大似然估计原理：极大似然估计原理：当给定样本当给定样本x1,x2,xn时，定义时，定义似然函数似然函数为：为：设设X1,X2,Xn是取自总体是取自总体X的一个样本，样本的一个样本，样本的联合密度的联合密度(连续型连续型)或联

8、合分布律或联合分布律(离散型离散型)为为 f (X1,X2,Xn; ) . nLf xxx12( )(,; ) 最大似然估计法就是用使最大似然估计法就是用使 达到最大值的达到最大值的 去估计去估计 . L( ) 称称 为为 的最大似然估计（的最大似然估计（MLE）. 求极大似然估计的一般步骤：1. 写出似然函数： niminxpxxxL12121),.,;();,.,( nimixpL121),.,;(lnln ),.,2 , 1(0lnmjLj m ,.,14. 解似然函数方程组得解似然函数方程组得 即为所求。即为所求。2. 对似然函数取对数：对似然函数取对数：3. 对对 j ( j=1,m

9、 )分别求偏导，并令其为分别求偏导，并令其为 0 得似得似然方程然方程(组组)：例例 指数分布的点估计指数分布的点估计某电子管的使用寿命 X （单位：小时) (从开始使用到首次失效为止）服从指数分布， 今取一组样本，数据如下，问如何估计？162950681001301402702803404104505206201902108001100)0(,00,1);( 其其它它xexfXx解：解： 可用两种方法估计：可用两种方法估计： 矩法估计矩法估计 和和 极大似然估计极大似然估计 （二）极大似然估计)(318572318111)(10小小时时的的估估计计值值为为：代代入入具具体体数数值值可可得得的

10、的矩矩法法估估计计量量为为：则则可可得得令令 niixxnXXdxexXE 构造似然函数：构造似然函数： 其它其它0, 1，0);,.,(111nixexxLixnnnii （一）矩法估计（一）矩法估计niixnL11lnln求偏导：求偏导：01ln12 niixndLd 令令求解得：求解得：XXnnii 11 )(318572318111小小时时的的估估计计值值为为：代代入入具具体体数数值值可可得得 niixn 取对数：取对数：时时当当nixi, 1，0 例 均匀分布的极大似然估计 设样本X1，X2， ，Xn是来自在区间 0 , 上均匀分布的总体， 未知，求 的极大似然估计。解解: else

11、xxf,00 ,1)( 总总体体的的概概率率密密度度函函数数为为 elsexxxLinn,00,1);,.,(1 从从而而可可得得似似然然函函数数 注意：注意：该似然函数不能该似然函数不能用一般方法用一般方法-通通过求导构造似然过求导构造似然方程。方程。尝试用其他方法尝试用其他方法求解！求解！ elsexxelsexLiniininin,0max,min0,1,00,111 maxmax11iniiniXxL 的的极极大大似似然然估估计计量量为为：故故处处达达到到极极大大值值在在如如图图所所示示，似似然然函函数数 从前例可以看到从前例可以看到, 对于同一个参数对于同一个参数, 用不同用不同的估

12、计方法求出的估计量可能不相同的估计方法求出的估计量可能不相同, 而且而且, 很很明显明显, 原则上任何统计量都可以作为未知参数的原则上任何统计量都可以作为未知参数的估计量估计量.问题问题(1)对于同一个参数究竟采用哪一个估计量好对于同一个参数究竟采用哪一个估计量好?评价估计量的标准是什么评价估计量的标准是什么?下面介绍几个常用标准下面介绍几个常用标准.(2) 我们希望一个我们希望一个“好的好的”估计量具有什么特性？估计量具有什么特性？(3) 怎样决定一个估计量是否比另一个估计量怎样决定一个估计量是否比另一个估计量“好好”？第二节第二节 估计量的评选标准估计量的评选标准无偏性无偏性有效性有效性相

13、合性相合性 估计量是随机变量，对于不同的样本值会得到估计量是随机变量，对于不同的样本值会得到不同的估计值不同的估计值 . 我们希望估计值在未知参数真值附我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值近摆动，而它的期望值等于未知参数的真值. 这就这就导致无偏性这个标准导致无偏性这个标准 . 一、无偏性一、无偏性 )(E则称则称 为为 的的无偏估计无偏估计 . ),(1nXX 设设是未知参数是未知参数 的估计量，若的估计量，若 12,nXXXX设设是是总总体体 的的样样本本，则则11;niiXXn ( (1 1) )是是总总体体均均值值 的的无无偏偏估估计计量量22211()

14、;1niiSXXn ( (2 2) )是是总总体体方方差差的的无无偏偏估估计计量量22211();niiSXXn 而而不不是是总总体体方方差差的的无无偏偏估估计计量量：下列估计量是否的无偏估计量？3212117 . 02 . 01 . 0. 4. 3. 2. 1XXXXXXX 由上例可见，一个参数的无偏估计可以有很多；由上例可见，一个参数的无偏估计可以有很多；无偏估计只能保证无系统误差，无偏估计只能保证无系统误差， ；但；但是却可能有极大的偏差。是却可能有极大的偏差。 因此因此一个优良的估计量，其方差应该较小一个优良的估计量，其方差应该较小。0)( E二、有效性二、有效性D( ) D( )2

15、1 则称则称 较较 有效有效 .2 1 都是参数都是参数 的无偏估计量，若对的无偏估计量，若对任意任意 ，),(11nXX ),(122nXX 1 设设和和 且至少对于且至少对于某个某个 上式中的不等号成立，上式中的不等号成立，：下列估计量哪一个更有效？3212117 . 02 . 01 . 0. 4. 3. 2. 1XXXXXXX 例例XXXXTXXXXTXXXXTXXXX1234112342123431234,11()()63(234) 5() 4 设设是是来来自自均均值值为为 的的指指数数分分布布总总体体的的样样本本，其其中中 未未知知，设设有有估估计计量量T T T123(1), 指指

16、出出中中哪哪些些是是 的的无无偏偏估估计计量量。T T131, 解解：（ ）是是 的的无无偏偏估估计计量量。(2) 在在上上述述 的的无无偏偏估估计计量量中中指指出出哪哪一一个个更更有有效效。D TDXXXXD XD X11234211(2)() ()()631152 ()2 ()36918 D TDXXXXD X3123421() ()4114 ()164 D TD TTT3131()() 较较更更有有效效。一般地，在一般地，在 的的无偏估计量无偏估计量)1(11 niiiniiCXC.最最有有效效中中，X三、相合性三、相合性任意任意 ，当，当 时时 依概率收敛依概率收敛于于 , 则称则称

17、为为 的的相合估计量相合估计量.设设n 是参数是参数 的估计量，若对于的估计量，若对于1(,)n XX1(,)n XX为为 的的相合估计量相合估计量0 对于任意对于任意 , 有有lim|1,nP 点估计的缺陷：点估计的缺陷：由于样本是随机的，估计值可能非真值由于样本是随机的，估计值可能非真值-即便估即便估计量是无偏有效估计量。计量是无偏有效估计量。即使估计值等于真实值，也无从肯定；若不等于即使估计值等于真实值，也无从肯定；若不等于真实值，不知相差多少。真实值，不知相差多少。改进：改进：对于对于的估计，给定一个范围：的估计，给定一个范围： ，并满足，并满足: 21, 应应尽尽可可能能大大21)1

18、( P应应尽尽可可能能小小12)2( 我们希望两者都能满足，但这二者是矛盾的！无法同我们希望两者都能满足，但这二者是矛盾的！无法同时满足。时满足。于是可以将上述两个要求改为：于是可以将上述两个要求改为：在一定可靠程度下在一定可靠程度下1)找出被估参数的可能取值范围找出被估参数的可能取值范围 譬如，在估计湖中鱼数的问题中，若我们譬如，在估计湖中鱼数的问题中，若我们根据一个实际样本，得到鱼数根据一个实际样本，得到鱼数 N 的极大似然估的极大似然估计为计为1000条条. 若我们能给出一个区间，在此区间内我们若我们能给出一个区间，在此区间内我们合理地相信合理地相信 N 的真值位于其中的真值位于其中.

19、这样对鱼数的这样对鱼数的估计就有把握多了估计就有把握多了. 实际上，实际上，N的真值可能大于的真值可能大于1000条，也可条，也可能小于能小于1000条条.也就是说，我们希望确定一个区间，使我们能也就是说，我们希望确定一个区间，使我们能以比较高的以比较高的可靠程度可靠程度相信它包含真参数值相信它包含真参数值.湖中鱼数的真值湖中鱼数的真值 这里所说的这里所说的“可靠程度可靠程度”是用概率来度量的是用概率来度量的 ，称为称为置信度置信度或或置信水平置信水平. 习惯上把置信水平记作习惯上把置信水平记作 1 ，这里，这里 是一个是一个 很小的正数很小的正数.第三节第三节 区间估计区间估计置信区间定义置

20、信区间定义置信区间的求法置信区间的求法单侧置信区间单侧置信区间设总体的未知参数为设总体的未知参数为，由样本，由样本X1，Xn确定两个确定两个统计量统计量 和和 ，对，对于给定的实数于给定的实数 (0 1 )，满足，满足),.,(111nXX ),.,(122nXX 1 ),.,(),.,( 1211nnXXXXP则称随机区间则称随机区间 为为的的置信度置信度为为1- 的的置信区间置信区间。 21, 1- 又称又称置信系数置信系数或或置信概率置信概率 通常取值为通常取值为0.1，0.05等等等等。12和和分分别别称称为为置置信信下下限限和和置置信信上上限限。两点要求两点要求1 可靠性：可靠性：2

21、 精确性：精确性：12, 要要求求区区间间以以很很大大可可能能包包含含 ，12)P 就就是是说说，概概率率要要尽尽可可能能的的大大；要求估计的精确度尽可能的高，要求估计的精确度尽可能的高，这是一对矛盾这是一对矛盾，一般是在保证可靠度的条件下尽可能提高精确度一般是在保证可靠度的条件下尽可能提高精确度.21- 就就是是说说，区区间间长长度度要要尽尽可可能能的的短短。正态分布中正态分布中的区间估计的区间估计例例 设设XN(,2)， 2= 02 已知已知，求参数，求参数的置信度为的置信度为1- 的置信区间。的置信区间。分析分析: 1) 要估计参数，就涉及统计量；而要估计参数，就涉及统计量；而选取统计量

22、选取统计量应根应根据据优良性质准则优良性质准则来选。来选。这里这里的优良估计是：的优良估计是： X2）将）将统计量化为常用分布统计量化为常用分布，再通过，再通过临界值确定区间临界值确定区间。这里：这里：)1,0(0NnX 它是无偏、有它是无偏、有效、相合估计效、相合估计解：解： niiXnX11是是的的优良估计优良估计，且，且)1 ,0(0NnXU )(x12/u22/1u2 1221uUuP令令由标准正态分布的对称性可知由标准正态分布的对称性可知221 uu 从而，前式可化为：从而，前式可化为： 1202unXuP 12uUP即即 12020unXunXP由此可得，由此可得， 的置信度为的置

23、信度为1- 的置信区间为：的置信区间为：从而从而 2020, unXunX特别，当特别，当0=1 ， =0.05 ，样本观测值为样本观测值为 ：5.15.1 4.85.04.7 5.05.25.1 5.0u /2= ， 的置信区间为：的置信区间为：1.964.35，5.65寻找置信区间的寻找置信区间的(枢轴变量法枢轴变量法)：选取待估参数选取待估参数 的的估计量估计量； 原则：优良性准则原则：优良性准则 常用：常用：22, SX对对 查上侧分位数查上侧分位数； 1221wWwP代换代换得到得到 区间区间 A，B 即为所求。即为所求。 1BAP考察含有待估参数和估计量的统计量所服从的考察含有待估

24、参数和估计量的统计量所服从的分分布布 (不能含有其他未知参数不能含有其他未知参数)； 化至常用分布化至常用分布(主要是：正态、主要是：正态、 2 、t、F分布分布)； 相应的变换函数相应的变换函数 W 称为称为 可见，确定区间估计很关键的是要寻找一个可见，确定区间估计很关键的是要寻找一个待估参数待估参数 和估计量和估计量T 的函数的函数U(T, ), 且且U(T, )的分布为已知的分布为已知, 不依赖于任何未知参数不依赖于任何未知参数 . 而这与总体分布有关，所以，而这与总体分布有关，所以，总体分布的形式是总体分布的形式是否已知，是怎样的类型，至关重要否已知，是怎样的类型，至关重要. 单个正态

25、总体的抽样单个正态总体的抽样方方差差，则则分分别别是是样样本本均均值值和和样样本本样样本本的的是是正正态态总总体体设设2221,),(,.,SXNXXXXn ;)1(2相相互互独独立立与与SX);1 ,0()2(NnX );1(1)3(222 nSn )1()4( ntnSX *2*21212221222212/(1)(1,1);/(2) ,SSF nn当未知 时121212*2*222112212()() (2),11(1)(1),.2wwwwXYt nnSnnnSnSSSSnn其中 双正态总体的抽样双正态总体的抽样1212()() 11XYUnn),1 , 0( N22212(2) ,当已

26、知 时未知参数的替换未知参数的替换例例 设设XN(,2)， 2 未知，求参数未知，求参数的置信度为的置信度为1-的置信区间。的置信区间。 niiXnX11是是的的优良估计优良估计思考思考：是否仍选统计量：是否仍选统计量)1 ,0( NnXU 分析：分析：1. 1221uUuP令令求得置信区间？求得置信区间？不可不可因为因为2 未知，故未知，故 U 不是统计量不是统计量2.据抽样分布定理有：据抽样分布定理有：)1(/ ntnSXT 得得 T 的置信区间：的置信区间： 1)1()1(221ntTntP由分布的对称性，即由分布的对称性，即 可化为：可化为：) 1() 1(221 ntnt 1)1()

27、1(22ntTntP代换后可得代换后可得 的置信区间：的置信区间： )1(, )1(22ntnSXntnSX 2020, unXunX比较：比较： 2= 02 时，时， 的置信区间为的置信区间为1 则则 的的置置信信区区间间为为：一、正态总体均值的区间估计一、正态总体均值的区间估计22( ,),XN 1 1) )若若已已知知, , 2 21(1),(1)SSXtnXtnnn 则则 的的置置信信区区间间为为：22( ,),XN 2 2) )若若未未知知, ,22 unXunX22X( ,)N 设设，且且 ，均均未未知知，二二 正态总体方差的区间估计正态总体方差的区间估计21 则则的的置置信信区区

28、间间为为：2222122(1)(1),(1)(1)nSnSnn 1 从从而而的的置置信信区区间间为为：2222122(1)(1),(1)(1)nSnSnn 分析分析: 应选统计量为：应选统计量为：当当未知时，要化至常用分布，由抽样分布定理可知：未知时，要化至常用分布，由抽样分布定理可知：2S *2221(1)nSn零件长度的方差零件长度的方差例例 从自动机床加工的同类零件中任取从自动机床加工的同类零件中任取16件测得长度件测得长度值为值为(单位：单位：mm) 求求方差方差的估计值和置信区间的估计值和置信区间(=0.05)。12.15 12.12 12.01 12.28 12.09 12.16

29、12.03 12.0112.06 12.13 12.07 12.11 12.08 12.01 12.03 12.06解：解： 设零件长度为设零件长度为X，可认为，可认为X服从正态分布，服从正态分布，1621()0.0761iixx005. 0)(151 16122 iixx 方方差差的的估估计计值值为为故故由于由于未知，未知， S2是是2的优良估计，相应的常用分布为：的优良估计，相应的常用分布为：)1(1 2222 nSn 相应的置信区间为：相应的置信区间为：)1(2212)1(2222222)1(221)1( ,)1( 1)1(1 nnnSnSnnSnP 查查 2分布表可得：分布表可得： )

30、15()1()15()1(2975.02212025.022 nn262. 6488.27下面计算方差的置信区间：下面计算方差的置信区间：2的置信度为的置信度为0.95的置信区间为：的置信区间为：26.60761.0,488.270761.0012. 0,002768. 0即即2212121221()X Yunn 则则的的置置信信区区间间为为：三、三、 两个正态总体均值差的区间估计两个正态总体均值差的区间估计2221122(,),(,),12iXNYNi 1 1. .若若（， ）已已知知22212X( ,),Y( ,),NN 2 2. .若若未未知知, ,1212()() (0,1)11XYUNnn121212*2*222112212()() (2),11(1)(1),.2wwwwXYt nnSnnnSnSSSSnn其中1212122111(X Y) t (2)nnSnn 则则的的置置信信区区间间为为：21221 则则的的置