概率论与数理统计浙大四版 第七章 第七章2讲

1、第二节 估计量的评选标准 首先回顾上一节的内容，主要介绍了点估首先回顾上一节的内容，主要介绍了点估计的两种方法：矩估计和极大似然估计。计的两种方法：矩估计和极大似然估计。矩估计的具体做法是：矩估计的具体做法是： 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数 k ,1都是这都是这k个参数的函数个参数的函数,记为：记为：k ,1,那么它的前那么它的前k阶矩阶矩一般一般),(1kiig i=1,2,k从这从这k个方程中解出个方程中解出j=1,2,k那么用诸那么用诸 的估计量的估计量 ai分别代替上式分别代替上式中的诸中的诸 , 即可得诸即可得诸 的矩估计量的矩估计量 ：i i

2、j ),(1kjjh),(1kjjaah j=1,2,k求极大似然估计的一般步骤是：求极大似然估计的一般步骤是：(1) 由总体分布导出样本的联合概率函数由总体分布导出样本的联合概率函数 (或联合密度或联合密度);(2) 把样本联合概率函数把样本联合概率函数(或联合密度或联合密度)中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量, 得到得到似然函数似然函数l( ); (3) 求似然函数求似然函数l( ) 的最大值点的最大值点(常常转化常常转化 为求为求ln l( )的最大值点的最大值点) ，即，即 的的mle; 下面看上一节的例3： 例例3 设设x1,x2,xn

3、是取自总体是取自总体x的一个样本的一个样本为未知参数其它 , 0,1)()(xexfxx其中其中 0,求求 的矩估计的矩估计. , x niixxn12)(1 解得解得niixxn12)(1., 的矩估计即为参数而 是极大似然估计。显然二者是不同的估计量。是极大似然估计。显然二者是不同的估计量。inix1*min niixn1*1 从例从例3可以看到可以看到, 对于同一个参数对于同一个参数, 用不同的估用不同的估计方法求出的估计量可能不相同计方法求出的估计量可能不相同. 而且而且, 很很明显明显, 原则上任何统计量都可以作为未知参原则上任何统计量都可以作为未知参数的估计量数的估计量.(1)对于

4、同一个参数究竟采用哪一个估计量好对于同一个参数究竟采用哪一个估计量好?(2)评价估计量的标准是什么评价估计量的标准是什么? 在介绍估计量的评选标准之前，我们在介绍估计量的评选标准之前，我们必须强调指出：必须强调指出： 评价一个估计量的好坏，不能仅仅依评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结据一次试验的结果，而必须由多次试验结果来衡量果来衡量 . 这是因为估计量是样本的函数，是随机这是因为估计量是样本的函数，是随机变量变量 . 因此，由不同的观测结果，就会求得因此，由不同的观测结果，就会求得不同的参数估计值不同的参数估计值. 因此一个好的估计，应因此一个好的估计，应在

5、多次试验中体现出优良性在多次试验中体现出优良性 . 常用的几条标准是：常用的几条标准是：1无偏性无偏性2有效性有效性3相合性相合性这里我们重点介绍前面两个标准这里我们重点介绍前面两个标准 . 估计量是随机变量，对于不同的样本值估计量是随机变量，对于不同的样本值会得到不同的估计值会得到不同的估计值 . 我们希望估计值在未我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数真值附近摆动，而它的期望值等于未知参数的真值知参数的真值. 这就导致无偏性这个标准这就导致无偏性这个标准 . 1无偏性无偏性 )(e则称则称 为为 的无偏估计的无偏估计 . ),(1nxx 设设是未知参数是未知参数 的

6、估计量，若的估计量，若 例如，用样本均值作为总体均值的估计例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在这种偏差随机地在0的周围波动，对同一统的周围波动，对同一统计问题大量重复使用不会产生系统偏差计问题大量重复使用不会产生系统偏差 .无偏性是对估计量的一个常见而重要的要求无偏性是对估计量的一个常见而重要的要求 .无偏性的实际意义是指没有系统性的偏差无偏性的实际意义是指没有系统性的偏差 .1 , ,)1()(121的无偏估计的无偏估计阶总体矩阶总体矩是是阶样本矩阶样本矩总体服从什么分布总体服从什么分布论论的一个样本，

7、试证明不的一个样本，试证明不是是又设又设存在存在阶矩阶矩的的设总体设总体knikiknkkkxnakxxxxkxekx 证证同分布，同分布，与与因为因为xxxxn,21)()(kkixexe 故有故有., 2 , 1,nik nikikxenae1)(1)(即即.k 例例1. 的无偏估计的无偏估计阶总体矩阶总体矩是是阶样本矩阶样本矩故故kkkak 特别的特别的:. )( 1估计量估计量的无偏的无偏的数学期望的数学期望总是总体总是总体xexx 不论总体不论总体 x 服从什么分布服从什么分布,只要它的数学期望存在只要它的数学期望存在,).()(1 , , , 0 , 122222即不是无偏估计即不

8、是无偏估计有偏的有偏的是是的估计量的估计量则则均为未知均为未知若若都存在的总体都存在的总体方差方差对于均值对于均值 niixxn 证证 niixxn12221 ,22xa 22)( ae因为因为,22 22)()()( xexdxe 又因为又因为,22 n)()( 222xaee 所以所以)()(22xeae 例例2,122 nn. 2是有偏的是有偏的所以所以 . , 1 2偏的偏的所得到的估计量就是无所得到的估计量就是无乘乘若以若以 nn(这种方法称为这种方法称为无偏化无偏化).)(11222 ennnne221 snn 因为因为, )(1112 niixxn, 22的无偏估计的无偏估计是是

9、即即 s.22的估计量的估计量作作故通常取故通常取 s.),max(12, 0,0, 2121的无偏估计都是和的样本，试证明是来自总体参数上服从均匀分布在设总体nnxxxnnxxxxxx证证)(2)2(xexe 因为因为)(2xe ,22 . 2的无偏估计量的无偏估计量是是所以所以 x的概率密度为的概率密度为因为因为),max( 21nhxxxx 其他其他, 0,0,)(1 xnxxfnn例例3xnxxxennhd)(01 所以所以,1 nn,1 hxnne故有故有.),max(121的无偏估计量也是故nxxxnn所以无偏估计以方差小者为好所以无偏估计以方差小者为好, 这就引进了这就引进了有效

10、性这一概念有效性这一概念 .的大小来决定二者的大小来决定二者21)( e和和2 1 一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计, 若若 和和都是参数都是参数 的无偏估计量，的无偏估计量，比较比较我们可以我们可以22)( e谁更优谁更优 .211)()( ed由于由于222)()( ed2有效性有效性d( ) d( )2 1 则称则称 较较 有效有效 .2 1 都是参数都是参数 的无偏估计量，若有的无偏估计量，若有),(11nxx ),(122nxx 1 设设和和 . ,2, ,max124122121有效有效较较时时现证当现证当计量计量的无偏估的无偏估都是都是和和中已证明中已

11、证明在例在例 nxxxnnxn证明证明)(4)( 1xdd 由于由于,3)(42nxdn hxnndd1)( 2 ,12hxdnn ,1)( nnxeh又因为例例4 (续例续例3)xxnxennhd)(102 ,22 nn22)()()(hhhxexexd ,)2()1(22 nnn,)2(1)( 22 nnd故故 ),()( , 212 ddn 所以所以又又 .12有效有效较较 3、相合性. ,),(, ,),(2121的相合估计量的相合估计量为为则称则称依概率收敛于依概率收敛于时时当当若对于任意若对于任意的估计量的估计量为参数为参数若若 nnxxxnxxx ,)( )1( ,的相合估计量的

12、相合估计量阶矩阶矩的的总体总体阶矩是阶矩是样本样本由第六章第二节知由第六章第二节知kkxekxkk .),(),( ,),(212121的相合估计量的相合估计量是是的矩估计量的矩估计量则则函数函数为连续为连续其中其中进而若待估参数进而若待估参数 nnnaaagggg 这一讲，我们介绍了参数点估计，讨论了这一讲，我们介绍了参数点估计，讨论了估计量的优良性准则估计量的优良性准则 . 参数点估计是用一个确定的值去估计未参数点估计是用一个确定的值去估计未知的参数知的参数. 看来似乎精确，实际上把握不大看来似乎精确，实际上把握不大. 为了使估计的结论更可信，需要引入区间估为了使估计的结论更可信，需要引入

13、区间估计计. 这是下一讲的内容这是下一讲的内容 . 当总体为当总体为正态分布正态分布时，教材上给出了时，教材上给出了几个重要的抽样分布定理几个重要的抽样分布定理. 这里我们不加这里我们不加证明地叙述证明地叙述. 除定理除定理2外，其它几个定理外，其它几个定理的证明都可以在教材上找到的证明都可以在教材上找到.四、几个重要的抽样分布定理四、几个重要的抽样分布定理 定理定理 1 (样本均值的分布样本均值的分布)设设x1,x2,xn是取自正态总体是取自正态总体),(2 n的样本，则有的样本，则有),(2nnx ) 1 , 0( nnx n取不同值时样本均值取不同值时样本均值 的分布的分布x0.01.

14、, ,),( ),( ),( 2222111211221的概率大约为的概率大约为过过差超差超使得这两个样本均值之使得这两个样本均值之试确定试确定的样本均值的样本均值和和的两样本的两样本为为的容量的容量是来自正态总体是来自正态总体和和设设 nxxxxxxnnxxnn解解,21 nnx ,22 nnx ,2, 0 221 nnxx 则则 21 xxp 2/221nnxxp 例例3 2/2121nnxxp 221nn 222n ,01. 0 ,995. 02 n 有有查标准正态分布表知查标准正态分布表知,58. 22 n .14 n于是于是 定理定理 2 (样本方差的分布样本方差的分布) 1() 1

15、() 1 (222nsn 设设x1,x2,xn是取自正态总体是取自正态总体),(2 n的样本的样本,2sx和分别为样本均值和样本方差分别为样本均值和样本方差,则有则有.)(相互独立和22sxn取不同值时取不同值时 的分布的分布22) 1(sn 定理定理 3 设设x1,x2,xn是取自正态总体是取自正态总体),(2 n的样本的样本,2sx和分别为样本均值和样本方差分别为样本均值和样本方差,则有则有) 1(ntnsx 定理定理 4 (两总体两总体样本样本均值差的分布均值差的分布) )2(112) 1() 1()(21212122221121nntnnnnsnsnyx ，设),(),(2221 ny

16、nxyx和分别是这两个样本的分别是这两个样本的且且x与与y独立独立,x1,x2,1nx是取自是取自x的样本的样本,取自取自y的样本的样本,分别是这两个样本的样本方差分别是这两个样本的样本方差,均值均值,2221ss 和则有则有y1,y2,2ny是是样本样本 定理定理 5 (两总体两总体样本样本方差比的分布方差比的分布) ) 1, 1(2122222121nnfss ，设),(),(222211nynxyx和分别是这两个样本的分别是这两个样本的且且x与与y独立独立,x1, x2,1nx是取自是取自x的样本的样本,取自取自y的样本的样本,分别是这两个样本的样本方差分别是这两个样本的样本方差,均值，

17、均值，2221ss 和则有则有y1,y2,2ny是是样本样本上述上述5个抽样分布定理很重要，个抽样分布定理很重要， 要牢固掌握要牢固掌握.练习.),min(, 0, ., 0, 0,e1);(, 2121的无偏估计的无偏估计都是都是和和试证试证样本样本的的是来自总体是来自总体又设又设其中参数其中参数其他其他概率密度概率密度的指数分布的指数分布服从参数为服从参数为设总体设总体 nnxxxxnnzxxxxxxxfx 哪个更有效哪个更有效哥色特哥色特 与t分布 哥色特，其笔名哥色特，其笔名student比他的真名更为人所知比他的真名更为人所知. 奈曼曾指出，许多统计学家在哥色特于奈曼曾指出，许多统计

18、学家在哥色特于1937年去年去世后，尚不知他就是世后，尚不知他就是student,哥色特哥色特1876年出生于年出生于坎特伯雷坎特伯雷. 他曾在温彻斯特大学和牛津大学就读他曾在温彻斯特大学和牛津大学就读. 1899年作为一名酿酒师进入爱尔兰的都柏林一家年作为一名酿酒师进入爱尔兰的都柏林一家啤酒厂工作，在那里他涉及到有关酿造过程的数啤酒厂工作，在那里他涉及到有关酿造过程的数据处理问题据处理问题.。 1906到到1907年他有年他有1年的时间去皮尔逊那里学习和年的时间去皮尔逊那里学习和研究统计学。研究统计学。 他着重关心的是由人为试验下所得他着重关心的是由人为试验下所得的少量数据的统计分析问题，在当时这是一个全的少量数据的统计分析问题，在当时这是一个全新的课题，新的课题， 因为如前面曾指出的，当时统计学中占主导地位因为如前面曾指出的，当时统计学中占主导地位的卡尔的卡尔皮尔逊学派强调的是由自然观察得来的大皮尔逊学派强调的是由自然观察得来的大量数据的统计处理。这一研究的成果，就是那篇量数据的统计处理。这一研究的成果，就