概率论与数理统计 参数估计

1、数理统计数理统计 引言引言 上一讲，我们介绍了总体、样本、上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概简单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给念，介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理出了几个重要的抽样分布定理 . 它们是它们是进一步学习统计推断的基础进一步学习统计推断的基础 .数理统计数理统计 总体总体样样本本统计量统计量描述描述作出推断作出推断随机抽样随机抽样数理统计数理统计 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来估参数估计问题是利用从总体抽样得到的

2、信息来估计总体的某些参数或者参数的某些函数计总体的某些参数或者参数的某些函数. 参数估计参数估计估计废品率估计废品率估计新生儿的体重估计新生儿的体重 估计降雨量估计降雨量在参数估计问题在参数估计问题中，假定总体分中，假定总体分布形式已知，未布形式已知，未知的仅仅是一个知的仅仅是一个或几个参数或几个参数.数理统计数理统计 这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法X1,X2,Xn要依据该样本对参数要依据该样本对参数 作出估计作出估计, 或估计或估计 的某个已知函数的某个已知函数 .)(g现从该总体抽样，得样本现从该总体抽样，得样本 设有一个统计总体设有

3、一个统计总体 , 总体的分布函数总体的分布函数为为F( x, ) ，其中，其中 为未知参数为未知参数 ( 可以是向量可以是向量) . 数理统计数理统计 参数估计参数估计点估计点估计区间估计区间估计数理统计数理统计 )1 . 0,(2 N（假定身高服从正态分布（假定身高服从正态分布 ） 设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69 估计估计 为为1.68，这是这是点估计点估计.这是这是区间估计区间估计.估计估计 在区间在区间 1.57, 1.84 内，内，例如我们要估计某队男生的平均身高例如我们要估计某队男生的平均身高. 现从该总体选取容量为现从该总体选取容量为5的样

4、本，我们的任的样本，我们的任务是要根据选出的样本（务是要根据选出的样本（5个数）求出总体均值个数）求出总体均值 的估计的估计. 而全部信息就由这而全部信息就由这5个数组成个数组成 . 数理统计数理统计 一、点估计概念一、点估计概念随机抽查随机抽查100个婴儿个婴儿 , ,得得100个体重数据个体重数据 10,7,6,6.5,5,5.2, 呢呢 ? ? 据此据此, ,我们应如何估计我们应如何估计和和而全部信息就由这而全部信息就由这100个数组成个数组成 .例例1 已知某地区新生婴儿的体重已知某地区新生婴儿的体重 , , 2,XN ( ,) 未知未知数理统计数理统计 二、寻求估计量的方法二、寻求估

5、计量的方法1. 矩估计法矩估计法2. 极大似然法极大似然法数理统计数理统计 1. 矩估计法矩估计法 矩估计法是英国统计学家矩估计法是英国统计学家K.皮尔逊皮尔逊最早提出来的最早提出来的 .由辛钦定理由辛钦定理 ,若总体若总体 的数学期望的数学期望 有限有限, E X X则有则有11niiXXn ()PE X 11nkkiiAXn ()(1,2,)PkkE Xk 数理统计数理统计 这表明这表明 , 当样本容量很大时当样本容量很大时 , 在统计上在统计上 , 可以可以用样本矩去估计总体矩用样本矩去估计总体矩 . 这一事实导出矩估计法这一事实导出矩估计法.定义定义用样本原点矩估计相应的总体原点矩用样

6、本原点矩估计相应的总体原点矩 , 这种参数点估计法称为这种参数点估计法称为矩估计法矩估计法 . 理论依据理论依据: 大数定律大数定律数理统计数理统计 例2 设总体设总体 服从服从 上的均匀分布上的均匀分布, , 是未是未知参数知参数, , 是取自总体是取自总体 的样本的样本, ,求求 的矩估的矩估计量计量. . X, 0 0nXX,1X,2)(XEX2解解 因为因为 令令 ,即得即得 的矩估计量的矩估计量:X2数理统计数理统计 例例1 设总体设总体X的概率密度为的概率密度为其它, 010,) 1()(xxxf 其中其中 是未知参数是未知参数 , X1 , X2 , , Xn 是取自是取自 X

7、的样本的样本,1 求参数求参数 的矩估计的矩估计数理统计数理统计 2. 最大似然法最大似然法 它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的 . 后后来由英国统计学家来由英国统计学家费歇费歇于于1922年重新提出，并证明年重新提出，并证明了一些性质。因此，这个方法常归功于他。了一些性质。因此，这个方法常归功于他。GaussFisher数理统计数理统计 最大似然法的基本思想最大似然法的基本思想 先看一个简单例子先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？ 某位同学与一位猎人一起外某位同学与一位猎人一起外出打猎出打猎 .如果要

8、你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 .数理统计数理统计 你就会想，只发一枪便打中你就会想，只发一枪便打中, 猎人命中的概率猎人命中的概率一般大于这位同学命中的概率一般大于这位同学命中的概率 . 看来这一枪是猎人看来这一枪是猎人射中的射中的 . 这个例子所作的推断已经体现了极大似然法的这个例子所作的推断已经体现了极大似然法的基本思想基本思想 .数理统计数理统计 最大似然估计原理：最大似然估计原理： 当给定样本当给定样本X1,X2,Xn时，定义时，定义似然函数似然函数为：为：这里这里 x1, x2 , xn 是样本的观察值是样本的观

9、察值 .111221122( )( ; ,)( ;,)(; ) (; )(; )nnnnnLPxxPXx XxXxP XxP XxP Xx112( )( ; ,)( ; ) ( ; )( ; )nnLfxxf xf xf x数理统计数理统计 数理统计数理统计 数理统计数理统计 )(max)( LL 最大似然估计法最大似然估计法就是用使就是用使 达到最大值的达到最大值的 去估计去估计 . )(L 称称 为为 的的最大似然估计值最大似然估计值 . 看作参数看作参数 的函数，它可作为的函数，它可作为 将以多大可将以多大可能产生样本值能产生样本值 x1, x2, ,xn 的一种度量的一种度量 .)(

10、L 而相应的而相应的统计量统计量称为称为 的的最大似然估计量最大似然估计量 .1(,)n XX数理统计数理统计 例2 设总体设总体X服从参数为服从参数为 的指数分布的指数分布,试求试求 的的极大似然估计值。极大似然估计值。解解 设设 是一组样本观测值是一组样本观测值,则似然函数为则似然函数为nxxx,21112,0,1,( )( ) ()()0,inxiinexinLf x f xf xelseelsenixeixnnii, 0, 1, 0,1数理统计数理统计 niixnL1ln)(ln令0)(ln1niixnL解得解得 的极大似然估计值为的极大似然估计值为xxnnii11所以当所以当 时，时

11、， 取对数取对数), 1(0nixi0)(L数理统计数理统计 L(p)= P(X=x1, X=xn) 设设X1,X2,Xn是取自总体是取自总体 XB(1, p) 的一个样的一个样本，求参数本，求参数p的最大似然估计量的最大似然估计量.nixxiipp11)1 (解：解：似然函数似然函数为为: ppXi110niiniixnxpp11)1 (数理统计数理统计 对对p求导并令其为求导并令其为0，0)(111)(ln11niiniixnpxpdppLdxxnpnii11即为即为 p 的的最大似然估计值最大似然估计值 .)1ln()()ln()(ln11pxnpxpLniinii对数似然函数对数似然函

12、数为：为：数理统计数理统计 (4) 在最大值点的表达式中在最大值点的表达式中, 用样本值代入就用样本值代入就 得参数的得参数的最大似然估计值最大似然估计值 .求最大似然估计求最大似然估计(MLE)的一般步骤是：的一般步骤是： (1) 由总体分布导出样本的联合分布率由总体分布导出样本的联合分布率(或联或联合密度合密度); (2) 把样本联合分布率把样本联合分布率 ( 或联合密度或联合密度 ) 中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量,得到得到似然似然 函数函数L( ); (3) 求似然函数求似然函数L( ) 的最大值点的最大值点(常常转化为常常转化为求求

13、ln L( )的最大值点的最大值点) ，即，即 的的MLE; 数理统计数理统计 设总体设总体X的概率密度为的概率密度为其它, 010,) 1()(xxxf 其中其中 是未知参数是未知参数 , X1 , X2 , , Xn 是取自是取自 X 的样本的样本,1 求参数求参数 的极大似然估计。的极大似然估计。数理统计数理统计 例例6 设总体设总体 X N( ) , 未知未知 . 是来自是来自 X 的样本值的样本值 , 试求试求 的最大似然估计量的最大似然估计量 .1,nxx2, 2, 2, 似然函数为似然函数为 解解X 的概率密度为的概率密度为 xexfx,21)(222)( 222()211( ,

14、)2ixniL e 数理统计数理统计 222()211( ,)2ixniL e 2222211(2 )()exp() 2nnniix 于是于是22211ln(2 )ln()222niinnLnLx 令令211()0niiLnLxn 2222211()022()niinLnLx 数理统计数理统计 11niixxn 2211()niixxn 解得解得的最大似然估计量的最大似然估计量为为2, ,X 2211()niiXXn 数理统计数理统计 第二节第二节 估计量的评选标准估计量的评选标准无偏性无偏性有效性有效性相合性相合性数理统计数理统计 样本均值是否是样本均值是否是 的一个好的估计量？的一个好的估

15、计量？ (2) 怎样决定一个估计量是否比另一个估计量怎样决定一个估计量是否比另一个估计量“好好”？样本方差是否是样本方差是否是 的一个好的估计量？的一个好的估计量？2 这就需要讨论以下几个问题这就需要讨论以下几个问题: :(1) 我们希望一个我们希望一个“好的好的”估计量具有什么特性？估计量具有什么特性？(3) 如何求得合理的估计量？如何求得合理的估计量？XN( )2, 数理统计数理统计 常用的几条标准是：常用的几条标准是：1无偏性无偏性2有效性有效性3相合性相合性这里我们重点介绍前面两个标准这里我们重点介绍前面两个标准 .数理统计数理统计 估计量是随机变量，对于不同的样本值会得到估计量是随机

16、变量，对于不同的样本值会得到不同的估计值不同的估计值 . 我们希望估计值在未知参数真值附我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值近摆动，而它的期望值等于未知参数的真值. 这就这就导致无偏性这个标准导致无偏性这个标准 . 一、无偏性一、无偏性 )(E则称则称 为为 的的无偏估计无偏估计 . ),(1nXX 设设是未知参数是未知参数 的估计量，若的估计量，若 数理统计数理统计 例如，用样本均值作为总体均值的估计时，例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随虽无法说明一次估计所产生的偏差，但这种偏差随机地在机地在0的周围波动，对同一

17、统计问题大量重复使的周围波动，对同一统计问题大量重复使用不会产生系统偏差用不会产生系统偏差 .无偏性是对估计量的一个常见而重要的要求无偏性是对估计量的一个常见而重要的要求 .无偏性的实际意义是指没有系统性的偏差无偏性的实际意义是指没有系统性的偏差 .数理统计数理统计 例例1 设总体设总体 X 服从参数为服从参数为 的的指数分布指数分布 , 其其概率密概率密 度度为为 1,0,0 ,x exfx 其其它它, ,0 其其中中为未知为未知,X1,X2,Xn是取自总体的一个样本是取自总体的一个样本 ,试证试证 和和 谁是参数谁是参数 的的无偏估计无偏估计量量1min(,)nXZXX 数理统计数理统计

18、证证 ,E X E X 所以所以 是参数是参数 的的无偏估计量无偏估计量 .X而而1min(,)nZXX 具有概率密度具有概率密度 min,0,;0 ,nx nexfx 其其它它, ,故知故知 ,E Zn E nZ 即即 也是参数也是参数 的的无偏估计量无偏估计量 .nZ数理统计数理统计 所以无偏估计以方差小者为好所以无偏估计以方差小者为好, 这就引进了这就引进了有效性有效性 这这 一概念一概念 .的大小来决定二者谁更优的大小来决定二者谁更优 .21)( E和和2 1 一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计, 若若 和和都是参数都是参数 的无偏估计量，的无偏估计量，我们可

19、以比较我们可以比较22)( E211)()( ED由于由于222)()( ED数理统计数理统计 二、有效性二、有效性D( ) D( )2 1 则称则称 较较 有效有效 .2 1 都是参数都是参数 的无偏估计量，若对的无偏估计量，若对任意任意 ，),(11nXX ),(122nXX 1 设设和和 且至少对于且至少对于某个某个 上式中的不等号成立，上式中的不等号成立，数理统计数理统计 例例2 (续例续例1) 试证试证 当当 n 1 时时 的无偏估计量的无偏估计量 较较 哪个更有效哪个更有效 .证证 2,D X 221111()()nniiiiD XDXD Xnnn故有故有 22,D Zn 而而故有

20、故有 2.D nZ 当当 n 1 时时 , (),D nZD X XnZ故故 较较 有效有效 .XnZ数理统计数理统计 三、相合性三、相合性任意任意 ，当，当 时时 依概率收敛依概率收敛于于 , 则称则称 为为 的的相合估计量相合估计量.设设n 是参数是参数 的估计量，若对于的估计量，若对于1(,)n XX1(,)n XX为为 的的相合估计量相合估计量0 对于任意对于任意 , 有有lim|1,nP数理统计数理统计 第三节第三节 区间估计区间估计置信区间定义置信区间定义置信区间的求法置信区间的求法数理统计数理统计 引言引言 前面，我们讨论了参数点估计前面，我们讨论了参数点估计. 它是用样本算它是

21、用样本算得的一个值去估计未知参数得的一个值去估计未知参数. 但是，点估计值仅仅但是，点估计值仅仅是未知参数的一个近似值，它没有反映出这个近似是未知参数的一个近似值，它没有反映出这个近似值的误差范围，使用起来把握不大值的误差范围，使用起来把握不大. 区间估计正好区间估计正好弥补了点估计的这个缺陷弥补了点估计的这个缺陷 .数理统计数理统计 一、一、 置信区间定义置信区间定义 满足满足设设 是是 一个待估参数，给定一个待估参数，给定, 0 X1,X2,Xn确定的两个统计量确定的两个统计量若由样本若由样本1P 12(,)n XXX 12(,)n XXX () 和和 分别称为分别称为置信下限和置信上限置

22、信下限和置信上限. 则称区间则称区间 是是 的置信水平（置信度的置信水平（置信度 )为为 的置信区间的置信区间. 1( , ) 数理统计数理统计 这里有两个要求这里有两个要求:可见，可见， 对参数对参数 作区间估计，就是要设法找出两个作区间估计，就是要设法找出两个只依赖于样本的界限只依赖于样本的界限(构造统计量构造统计量). 一旦有了样本，就把一旦有了样本，就把 估计在区间估计在区间 内内 . 12(,)n XXX 12(,)n XXX () ( , ) 数理统计数理统计 可靠度与精度是一对矛盾，一般是在保证可靠度与精度是一对矛盾，一般是在保证可靠度的条件下尽可能提高精度可靠度的条件下尽可能提

23、高精度.1. 要求要求 以很大的可能被包含在区间以很大的可能被包含在区间 内，就是说，概率内，就是说，概率 要尽可能大要尽可能大 .即要求估计尽量可靠即要求估计尽量可靠. ( , ) P 2. 估计的精度要尽可能的高估计的精度要尽可能的高. 如要求区间长度如要求区间长度 尽可能短，或能体现该要求的其它准则尽可能短，或能体现该要求的其它准则. 数理统计数理统计 在求置信区间时，要查表求分位点在求置信区间时，要查表求分位点.二、置信区间的求法二、置信区间的求法()1P aXb()()1P XbP Xa ()1,2P Xb()2P Xa 设设 , 对随机变量对随机变量X，称满足，称满足的点的点 为为

24、X的概率分布的上的概率分布的上 分位点分位点. x01()P Xx定义定义()1P Xx数理统计数理统计 若若 X 为连续型随机变量为连续型随机变量 , 则有则有12,ax 2.bx 所求所求置信区间为置信区间为122(,)xx ()1,2P Xb()2P Xa数理统计数理统计 N(0, 1)选选 的点估计为的点估计为 , ,X求参数求参数 的置信度为的置信度为 的置信区间的置信区间. 例例1 设设X1,Xn是取自是取自 的样本，的样本， ,2已知 ),(2 N 1nXU 取明确问题明确问题,是求什么是求什么参数的置信区间参数的置信区间?置信水平是多少？置信水平是多少？寻找未知参寻找未知参数的

25、一个良数的一个良好估计好估计.解解 寻找一个待估参数和寻找一个待估参数和统计量的函数统计量的函数 ，要求，要求其分布为已知其分布为已知.有了分布，就可以求出有了分布，就可以求出U取值于任意区间的概率取值于任意区间的概率.数理统计数理统计 ,1 对给定的置信水平对给定的置信水平查正态分布表得查正态分布表得,2 u对于给定的置信水平对于给定的置信水平, 根据根据U的分布，确定一的分布，确定一个区间个区间, 使得使得U取值于该区间的概率为置信水平取值于该区间的概率为置信水平. 1|2unXP使使数理统计数理统计 122unXunXP从中解得从中解得,1 对给定的置信水平对给定的置信水平查正态分布表得

26、查正态分布表得,2 u 1|2unXP使使数理统计数理统计 ,22 unXunX也可简记为也可简记为2()Xun 122unXunXP于是所求于是所求 的的 置信区间为置信区间为 数理统计数理统计 单个总体单个总体 的情况的情况两个总体两个总体 的情况的情况2( ,)N 211(,),N 222(,)N 数理统计数理统计 一、单个总体一、单个总体 的情况的情况2( ,)N 2( ,),XN 并设并设 为来自总体的为来自总体的 1,nXX样本样本 ,2,X S分别为样本均值和样本方差分别为样本均值和样本方差 .均值均值 的置信区间的置信区间1.12为已知为已知(0,1)XNn 可得到可得到 的的

27、置信水平为置信水平为 的置信区间为的置信区间为 1 22(,)XuXunn2()Xun 或或数理统计数理统计 22为未知为未知(1)Xt nSn 可得到可得到 的的置信水平为置信水平为 的置信区间为的置信区间为 1 此分布不依赖于此分布不依赖于任何未知参数任何未知参数2|(1)1XPtnSn 由由22(1),(1)SSXtnXtnnn2(1)SXtnn或或数理统计数理统计 例例1 有一大批糖果有一大批糖果.现从中随机地取现从中随机地取 16 袋袋 , 称称得重量得重量(以克计以克计)如下如下: 506 508 499 503 504 510 497 512 514 505 493 496 50

28、6 502 509 496设袋装糖果的重量近似地服从正态分布设袋装糖果的重量近似地服从正态分布,试求总试求总体均值体均值 的置信水平的置信水平0.95为的置信区间为的置信区间.解解 这里这里10.95,20.025,115,n0.025(15)2.1315.t 1611503.75 ,16iixx 16211()6.2022 .15iisxx 数理统计数理统计 2(1)sxtnn于是得到于是得到 的的置信水平为置信水平为 的置信区间的置信区间为为 0.95即即(500.4,507.1)数理统计数理统计 方差方差 的置信区间的置信区间22.222(1)(1)nSn 2221222(1)(1)(1

29、)1nSP nn 由由可得到可得到 的的置信水平为置信水平为 的置信区间为的置信区间为1 2222212(1)(1)(,)(1)(1)nSnSnn 2数理统计数理统计 22122(1)(1)(1)1nSPnn 由由可得到标准差可得到标准差 的的置信水平为置信水平为 的置信区间为的置信区间为1 2221211(,)(1)(1)nSnSnn 数理统计数理统计 例例2 有一大批糖果有一大批糖果.现从中随机地取现从中随机地取 16 袋袋 , 称称得重量得重量(以克计以克计)如下如下: 506 508 499 503 504 510 497 512 514 505 493 496 506 502 509

30、 496设袋装糖果的重量近似地服从正态分布设袋装糖果的重量近似地服从正态分布,试求总试求总体标准差体标准差 的置信水平的置信水平0.95为的置信区间为的置信区间.解解 这里这里20.025,120.975,115,n20.025(15)27.488, 20.975(15)6.262. 16211()6.2022 .15iisxx 数理统计数理统计 于是得到于是得到 的的置信水平为置信水平为 的置信区间为的置信区间为0.952221211(,)(1)(1)nSnSnn 即即(4.58,9.60).数理统计数理统计 二、两个总体二、两个总体 的情况的情况211(,),N 222(,)N 设已给定置

31、信水平为设已给定置信水平为 , 并设并设 1 112,nXXX是来自第一个总体的样本是来自第一个总体的样本 , 212,nY YY是来自第二是来自第二个总体的样本个总体的样本 ,这两个样本相互独立这两个样本相互独立 .且设且设 分别分别,X Y为第一、二个总体的样本均值为第一、二个总体的样本均值 , 2212,SS为第一、二为第一、二个总体的样本方差个总体的样本方差 . 两个总体均值差两个总体均值差 的置信区间的置信区间12 1.12212,为已知为已知数理统计数理统计 2111(,),XN n2222(,)YN n因为因为 相互独立相互独立 ,X Y所以所以 相互独立相互独立 . ,X Y故

32、故22121212(,)XYN nn12221212()()(0,1)XYNnn 或或数理统计数理统计 2212212()XYunn于是得到于是得到 的的置信水平为置信水平为 的置信区间为的置信区间为1 12 222212,为已知为已知2121212()()(2)11XYt nnSnn 其中其中2,SS 222112212(1)(1).2nSnSSnn 数理统计数理统计 2121211(2)XYtnnSnn于是得到于是得到 的的置信水平为置信水平为 的置信区间为的置信区间为1 12 其中其中2,SS 222112212(1)(1).2nSnSSnn 数理统计数理统计 例例3 为比较为比较 I

33、, 两种型号步枪子弹的枪口两种型号步枪子弹的枪口速度速度 ,随机地取随机地取 I 型子弹型子弹 10 发发 ,得到枪口速度的平得到枪口速度的平 均值均值 为为 标准差标准差 随随机地取机地取 型子弹型子弹 20 发发 ,得到枪口速度的平均值为得到枪口速度的平均值为 标准差标准差 假设两总假设两总体都可认为近似地服从正态分布体都可认为近似地服从正态分布.且生产过程可认且生产过程可认为方差相等为方差相等 .求两总体均值差求两总体均值差 的的置信水平为置信水平为 0.95 的置信区间的置信区间.1500(),xm s 211.10(),sm s 2496(),xm s 221.20().sm s 12 数理统计数理统计 解解122121211(2)xxtnnsnn 依题意依题意 , 可认为分别来自两总体的样本是可认为分别来自两总体的