ch7参数估计复旦

1、第七章第七章 参数估计参数估计假设检假设检验问题验问题点点 估估 计计区间估区间估 计计统计统计推断推断 DE基本基本问题问题参数估参数估计问题计问题若若 , 2未知未知, 通过构造样本的函数通过构造样本的函数, 给出给出它们的估计值或取值范围就是参数估计它们的估计值或取值范围就是参数估计的内容的内容.什么是参数估计？什么是参数估计？参数是刻画总体某方面概率特性的数量参数是刻画总体某方面概率特性的数量.当此数量未知时当此数量未知时,从总体抽出一个样本，从总体抽出一个样本，用某种方法对这个未知参数进行估计就用某种方法对这个未知参数进行估计就是参数估计是参数估计.例如，例如，X N ( , 2),

2、 点估计点估计区间估计区间估计区间估计区间估计参数估计的类型参数估计的类型点估计点估计 估计未知参数的值估计未知参数的值区间估计区间估计 估计未知参数的取值范围，估计未知参数的取值范围，并使此范围包含未知参数并使此范围包含未知参数真值的概率为给定的值真值的概率为给定的值. .第第1节节 点估计点估计点估计的思想方法点估计的思想方法设总体设总体X 的分布函数的形式已知的分布函数的形式已知, 但含有但含有一个或多个一个或多个未知参数：未知参数： 1, 2, , k设设 X1, X2, Xn为总体的一个样本为总体的一个样本构造构造 k 个统计量：个统计量：),(),(),(21212211nknnX

3、XXXXXXXX随机变量随机变量当测得样本值当测得样本值(x1, x2, xn)时时,代入上述代入上述统计量，即可得到统计量，即可得到 k 个数：个数：),(),(),(21212211nknnxxxxxxxxx数数 值值如何构造统计量？如何构造统计量？如何评价估计量的好坏？如何评价估计量的好坏？对应统计量对应统计量 为未知参数为未知参数的的估计量估计量1,k问问题题1,k的的估计值估计值1,k为未知参数为未知参数称数称数 方法方法用样本用样本 k 阶矩作为总体阶矩作为总体 k 阶矩的估计阶矩的估计量量, 建立含有待估参数的方程建立含有待估参数的方程, 从而解从而解出待估参数出待估参数一般一般

4、, 不论总体服从什么分布不论总体服从什么分布, 总体期望总体期望 与与方差方差 2 存在存在, 则它们的矩估计量分别为则它们的矩估计量分别为11niiEXXXn2122221)(1)()(SnnXXnEXXEnii1 . 矩法估计矩法估计 法一法一事实上，按矩法原理，令事实上，按矩法原理，令niiXnX11)(12122XEXnAniiX)()(222XEXE22 A2211niiXXn2121)(1SnnXXnnii设待估计的参数为设待估计的参数为k,21设总体的设总体的 r 阶矩存在，记为阶矩存在，记为),()(21krrXE样本样本 X1, X2, Xn 的的 r 阶矩为阶矩为nirir

5、XnA11kr, 2 , 1令令),(21krniriXn11 含未知参数含未知参数 1, 2, , k 的方程组的方程组解方程组解方程组 , 得得 k 个统计量：个统计量：11212(,)(,)nknX XXX XX 未知参数未知参数 1, , k 的的矩估计量矩估计量111212( , , )( , , )nkknx xxx xx 代入一组样本值得代入一组样本值得 k 个数个数: 未知参数未知参数 1, , k 的的矩估计值矩估计值例例1 设总体设总体 X N ( , 2 )( , 2未知未知), X1, X2, Xn为为 总体的样本总体的样本, 求求 , 2 的矩法估计量的矩法估计量.解

6、解X矩21221XXnnii矩7-1311niiEXXXn2122221)()(XXnEXXEnii因为因为所以所以21211SnnXXnnii )(例例2 设从某灯泡厂某天生产的灯泡中随机设从某灯泡厂某天生产的灯泡中随机抽取抽取10只灯泡，测得其寿命为只灯泡，测得其寿命为(单位单位:小时小时) 1050, 1100, 1080, 1120, 1200 1250, 1040, 1130, 1300, 1200试用矩法估计该厂这天生产的灯泡的平均试用矩法估计该厂这天生产的灯泡的平均寿命及寿命分布的方差寿命及寿命分布的方差.解解)(1147101)(101hxxXEii10222211( )682

7、1( ).10iiD Xxxh例例3 设总体设总体 X U (a, b), a, b 未知未知, 求参数求参数 a, b 的的 矩法估计量矩法估计量.解解由于由于12)()(,2)(2abXDbaXE)()()(22XEXDXE令令22212)(baab2abXniiXnAbaab122221212) (解得解得)( 322XAXa矩213() ,niiXXXn)(322XAXb矩213() .niiXXXn例例4 设总体设总体 X 密度函数为：密度函数为：其中其中 未知未知, X1, X2, Xn为总体的样本为总体的样本, 求求 的矩法估计的矩法估计.(1)01(1)( )0 or else

8、xxf x 解解11niiEXXXn101( )(1)2EXxf x dxxx dx因为因为故有故有12X从而从而121XX2. 极大似然估计法极大似然估计法 思想方法：思想方法：例如例如: 有两外形相同的箱子有两外形相同的箱子,各装各装100个球个球 一箱一箱 99个白球个白球 1 个红球个红球 一箱一箱 1 个白球个白球 99个红球个红球现从两箱中任取一箱现从两箱中任取一箱, 并从箱中任取一球并从箱中任取一球,结果所取得的球是白球结果所取得的球是白球.答答: 第一箱第一箱.问问: 所取的球来自哪一箱？所取的球来自哪一箱？法二 一次试验就出现的事件有较大的概率一次试验就出现的事件有较大的概率

9、 例例5 设总体设总体 X 服从服从0-1分布分布,且且P (X = 1) = p, 用极大似然法求用极大似然法求 p 的估计值的估计值.解解总体总体 X 的概率分布为的概率分布为1 , 0,)1 ()(1xppxXPxx 设设 x1, x2, xn为总体样本为总体样本X1, X2, Xn的样本值的样本值,则则),(2211nnxXxXxXP)()(pLppniiniixnx 111nixi, 2 , 1, 1 , 0对于不同的对于不同的 p , L (p)不同不同, 见下图见下图现经过一次试验，现经过一次试验，0.20.40.60.81p0.0020.0040.0060.0080.01Lp)

10、,(2211nnxXxXxX发生了，发生了，事件事件则则 p 的取值应使这个事件发生的概率最大的取值应使这个事件发生的概率最大.p 在容许范围内选择在容许范围内选择 p ，使使L(p)最大最大 注意，注意，ln L(p)是是 L 的单调增函数的单调增函数,故若某个故若某个p 使使ln L(p)最大最大, 则这个则这个p 必使必使L(p)最大。最大。0111令 pxnpxpLniiniiddlnxxnpnii110)1 (dlnd212122pxnpxpLniinii所以所以xp 为所求为所求 p 的估计值的估计值.一般一般, 设设 X 为为离散型离散型随机变量随机变量, 其分布律为其分布律为

11、,),()(21uuxxpxXP则样本则样本 X1, X2, Xn的概率分布为的概率分布为),(2211nnxXxXxXP),(),(),(),(ininxpxpxpxp121 12, , ,1,2, , ,ixu uin)(),(LxxxLn 21记为或或称称 L( ) 为样本的为样本的似然函数似然函数),()(inixpL1 ),(21nxxxL),(),(),(maxnxpxpxp21 称这样得到的称这样得到的 ),(nxxxg21 为参数为参数 的的极大似然估计值极大似然估计值称统计量称统计量),(21nXXXg为参数为参数 的的极大似然估计量极大似然估计量选择适当的选择适当的 = ,

12、使使 取最大值取最大值, 即即)(L极大似然法的思想极大似然法的思想若若 X 为为连续型连续型, 取取 f (xi, )为为Xi 的密度函数的密度函数niixfL1),()(似然函数为似然函数为注注1注注2未知参数可以不止一个未知参数可以不止一个, 如如 1, k 设设X 的密度的密度(或分布或分布)为为1( ,)kf x则定义似然函数为则定义似然函数为111( ,)( ,)nkikiLf x,1,2,ixin1( , , )k11( )( ,; ,)nkLL xx02121 ),;,(lnknrxxxLkr, 2 , 1要求解要求解 的的极大似然估计，极大似然估计，就转化为就转化为求似然函数

13、求似然函数的极值点问题了。的极值点问题了。即求解：即求解：未知参数可以不止一个的情形：未知参数可以不止一个的情形：未知参数为一个的情形：未知参数为一个的情形：0)(lnLdd上式为上式为对数对数似然方程组似然方程组例例6 设总体设总体 X N ( , 2), x1, x2, xn 是是 X 的样本值的样本值, 求求 , 2 的极大似然估计的极大似然估计.解解),;,(221nxxxLniixnne1222)(222)()2(1)ln(2)2ln(22)(ln2122nnxLnii222)(121ixniexxnnii11niixxn122)(1 , 2 的极大似然估计量分别为的极大似然估计量分

14、别为11,niiXXn2121)(1SnnXXnnii对数对数似然似然方程方程组为组为0)(1ln12niixL0)( 2)()( 21ln)(212222nxLnii极大似然估计方法极大似然估计方法1） 写出似然函数写出似然函数 L2）求出）求出k,21, 使得使得),;,(2121knxxxL),;,(max2121),(21knxxxLk0),;,(2121knrxxxLkr, 2 , 1可得未知参数的极大似然估计值可得未知参数的极大似然估计值k,21然后然后, 再求得极大似然估计量再求得极大似然估计量. L是是 的可微函数的可微函数,解似然方程组解似然方程组1,k若若 L不是不是 的可

15、微函数的可微函数, 需用其它需用其它方法求极大似然估计值方法求极大似然估计值. 请看下例：请看下例：1,k若若例例7 设设 X U (a,b), x1, x2, xn 是是 X 的一个样本值的一个样本值, 求求 a , b 的极大似然估计值与极大似然估计量的极大似然估计值与极大似然估计量.解解 X 的密度函数为的密度函数为其它, 0,1),;(bxaabbaxf似然函数为似然函数为其它, 0, 2 , 1,)(1),;,(21nibxaabbaxxxLinn7-30似然函数只有当似然函数只有当 a xi b, i = 1,2, n 时时才能获得最大值才能获得最大值, 且且 a 越大越大, b

16、越小越小, L 越大越大.令令xmin = min x1, x2, xnxmax = max x1, x2, xn取取maxmin,xbxa则对满足则对满足bxxamaxmin的一切的一切 a 1) . (1) 不是 D( X )的无偏估量; (2) 是 D( X ) 的无偏估计量. 证证前已证证明37),(21nXXXniinXXnS122)(1niiXXnS122)(11212121)(1XXnXXnniinii2)()(,)()( XDXDXEXEiinXDXEXE2)(,)()( 因而故 证毕.)()(1)(121212XEXEnXXnEniinii)()(2222 n221 nn21

17、2)(11 niiXXnE 设是总体 X 的一个样本 ,XB(n , p) n 1 , 求 p 2 的无偏估计量. 由于样本矩是总体矩的无偏估计量以及数学期望的线性性质, 只要将未知参数表示成总体矩的线性函数, 然后用样本矩作为总体矩的估计量, 这样得到的未知参数的估计量即为无偏估计量. 令),(21mXXXnpXEX)()1 ()()(12212pnpnpXEXmmii因此, p 2 的无偏估计量为故XXmpnnmii12221)(XXmnnpmii122211)1()1(11nnXXmmiii 设总体 X 的密度函数为为常数为 X 的一个样本证明与都是 的无偏估计量证证 故是 的无偏估计量

18、.00, 01);(xxexfx 0 ,min21nXXXn ),(21nXXX )(1XEEX )()(XEXEXX令即故 n Z 是 的无偏估计量.,min21nXXXZ),(1)(21zXzXzXPzFnZ)()()(121zXPzXPzXPnniizXP1)(1(10100zeznz 000)(zenzzfnzZ nZEnEZ )( )(nZE都是总体参数 的无偏估计量, 且则称 比 更有效.定义定义 设有效性有效性43),(2122nXXX ),(2111nXXX )()(21 DD1 2 所以,比更有效.是 的无偏估计量,问哪个估计量更有效？ 由例4可知, 与 都为常数 设总体 X

19、 的密度函数为解解 ，4400, 01);(xxexfx 0 221),min( nXXXnDnXD2)( ,min21nXXXnXX,min21nXXXn 设总体 X，且 E( X )= , D( X )= 2 为总体 X 的一个样本证明是 的无偏估计量(2) 证明比更有效 (1) 设常数45),(21nXXX., 2 , 11ninci. 11niiciniiXc11 X iniiXc11 niiiniicXEcE111)()(2) 结论结论算术均值比加权均值更有效. .2211112nniiijiiij ncccc 46niiiniicXDcD122121)()( niinjijinii

20、cnccc1212212)(ncnii112)(1) (12 DnD X N( , 2 ) , ( X 1 ,X 2 ) 是一样本.都是 的无偏估计量由例6(2) 知最有效.47213212211212143413132XXXXXX 3 罗罗克拉美克拉美（Rao Cramer）不等式不等式若是参数 的无偏估计量, 则其中 p ( x , ) 是 总体 X 的概率分布或密度函数，称 为方差的下界.当 时, 称 为达到方差下界的无偏估计量, 此时称 为最有效的估计量, 简称有效估计量.48)(),(ln1)(02 DXpnED )(0 D )()(0 DD 例例7 7 为 X 的一个样本值.求 的

21、极大似然估计量, 并判断它是否达到方差下界的无偏估计量.解解 4900, 01);(xxexfx 0 niixneL11)( niixnL1ln)(ln),(21nxxx 设总体 X 的密度函数为由似然函数 的极大似然估计量为它是 的无偏估计量.5021)(lndd niixnL0令xxnnii11 XXnnii11 nXnDDnii21)1()( 而故 是达到方差下界的无偏估计量.51 xxf ln),(ln2221),(ln xxf2221),(ln XEXfE21 nXfnE22),(ln1 X)(XD52定义定义 设 是总体参数 则称是总体参数 的一致(或相合)估计量.的估计量. 若对

22、于任意的 , 当n 时, 一致性一致性依概率收敛于 , 即一致性估计量仅在样本容量 n 足够大时,才显示其优越性.),(21nXXX , 0 0)(lim Pn 关于一致性的两个常用结论关于一致性的两个常用结论 1. 样本 k 阶矩是总体 k 阶矩的一致性估计量. 是 的一致估计量.由大数定律证明由大数定律证明用切贝雪夫不用切贝雪夫不 等式证明等式证明矩法得到的估计量一般为一致估计量在一定条件下, 极大似然估计具有一致性2. 设 是 的无偏估计 量, 且 , 则53 0)(lim Dn 为常数则 是 的无偏、有效、一致估计量. 由例7 知 是 的无偏、有效估计量.所以 是 的一致估计量, 证毕

23、.5400, 01);(xxexfXx 0 X0lim2nn )(limXDnXX作业 习题4 811 13补充题补充题 设总体 X N ( , 2),为 X 的一个样本,常数 k 取何值可使为 的无偏估计量55niiXXk1|),(21nXXX 问问 题题母亲嗜酒是否影响下一代的健康母亲嗜酒是否影响下一代的健康 美国的美国的Jones医生于医生于1974年观察了母年观察了母亲在妊娠时曾患慢性酒精中毒的亲在妊娠时曾患慢性酒精中毒的6名七名七岁儿童（称为甲组）岁儿童（称为甲组）.以母亲的年龄，文以母亲的年龄，文化程度及婚姻状况与前化程度及婚姻状况与前6名儿童的母亲名儿童的母亲相同或相近，但不饮酒

24、的相同或相近，但不饮酒的46名七岁儿童名七岁儿童为对照租为对照租(称为乙组称为乙组). 测定两组儿童的智测定两组儿童的智商，结果如下：商，结果如下：56甲 组 6 78 19乙 组 46 99 16人数智商平均数样本标准差智商组别 由此结果推断母亲嗜酒是否影响下一代的智力？若有影响，推断其影响程度有多大?提示提示 前一问题属假设检验问题 后一问题属区间估计问题57nxs 智商一般受诸多因素的影响.从而可以 本问题实际是检验甲组总体的均值是否比乙组总体的均值偏小? 若是，这个差异范围有多大? 前一问题属假设检验，后一问题属区间估计.解解假定两组儿童的智商服从正态分布.58),(),(222211

25、 uNuN和 由于两个总体的方差未知，而甲组的样本容量较小，因此采用大样本下两总体均值比较的U检验法似乎不妥. 故当 为真时，统计量 采用方差相等 (但未知) 时，两正态总体均值比较的t检验法对第一个问题作出回答. 为此 , 利用样本先检验两总体方差是否相等，即检验假设59)45, 5(2221FSSF 2221122210:;: HH0H拒绝域为 60)45, 5()45, 5(2/2/1 FFFF或1 . 0 取43. 2)45, 5()45, 5(05. 02/ FF 22. 0) 5 ,45(/ 105. 0 F)45, 5()45, 5(95. 02/1FF )45, 5()45,

26、5(,41. 1161905. 0095. 0220FFFFF得的观察值未落在拒绝域内，故接受 . 即可认为两总体方差相等. 下面用 t 检验法检验 是否比 显著偏小？ 即检验假设当 为真时，检验统计量 61211210:;:uuHuuH) 2(11212121nntnnSXXTw0H1 2 0H其中 嗜酒会对儿童智力发育产生不良影响.落在拒绝域内，故拒绝 . 即认为母亲6201. 0,2) 1() 1(212222112 取nnSnSnSw,46, 6,16,19212221nnSS将代入得99,7821xx)50(54. 296. 201. 00tT的观察值T0H 下面继续考察这种不良影响的程度. 为此要对两总体均值差进行区间估计.取 于是置信度为 99% 的