概率论与数理统计：8.1 参数的点估计

1、参数估参数估 计问题计问题 假设检假设检 验问题验问题 点点 估估 计计 区间估区间估 计计 统计统计 推断推断 的的 基本基本 问题问题 第八章 参数估计 什么是参数估计？什么是参数估计？ 参数是刻画总体某方面的概率特性的数量参数是刻画总体某方面的概率特性的数量. 当这个数量是未知的时候，从总体抽出一个当这个数量是未知的时候，从总体抽出一个 样本，用某种方法对这个未知参数进行估计样本，用某种方法对这个未知参数进行估计 就是参数估计就是参数估计. 例如，例如，X N ( , 2), 点估计点估计区间估计区间估计 若若 , 2未知，通过构造样本的函数未知，通过构造样本的函数, 给出它给出它 们的

2、估计值或取值范围就是参数估计的内容们的估计值或取值范围就是参数估计的内容. 参数估计的类型参数估计的类型 点估计点估计 估计未知参数的值估计未知参数的值 区间估计区间估计 估计未知参数的取值范围，估计未知参数的取值范围， 使得这个范围包含未知参数使得这个范围包含未知参数 真值的概率为给定的值真值的概率为给定的值. 8.1 参数的点估计参数的点估计 点估计的思想方法点估计的思想方法 设总体X 的分布函数的形式已知，但它含有 一个或多个未知参数：1,2, ,k 设 X1, X2, Xn为总体X的一个样本 构造 k 个统计量： ),( ),( ),( 21 212 211 nk n n XXX XX

3、X XXX 随机变量 当测得一组样本值 x1, x2, xn 时，代入上述 统计量，即可得到 k 个数： ),( ),( ),( 21 212 211 nk n n xxx xxx xxx 数值 称数 k , , 21 为未知参数 k , 21 的估计值 问题如何构造统计量？ 如何评价估计量的好坏？ 对应的统计量为未知参数 k , 21 的估计量 q 矩估计法矩估计法 方法方法用样本的 k 阶矩作为总体的 k 阶矩的 估计量, 建立含有待估计参数的方程， 从而可解出待估计参数 一般地，不论总体服从什么分布，总体期望 与方差 2 存在，则它们的矩估计量分别为 XX n n i i 1 1 2 1

4、 22 )( 1 1 SXX n n i i 两种常用的点估计的方法两种常用的点估计的方法 事实上，按矩估计法原理，令 n i i X n X 1 1 )( 1 2 1 2 2 XEX n A n i i X )()( 222 XEXE 2 2 A 2 1 2 1 XX n n i i 2 1 2 )( 1 n n i i SXX n 例例1 设总体 X N ( , 2 ), X1, X2, Xn为总体的 样本, 求 , 2 的矩估计量。 解解X 矩 矩 2 例例2 设总体 X 服从指数分布, X1, X2, Xn为 总体的样本,求的矩估计量。 解解 1 )(XE 1 X 令 故 X 1 矩

5、2 1 2 )( 1 1 SXX n n i i 例例3 设从某灯泡厂某天生产的一大批灯泡中 随机地抽取了10只灯泡，测得其寿命为 (单位：小时)： 1050, 1100, 1080, 1120, 1200 1250, 1040, 1130, 1300, 1200 试用矩估计法估计该厂这天生产的灯泡的 平均寿命及寿命分布的标准差. 解解 )(1147 10 1 )( 10 1 hxxXE i i 6821 9 1 )( 2 10 1 2 i i xxXD )(59.82)(hXD 例例4 设总体 X U (a, b), a, b 未知，求 a, b 的 矩估计量. 解解 由于 12 )( )(

6、, 2 )( 2 ab XD ba XE )()()( 22 XEXDXE 令 2 2 212 )( baab X ba 2 n i i X n A baab 1 2 2 2 2 1 2 12 ) ( 解得 )(3 2 2 XAXa 矩 n i i XX n X 1 2 )( 3 )(3 2 2 XAXb 矩 n i i XX n X 1 2 )( 3 q 点估计的极大似然估计法点估计的极大似然估计法 思想方法：一次试验就出现的 事件有较大的概率 例如: 有两个外形相同的箱子,都装有100个球 一箱 99个白球， 1个红球 一箱 1个白球， 99个红球 现从两箱中任取一箱，并从箱中任取一球，

7、结果所取得的球是白球。 答答 第一箱. 问问 所取的球来自哪一箱？ 例例5 设总体 X 服从0-1分布，且P (X = 1) = p, 用极大似然法求 p 的估计值。 解解X 的概率分布可以写成 1 , 0,)1 ()( 1 xppxXP xx 设 X1, X2, Xn为总体 X 的样本, 设 x1, x2, xn为总体 X 的样本值, 则 ),( 2211nn xXxXxXP )()1 ( 11 pLpp n i i n i i xnx nixi, 2 , 1, 1 , 0 对于不同的 p ,L (p)不同，见右下图 现经过一次试验， 0.20.40.60.81 p 0.002 0.004

8、0.006 0.008 0.01 Lp ),( 2211nn xXxXxX 发生了， 事件 则 p 的取值应使这个事件发生 的概率最大。 p 在容许的范围内选择 p ，使L(p)最大 注意到，ln L(p)是 L 的单调增函数，故 若某 个p 使ln L(p)最大，则这个p 必使L(p)最大。 0 1d dln 11 令 p xn p x p L n i i n i i xx n p n i i 1 1 0 )1 (d lnd 2 1 2 1 2 2 p xn p x p L n i i n i i 所以xp 为所求 p 的估计值. 一般地，设X 为离散型随机变量，其分布律为 ,),()( 2

9、1 uuxxfxXP X1, X2, Xn为总体 X 的样本, x1, x2, xn为总体 X 的样本值, 则X1, X2, Xn的概率分布为 ),( 2211nn xXxXxXP ),(),(),( 21 n xfxfxf , 2 , 1 , 21 ni uuxi )(),( 21 LxxxL n 记为 或 称L( )为样本的似然函数 ) ,( 21 n xxxL ),(),(),(max 21 n xfxfxf 则称这样得到的 ),( 21n xxxg 为参数 的极大似然估计值 称统计量 ),( 21n XXXg 为参数 的极大似然估计量 选择适当的 = ,使 取最大值，即 L( ) 当给

10、定一组样本值时， 就是参数 的函数, 极大似然估计法的思想就是： L( ) 若随机变量X 连续, 取 f (xi, )为Xi 的密度函数 n i i xfL 1 ),()( 似然函数为 注注1 1 注注2 2未知参数个数可以不止一个, 如1, 2, k 设X 的密度函数(或概率分布)为),( 21k xf 则定义似然函数为 n i kik xfL 1 2121 ),(),( nixi, 2 , 1,),( 21k ),;,( 2121kn xxxL 若),;,( 2121kn xxxL关于1, 2, k 可微， 0),;,( 2121 kn r xxxL 为似然方程组 kr, 2 , 1 若对

11、于某组给定的样本值x1, x2, xn， 参数 使得似然函数取得最大值，即 k , , 21 ) , , ;,( 2121kn xxxL ),;,(max 2121 ),( 21 kn xxxL k 则称 k , , 21 为1, 2, k 的极大似然估计值 则称 显然， ),( 21nr xxxgkr, 2 , 1 称统计量 ),( 21nr XXXgkr, 2 , 1 为1, 2, k 的极大似然估计量 例例6 设总体 X N (, 2), x1, x2, xn 是 X 的 一组样本值，求 , 2 的极大似然估计. 解解),;,( 2 21 n xxxL n i i x nn e 1 2

12、2 2 )( 2 2 2 )()2( 1 )ln( 2 )2ln( 22 )( ln 2 1 2 2 nnx L n i i 2 2 2 )( 1 2 1 i x n i e xx n n i imle 1 1 n i i mlexx n1 22 )( 1 , 2 的极大似然估计量分别为 XX n n i i 1 1 2 1 2 )( 1 n n i i SXX n 似然 方程 组为 0)( 1 ln 1 2 n i i xL 0 )( 2 )( )( 2 1 ln )( 2 1 2 222 n xL n i i 求未知参数的极大似然估计值求未知参数的极大似然估计值( (量量) )的方法的方法

13、 1） 写出似然函数L 2）求出 k , , 21 , 使得 ) , , ;,( 2121kn xxxL ),;,(max 2121 ),( 21 kn xxxL k （通常先求lnL，然后再求lnL的最大值.） 0),;,( 2121 kn r xxxL kr, 2 , 1 可求得未知参数的极大似然估计值 k , , 21 然后, 再求得极大似然估计量. L 是 的可微函数, 解似然方程组 k , 21 若若 L 不是 的可微函数, 需用其它 方法求极大似然估计值. 请看下例： k , 21 若若 例例7 设 X U a,b, x1, x2, xn 是 X 的一个样本, 求 a , b 的极

14、大似然估计值与极大似然估计量. 解解 X 的密度函数为 其它, 0 , 1 ),;( bxa ab baxf 似然函数为 其它, 0 , 2 , 1 , , )( 1 ),;,( 21ni bxa ab baxxxL i n n 似然函数只有当 a xi b, i = 1,2, n 时才能 获得最大值, 且 a 越大, b 越小, L 越大. 令xmin = min x1, x2, xn xmax = max x1, x2, xn 取 maxmin ,xbxa 则对满足bxxa maxmin 的一切 a b , 都有 nn xxab)( 1 )( 1 minmax 故 maxmin ,xbxa

15、 是 a , b 的极大似然估计值. ,max ,min 21max 21min n n XXXX XXXX 分别是 a , b 的极大似然估计量. （类似的题目可见课本192页例6。） 例例8 设总体X的概率密度为 其它, 0 10, );( 1 xx xf n XXX, 21 为来自于总体 X的样本, n xxx, 21 为样本值, 求的矩估计和极大似然估计 解 先求总体矩 11 1 0 1 0 1 1 0 1 xdxxdxxxEX XX n EX n i i 1 1 令 X 1 即得 X) 1( n i in xfxxxL 1 21 );();,( 解得 X X 1 为 的矩估计量, x

16、 x 1 为 的矩估计值。 下面求极大似然估计 似然函数为 n i i n x 1 1 n i i xn 1 ln) 1(lnLln n i i x n d Ld 1 ln ln 解方程 0ln ln 1 n i i x n d Ld 得 n i i x n 1 ln 经验证， Lln n i i x n 1 ln 处达到最大，所以是的极大似然估计。 在 例例9 设总体 X 服从参数为 （ 0）的指数分布, X1, X2, Xn为总体的样本，x1, x2, xn 为样本值。求的极大似然估计。 解 似然函数为 n i i i x n n i xn n eexxxLL 1 1 21 );,( n i i xnL 1 lnln n i i x n d Ld 1 ln 方程 0 ln 1 n i i x n d Ld 的根为 x x n n i i 1 1 经验证，)(lnL在 x 1 处达到最大，所以 是的极大似然估计。 作业作业 1，2，3，4（习题八） 例10 设总体X的概率密度为 x exf 2 1 ),( x , 0 求的矩估计量 ),(xf,解法一 虽然中仅含有一个参数 但因 0 2 1 dxexE