上海海事大学概率论第七章参数估计ppt课件

1、 第七章第七章 参数估计参数估计在参数估计问题中，假定总体分在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几布形式已知，未知的仅仅是一个或几个参数。个参数。例如：估计大学生的平均身高估计大学生的平均身高参数估计问题的一般提法参数估计问题的一般提法现从该总体抽样，得样本现从该总体抽样，得样本设有一个统计总体，总体的分布函数设有一个统计总体，总体的分布函数向量向量) . 为为 F(x, )，其中，其中 为未知参数为未知参数 ( 可以是可以是 （ X1, X2 , , Xn ）要依据该样本对参数要依据该样本对参数 作出估计，或估计作出估计，或估计 的某个已知函数的某个已知函数 。这类问题

2、称为：。这类问题称为：g() 参数估计参数估计参数估计点估计区间估计例例1 已知某地区大学生的身高已知某地区大学生的身高 X2N(,), 2, 未未知知随机抽查随机抽查100100个大学生得个大学生得100100个个身高数据。身高数据。呢呢? ? 据此据此, ,我们应如何估计我们应如何估计和和1 点估计点估计 为估计为估计 ,我们需要构造出适当的样我们需要构造出适当的样本的函数本的函数T(X1,X2,Xn)，每当有了样，每当有了样本，就代入该函数中算出一个值，用本，就代入该函数中算出一个值，用来作为来作为 的估计值的估计值 . T( X1 , X2 , Xn ) 称为参数称为参数 的点估计量，

3、的点估计量，把样本值代入把样本值代入T( X1 , X2 , Xn ) 中，中，得到得到 的一个点估计值的一个点估计值 。 请注意，被估计的参数请注意，被估计的参数 是一个是一个未知常数，而估计量未知常数，而估计量 T(X1,X2,Xn)是一个随机变量，是样本的函数是一个随机变量，是样本的函数,当当样本取定后，它是个已知的数值样本取定后，它是个已知的数值,这这个数常称为个数常称为 的估计值的估计值 。 问题是问题是: 使用什么样的统计量去估计使用什么样的统计量去估计 ？ 寻求估计量的方法：1. 矩估计法矩估计法2. 极大似然法极大似然法3. 最小二乘法最小二乘法4. 贝叶斯方法贝叶斯方法1.

4、矩估计法矩估计法矩估计法是英国统计学家矩估计法是英国统计学家K.皮尔逊皮尔逊最早提出的基于一种简单的最早提出的基于一种简单的“交换思交换思想建立起来的一种估计方法想建立起来的一种估计方法 . 其基本思想是用样本矩估计总体矩其基本思想是用样本矩估计总体矩 。记总体记总体k阶矩为阶矩为)(kkXE 样本样本k阶矩为阶矩为nkkii 11AXn 记总体记总体k阶中心矩为阶中心矩为kkXEXE)( 样本样本k阶中心矩为阶中心矩为nkkii 11B( XX )n 用相应的样本矩去估计总体矩的估计方法就称为矩估计法。PkkPkkAB 理论依据理论依据: 大数定律大数定律一般地一般地, ,设总体设总体X X

5、 f(x;), f(x;), 其其中中 , ,求参数求参数的矩估计的一般步骤为的矩估计的一般步骤为: :1,.,k1. 令令1111,.,. .,.,kkkkkE XgE Xg2.解解:1111,.,. .,.,kkkkhh1111,.,. .,.,kkkkhh其中其中11nkkiiXn3. 得得最常用的是：最常用的是：1E( X ) 估估计计n22ii 11AXn 用用n1ii 11AXXn 用用22E( X) 估估计计n22ii 11B( XX )n 用用2D(X ) 估估计计22E(X)( E(X) 221nn22iii 1i 111X(X )nn !p151 例例2 设总体设总体X的概

6、率密度为的概率密度为(1)x ,0 x1f ( x )0, 其其它它是未知参数是未知参数,其中其中1 X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计. 101E( X )x(1)x dx 解解: 110(1)xd2x1 11211 从从 中解得中解得 2X1,1X 的矩估计的矩估计. 即为即为得：得： 由矩法由矩法,11AX 令11211 例例3 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本()1,( ),0,xexXf x 为未知参数其它其中其中 0,求求 的矩估计的矩估计. , 解解:/1( x)1E( X )xf ( x )dxxedx (

7、x)/xde ( x)/( x)/xeedx 222( x)/21E( X )x f ( x )dxxedx 2( x)/x de 2( x)/( x)/x e2xedx 22 E( X )2222 ()() 令：nii 1n12i12iAA1xn1xn 1222() nn22iii 1i 111X(X )nn 解得：nii 11Xn nnn22iiii 1i 1i 1111XX(X )nnn nn22iii 1i 111X(X )nn 其中：n2ii 11( XX )n n22iii 11( X2XXX )n nn22iii 1i 11(X2XXnX )n n22ii 11XXn ？n2ii

8、 11X( XX )n n2ii 11( XX )n EX:例例1 矩法的优点是简单易行矩法的优点是简单易行,并不需并不需要事先知道总体是什么分布要事先知道总体是什么分布 。 缺点是，当总体类型已知时，没有缺点是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息 . 一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性 。例如例如:总体总体X ,A1,B2 都是都是 的矩估计。的矩估计。 ( ) 2. 极大似然法极大似然法在总体类型已知条件下使用的一种在总体类型已知条件下使用的一种参数估计方法参数估计方法 。它首先是由德国数学家它首先是由德国数学家Gauss在在1

9、821年提出的年提出的 ,Fisher在在1922年重新发现年重新发现了这一方法，并首先研究了这了这一方法，并首先研究了这 种方法的种方法的一些性质一些性质 。 极大似然法的基本思想：极大似然法的基本思想：即，已发生的事件具有最大概率。极大似然原理 先看一个简单例子：先看一个简单例子：在军训时，某位同学与一位教官同在军训时，某位同学与一位教官同时射击，而在靶纸上只留下一个弹孔。时射击，而在靶纸上只留下一个弹孔。如果要你推测，是谁打中的呢？如果要你推测，是谁打中的呢？你会如何想呢你会如何想呢?若若X 为离散型总体：为离散型总体：iiP Xx f ( x ;) 为样本1n( X ,X )为样本观察

10、值。1n( x ,x )已发生的事件为：已发生的事件为：11nn Xx ,Xx 其概率为：其概率为：11nn11nnP Xx ,Xx P Xx P Xx 1nf ( x ;)f ( x ;) nii 1f ( x ;) 12nx ,x ,xL(), 我们的任务是：我们的任务是：nii 1f ( x ,max) 12n12nL()max L(,x ,x ,xx ,)x ,x, 选择 使:若若X 为连续型总体：为连续型总体：Xf ( x;) 为样本观察值。1n( x ,x )为样本1n( X ,X )已发生的事件为：已发生的事件为：111nnn xXx ,xx,xXx 11nn Xx ,Xx 其概

11、率为：其概率为：111nnn111nnnP xXx ,xXx P xXx P xxXxxxx 1nxf ( x ;)fx( x ;) nnii 1(x )f ( x ;) n12nx ,xL,(x)(,x 我们的任务是：我们的任务是：nii 1f ( x ,max) 12n12nL()max L(,x ,x ,xx ,)x ,x, 选择 使:称称 为为似然函数似然函数 nii 112nL()x ,f ( x ;),x ,x 称满足称满足 的的 为为 的极大似然估计值。的极大似然估计值。12n12nmaL()L(,x ,x ,xx,x),x,x 12n( x ,x ,x) 称称 为为 的极大似然

12、估计的极大似然估计量量MLE）. 12n( X ,X ,X) 例例4 设总体设总体 X b ( 1, p ),X1,Xn是一个是一个样本，求参数样本，求参数 p 的极大似然估计的极大似然估计.解：解：X01P1-ppx1 xf ( x; p)p (1p)x0,1 nii 1L( p)f ( x ; p) iinx1 xi 1p (1p) nniii 1i 1xnxp(1p) nn1212x1 xxx1 x1 xppp(1p )(1p )(1p ) pxnniii 1i 1d lnL( p)11x(nx )0dpp1p nniii 1i 1L( p)x ln p(lnnx )ln(1p) nii

13、 1nii 1nx1ppx pX 例例5设总体设总体其它, 010,)(1xxxfX 其中其中 0, 求求 的极大似然估计的极大似然估计. 解：解： nii 1L()f ( x ;) n1ii 1x nn1ii 1(x ) (01)x!nii 1nlnlnL()(1)ln x nii 1ndllnL()0dn x nii 1nln x nii 1nln X 在总体分布中，把概率函数在总体分布中，把概率函数(或密度或密度)中自中自变量看成已知常数变量看成已知常数,而把参数而把参数 看作自变看作自变量导出似然函数量导出似然函数 L( );求极大似然估计求极大似然估计MLEMLE的一般步骤：的一般步

14、骤： 求似然函数求似然函数L( ) 的最大值点的最大值点(常常转化为常常转化为求求ln L()的最大值点的最大值点) ，即，即 的的MLE; 在最大值点的表达式中在最大值点的表达式中, 用样本代入就得用样本代入就得参数参数 的极大似然估计量的极大似然估计量两点说明1、求似然函数、求似然函数L( ) 的最大值点，通过求的最大值点，通过求 解解似然方程：似然方程： d lnL()0d 得到得到 的的MLE 。 假设假设 是向量，上述方程必须用似然方程是向量，上述方程必须用似然方程组代替组代替 。 2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时行不通，这时要用极大似然原理有时行不通，这

15、时要用极大似然原理来求来求 。解：解：n22ii 1L(,)f ( x ;,) 例例6 设总体设总体 其中参数其中参数 未知，使用极大似然估计法求未知，使用极大似然估计法求 的的估计量。估计量。2N()X, 2, 2, 2i2( x)ni 11e2 n2i2i 1( x)n1() e2 2ni2i 1( x)2n1L(,)() e2 2n22i2i 1lnlnl( x)nL(,)n(2)()2n 2ni2i 1(lnx)L(,)20 22ni224i 1( x)L(,)n 1l02n X nn2222iii 1i 111( XX )X( X )nn 例例7 ( x)1e,xXf ( x ),0

16、, 为为未未知知参参数数其其它它 其中其中 0,求求 的极大似然估计。的极大似然估计。 , 解：解：nii 1L(,)f ( x ; ,) in( x)ii 11ex0, ，其它i=1,2,nnii 11( x)in1e,min x0, 其它in( x)ii 11ex0, ，其它i=1,2,nnii 11lnL(,)nln( x) niixnL1)(1ln),(ln lnL(,)n0 ni2i 1lnL(,)n1( x)0 (1)(2)由由 (1) 得得nii 11xn ?!是是 的的增函数增函数 nii 11( x)in1e,min xL(,)0, 其其它它故使故使 达到最大的达到最大的 即即 的的MLE， ),( L , i1 i nmin x nii 11Xn i1 i nmin X nii 11xn 极大似然估计的一个性质极大似然估计的一个性质: 设设 的函数的函数 g = g ( ) 是是 上的实值上的实值函数函数,且有唯一反函数且有唯一反函数 。假设。假设 是是