第二章1_矩估计和极大似然估计

1、 第二章 参数估计1参数估参数估计问题计问题假设检假设检验问题验问题点点 估估 计计区间估区间估 计计统计统计推断推断 的的基本基本问题问题2什么是参数估计？什么是参数估计？参数参数是刻画总体某方面的概率特性的数量是刻画总体某方面的概率特性的数量.当这个数量是未知的时候，从总体抽出一个当这个数量是未知的时候，从总体抽出一个样本，用某种方法对这个未知参数进行估计样本，用某种方法对这个未知参数进行估计就是就是参数估计参数估计.例如，例如，X N ( , 2), 点估计点估计区间估计区间估计若若 , 2未知，通过构造样本的函数未知，通过构造样本的函数, 给出它给出它们的估计值或取值范围就是参数估计的

2、内容们的估计值或取值范围就是参数估计的内容.3参数估计的类型参数估计的类型点估计点估计 估计未知参数的值估计未知参数的值区间估计区间估计 估计未知参数的取值范围，估计未知参数的取值范围， 使得这个范围包含未知参数使得这个范围包含未知参数 真值的概率为给定的值真值的概率为给定的值.4一、点估计的思想方法一、点估计的思想方法设总体X 的分布函数的形式已知，但它含有一个或多个未知参数：1,2, ,k设 X1, X2, Xn为总体的一个样本构造 k 个统计量：),(),(),(21212211nknnXXXXXXXXX随机变量第一节第一节 参数的点估计参数的点估计5当测得一组样本值(x1, x2, x

3、n)时，代入上述统计量，即可得到 k 个数：),(),(),(21212211nknnxxxxxxxxx数值称数k,21为未知参数k,21的估计值估计值问题问题如何构造统计量？对应的统计量为未知参数k,21的估计量估计量61、矩方法；（矩估计矩估计）2、极大似然函数法（极大似然估计极大似然估计）.二二. .点估计的方法点估计的方法q 1. 矩方法矩方法方法方法用样本的样本的 k 阶矩作为总体的阶矩作为总体的 k 阶矩阶矩的 估计量, 建立含待估计参数的方程建立含待估计参数的方程，从而可解出待估计参数7一般地，不论总体服从什么分布，总体期望 与方差 2 存在，则根据矩估计法它们的矩估计量矩估计量

4、分别为XXnnii112122)(1nniiSXXn2211()1niiXXSn 是无偏矩估计注注: 矩估计不唯一矩估计不唯一8事实上，按矩法原理，令11niiXXn22211E XniiAXn是 ()的估计X)()(222XEXE22 A2121XXnnii212)(1nniiSXXn9设待估计的参数为k,21设总体的总体的 r 阶矩阶矩存在，记为),()(21krrXE设 X1, X2, Xn为一样本，样本的样本的 r 阶矩阶矩为nirirXnB11令kr, 2 , 1),(21krniriXn11 含未知参数 1,2, ,k 的方程组10解方程组，得 k 个统计量：),(),(),(21

5、212211nknnXXXXXXXXX未知参数1,2, ,k 的矩估计量矩估计量),(),(),(2121222111nkknnxxxxxxxxx未知参数1,2, ,k 的矩估计值矩估计值代入一组样本值得k个数:11例例1 1 有一批零件，其长度有一批零件，其长度XNXN( ( , , 2 2) )，现，现从中任取从中任取4 4件，测的长度件，测的长度( (单位：单位：mm)mm)为为12.6,13.4,12.8,13.212.6,13.4,12.8,13.2。试估计。试估计 和和 2 2的值。的值。解：解： 由由 13)2 .138 .124 .136 .12(41x222221(12.6

6、13)(13.4 13)(12.8 13)4 1 (13.2 13) 0.133s 得得 和和 2 2的估计值分别为的估计值分别为13(mm)13(mm)和和0.133(mm)0.133(mm)2 212例例2 2 设总体X的概率密度为 其它,010,);(1xxxf X1,X2,Xn为来自于总体X的样本,x1,x2, ,xn为样本值,求参数的矩估计。解：解： 先求总体矩 11111000()11E Xxxdxx dxx()1()E XE X解之：13XX1为的矩估计量, xx1为的矩估计值.令 111niiAXXn14例例3 3 设总体X的概率密度为102 ( ,),xf xex 求的矩估计

7、量 解法一解法一 虽然 中仅含有一个参数，但因 102xE Xxedx 不含,不能由此解出,需继续求总体的二阶原点矩22222011322( )xxEXxedxx edx ( , )f x 15 解法二解法二 01122( )xxE Xxedxx edx 即 | XE用niiXn11替换XE即得的另一矩估计量为11niiXn得的矩估计量为2211 1/2 ,02niiXAn用2211niiAXn替换2EX222112niiAXn即16 矩估计的优点矩估计的优点不依赖总体的分布，简便易行不依赖总体的分布，简便易行只要只要n充分大，精确度也很高。充分大，精确度也很高。 矩估计的缺点矩估计的缺点矩估

8、计的精度较差；矩估计的精度较差；要求总体的某个要求总体的某个k阶矩存在；阶矩存在；要求未知参数能写为总体的原点矩的函数形要求未知参数能写为总体的原点矩的函数形式式17注意注意：1. 总体不一定存在适当阶的矩。总体不一定存在适当阶的矩。例例 考虑考虑Cauchy分布，其密度函数为分布，其密度函数为,)(1(1),(2xxxf 其各阶矩均不存在。其各阶矩均不存在。2. 对相同的参数对相同的参数 ，存在多个矩估计。，存在多个矩估计。)( q例如，考虑总体是参数为例如，考虑总体是参数为 的的Poisson分布，分布， 总总体体的的方方差差。既既是是总总体体的的均均值值，又又是是 18你就会想,只发一枪

9、便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.先看一个简单的例子: 某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只听到一声枪响,野兔应声倒下.如果要你推测,是谁打中的呢？你会如何想呢？ 这个例子所作的推断已经体现了极大似然法的基本思想.2 2、极大似然函数法、极大似然函数法19例例: : 设袋中装有许多白球和黑球。只知两种球的数目之比为3:1，试判断是白球多还是黑球多。 分析分析: : 从袋中有放回的任取3只球.设每次取到黑球的概率为p (p=1/4或3/4)设取到黑球的数目为X,则X服从B(3,p)33()(1)0,1,2,3 kkP Xkppkk 分别计

10、算p=1/4,p=3/4时，PX=x的值，列于表1/ 4 ,0,1 ( )3 / 4 ,2,3xp xx结论结论: :X X0 01 12 23 3p=1/4p=1/4时时27/6427/6427/6427/649/649/641/641/64p=3/4p=3/4时时1/641/649/649/6427/6427/64 27/6427/64 定义定义1 1:(1)设随机变量X的概率密度函数为f(x,), 其中为未知参数(f为已知函数). 121( )(,; )( ; )nniiLL x xxf x(2)若X是离散型随机变量，似然函数定义为121( ,; )()nniiiL x xxP Xx12

11、,nxxx12,nXXX称 为 X关于样本观察值 的似然函数似然函数。 12( ,; )nL x xx12,nx xx22的样本观察值,为样本);,()(21nxxxLL 定义2 如果似然函数似然函数 在 时达到最大值时达到最大值,则称 是参数的极大似然估计极大似然估计。 例例1 1 设总体X 服从参数为的指数分布，即有概率密度 ,0( , ), (0)0,0 xexf xx 又x1,x2, ,xn为来自于总体的样本值，试求的极大似然估计.23解解 ：第一步 似然函数为1211( ,; )exp()innxnnniiiLL x xxex于是 1lnlnniiLnx11ln( ln)nniiii

12、dLdnnxxdd 第二步第三步 11niinxx经验证，)(lnL在x1处达到最大，所以是的极大似然估计。0ln1niixndLd令24例例2 2： 设X服从(01)分布，PX=1=p, 其中p未知， x1,x2, ,xn为来自于总体的样本值求p的极大似然估计。解解:X01P1-pp101(1),0,11xxP XpP XxppxP Xp 得得(0(01)1)分布之分布律的另一种表达形式分布之分布律的另一种表达形式25121( ,; )()nniiiL x xxP Xx11(1)iinxxipp111ln()ln()lnniiiLxpxp11101ln()iidLxxdpppxp 令令110

13、 ()()iiipxpxnpx例例3 3：设总体X服从参数为的泊松分布，即X有分布列(分布律) ,2, 1 ,0,!);(kekkXPkpk 是未知参数，(0,+)，试求的极大似然估计。解：解： 样本的似然函数为);,()(21nxxxLL );();();(21nxpxpxp1212!nxxxneeexxx 112!niixnnexxx nixi, 2 , 1, 2 , 1 , 0 27);,(ln)(ln21nxxxLL niniiixxn11) !ln(ln)(niinxnxxxL1211)();,(ln 从0lnL可以解出niixxn11 1211( ,)nniix xxxn是的极大似

14、然估计。因此因此28 极大似然估计的优点极大似然估计的优点 利用了分布函数形式利用了分布函数形式, 得到的估计量的精度一般较高。得到的估计量的精度一般较高。 极大似然估计的缺点极大似然估计的缺点 要求必须知道总体的要求必须知道总体的分布函数形式分布函数形式29其中k,21为未知参数，nxxx,21 nikiknxfxxxL1212121),;(),;,(12( ;,)kfx若总体X的概率密度为：为样本观察值, 此时似然函数为： 求解方程组求解方程组 12ln ( ,)0,1,2,kiLik 即可得到极大似然估计12,k多参数情形的极大似然估计多参数情形的极大似然估计30 数学上可以严格证明，在

15、一定条件下，只要样本容量n足够大，极大似然估计和未知参数的真值可相差任意小。31例例4 4：设 为正态总体 的一个样本值，求: 和 的极大似然估计.nxxx,21 ),(2N2解解 ：似然函数为niinxxxL12221)(21exp21),;,()(21exp2121222niinxniixnL1222)(21)2ln(2ln32 解方程组 niiniixnLxL12422120)(212ln0)(1ln得 xxnnii11 niixn122)(1niixxn12)(1这就是和2的极大似然估计,),(max), (22LL即 33例例5 5 设X为离散型随机变量,其分布律如下(01/2)X X0 01 12 23 3P P 2 22(2( - - 2 2) ) 2 21-21-2 随机抽样得3，1，3，0，3，1，2，3，分别用矩方法和极大似然法估计参数。解解：81113484iiEXx8222241281(,)(2)(12 )iiL x xx