点估计量的求法(1)

1、一、矩估计法一、矩估计法 二、最大似然估计法二、最大似然估计法 三、用次序统计量估计参数的方法三、用次序统计量估计参数的方法 由于估计量是样本的函数由于估计量是样本的函数, 是随机变量是随机变量, 故故 对不同的样本值对不同的样本值, 得到的参数值往往不同得到的参数值往往不同, 因此因此 如何求得参数如何求得参数 的估计量便是问题的关键所在的估计量便是问题的关键所在. 常用构造估计量的方法常用构造估计量的方法: (三种三种) 1. 矩估计法矩估计法 2. 最最(极极)大似然估计法大似然估计法. 3. 次序统计量估计法次序统计量估计法 1. 矩估计法矩估计法 基本思想基本思想：用：用样本矩样本矩

2、估计估计总体矩总体矩 . 理论依据理论依据: : 或格列汶科定理或格列汶科定理 它是基于一种简单的它是基于一种简单的“替换替换”思思 想建立起来的一种估计方法想建立起来的一种估计方法 . 是英国统计学家是英国统计学家K.皮尔逊最早提出的皮尔逊最早提出的 . 大数定律大数定律 记总体记总体k阶原点矩为阶原点矩为)( k k XE 样本样本k阶原点矩为阶原点矩为 n i k ik X n A 1 1 记总体记总体k阶中心矩为阶中心矩为 k k XEXE)( 样本样本k阶中心矩为阶中心矩为 n i k ik XX n B 1 )( 1 用样本矩来估计总体矩用样本矩来估计总体矩, , 用样本矩的连续函

3、用样本矩的连续函 数来估计总体矩的连续函数数来估计总体矩的连续函数, , 这种估计法称这种估计法称 为矩估计法为矩估计法. . 矩估计法的具体步骤矩估计法的具体步骤: ；，求求出出mkXE m k k , 2 , 1),()(1 21 设总体设总体 X 的分布函数为的分布函数为),;( 21m xF m个待估参数个待估参数 (未知未知) ), 2 , 1()(mkXE k k 存存在在 ),( 21n XXX 为来自总体为来自总体X的简单随机样本的简单随机样本. 21 2, , kk Akm 要要求求： 12 ,. m m 这这是是一一个个包包含含个个未未知知参参数数的的方方程程组组 ,3 2

4、1m 解解出出其其中中. , , 21 表表示示用用 m . , , , 4 21 21 矩矩估估计计量量 这这个个估估计计量量称称为为的的估估计计量量 分分别别作作为为用用方方程程组组的的解解 m m 矩估计量的观察值称为矩估计值矩估计量的观察值称为矩估计值. 注注 ( ) ()(). kk kk g gg 若若是是的的矩矩估估计计，为为连连续续函函数数，则则也也 称称是是的的矩矩估估计计 . ,),( ,)0( , 0 21 的估计量的估计量求求 的样本的样本是来自总体是来自总体未知未知 其中其中上服从均匀分布上服从均匀分布在在设总体设总体 XXXX X n 解解)( 1 XE 因为因为,

5、 2 根据矩估计法根据矩估计法, , 2 1 XA 令令 .2 的的估估计计量量为为所所求求所所以以 X 例例1 . ,),( , , 21 的的估估计计量量 求求的的样样本本是是来来自自总总体体未未知知 其其中中上上服服从从均均匀匀分分布布在在设设总总体体 b aXXXXb abaX n 解解)( 1 XE , 2 ba )( 2 2 XE , 412 22 baba 2 )()(XEXD , 1 2 1 1 n i i X n A ba 令令 2 22 4 )( 12 )( A baba , 1 1 2 n i i X n 例例2 )(12 2 2 12 1 AAab Aba 即即 解方程

6、组得到解方程组得到a, b的矩估计量分别为的矩估计量分别为 )(3 2 121 AAAa ,)( 3 1 2 n i i XX n X )(3 2 121 AAAb ,)( 3 1 2 n i i XX n X ., , 0 , 2 21 22 2 的的矩矩估估计计量量和和求求一一个个样样本本 是是又又设设均均为为未未知知和和但但 且且有有都都存存在在和和方方差差的的均均值值设设总总体体 n XXX X 解解)( 1 XE , )( 2 2 XE , 22 2 )()(XEXD 2 22 1 A A 令令 解方程组得到矩估计量分别为解方程组得到矩估计量分别为, 1 XA 2 12 2 AA n

7、 i i XX n 1 2 21 .)( 1 1 2 n i i XX n 例例3 上例表明上例表明: 总体均值与方差的矩估计量的表达式不因不总体均值与方差的矩估计量的表达式不因不 同的总体分布而异同的总体分布而异. 的的矩矩估估计计量量即即得得未未知知例例 222 , ,),( NX ,X 2 .)( 1 1 2 n i i XX n 一般地一般地: : , 1 1 的均值的矩估计的均值的矩估计作为总体作为总体用样本均值用样本均值XX n X n i i . )( 1 2 1 2 的的方方差差的的矩矩估估计计 作作为为总总体体用用样样本本二二阶阶中中心心矩矩 X XX n B n i i X

8、XE )( 设总体设总体X的分布密度为的分布密度为 )0,(e 2 1 );( Rxxp x ),( 21n XXX为来自总体为来自总体X的样本的样本. 求参数求参数 的矩估计量的矩估计量. 分析：分析： ，中中只只含含有有一一个个未未知知参参数数 );(xp 一般地，一般地， 只需要求：只需要求： 11 A 的矩估计量的矩估计量. xxpxXEd);()( 然然而而 xxpxXEd);()( 然然而而 0de 2 1 xx x 不含有不含有 ，故不能由此得到故不能由此得到 的矩估计量的矩估计量. 解解(方法方法1) n i i X n XE 1 22 1 )( 22 A 要求：要求： xxp

9、xXEd);()( 22 xx x de 2 1 2 xx x de 1 0 2 .2 2 n i i X n 1 22 1 2 n i i X n 1 2 2 1 的矩估计量的矩估计量 要求：要求： n i i X n XE 1 1 )( xxpxXEd);()( xx x de 2 1 xx x de 1 0 )dee( 0 0 xx xx 的矩估计量：的矩估计量： n i i X n 1 1 注注 此例表明：同一参数的矩估计量可不唯一此例表明：同一参数的矩估计量可不唯一. 1 0 00 00 ( ,), e, ( ; ,)( ) , , , x X xx f x x 已已知知水水文文站站

10、最最高高水水位位 服服从从 ， 其其中中未未知知参参数数，试试求求 ， 的的矩矩估估计计 例例5(p43例例2.9) 1由由 分分布布的的性性质质 可可知知， 2 2 1() (), (),E XE X 解解 建立方程建立方程 2 2 1 11 , () n i i X X n 求解方程可得求解方程可得 2 22 , nn XX SS 矩法的矩法的优点：优点：简单易行简单易行, 并不需要事先并不需要事先 知道总体是什么分布知道总体是什么分布 . 缺点：缺点：当总体类型已知时，没有当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息. 一般场合下一般场合下, 矩估计量不矩估计量不

11、 具有唯一性具有唯一性 . 其主要原因在于建立矩法方程时，选取那些其主要原因在于建立矩法方程时，选取那些 总体矩用相应样本矩代替带有一定的随意性总体矩用相应样本矩代替带有一定的随意性 . 小结：小结： 最大似然估计法是在总体类型已知条件下最大似然估计法是在总体类型已知条件下 使用的一种参数估计方法使用的一种参数估计方法 . 它首先是由德国数学家它首先是由德国数学家 高斯在高斯在1821年提出的年提出的 , Gauss Fisher 然而，这个方法常归功于然而，这个方法常归功于 英国统计学家英国统计学家Fisher . Fisher在在1921年重新发现了年重新发现了 这一方法，并首先研究了这种

12、方这一方法，并首先研究了这种方 法的一些性质法的一些性质 . Fisher资料资料 先看一个简单例子：先看一个简单例子： 一只野兔从前方窜过一只野兔从前方窜过 . 是谁打中的呢？是谁打中的呢？ 某位同学与一位猎人一起外某位同学与一位猎人一起外 出打猎出打猎 . 如果要你推测，如果要你推测， 你会如何想呢你会如何想呢? 只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . 你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的概猎人命中的概 率一般大于这位同学命中的概率率一般大于这位同学命中的概率. 看来这一枪看来这一枪 是猎人射中的是猎人射中的 . 这个例子所作的推断已经体现了这个例

13、子所作的推断已经体现了最大似然最大似然 法法的基本思想的基本思想 . 设设 XB(1, p), p未知未知. 设想我们事先知道设想我们事先知道 p 只有两种可能只有两种可能: 问问: 应如何估计应如何估计p? p=0.7 或或 p=0.3 如今重复试验如今重复试验3次次,得结果得结果: 0 , 0, 0 由概率论的知识由概率论的知识, 3次试验中出现次试验中出现“1”的次数的次数 ), 3(pBY (k=0, 1, 2, 3) 3 1() kkn k P YkC pp (k=0, 1, 2, 3) Y0 1 2 3 kYP 时时3 . 0 p 0.343 0.441 0.189 0.027 时

14、时7 . 0 p0.027 0.189 0.441 0.343 依题设，依题设，“重复试验重复试验3次次, 得结果得结果: 0 , 0, 0” 应如何估计应如何估计p?p=0.7 还是还是 p=0.3 ？ 7 . 0; 03 . 0; 0 pYPpYP .3 . 0的的估估计计作作为为选选pp 3 1() kkn k P YkC pp 0.Y 即即事事件件发发生生 的概率的概率取到观察值取到观察值则样本则样本 nn xxxXXX, 2121 发生的概率为发生的概率为即事件即事件 nn xXxXxX , 2211 ),;();,()( 1 21 n i in xpxxxLL .)(称为样本似然函

15、数称为样本似然函数 L 1212 , . nn x xxXXX 设设为为相相应应于于样样本本的的 一一个个样样本本值值 2 2 似然函数似然函数 最大似然估计法最大似然估计法 )(, 21 Lxxx n 选选取取使使似似然然函函数数时时得得到到样样本本值值 , 的的估估计计值值作作为为未未知知参参数数取取得得最最大大值值的的 ).;,(max) ;,( 2121 nn xxxLxxxL 即即 )(可可能能的的取取值值范范围围是是其其中中 ),( , 21 21 n n xxx xxx 记记为为有有关关与与样样本本值值这这样样得得到到的的 ),( 21n XXX , 的的最最大大似似然然估估计计

16、值值参参数数 . 的的最最大大似似然然估估计计量量参参数数 ,)2(属连续型属连续型设总体设总体 X ,),;(为为待待估估参参数数设设概概率率密密度度为为xf , 21 的的样样本本是是来来自自总总体体XXXX n . );(, 1 21 n i in xfXXX 的的联联合合密密度度为为则则 似然函数的定义似然函数的定义 )(可可能能的的取取值值范范围围是是其其中中 . , 2121 一一个个样样本本值值 的的为为相相应应于于样样本本又又设设 nn XXXxxx 概概率率近近似似地地为为的的 内内维维立立方方体体的的边边长长分分别别为为邻邻域域 的的落落在在点点则则随随机机点点 ),( )

17、,(),( 21 2121 ndxdxdx xxxXXX n nn ,);( 1 i n i i dxxf ),;();,()( 1 21 n i in xfxxxLL .)(称为样本的似然函数称为样本的似然函数 L ).;,(max) ;,( 2121 nn xxxLxxxL 若若 ),( 21n xxx ),( 21n XXX , 的的最最大大似似然然估估计计值值参参数数 . 的的最最大大似似然然估估计计量量参参数数 3.3.求最大似然估计的步骤求最大似然估计的步骤 ; );();,()( );();,()( )( 1 21 1 21 n i in n i in xfxxxLL xpxxx

18、LL 或或 写出似然函数写出似然函数一一 ; );(ln)(ln);(ln)(ln )( 11 n i i n i i xfLxpL或或 取取对对数数二二 . , 0 d )(lnd , d )(lnd )( 的最大似然估计值的最大似然估计值解方程即得未知参数解方程即得未知参数 并令并令求导求导对对三三 LL 最大似然估计法也适用于分布中含有多个最大似然估计法也适用于分布中含有多个 未知参数的情况未知参数的情况. 此时只需令此时只需令 ., 2 , 1, 0lnkiL i . ), 2 , 1( , ii ki k 的的最最大大似似然然估估计计值值数数 即即可可得得各各未未知知参参个个方方程程

19、组组成成的的方方程程组组解解出出由由 对数似然方程组对数似然方程组 对数似对数似 然方程然方程 12 (0) , . n X XXXX 设设服服从从参参数数为为的的泊泊松松 分分布布是是来来自自的的一一个个样样本本 求求 的的最最 大大似似然然估估计计量量 解解的分布律为的分布律为因为因为X ), 2 , 1 , 0( ! nxe x xXP x n ii x e x L i 1 ! )( , ! 1 1 n i i x n x e n i i 的似然函数为的似然函数为所以所以 例例6(p466(p46例例2 2.12).12) ,!ln)(ln 11 n i i n i i xxnL , 0

20、)(ln d d 1 n i i x nL令令 的最大似然估计值的最大似然估计值解得解得 , 1 1 xx n n i i 的的最最大大似似然然估估计计量量为为 . 1 1 XX n n i i 这一估计量与矩估计量是相同的这一估计量与矩估计量是相同的. 12 22 2 ( ,), , . n XN x xxX 设设总总体体为为未未知知 参参数数是是来来自自的的一一个个样样本本值值 求求 和和的的最最大大似似然然估估计计量量 解解 的的概概率率密密度度为为X , 2 1 ),;( 2 2 2 )( 2 x exf X 的的似然函数为似然函数为 , 2 1 ),( 2 2 2 )( 1 2 i

21、x n i eL 例例7(p477(p47例例2 2.13).13) ,)( 2 1 ln 2 )2ln( 2 ),(ln 1 2 2 22 n i i x nn L 0),(ln 0),(ln 2 2 2 L L 令令 ,0 1 1 2 n i i nx ,0)( )(2 1 2 1 2 222 n i i x n 解得解得由由0 1 1 2 n i i nx , 1 1 xx n n i i 解解得得由由0)( )(2 1 2 1 2 222 n i i x n ,)( 1 2 1 2 xx n n i i 为为的最大似然估计量分别的最大似然估计量分别和和故故 2 ,X .)( 1 2 1

22、 2 XX n n i i 它们与相应的矩它们与相应的矩 估计量相同估计量相同. 例例8(p478(p47例例2 2.14).14)设总体设总体X服从柯西分布，其分布密度为服从柯西分布，其分布密度为 2 1 1 ( , ), , () f xx x 解解由分布可知，其似然函数为由分布可知，其似然函数为 2 1 1 1 ( ) () n i i L x 2 1 0 1 d ( ) d() n i i i xL x 此方程只能求解其数值解，可以以样本中位数为初始此方程只能求解其数值解，可以以样本中位数为初始 值进行迭代。又因为此分布均值不存在，不可用矩估计值进行迭代。又因为此分布均值不存在，不可用

23、矩估计. 12 1212 12 , , ,. n X x xxX 设设总总体体在在上上服服从从均均匀匀分分 布布 其其中中未未知知是是来来自自总总体体的的一一 个个样样本本值值 求求的的最最大大似似然然估估计计量量 解解 112( ) min(,), n xx xx 记记 12( ) max(,), nn xx xx 的的概概率率密密度度为为X 12 21 12 1 0 , ( ;,) , x f x 其其它它 例例9(p48例例2.15) 1122112( )( ) , nn x xxxx 因因为为等等价价于于 12 作作为为, ,的的函函数数的的似似然然函函数数为为 112 21 12 1

24、 0 ( )( ) , ()(,) , nn xx L 其其它它 11212( )( ) , v xx 于于是是对对于于满满足足条条件件的的任任意意有有 12 211 11 ( )( ) (,), ()() nn n L xx 12112 1 ( )( ) ( )( ) ( ,), (), n n n Lxx xx 即即似似然然函函数数在在时时 取取到到最最大大值值 12 , 的的最最大大似似然然估估计计值值 11 1 ( ) min, i i n xx 2 1 ( ) max, ni i n xx 12 , 的的最最大大似似然然估估计计量量 1 1 min, i i n X 2 1 max.

25、 i i n X ()( )( ) . ggg 设设 是是 的的最最大大似似然然估估计计，如如果果函函数数 是是的的连连续续函函数数，则则是是的的最最大大似似 然然估估计计 4.4. 最大似然估计的性质最大似然估计的性质 定理定理2.4 此性质可以推广到总体分布中含有多个未知此性质可以推广到总体分布中含有多个未知 参数的情况参数的情况. 2 12 2 22 ( ,), ,(,) . n XN x xxXg P X 设设总总体体为为未未知知 参参数数是是来来自自的的一一个个样样本本值值 求求 的的最最大大似似然然估估计计 例例10(p4810(p48例例2 2.16).16) 解解 2 212(

26、,)gP XP X 22 11() X P 222 2 ,( ,) ( ,) n X S g 而而 和和的的最最大大似似然然估估计计为为同同时时为为 连连续续函函数数，因因而而的的最最大大似似然然估估计计为为 2 2 1 ( ,)() n X g S 2 (,) . n TTXX T 1 1 设设X X为为 的的任任一一充充 分分统统计计量量， 则则 的的最最大大似似然然估估计计 一一定定可可以以表表示示成成 的的函函数数 定理定理2.5 证证由因子分解定理可知由因子分解定理可知 1212 ( )(,) ( (,), ) nn Lh x xxg T x xx ( ) (, ), hL g T

27、T 其其中中 与与 无无关关，因因此此，最最大大化化等等于于最最大大化化 因因此此，最最大大似似然然估估计计 （若若存存在在）一一定定是是 的的函函数数. . 注注 该定理说明最大似然估计充分利用了样本该定理说明最大似然估计充分利用了样本 中包含的参数的信息，因而是一种比较好的估计，中包含的参数的信息，因而是一种比较好的估计， 通常情况下，最大似然估计不仅是相合估计，而通常情况下，最大似然估计不仅是相合估计，而 且是渐近正态估计且是渐近正态估计. 1.1. 用样本中位数与样本极差估计参数用样本中位数与样本极差估计参数 由由1.4节可知，由于样本中位数与样本极差计算节可知，由于样本中位数与样本极差计算 方便，因而通常情况下，可以用样本中位数估计总体期方便，因而通常情况下，可以用样本中