随机数学复习宝典整理页所有方便打印学习教案

1、会计学1随机数学复习宝典整理页所有随机数学复习宝典整理页所有(suyu)方方便打印便打印第一页，共133页。 估计估计(gj)废品废品率率估计估计(gj)新生儿的新生儿的体重体重估计估计(gj)湖中鱼数湖中鱼数 估计降雨量估计降雨量例如例如第2页/共133页第二页，共133页。参数估计参数估计点估计点估计区间区间(q jin)估计估计第3页/共133页第三页，共133页。)1 . 0,(2 N（假定身高服从正态分布（假定身高服从正态分布 ） 设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69 估计估计(gj) 为为1.68，这是这是点估计点估计.这是区间这是区间(q ji

2、n)估计估计.估计估计(gj) 在区间在区间1.57, 1.84内，内，假如我们要估计某队男生的平均身高假如我们要估计某队男生的平均身高. 现从该总体选取容量为现从该总体选取容量为5的样本，我们的样本，我们的任务是要根据选出的样本（的任务是要根据选出的样本（5个数）求出个数）求出总体均值总体均值 的估计的估计. 而全部信息就由这而全部信息就由这5个个数组成数组成 . 第4页/共133页第四页，共133页。一、点估计问题一、点估计问题(wnt)的提法的提法二、估计量的求法二、估计量的求法三、小结三、小结(xioji)第5页/共133页第五页，共133页。点估计问题点估计问题(wnt)(wnt)的

3、一般的一般提法提法: :.,.,);(2121为为相相应应的的一一个个样样本本值值本本的的一一个个样样是是是是待待估估参参数数知知的的形形式式为为已已的的分分布布函函数数设设总总体体nnxxxXXXXxFX .),(),(2121 来来估估计计未未知知参参数数用用它它的的观观察察值值一一个个适适当当的的统统计计量量点点估估计计问问题题就就是是要要构构造造nnxxxXXX.),(21的点估计量的点估计量称为称为 nXXX.),(21的点估计值的点估计值称为称为 nxxx., 简记为简记为通称点估计通称点估计 第6页/共133页第六页，共133页。构造构造(guzo)估计量的常用方法估计量的常用方

4、法: (两种两种)矩估计矩估计(gj)(gj)法和最大似然估法和最大似然估计计(gj)(gj)法法. .第7页/共133页第七页，共133页。1.1 矩估计矩估计(gj)法法 基本思想基本思想(sxing)：用样本矩估计总体矩：用样本矩估计总体矩 ,用样本矩用样本矩的连续函数来估计总体矩的连续函数的连续函数来估计总体矩的连续函数. 理论依据理论依据: : 它是基于一种简单的它是基于一种简单的“替换替换”思想建立思想建立(jinl)起来的一种估计方法起来的一种估计方法 .大数定律大数定律 第8页/共133页第八页，共133页。记总体记总体(zngt)k阶原点矩为阶原点矩为)(kkXE 样本样本(

5、yngbn)k阶原点矩为阶原点矩为nikikXnA11记总体记总体(zngt)k阶中心矩为阶中心矩为kkXEXE)( 样本样本k阶中心矩为阶中心矩为 nikikXXnB1)(1 用样本矩来估计总体矩用样本矩来估计总体矩, , 用样本矩的连续函数用样本矩的连续函数来估计总体矩的连续函数来估计总体矩的连续函数, , 这种估计法称为这种估计法称为矩矩估计法估计法. .第9页/共133页第九页，共133页。 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数 k ,1都是这都是这k个参数的函数个参数的函数,记为：记为：k ,1,那么它的前那么它的前k阶矩阶矩一般一般),(1kii i=

6、1,2,k从这从这k个方程个方程(fngchng)中解出中解出j=1,2,k那么用诸那么用诸 的估计量的估计量 Ai分别代替上式分别代替上式中的诸中的诸 , 即可得诸即可得诸 的矩估计量的矩估计量 ：i i j ),(1kjj ),(1kjjAA j=1,2,k第10页/共133页第十页，共133页。的矩估计量。的矩估计量。求求中抽取样本中抽取样本体体未知，从总未知，从总其中其中，（设总体设总体例例pXXXXppmBXn , ), 121 niiXmnmXpmpmpmpE(X)1111 , , 由于由于解解第11页/共133页第十一页，共133页。解解:由密度由密度(md)函数知函数知 例例2

7、 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本为未知参数为未知参数其它其它 , 0,1)()( xexfXx其中其中 0,求求 的矩估计的矩估计. , X具有均值为具有均值为 的指数分布的指数分布 故故 E(X- )= 2 D(X- )=即即 E(X)= 2 D(X)=第12页/共133页第十二页，共133页。 X niiXXn12)(1 解得解得 niiXXn12)(1令令X niiXXn122)(1 用样本用样本(yngbn)矩估计矩估计总体矩总体矩即即 E(X)= 2 D(X)=., 的矩估计的矩估计即为参数即为参数 第13页/共133页第十三页，共133页。解解: d

8、xxxXE ) 1()(10121)1(110 dxx由矩法估计由矩法估计(gj),21 X样本样本(yngbn)矩矩总体总体(zngt)矩矩从中解得从中解得,112XX 的矩估计的矩估计. 即为即为数学期望数学期望是一阶是一阶原点矩原点矩 例例3 设总体设总体X的概率密度为的概率密度为 其它其它, 010,)1()(xxxf 是未知参数是未知参数,其中其中1 X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.第14页/共133页第十四页，共133页。., 0,221222的矩估计量的矩估计量和和求求一个样本一个样本是是又设又设均为未知均为未知和和但但且有且有都存在都

9、存在和方差和方差的均值的均值设总体设总体 nXXXX 解解)(1XE , )(22XE ,22 2)()(XEXD .,2221AA 令令解方程组得到解方程组得到(d do)矩估计量分别矩估计量分别为为,1XA 2122AA niiXXn1221.)(112 niiXXn例例4第15页/共133页第十五页，共133页。上例表明上例表明(biomng): 总体均值总体均值(jn zh)(jn zh)与方差的矩估计量的表达式与方差的矩估计量的表达式不因不同的总体分布而异不因不同的总体分布而异. .的矩估计量的矩估计量即得即得未知未知例例222, ,),( NX,X 2 .)(112 niiXXn一

10、般一般(ybn)地地,11的均值的矩估计的均值的矩估计作为总体作为总体用样本均值用样本均值XXnXnii .)(1212的方差的矩估计的方差的矩估计作为总体作为总体用样本二阶中心矩用样本二阶中心矩XXXnBnii 第16页/共133页第十六页，共133页。.,),( ,)0(, 021的的矩矩估估计计量量求求的的样样本本是是来来自自总总体体未未知知其其中中上上服服从从均均匀匀分分布布在在设设总总体体 XXXXXn 解解)( 1XE 因为因为,2 根据根据(gnj)矩估矩估计法计法,21XA 令令.2 的矩估计量的矩估计量为所求为所求所以所以 X 例例5第17页/共133页第十七页，共133页。

11、.,),( ,21的的矩矩估估计计量量求求的的样样本本是是来来自自总总体体未未知知其其中中上上服服从从均均匀匀分分布布在在设设总总体体baXXXXbabaXn解解)(1XE ,2ba )(22XE ,41222baba 2)()(XEXD ,1211 niiXnAba令令2224)(12)(Ababa ,112 niiXn例例6第18页/共133页第十八页，共133页。 . )(12,22121AAabAba即即解方程组得到解方程组得到(d do)a, b的矩估计量分的矩估计量分别为别为)(32121AAAa ,)(312 niiXXnX)(32121AAAb .)(312 niiXXnX第1

12、9页/共133页第十九页，共133页。.,),( ,)10(), 2 , 1()1(,211的矩估计量的矩估计量求求的样本的样本体体是来自总是来自总未知未知其中其中即有分布律即有分布律服从几何分布服从几何分布设总体设总体pXXXXppkppkXPXnk 解解)(1XE 11)1( kkppk,1p ,11XAp 令令.1的矩估计量的矩估计量为所求为所求所以所以pXp 例例7第20页/共133页第二十页，共133页。)0,(e21);( Rxxfx设总体设总体(zngt)X的分布密度为的分布密度为例例8),(21nXXX为来自总体为来自总体X的样本的样本(yngbn). 求参数求参数 的矩估计量

13、的矩估计量.，中中只只含含有有一一个个未未知知参参数数 );(xf分析分析(fnx)：一般地，一般地，只需要求：只需要求：XXE )(11A 的矩估计量的矩估计量.xxfxXEd);()( 然而然而第21页/共133页第二十一页，共133页。xxfxXEd);()( 然而然而0de21 xxx 不含有不含有(hn yu)，故不能由此得到故不能由此得到(d do) 的矩估计量的矩估计量.解解(方法方法(fngf)1)要求：要求： niiXnXE1221)(22A xxfxXEd);()(22由于xxxde102 .22 niiXn1221因此 的矩估计量的矩估计量第22页/共133页第二十二页，

14、共133页。(方法方法(fngf)2)要求要求(yoqi)： niiXnXE11)(xxfxXEd);()(因为xxxde21 xxxde10 )dee(00 xxxx 所以所以(suy) 的矩估计量：的矩估计量： niiXn11 注注:此例表明：此例表明：同一参数的矩估计量可不唯一同一参数的矩估计量可不唯一. 第23页/共133页第二十三页，共133页。 矩法的优点是简单易行矩法的优点是简单易行,并不需要事并不需要事先知道总体是什么先知道总体是什么(shn me)分布分布 . 缺点是，当总体类型已知时，没有充分利用缺点是，当总体类型已知时，没有充分利用分布提供分布提供(tgng)的信息的信息

15、 . 一般场合下一般场合下,矩估计量矩估计量不具有唯一性不具有唯一性 . 其主要原因在于建立矩法方程时，选取那些其主要原因在于建立矩法方程时，选取那些总体总体(zngt)矩用相应样本矩代替带有一定的随意矩用相应样本矩代替带有一定的随意性性 .小结小结:第24页/共133页第二十四页，共133页。 1.2 最大似估计最大似估计(gj)然法然法 是在总体分布是在总体分布(fnb)类型已知条件下使用的类型已知条件下使用的一种参数估计方法一种参数估计方法 . 最大似然法的基本最大似然法的基本(jbn)思想思想 先看一个简单例子：先看一个简单例子：某位同学与一位猎人一起某位同学与一位猎人一起外出打猎外出

16、打猎 .第25页/共133页第二十五页，共133页。一只野兔一只野兔(yt)从前方从前方窜过窜过 .是谁打中的呢？是谁打中的呢？如果如果(rgu)要你推要你推测，测，你会如何你会如何(rh)想呢想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 .第26页/共133页第二十六页，共133页。 最大似然法是利用已知的总体的概率密度（概最大似然法是利用已知的总体的概率密度（概率分布）及样本，根据概率最大的事件率分布）及样本，根据概率最大的事件(shjin)在在一次试验中最可能出现的原理，求总体的概率密度一次试验中最可能出现的原理，求总体的概率密度（或概率分布）中所含未知参数的点估计的方法（

17、或概率分布）中所含未知参数的点估计的方法 . 只发一枪便打中只发一枪便打中,猎人命中猎人命中(mngzhng)的概率的概率一般大于这位同学命中一般大于这位同学命中(mngzhng)的概率的概率. 看来看来这一枪是猎人射中的这一枪是猎人射中的 . 这个这个(zh ge)例子所作的推断已经体现了最大例子所作的推断已经体现了最大似然法的基本思想似然法的基本思想 .第27页/共133页第二十七页，共133页。中只含一个未知参数中只含一个未知参数离散型总体的概率分布离散型总体的概率分布 1,),;( 为待估参数为待估参数设分布律设分布律xpkXP,21的样本的样本是来自总体是来自总体 XXXXn. );

18、(,121 niinxpXXX 的联合分布律为的联合分布律为则则)(可能的取值范围可能的取值范围是是其中其中 样本的似然函数的定义样本的似然函数的定义第28页/共133页第二十八页，共133页。,2121的概率的概率取到观察值取到观察值则样本则样本nnxxxXXX发生的概率为发生的概率为即事件即事件nnxXxXxX ,2211,),;();,()(121 niinxpxxxLL.)(为样本似然函数为样本似然函数称称 L.,2121一个样本值一个样本值的的为相应于样本为相应于样本又设又设nnXXXxxx第29页/共133页第二十九页，共133页。未知参数未知参数的概率分布中只含一个的概率分布中只

19、含一个连续型总体连续型总体2,),;( 为待估参数为待估参数设概率密度为设概率密度为xf,21的样本的样本是来自总体是来自总体 XXXXn. );(,121 niinxfXXX 的联合密度为的联合密度为则则)(可能的取值范围可能的取值范围是是其中其中 .,2121一个样本值一个样本值的的为相应于样本为相应于样本又设又设nnXXXxxx第30页/共133页第三十页，共133页。概率近似地为概率近似地为的的内内维立方体维立方体的的边长分别为边长分别为邻域邻域的的落在点落在点则随机点则随机点)d,d,d(),(),(212121nxxxxxxXXXnnn,d );(1iniixxf ),;();,(

20、)(121 niinxfxxxLL.)(称为样本的似然函数称为样本的似然函数 L).;,(max);,(2121 nnxxxLxxxL 若若),(21nxxx ),(21nXXX , 的最大似然估计值的最大似然估计值参数参数 . 的最大似然估计量的最大似然估计量参数参数 第31页/共133页第三十一页，共133页。求最大似然估计量的步骤求最大似然估计量的步骤(bzhu):(bzhu):; );();,()();();,()( 1)(121121 niinniinxfxxxLLxpxxxLL或或写写出出似似然然函函数数; );(ln)(ln);(ln)(ln ) 2(11 niiniixfLxp

21、L或或取取对对数数第32页/共133页第三十二页，共133页。., 0d)(lnd,d)(lnd 3)( 的的最最大大似似然然估估计计解解方方程程即即得得未未知知参参数数并并令令求求导导对对 LL 最大似然估计法也适用于分布最大似然估计法也适用于分布(fnb)中含有中含有多个未知参数的情况多个未知参数的情况. 注意注意 与与 达到极大值的自变量达到极大值的自变量 相同相同(xin tn),故问题可转化为求故问题可转化为求lnf (p)的的. 极大值点极大值点.)( L)(ln L对数对数(du sh)似似然方程然方程第33页/共133页第三十三页，共133页。7-23则定义则定义(dngy)似

22、然函数为似然函数为111(,)(,)nkikiLf x ,1,2,ixin 1( ,)k11(,;,)nkL xx若11(,; ,)nkL xx关于关于(guny)1, , k可微可微,则称则称3 总体的分布中含有总体的分布中含有(hn yu)多个未知参数的情形多个未知参数的情形 设设X 的密度的密度(或分布或分布)为为1( ,)kf x第34页/共133页第三十四页，共133页。0),;,(2121 knrxxxL 为似然方程组.kr, 2 , 1 若对于某组给定的样本值若对于某组给定的样本值 x1, x2, xn，参数参数 使似然函数使似然函数(hnsh)取得最取得最大值大值, 即即 k

23、,2111(,;,)nkL xx),;,(max2121),(21knxxxLk 则称1,k为为 1, k 的的最大似然估计值最大似然估计值7-24(MLE) maximum likelihood estimate1( ,)k第35页/共133页第三十五页，共133页。1 上述求最大似然估计的方法上述求最大似然估计的方法(fngf)，要求，要求lnL可微，可微，若不满足此条件若不满足此条件(tiojin)，则须从定义出发求最大，则须从定义出发求最大似然估计似然估计.2 似然方程组是最大似然估计的必要条件，而非似然方程组是最大似然估计的必要条件，而非充分条件充分条件.3 有时极大似然估计并不唯一

24、有时极大似然估计并不唯一.4 同一未知参数其矩估计与极大似然估计未必同一未知参数其矩估计与极大似然估计未必相同相同.第36页/共133页第三十六页，共133页。.,), 1(21的最大似然估计量的最大似然估计量求求个样本个样本的一的一是来自是来自设设pXXXXpBXn,2121一个样本值一个样本值的的为相应于样本为相应于样本设设nnXXXxxx解解, 1 , 0,)1 (1 xppxXPXxx的的分分布布律律为为似然函数似然函数(hnsh)iixnixpppL 11)1()(,)1(11 niiniixnxpp例例10下面举例说明如何下面举例说明如何(rh)求最大似然估求最大似然估计计第37页

25、/共133页第三十七页，共133页。),1ln(ln)(ln11pxnpxpLniinii , 01)(lndd11 pxnpxpLpniinii令令的最大似然估计值的最大似然估计值解得解得 p.11xxnpnii 的最大似然估计量为的最大似然估计量为p.11XXnpnii 这一估计量与矩估计量是相同这一估计量与矩估计量是相同(xin tn)的的.第38页/共133页第三十八页，共133页。.,0)(21似然估计量似然估计量的最大的最大求求的一个样本的一个样本是来自是来自的泊松分布的泊松分布服从参数为服从参数为设设 XXXXXn 解解的分布律为的分布律为因为因为X), 2, 1 , 0(,e!

26、nxxxXPx niixxLi1e!)( ,!e11 niixnxnii 的似然函数为的似然函数为所以所以 例例1111第39页/共133页第三十九页，共133页。,lnln)(ln11 niiniixxnL , 0)(lndd1 niixnL令令的最大似然估计值的最大似然估计值解得解得 ,11xxnnii 的最大似然估计量为的最大似然估计量为 .11XXnnii 这一估计量与矩估计量是相同这一估计量与矩估计量是相同(xin tn)的的.第40页/共133页第四十页，共133页。例例12 设总体具有设总体具有(jyu)分布律分布律ip2 )1 (2 212 X0123今有样本今有样本(yngb

27、n)3,1,3,0,3,1,2,3,)210是是未未知知参参数数（其其中中 求求 的矩估计值和最大似然估计值的矩估计值和最大似然估计值. 4-3 4-3 )( 43)21 (32)1 (210)( :11122 解解得得即即由由方方程程因因为为解解XEXE第41页/共133页第四十一页，共133页。 0.25. 423 ,2)32130313(81 1 的矩估计值为的矩估计值为得得代替代替用样本均值用样本均值x对于给定的样本值对于给定的样本值:0出现出现(chxin)1次次,1出现出现(chxin)2次次, 2出现出现(chxin)1次次,3出现出现(chxin)4次次,故似然函数为故似然函数

28、为 ).21ln(4)1ln(2ln62ln2)(ln )21 ()1 (4)21 ()1 (2)(4264222 LL取取对对数数得得第42页/共133页第四十二页，共133页。.2829. 012137 ,2100)21)(1(24286)dlnL( )21)(1(24286218126)dlnL( ,22 的的最最大大似似然然估估计计值值为为可可得得并并由由已已知知条条件件令令得得求求导导数数将将上上式式对对dd第43页/共133页第四十三页，共133页。.,0, 0, 00,1);( , 1321估估计计量量的的矩矩估估计计量量和和最最大大似似然然求求的的样样本本是是来来自自总总体体为

29、为未未知知参参数数其其中中其其概概率率密密度度为为服服从从指指数数分分布布设设总总体体例例 XXXXxxexfXnx .X ,1 ,)( :1111 的的矩矩估估计计量量为为可可得得代代替替中中用用在在方方程程由由于于解解niiXnXAXE第44页/共133页第四十四页，共133页。,011)(ln )(ln,1ln)(ln ,1exp11 1212111 niiniiniiniinxnixnxndLdLxnLxeLi 得得求求导导数数并并令令其其等等于于零零，对对将将取取对对数数，得得）（样样本本的的似似然然函函数数为为第45页/共133页第四十五页，共133页。 1 ,1 11。的的最最大

30、大似似然然估估计计量量为为于于是是，的的最最大大似似然然估估计计值值为为解解得得XXnxxnniinii 与矩估计量相同与矩估计量相同(xin tn)第46页/共133页第四十六页，共133页。解：似然函数解：似然函数(hnsh)为为niixL11)( 11)( niinx)10( ix对数对数(du sh)似然函数为似然函数为 niixnL1ln)1(ln)(ln ni 1例例14 设设X1,X2,Xn是取自总体是取自总体X的一个的一个(y )样本样本 其它其它, 010,);(1xxxfX 求求 的最大似然估计的最大似然估计. 其中其中 0,第47页/共133页第四十七页，共133页。 n

31、iixndLd1ln)(ln 求导并令其为求导并令其为0，得，得=0从中解得从中解得 niixn1ln 即为即为 的的MLE . 对数对数(du sh)似然函数为似然函数为 niixnL1ln)1(ln)(ln 第48页/共133页第四十八页，共133页。.,),(22122的最大似然估计量的最大似然估计量和和求求的一个样本值的一个样本值是来自是来自为未知参数为未知参数设总体设总体 XxxxNXn解解的概率密度为的概率密度为X,e21),;(222)(2 xxf似然函数似然函数(hnsh)为为,)(21exp21e21),(122222)(1222 niinxnixLi 例例1 15第49页/

32、共133页第四十九页，共133页。,)(21ln2)2ln(2),(ln12222 niixnnL , 0),(ln, 0),(ln222 LL令令,0112 niinx ,0)()(21212222 niixn 取对数取对数(du sh),得得得得第50页/共133页第五十页，共133页。解得解得由由0112 niinx ,11xxnnii 解得解得由由0)()(21212222 niixn ,)(1212xxnnii 为为的最大似然估计量分别的最大似然估计量分别和和故故2 ,X .)(1212XXnnii 它们它们(t men)与相与相应的应的矩估计量相同矩估计量相同.第51页/共133页

33、第五十一页，共133页。.,21的最大似然估计量的最大似然估计量求求的一个样本值的一个样本值是来自总体是来自总体未知未知其中其中上服从均匀分布上服从均匀分布在在设总体设总体baXxxxbabaXn解解),min(21)1(nxxxx 记记),max(21)(nnxxxx 的概率密度为的概率密度为X ., 0,1),;(其他其他bxaabbaxf例例1616第52页/共133页第五十二页，共133页。,)()1(21bxxabxxxann 等价于等价于因为因为的函数的似然函数为的函数的似然函数为作为作为ba, 其他其他, 0,)(1),()()1(nnxbxaabbaL, 0ln abnbL0l

34、n abnaL分析分析(fnx)., ba不不可可用用微微分分法法求求第53页/共133页第五十三页，共133页。., ba下面从定义出发求下面从定义出发求 其其它它, 0,)(1),()()1(bxxaabbaLnn有有的任意的任意于是对于满足条件于是对于满足条件baxbxan,)()1( ,)(1)(1),()1()(nnnxxabbaL ,)(,),()1()()()1(nnnxxxbxabaL 取到最大值取到最大值时时在在即似然函数即似然函数第54页/共133页第五十四页，共133页。的最大似然估计值的最大似然估计值ba,min1)1(inixxa ,max1)(ininxxb 的最大

35、似然估计量的最大似然估计量ba,min1iniXa .max1iniXb 与矩估计与矩估计(gj)不同不同第55页/共133页第五十五页，共133页。例例17. 设设X服从服从0,区间区间(q jin)上的均匀分布上的均匀分布,参数参数0,求求的最大似然估计的最大似然估计.解解:由题意由题意(t y)得得: 其它其它001);( xxfX );,.,(21 nxxxL 其它其它0,.,0121 nnxxx dLd ln01 nn 无解无解.基本方法基本方法(fngf)失效失效.第56页/共133页第五十六页，共133页。应用最大似然估计基本思想应用最大似然估计基本思想: L越大越大,样本观察样

36、本观察(gunch)值越可能出值越可能出现现.考虑考虑(kol)L的取值的取值,要使要使L取值最大取值最大,应最小应最小,),.,(in21nxxxm此时此时(c sh),L取值最取值最大大,取取所以所以,所求最大似然估计为所求最大似然估计为),.,(in21nxxxm第57页/共133页第五十七页，共133页。解：似然函数解：似然函数(hnsh)为为 例例18 设设X1,X2,Xn是取自总体是取自总体X的一个的一个(y )样本样本为未知参数为未知参数其它其它 , 0,1)()( xexfXx其中其中(qzhng) 0,求求 的最大似的最大似然估计然估计. ,其它，, 01),(1)(niix

37、xeLi i=1,2,n第58页/共133页第五十八页，共133页。 其它其它, 0min,11)(1 ixnxenii对数对数(du sh)似然函数为似然函数为 niixnL1)(1ln),(ln 解：似然函数解：似然函数(hnsh)为为 其它其它，, 01),(1)(niixxeLi i=1,2,n第59页/共133页第五十九页，共133页。 niixn11 nL),(ln=0 (2)由由(1)得得niixnL12)(1),(ln =0 (1)对对 分别求偏导并令其为分别求偏导并令其为0, 对数对数(du sh)似然函数为似然函数为niixnL1)(1ln),(ln 用求导方法无法最终确定

38、用求导方法无法最终确定用最大似然原则来求用最大似然原则来求 . .、 , 第60页/共133页第六十页，共133页。是是inix 1min 对对, 0),(,min Lxi其它, 0min,1),(1)(12 ixxeLnii故使故使 达到最大的达到最大的 即即 的的MLE ),( L , niixn11 于是于是(ysh) 取其它值时，取其它值时，. 0),( L 且是且是 的增函数的增函数 inix 1min 第61页/共133页第六十一页，共133页。4 最大似然估计最大似然估计(gj)的性质的性质(不变性原理）不变性原理）.)()(,)();(),(, )(的的最最大大似似然然估估计计

39、是是则则估估计计的的最最大大似似然然中中的的参参数数形形式式已已知知数数的的概概率率密密度度函函是是又又设设数数具具有有单单值值反反函函的的函函数数设设 uuufxfXuuuu 证明证明(zhngmng),的最大似然估计值的最大似然估计值是是因为因为 ),;,(max);,(2121 nnxxxLxxxL 所以所以,21的一个样本值的一个样本值是来自总体是来自总体其中其中Xxxxn),(),(uuu 由于由于U,第62页/共133页第六十二页，共133页。),(;,(max) (;,(2121uxxxLuxxxLnun 故故.)()(的最大似然估计的最大似然估计是是于是于是 uuu 此性质可以

40、此性质可以(ky)(ky)推广到总体分布中含有多个未知推广到总体分布中含有多个未知参数的情况参数的情况. .P192-3-P192-3-（3 3）.0020XeeppeeXPpX的最大似然估计量为于是！又因）结论得解：由（第63页/共133页第六十三页，共133页。）（得得变变性性原原理理利利用用极极大大似似然然估估计计的的不不而而解解：因因的的极极大大似似然然估估计计量量。的的期期望望求求设设又又如如，iniiniiniiniXXbaXbXaXX 1111maxmin21 ,2 ,max ,min b,Ua, 课堂练习：课堂练习： 设总体设总体(zngt) 试求试求 的极大的极大(j d)似

41、然估计量。似然估计量。tXPp )0),(22 未知（未知（，其中其中NX第64页/共133页第六十四页，共133页。 niiXXnXtpttXPpNX1222)(1 , )( )(),( 其中其中得得计的性质计的性质的函数，由极大似然估的函数，由极大似然估，是参数是参数得得解：由解：由第65页/共133页第六十五页，共133页。两种求点估计的方法两种求点估计的方法(fngf): 矩估计矩估计(gj)法法最大似然估计法最大似然估计法 在统计问题中往往先使用最大似然估计法在统计问题中往往先使用最大似然估计法, 在最大在最大似然估计法使用不方便时似然估计法使用不方便时, 再用矩估计法再用矩估计法.

42、; );();,()();();,()(121121 niinniinxfxxxLLxpxxxLL或或似然函数似然函数第66页/共133页第六十六页，共133页。 这一讲，我们介绍了参数这一讲，我们介绍了参数(cnsh)点估计，给点估计，给出了寻求估计量最常用的矩法和极大似然法出了寻求估计量最常用的矩法和极大似然法 . 参数点估计是用一个确定的值去估计未参数点估计是用一个确定的值去估计未知的参数知的参数. 看来似乎看来似乎(s h)精确，实际上把精确，实际上把握不大握不大. 为了使估计的结论更可信，需要引入为了使估计的结论更可信，需要引入区间估计区间估计. 这是下一讲的内容这是下一讲的内容 .

43、第67页/共133页第六十七页，共133页。Ronald Aylmer Fisher Born: 17 Feb. 1890 in London, EnglandDied: 29 Jul. 1962 in Adelaide, Australia第68页/共133页第六十八页，共133页。一、问题一、问题(wnt)的提的提出出二、无偏性二、无偏性三、有效性三、有效性四、相合四、相合(xin h)性性五、小结五、小结第69页/共133页第六十九页，共133页。 从前一节可以看到从前一节可以看到, 对于同一个参数对于同一个参数, 用不同用不同的估计方法的估计方法(fngf)求出的估计量可能不相同求出的

44、估计量可能不相同, 而而且且, 很明显很明显, 原则上任何统计量都可以作为未知参原则上任何统计量都可以作为未知参数的估计量数的估计量.问题问题(wnt)(wnt)(1)对于同一个参数究竟采用哪一个估计量好对于同一个参数究竟采用哪一个估计量好?(2)评价估计量的标准是什么评价估计量的标准是什么?下面介绍几个常用标准下面介绍几个常用标准.第70页/共133页第七十页，共133页。 估计量是随机变量，对于估计量是随机变量，对于(duy)不不同的样本值会得到不同的估计值同的样本值会得到不同的估计值 . 我们我们希望估计值在未知参数真值附近摆动，希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数

45、的真值而它的期望值等于未知参数的真值. 这就这就导致无偏性这个标准导致无偏性这个标准 . 1.1 无偏性无偏性)(E则称则称 为为 的无偏估计的无偏估计 . ),(1nXX 设设是未知参数是未知参数 的估计量，若的估计量，若 真值真值 第71页/共133页第七十一页，共133页。 我们不可能要求每一次由样本我们不可能要求每一次由样本(yngbn)得到的得到的估计值与真值都相等，但可以估计值与真值都相等，但可以(ky)要求要求这些估这些估计值的期望计值的期望(qwng)与真值相等与真值相等.定义的合理性 ,)(lim nnnE的一系列估计量，且的一系列估计量，且是是若若的的是是则称则称 n. )

46、(量量渐近无偏估计渐近无偏估计注注:第72页/共133页第七十二页，共133页。 例如，用样本均值例如，用样本均值(jn zh)作为总体均值作为总体均值(jn zh)的估计时，虽无法说明一次估计所产生的偏差的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在，但这种偏差随机地在0的周围波动，对同一统计的周围波动，对同一统计问题大量重复使用不会产生系统偏差问题大量重复使用不会产生系统偏差 .无偏性是对估计量的一个无偏性是对估计量的一个(y )常见而重要的要求常见而重要的要求 .无偏性的实际意义是指没有无偏性的实际意义是指没有(mi yu)系统性的偏差系统性的偏差 .第73页/共133页第

47、七十三页，共133页。.1 , ,)1()(121的无偏估计的无偏估计阶总体矩阶总体矩是是阶样本矩阶样本矩总体服从什么分布总体服从什么分布论论的一个样本，试证明不的一个样本，试证明不是是又设又设存在存在阶矩阶矩的的设总体设总体knikiknkkkXnAkXXXXkXEkX 证证同分布，同分布，与与因为因为XXXXn,21)()(kkiXEXE 故有故有., 2 , 1,nik nikikXEnAE1)(1)(即即.k 例例1第74页/共133页第七十四页，共133页。. 的无偏估计的无偏估计阶总体矩阶总体矩是是阶样本矩阶样本矩故故kkkAk 特别特别(tbi)的的:. )( 1估估计计量量的的

48、无无偏偏的的期期望望总总是是总总体体XEXX 不论总体不论总体 X 服从服从(fcng)什什么分布么分布,只要它的数学期望只要它的数学期望(qwng)存在存在,估估计计量量。的的渐渐近近无无偏偏的的方方差差总总是是总总体体估估计计量量；的的无无偏偏的的方方差差总总是是总总体体 2222 XBXS第75页/共133页第七十五页，共133页。).()(1 , , , 0 , 122222即不是无偏估计即不是无偏估计有偏的有偏的是是的估计量的估计量则则均为未知均为未知若若都存在的总体都存在的总体方差方差对于均值对于均值 niiXXn 证证 niiXXn12221 ,22XA 22)( AE因为因为,

49、22 22)()()( XEXDXE 又因为又因为,22 n)()( 222XAEE 所以所以)()(22XEAE 例例2第76页/共133页第七十六页，共133页。,122 nn. 2是有偏的是有偏的所以所以 . , 1 2偏偏的的所所得得到到的的估估计计量量就就是是无无乘乘若若以以 nn(这种方法这种方法(fngf)称为无偏化称为无偏化).)(11222 EnnnnE221 Snn 因为因为, )(1112 niiXXn, 22的无偏估计的无偏估计是是即即 S.22的估计量的估计量作作故通常取故通常取 S第77页/共133页第七十七页，共133页。.),max(12, 0,0, 2121的

50、无偏估计的无偏估计都是都是和和的样本，试证明的样本，试证明是来自总体是来自总体参数参数上服从均匀分布上服从均匀分布在在设总体设总体 nnXXXnnXXXXXX 证证)(2)2(XEXE 因为因为)(2XE ,22 . 2的无偏估计量的无偏估计量是是所以所以 X的概率密度为的概率密度为因为因为),max( 21nXXXY 其他其他, 0,0,)(1 xnxxfnn例例3第78页/共133页第七十八页，共133页。xnxxYEnnd)(01 所以所以,1 nn,1 YnnE故有故有.),max(121的无偏估计量的无偏估计量也是也是故故 nXXXnn 第79页/共133页第七十九页，共133页。.

51、),min(, 0, ., 0, 0,e1);(, 2121的无偏估计的无偏估计都是都是和和试证试证样本样本的的是来自总体是来自总体又设又设其中参数其中参数其他其他概率密度概率密度的指数分布的指数分布服从参数为服从参数为设总体设总体 nnxXXXnnZXXXXXxxfX 证明证明(zhngmng)(XE因为因为,)( XE. 的无偏估计量的无偏估计量是是所以所以 X例例4第80页/共133页第八十页，共133页。, ),min( 21的指数分布的指数分布服从参数为服从参数为而而nXXXZn ., 0, 0,e);(min其他其他概率密度概率密度xnxfnx ,)( nZE 故知故知,)( nZ

52、E. 的无偏估计量的无偏估计量也是也是所以所以 nZ 由以上两例可知由以上两例可知, ,一个一个(y )(y )参数可以有不参数可以有不同的无偏估计量同的无偏估计量. .第81页/共133页第八十一页，共133页。分析分析(fnx) 设总体设总体X的方差的方差D(X)存在，且存在，且 D(X) 0,(X1, X2 , , Xn ) 为来自为来自(li z)总体总体X的样本，试选的样本，试选择适当的常数择适当的常数C，使得，使得 1121)(niiiXXC为为D(X)的无偏的无偏(w pin)估计估计.)()(1121XDXXCEniii 需选择需选择C，使使第82页/共133页第八十二页，共1

53、33页。)(1121 niiiXXCE 1121)(niiiXXEC )()(21111 niiiiiXXEXXDC而而X1, X2 , , Xn 相互相互(xingh)独立，且独立，且与与X 同分布同分布)()(),()(XDXDXEXEii ), 2, 1(ni )(2)()()(11XDXDXDXXDiiii 0)()()(11 iiiiXEXEXXE解解第83页/共133页第八十三页，共133页。), 2, 1(ni )(2)()()(11XDXDXDXXDiiii 0)()()(11 iiiiXEXEXXE)(1121 niiiXXCE )()(21111 niiiiiXXEXXDC

54、 11)(2niXDC)()1(2XDnC 依题意依题意(t y)，要，要求：求：)()(1121XDXXCEniii )()()1(2XDXDnC 即即0)( XD.)1(21 nC第84页/共133页第八十四页，共133页。一般一般(ybn)地，一个参数地，一个参数 的无偏估计量不唯的无偏估计量不唯一一.如：设样本如：设样本(X1, X2 , , Xn ) 来自来自(li z)总体总体X，E(X)=,此此外外，的的无无偏偏估估计计是是则则. X)1(11 niiiniiCXC也均是也均是的无偏的无偏(w pin)估计估计.问题：问题：对于同一个参数的多个无偏估计量，对于同一个参数的多个无偏

55、估计量，如何评价它们的优劣？如何评价它们的优劣？第85页/共133页第八十五页，共133页。所以所以(suy)无偏估计以方差小者为好无偏估计以方差小者为好, 这就引进这就引进了有效性这一概念了有效性这一概念 .的大小来决定二者的大小来决定二者21)( E和和2 1 一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计, 若若 和和都是参数都是参数 的无偏估计量，的无偏估计量，比较比较我们可以我们可以22)( E谁更优谁更优 .211)()( ED由于由于222)()( ED第86页/共133页第八十六页，共133页。1.2 有效性有效性D( ) D( )2 1 则称则称 较较 有效有效

56、(yuxio) .2 1 都是参数都是参数(cnsh) 的无偏估计量，若有的无偏估计量，若有),(11nXX ),(122nXX 1 设设和和 .真值真值 真值真值.蓝色是采用估计量蓝色是采用估计量 ，14组样本组样本(yngbn)得到的得到的14个估计值个估计值.1 红色是采用估计量红色是采用估计量 ，14组样本得到的组样本得到的14个估计值个估计值.2 .真值真值 第87页/共133页第八十七页，共133页。,4143211XX ,2121212XX .3132213XX 是是存在，存在，设设),(0)(,)(212XXXDXE 来自总体来自总体(zngt)X的样本，问：下列三个对的样本，

57、问：下列三个对 的的无偏估计量哪一个最有效？无偏估计量哪一个最有效？第88页/共133页第八十八页，共133页。解解,85)161169()(221 D,21)(22 D,95)(23 D)()()(132 DDD .2最有效最有效 注注)1(11 niiiniiCXC一般一般(ybn)地，在地，在 的的无偏无偏(w pin)估计量估计量.最有效最有效中，中，X可用求条件极值的拉格朗日乘数可用求条件极值的拉格朗日乘数(chn sh)法证明法证明第89页/共133页第八十九页，共133页。 . ,2, ,max123122121有效有效较较时时现证当现证当计量计量的无偏估的无偏估都是都是和和中已

58、证明中已证明在例在例 nXXXnnXn证明证明(zhngmng)(4)( 1XDD 由于由于,3)(42nXDn )(21)( nXnnDD ,1)(2nXDnn ,1)( )( nnXEn 又因为又因为例例7第90页/共133页第九十页，共133页。xxnXEnnnd)(102)( ,22 nn2)(2)()()()()(nnnXEXEXD ,)2()1(22 nnn,)2(1)( 22 nnD故故 ),()( , 212 DDn 所以所以又又 .12有效有效较较 第91页/共133页第九十一页，共133页。. ,),(, ,),(2121的一致估计量的一致估计量为为则称则称依概率收敛于依概

59、率收敛于时时当当若对于任意若对于任意的估计量的估计量为参数为参数若若 nnXXXnXXX 例如例如(lr) ,)( )1( ,的的一一致致估估计计量量阶阶矩矩的的总总体体阶阶矩矩是是样样本本由由辛辛钦钦大大数数定定律律知知kkXEkXkk .),(),( ,),(212121的的一一致致估估计计量量是是的的矩矩估估计计量量则则函函数数为为连连续续其其中中进进而而若若待待估估参参数数 nnnAAAgggg 一致性估计量仅在样本容量一致性估计量仅在样本容量 n 足够足够(zgu)大时大时,才显示其优越性才显示其优越性.第92页/共133页第九十二页，共133页。 . 1 11 , :2122122

60、估计量估计量的一致的一致都是总体方差都是总体方差中心矩中心矩及样本的二阶及样本的二阶样本方差样本方差量量的一致估计的一致估计是总体均值是总体均值样本均值样本均值试证试证 niiniiXXnBXXnSX证明证明(zhngmng)由切比雪夫大数由切比雪夫大数(d sh)定律知定律知, , 0 , 11lim 1 niinXnP有有. 1 1的一致估计量的一致估计量是是所以所以 niiXnX例例8第93页/共133页第九十三页，共133页。 niiXXnB122)(1 又又 niiiXXXXn122)2(1 niiXXn1221,22XA )(2是样本二阶原点矩是样本二阶原点矩A由大数由大数(d s