概率论完整PPT课件第29讲

1、 引言引言 上一讲，我们介绍了总体、样本、上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概简单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给念，介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理出了几个重要的抽样分布定理. 它们是进它们是进一步学习统计推断的基础一步学习统计推断的基础. 总体总体样样本本统计量统计量描述描述作出推断作出推断研究统计量的性质和评价一个研究统计量的性质和评价一个统计推断的优良性，完全取决统计推断的优良性，完全取决于其于其抽样分布抽样分布的性质的性质.随机抽样随机抽样 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的

2、统计推断问题 参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数来估计总体的某些参数或者参数的某些函数. 参数估计参数估计估计废品率估计废品率估计新生儿的体重估计新生儿的体重估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量 在参数估计问题中，假定总体分布在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个形式已知，未知的仅仅是一个或几个参数参数.这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法x1,x2,xn要依据该样本对参数要依据该样本对参数 作出估计，或估计作出估计，或估计 的某个

3、已知函数的某个已知函数 .)( g现从该总体抽样，得样本现从该总体抽样，得样本设有一个统计总体，总体的分布函数设有一个统计总体，总体的分布函数向量向量) . 为为 f(x, )，其中，其中 为未知参数为未知参数 ( 可以是可以是 参数估计参数估计点估计点估计区间估计区间估计)1 . 0,(2 n（假定身高服从正态分布（假定身高服从正态分布 ） 设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69 估计估计 为为1.68，这是这是点估计点估计.这是这是区间估计区间估计.估计估计 在区间在区间1.57, 1.84内，内，假如我们要估计某队男生的平均身高假如我们要估计某队男生的平

4、均身高. 现从该总体选取容量为现从该总体选取容量为5的样本，我们的样本，我们的任务是要根据选出的样本（的任务是要根据选出的样本（5个数）求出个数）求出总体均值总体均值 的估计的估计. 而全部信息就由这而全部信息就由这5个个数组成数组成 . 一、点估计概念及讨论的问题一、点估计概念及讨论的问题例例1 已知某地区新生婴儿的体重已知某地区新生婴儿的体重x),(2 n,2未知 随机抽查随机抽查100个婴儿个婴儿得得100个体重数据个体重数据10,7,6,6.5,5,5.2, 呢呢? ? 据此据此, ,我们应如何估计我们应如何估计和和而全部信息就由这而全部信息就由这100个数组成个数组成. 为估计为估计

5、 ,我们需要构造出适当的样本我们需要构造出适当的样本的函数的函数t(x1,x2,xn)，每当有了样本，就，每当有了样本，就代入该函数中算出一个值，用来作为代入该函数中算出一个值，用来作为 的的估计值估计值 . 把样本值代入把样本值代入t(x1,x2,xn) 中，得到中，得到 的一个点估计值的一个点估计值 .t(x1,x2,xn)称为参数称为参数 的点估计量，的点估计量， 请注意，被估计的参数请注意，被估计的参数 是一个是一个未知常数，而估计量未知常数，而估计量 t(x1,x2,xn)是一个随机变量，是样本的函数是一个随机变量，是样本的函数,当当样本取定后，它是个已知的数值样本取定后，它是个已知

6、的数值,这这个数常称为个数常称为 的估计值的估计值 . 使用什么样的统计量去估计使用什么样的统计量去估计 ？ 可以用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数;还可以用别的统计量还可以用别的统计量 .问题是问题是: ,)( xe我们知道我们知道, ,服从正态分布服从正态分布,.),(2vxrn的 由大数定律由大数定律, , 1|1|lim1 niinxnp自然想到把样本体重的平均值作为总体平均自然想到把样本体重的平均值作为总体平均体重的一个估计体重的一个估计. .22 估计s类似地，用样本体重的方差类似地，用样本体重的方差 . ., 估计x用样本体重的均值用样本体重的均值,1

7、1niixnxniixxns122)(11样本体重的平均值样本体重的平均值样本均值是否是样本均值是否是 的一个好的估计量？的一个好的估计量？ (2) 怎样决定一个估计量是否比另一个估计怎样决定一个估计量是否比另一个估计 量量“好好”？样本方差是否是样本方差是否是 的一个好的估计量？的一个好的估计量？2 这就需要讨论以下几个问题这就需要讨论以下几个问题: :(1) 我们希望一个我们希望一个“好的好的”估计量具有什么估计量具有什么 特性？特性？(3) 如何求得合理的估计量？如何求得合理的估计量？那么要问那么要问: : 二、估计量的优良性准则二、估计量的优良性准则 在介绍估计量优良性的准则之前，我在

8、介绍估计量优良性的准则之前，我们必须强调指出：们必须强调指出： 评价一个估计量的好坏，不能仅仅依评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结据一次试验的结果，而必须由多次试验结果来衡量果来衡量 . 这是因为估计量是样本的函数，是随机这是因为估计量是样本的函数，是随机变量变量 . 因此，由不同的观测结果，就会求得因此，由不同的观测结果，就会求得不同的参数估计值不同的参数估计值. 因此一个好的估计，应因此一个好的估计，应在多次试验中体现出优良性在多次试验中体现出优良性 . 常用的几条标准是：常用的几条标准是：1无偏性无偏性2有效性有效性3相合性相合性这里我们重点介绍前面两个

9、标准这里我们重点介绍前面两个标准 . 估计量是随机变量，对于不同的样本值估计量是随机变量，对于不同的样本值会得到不同的估计值会得到不同的估计值 . 我们希望估计值在未我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数真值附近摆动，而它的期望值等于未知参数的真值知参数的真值. 这就导致无偏性这个标准这就导致无偏性这个标准 . 1无偏性无偏性 )(e则称则称 为为 的无偏估计的无偏估计 . ),(1nxx 设设是未知参数是未知参数 的估计量，若的估计量，若 例如，用样本均值作为总体均值的估计例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但时，虽无法说明一次估计所

10、产生的偏差，但这种偏差随机地在这种偏差随机地在0的周围波动，对同一统的周围波动，对同一统计问题大量重复使用不会产生系统偏差计问题大量重复使用不会产生系统偏差 .无偏性是对估计量的一个常见而重要的要求无偏性是对估计量的一个常见而重要的要求 .无偏性的实际意义是指没有系统性的偏差无偏性的实际意义是指没有系统性的偏差 .所以无偏估计以方差小者为好所以无偏估计以方差小者为好, 这就引进了这就引进了有效性这一概念有效性这一概念 .的大小来决定二者的大小来决定二者21)( e和和2 1 一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计, 若若 和和都是参数都是参数 的无偏估计量，的无偏估计量，

11、比较比较我们可以我们可以22)( e谁更优谁更优 .211)()( ed由于由于222)()( ed2有效性有效性d( )0,求求 的矩估计的矩估计. , x具有均值为具有均值为 的指数分布的指数分布 故故 e(x- )= 2 d(x- )=即即 e(x)= 2 d(x)= x niixxn12)(1 解得解得niixxn12)(1令令x niixxn122)(1 用样本矩估计用样本矩估计总体矩总体矩即即 e(x)= 2 d(x)=., 的矩估计即为参数 矩法的优点是简单易行矩法的优点是简单易行,并不需要并不需要事先知道总体是什么分布事先知道总体是什么分布 . 缺点是，当总体类型已知时，没有缺

12、点是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息 . 一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性 . 其主要原因在于建立矩法方程时，其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带选取那些总体矩用相应样本矩代替带有一定的随意性有一定的随意性 .稍事休息稍事休息 2. 极大似然法极大似然法 是在总体类型已知条件下使用的一种是在总体类型已知条件下使用的一种参数估计方法参数估计方法 . 它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的 , gaussfisher然而，这个方法常归功于然而，这个方法常归功于英国统计

13、学家英国统计学家费歇费歇 . 费歇费歇在在1922年重新发现了年重新发现了 这一方法，并首先研究了这这一方法，并首先研究了这 种方法的一些性质种方法的一些性质 . 极大似然法的基本思想极大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . 下面我们再看一个例子下面我们再看一个例子,进一步体会极进一步体会极大似然法的基本思想大似然法的基本思想 . 你就会

14、想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的猎人命中的概率一般大于这位同学命中的概率概率一般大于这位同学命中的概率. 看来这看来这一枪是猎人射中的一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似这个例子所作的推断已经体现了极大似然法的基本思想然法的基本思想 . 例例4 设设xb(1,p), p未知未知.设想我们事先知设想我们事先知道道p只有两种可能只有两种可能:问问:应如何估计应如何估计p?p=0.7 或或 p=0.3如今重复试验如今重复试验3次次,得结果得结果: 0 , 0, 0由概率论的知识由概率论的知识, 3次试验中出现次试验中出现“1”的次数的次数), 3(pbyk=

15、0,1,2,3knkppkkyp)1 (3)( 将计算结果列表如下：将计算结果列表如下：应如何估计应如何估计p?p=0.7 或或 p=0.3kkppkkyp3)1 (3)(k=0,1,2,3p值值 p(y=0) p(y=1) p( y=2) p(y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027出现出现估计估计出现出现出现出现出现出现估计估计估计估计估计估计0.3430.4410.4410.343如果有如果有p1,p2,pm可供选择可供选择, 又如何合理地又如何合理地选选p呢呢?从中选取使从中选取使qi 最大的最大的pi 作为作

16、为p的估计的估计.);();(0iipkyppkypi=1,2,m则估计参数则估计参数p为为0ipp 0ipp 时时qi 最大最大,比方说比方说,当当 若重复进行试验若重复进行试验n次次,结果结果“1”出现出现k次次(0 k n), 我们计算一切可能的我们计算一切可能的 p(y=k; pi )=qi ， i=1,2,m 如果只知道如果只知道0p1,并且实测记录是并且实测记录是 y=k (0 k n),又应如何估计又应如何估计p呢呢?注意到注意到knkppknpkyp)1 ();(是是p的函数的函数,可用求导的方法找到使可用求导的方法找到使f (p)达到达到极大值的极大值的p .但因但因f (p

17、)与与lnf (p)达到极大值的自变量相同达到极大值的自变量相同,故问题可转化为求故问题可转化为求lnf (p)的极大值点的极大值点 .=f (p)nkp 将将ln f (p)对对p求导并令其为求导并令其为0,这时这时, 对一切对一切0p1,均有均有);() ;(pkyppkyp从中解得从中解得pknpkdppfd1)(ln=0便得便得 p(n-k)=k(1-p) )1ln()(lnln)(lnpknpkknpf 以上这种以上这种选择一个参数使得实验结选择一个参数使得实验结果具有最大概率果具有最大概率的思想就是极大似然法的思想就是极大似然法的基本思想的基本思想 .这时这时,对一切对一切0p0,

18、niixndld1ln)(ln求导并令其为求导并令其为0=0从中解得从中解得niixn1*ln 即为即为 的的mle . 对数似然函数为对数似然函数为niixnl1ln) 1(ln)(ln 解：似然函数为解：似然函数为 例例7 设设x1,x2,xn是取自总体是取自总体x的一个样本的一个样本为未知参数其它 , 0,1)()(xexfxx其中其中 0,求求 的极大似然估计的极大似然估计. ,其它，, 01),(1)(niixxeli i=1,2,n其它, 0min,11)(1 ixnxenii对数似然函数为对数似然函数为niixnl1)(1ln),(ln 解：似然函数为解：似然函数为其它，, 01

19、),(1)(niixxeli i=1,2,nniixn11 nl),(ln=0 (2)由由(1)得得niixnl12)(1),(ln =0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为niixnl1)(1ln),(ln 用求导方法无法最终确定用求导方法无法最终确定用极大似然原则来求用极大似然原则来求 .、 , 是是inix1*min 对对, 0),(,min lxi故使故使 达到最大的达到最大的 即即 的的mle， ),( l , niixn1*1 于是于是 取其它值时，取其它值时，. 0),( l 即即 为为 的的mle .*, ,且是且是 的增函数的增函

20、数 其它, 0min,1),(1)(1ixnxelnii由于由于极大似然估计的一个性质极大似然估计的一个性质可证明极大似然估计具有下述性质：可证明极大似然估计具有下述性质： 设设 的函数的函数g=g( )是是 上的实值函数上的实值函数,且有唯一反函数且有唯一反函数 . 如果如果 是是 的的mle，则，则g( )也是也是g( )的极大似然估计的极大似然估计. 例例8 一罐中装有白球和黑球，有放回地抽一罐中装有白球和黑球，有放回地抽取一个容量为取一个容量为n的样本，其中有的样本，其中有 k 个白球，个白球，求罐中黑球与白球之比求罐中黑球与白球之比 r 的极大似然估计的极大似然估计.n,1,i ,

21、0, 1取到黑球取到白球ix解解: 设设x1,x2,xn为所取样本，为所取样本，则则x1,x2,xn是取自是取自b(1,p)的样本，的样本，p是每次是每次抽取时取到白球的概率，抽取时取到白球的概率，p未知未知 .先求先求p的的mle：nkp p的的mle为为 ppr11kn在前面例在前面例4中中,我们已求得我们已求得由前述极大似然估计的性质不难求得由前述极大似然估计的性质不难求得ppr1的的mle是是第二次捕出的有记号的鱼数第二次捕出的有记号的鱼数x是是r.v, x具有具有超几何分布：超几何分布：,snksrnkrkxp为了估计湖中的鱼数为了估计湖中的鱼数n，第一次捕上，第一次捕上r条鱼，条鱼，做上记号后放回做上记号后放回. 隔一段时间后隔一段时间后, 再捕出再捕出s条鱼条鱼, 结果发现这结果发现这s条鱼中有条鱼中有k条标有记号条标有记号.根据这个信息，如何估计湖中的鱼数呢？根据这个信息，如何估计湖中的鱼数呢？最后，我们用极大似