第一节点估计

1、概率统计总体总体样本样本统计量统计量描述描述作出推断作出推断研究统计量的性质和评价一个统计推断的研究统计量的性质和评价一个统计推断的优良性，完全取决于其优良性，完全取决于其抽样分布抽样分布的性质的性质.随机抽样随机抽样第七章第七章 参数估计参数估计概率统计 利用从总体抽样得到的信息来利用从总体抽样得到的信息来 估计总体的某些参数或者参数估计总体的某些参数或者参数 的某些函数的某些函数.估计废品率：估计废品率：估计新生儿的体重：估计新生儿的体重：估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量 在参数估计问题中，假定总体分布在参数估计问题中，假定总体分布 形式已知，未知的仅仅是一个或几个形式已知，

2、未知的仅仅是一个或几个 参数参数. 参数估计问题参数估计问题: 例如：例如：概率统计这类问题这类问题称称为为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法X1, X2, , Xn其中其中 为未知参数为未知参数 ( 可以是向量可以是向量 ) 。现从该。现从该 设有一个总体设有一个总体 X ，总体的分布函数为，总体的分布函数为( ;)F x 总体抽样，得样本：总体抽样，得样本：所研究的问题所研究的问题是：要依据该样本对参数是：要依据该样本对参数 作出作出 估计，或估计估计，或估计 的某个已知的函数的某个已知的函数 ( )g 参数估计问题参数估计问题的分类的分类参数估计参数估计点估计

3、点估计区间估计区间估计概率统计 则估计则估计 为为1.68，这是，这是点估计点估计问题。问题。 估计估计 在区间在区间 1.57, 1.84 内，这是内，这是 区间估计区间估计问题问题2( , 0.1 )N 现要估计某班男生的平均身高。假定身高服现要估计某班男生的平均身高。假定身高服从正态分布从正态分布 现从该总体选取容量为现从该总体选取容量为 5 的样本，所研究的的样本，所研究的 问题是要根据选出的样本（问题是要根据选出的样本（5个数）求出总体个数）求出总体 均值均值 的估计。的估计。 例如例如 而全部信息就由这而全部信息就由这 5 个数组成个数组成 。设这。设这 5 个数个数 是：是：1.

4、65，1.67，1.68，1.78，1.69概率统计 解决问题：解决问题：总体总体 X 的分布函数的形式已知，但的分布函数的形式已知，但它的一个或多个参数未知，根据总体它的一个或多个参数未知，根据总体X的一个样本来估计总体未知参数或的一个样本来估计总体未知参数或对总体未知参数作出一个估计。对总体未知参数作出一个估计。一一. 估计量的定义估计量的定义定义：定义： 第一节第一节 点点 估估 计计 12(,)nXXX 称为称为 的的估计量估计量。 设设 为总体为总体X的分布函数的分布函数 中的待估中的待估计的参数计的参数, 是总体是总体 X 的一个样的一个样本，用本，用 构成的一个统计量：构成的一个

5、统计量：nXXX,21nXXX,21( ; )F x 概率统计则则12(,)nxxx 为为 的的估计值估计值 二二. 构造统计量的方法构造统计量的方法1. 矩估计法矩估计法 ( 数字特征法数字特征法 ) 用样本的各阶矩来估计总体的各阶矩用样本的各阶矩来估计总体的各阶矩12,nXXX的一组样本值为：的一组样本值为：nxxx21,如果如果矩估计法是由统计学家卡矩估计法是由统计学家卡. 皮尔逊（皮尔逊（K. Pearson）在在19世纪末引入的。世纪末引入的。矩是描写随机变量最简单的数字特征，由大数定律矩是描写随机变量最简单的数字特征，由大数定律可知，在一定条件下可以用样本的矩作为总体矩的可知，在一

6、定条件下可以用样本的矩作为总体矩的估计，从而得估计，从而得矩估计法的基本思想矩估计法的基本思想为：为：概率统计 矩估计法的具体步骤矩估计法的具体步骤设总体设总体 X 的分布函数的分布函数 中含有中含有 12( ;,)kF x k( )iiEX 1 ,2 , ,ik k12,k 个未知参数个未知参数 ，假定总体，假定总体 X 的前的前 阶矩阶矩存在，存在，则可通过下列步骤求则可通过下列步骤求未知参数的矩估计量未知参数的矩估计量(1)若总体若总体 X 是是离散型离散型随机变量，其分布律为：随机变量，其分布律为：12(;,)kP x 求总体求总体 X 的前的前 阶矩阶矩k则：则：若总体若总体 X 是

7、是连续型连续型随机变量，其密度函数为：随机变量，其密度函数为：kixPxXEknlili, 2 , 1),()(211 概率统计12(;,)kf x 则：则：12()( ;,)iikE Xxf xdx 1,2,ik 总之总之，()iiE X 是参数是参数 的函数，的函数，12,k 记为：记为：1112221212(,)(,)(,),kkkkk 概率统计(2)解（解（*）式解出）式解出 得到：得到：12,k 11122212212(,)(,)(,)()kkkk (3)用用 的估计量的估计量 分别代替（分别代替（*）中的中的 则得则得 的的矩估计量矩估计量 i 11niillMXn ,i i :i

8、 12(,),1,2,iikMikMM 概率统计例例 1. 设总体设总体X的均值为的均值为 方差为方差为 都存在，且都存在，且, 2 20, 12,nXXX是总体是总体 X 的一个样本的一个样本(2). 当总体当总体(某种灯泡寿命某种灯泡寿命) ， 未知，今取未知，今取 4 只灯泡，只灯泡， 测得其寿命（小测得其寿命（小 时）如下：时）如下：2(,)XN , 2 1502, 1453, 1367, 1650 （小时）（小时）求：求： 的矩估计量的矩估计量, 2 (1). 均未知均未知, 求求: 的矩估计量的矩估计量, 2 , 2 概率统计解解:总体总体 X 的数学期望是的数学期望是 X 的一阶

9、原点矩；的一阶原点矩；总体总体 X 的方差是的方差是 X 的二阶中心矩。的二阶中心矩。(1).22()()()E XD XE X()E X 22 现令：现令： niiXnXE11)(2211()niiE XXn 一阶原点矩一阶原点矩二阶原点矩二阶原点矩即即11niiXn niiXn12221 解之得解之得:概率统计11niiXn 22211( )niiXn 解之得解之得:11niiXXn 2222111111()()nnniiiiiiXXXXnnn 2, 从而得从而得 的矩估计量为：的矩估计量为：结论：结论：不论总体服从什么分布，总体均值与方差不论总体服从什么分布，总体均值与方差 的矩估计量的

10、表达式是相同的。的矩估计量的表达式是相同的。概率统计(2).2(,)XN 1493)1650136714531502(41 X2212)14931453()14931502(41)(1 niiXXn)14931650()14931367(22 10551 21493,10551某种灯泡寿命的均值与方差的某种灯泡寿命的均值与方差的矩估计值矩估计值分布为分布为:概率统计设设 X1, X2, Xn 是取自总体是取自总体 X 的一个样本，其的一个样本，其概率密度为：概率密度为：()1( )0 xexf x 其其它它其中其中 为未知参数，为未知参数， 0 , 例例 2.求：求： 的矩估计量的矩估计量,

11、由密度函数可知：由密度函数可知： X具有均值为具有均值为 的指数分布，故有：的指数分布，故有： 解解:(),E X2()D X概率统计即：即：211()niiXXn 211()niiXXXn 令：令：X 2211()niiXXn 用样本矩估计用样本矩估计总体矩总体矩(),E X2()D X 解得解得： , , 即为总体参数即为总体参数 的矩估计量。的矩估计量。概率统计22 ()/2() /12a bXb aS , a b 2 2 3a bXb aS 12,nXXX( , ) ()XU a bab, a b2 ( )()/2, ( )() /12E Xa bD Xb a 33 , aXSbXS2

12、211()niiSSXXn(a)bX ab a , b1 minii nX 1 maxiinX 概率统计) 10( ),( ppmbXnXXX,21pmpXE)(11niiXXnXmppXpm,m p,m p概率统计 2. 极大似然法极大似然法极大似然法是在总体类型已极大似然法是在总体类型已知条件下使用的一种参数估知条件下使用的一种参数估计方法计方法 。它首先是由德国数学家它首先是由德国数学家高斯高斯（ Gauss）在在 1821 年提出的年提出的 。Fisher然而，这个方法常归功于英国然而，这个方法常归功于英国统计学家统计学家费歇（费歇（ Fisher ），费），费歇歇在在 1922 年重

13、新发现了这一方年重新发现了这一方法，法， 并首先研究了这种方法的并首先研究了这种方法的一些性质一些性质 。Gauss概率统计 极大似然法的基本思想极大似然法的基本思想引例引例 1若某位同学与一位猎人一起外若某位同学与一位猎人一起外出打猎出打猎 。一只野兔从前方窜过，只听一只野兔从前方窜过，只听一一声枪响声枪响，野兔应声倒下，野兔应声倒下 。试推测：试推测：这是谁打中的呢这是谁打中的呢 ？ 因为只发一枪便打中，猎人因为只发一枪便打中，猎人命中的概率一般命中的概率一般大于大于这位同这位同学命中的概率。看来可推测学命中的概率。看来可推测这一枪是猎人射中的这一枪是猎人射中的 . 概率统计引例引例 2设

14、设X B(1, p), p未知未知，若，若事先知道事先知道 p 只有两只有两种可能种可能: 试问：应如何估计试问：应如何估计 p ?p=0.7 或或 p=0.3如今重复试验如今重复试验 3 次次,得结果得结果: 0 , 0, 0由概率论的知识，可知：由概率论的知识，可知：3 次试验中出现次试验中出现 “1” 的次数的次数), 3(pBYk = 0, 1, 2, 33()(1)kn kP Ykppk 分析：分析：且：且：现将这计算结果列出如下：现将这计算结果列出如下：概率统计 将计算结果列表如下：将计算结果列表如下：p值值P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.02

15、7 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027出现出现估计估计出现出现出现出现出现出现估计估计估计估计估计估计0.3430.4410.4410.343注注: 引例引例1与引例与引例2都体现了极大似然法的都体现了极大似然法的基本思想基本思想 ：当试验中得到一个结果时，应选择当试验中得到一个结果时，应选择使得这个试使得这个试验结果出现的概率达到最大验结果出现的概率达到最大的这个值作为参数的这个值作为参数的估计值。的估计值。概率统计定义定义:作作似然函数：似然函数：121(,)nklkLf x 121(,)nklkP x (1). 极大似然估计量的定义

16、极大似然估计量的定义是相应于样本是相应于样本 12,nxxxnXXX,21的一组样本值。的一组样本值。其中其中设总体设总体X的概率密度函数为的概率密度函数为),(21lxf 或分布律为或分布律为12( ,),lP x 12,l 为未知参数。又设为未知参数。又设使得似然函数使得似然函数 L 达到极大值的达到极大值的12,l 或或概率统计称为参数称为参数 的的极大似然估计值极大似然估计值，记为：，记为：12,l 为参数为参数 的的极大似然估计量极大似然估计量12(,)inXXX i 注注:或随机点或随机点 取到取到 12(,)nXXX12,nxxx的概率。的概率。 12(,)inxxx (它与样本

17、值有关它与样本值有关)，记统计量：，记统计量：似然函数似然函数 L 是随机点是随机点 落在点落在点12(,)nXXX12(,)nxxx的邻域的邻域 (边长分别为边长分别为ndxdxdx,21的的 n 维立方体维立方体) 内的概率；内的概率；k 似然函数似然函数 L 是是 的函数。的函数。概率统计思路思路:从而此问题就转化为一般的求函数的最大值问题从而此问题就转化为一般的求函数的最大值问题. (2). 极大似然法的具体步骤极大似然法的具体步骤12(,)nXXX12,l 取到取到现要求现要求121211(,)(,)nnklklkkf xP x 或或的最大值，即求的最大值，即求 取什么值时函数取什么

18、值时函数 L达到最大。即其随机点达到最大。即其随机点 落在落在12(,)nxxx 的邻域内的概率或的邻域内的概率或 随机点随机点12(,)nxxx12(,)nXXX的概率最大。的概率最大。概率统计 具体步骤具体步骤(1) 作似然函数作似然函数 或或 1( )(,)nkkLf x 1( )(,)nkkLP x (2) 当似然函数可微且当似然函数可微且 的最大值能在参数空间的最大值能在参数空间取得时，求方程组取得时，求方程组: 的解，解得的解，解得( )L ln ( )0L 一解为一解为 ，则，则 为极大似然估计量（值）。为极大似然估计量（值）。 注注: 因为因为 与与 有相同的最大值点，而有相同

19、的最大值点，而且对数函数是单调增的，求且对数函数是单调增的，求 比比求求 方便，所以常取前者作为似然方便，所以常取前者作为似然函数。函数。ln ( )L max ( )L ( )L maxln ( )L 概率统计 按照求函数极值的方法，在求方程组：按照求函数极值的方法，在求方程组：ln ( )0L 的解后还应该用极值的的解后还应该用极值的充分条件充分条件对解做进一步的判断，但又由最值原理，如果最对解做进一步的判断，但又由最值原理，如果最值存在，此方程组求得的驻点即为所求的最值点。值存在，此方程组求得的驻点即为所求的最值点。极大似然估计法一般属于这种情况，所以可直接极大似然估计法一般属于这种情况

20、，所以可直接按步骤按步骤(2)求的其值。求的其值。 当似然函数当似然函数不可微不可微或方程组或方程组无解无解时，则应根据定时，则应根据定义直接寻求能使义直接寻求能使 达到最大值的解作为极大达到最大值的解作为极大似然估计量。似然估计量。( )L 极大似然估计法也适用于极大似然估计法也适用于多个未知参数多个未知参数的情形。的情形。概率统计例例3.求求: 的极大似然估计量的极大似然估计量2, 是是 X 的一个样本值的一个样本值12,nxxx2( ,),XN 2,设设 为未知参数，为未知参数， 解解:22()221( ;,)2xf xe X的密度函数为：的密度函数为： 作似然函数：作似然函数：22()

21、2112ixniLe 2211()21()2niixne 为计算方便对为计算方便对 L 两边两边取对数取对数得得:概率统计令：令：2110niiLxn 222221ln1()022()niiLnx 解得所求为解得所求为:11niixXn 2221111()()nniiiixxXnn与矩估计法与矩估计法所得的结论所得的结论是一致的是一致的（见例（见例1） niixnnL1222)(21ln2)2ln(2ln 概率统计niXieL11)(1 , 0,( , (0) 0 , 0,xexf xx）( ),XEXPniiXne11Xnne)(L)(lnL0d)(dln2XnnL.X12,nXXXMLE.概率统计例例4.bujiang 设设 为参数都是未知的正态总体的为参数都是未知的正态总体的一个样本一个样本 nXXX21,求求: 的极大似然估计的极大似然估计)(tXP 解解:211( ,)niiXXNnn ()()XtP XtPnn()tn 22( ,),iXN