《概率论 参数估计》课件

第七章参数估计7-1参数估计问题假设检验问题点估计区间估计统计推断

DE基本问题7-2

总体样本统计量描述作出推断研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质.随机抽样

现在我们来介绍一类重要的统计推断问题

参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.参数估计估计废品率估计新生儿的体重估计湖中鱼数……估计降雨量在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.这类问题称为参数估计.参数估计问题的一般提法X1,X2,…,Xn要依据该样本对参数作出估计，或估计的某个已知函数.现从该总体抽样，得样本设有一个统计总体，总体的分布函数向量).为F(x,)，其中为未知参数(可以是参数估计的类型点估计——估计未知参数的值区间估计——估计未知参数的取值范围，并使此范围包含未知参数真值的概率为给定的值.（假定身高服从正态分布）设这5个数是:1.651.671.681.781.69估计为1.68，这是点估计.这是区间估计.估计在区间[1.57,1.84]内，假如我们要估计某队男生的平均身高.现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值的估计.而全部信息就由这5个数组成.一、点估计概念及讨论的问题例1

已知某地区新生婴儿的体重X~随机抽查100个婴儿…得100个体重数据10,7,6,6.5,5,5.2,

…呢?据此,我们应如何估计和而全部信息就由这100个数组成.§7.1点估计方法

为估计

,我们需要构造出适当的样本的函数T(X1,X2,…Xn)，每当有了样本，就代入该函数中算出一个值，用来作为的估计值.把样本值代入T(X1,X2,…Xn)

中，得到的一个点估计值

.T(X1,X2,…Xn)称为参数的点估计量，请注意，被估计的参数

是一个未知常数，而估计量T(X1,X2,…Xn)是一个随机变量，是样本的函数,当样本取定后，它是个已知的数值,这个数常称为

的估计值.二、寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘法4.贝叶斯方法……这里我们主要介绍前面两种方法.1.矩估计法其基本思想是用样本矩估计总体矩.理论依据:或P160-1结论它是基于一种简单的“替换”思想建立起来的一种估计方法.是英国统计学家K.皮尔逊最早提出的.大数定律记总体k阶矩为样本k阶矩为用相应的样本矩去估计总体矩的估计方法就称为矩估计法.记总体k阶中心矩为样本k阶中心矩为设总体的分布函数中含有k个未知参数都是这k个参数的函数,记为：,那么它的前k阶矩一般i=1,2,…,k从这k个方程中解出j=1,2,…,k那么用诸的估计量Ai分别代替上式中的诸,即可得诸的矩估计量：j=1,2,…,k

例2

设总体X在[a,b]上服从均匀分布,a,b未知.是来自X

的样本,试求a,b

的矩估计量.解即解得于是a,b的矩估计量为样本矩总体矩解

例3

设总体X的均值和方差都存在,未知.是来自X

的样本,试求的矩估计量.解得于是的矩估计量为样本矩总体矩例设总体X~N(,2),X1,X2,…,Xn为总体的样本,求,2的矩法估计量.例

设总体X~E(

),X1,X2,…,Xn为总体的样本,求

的矩法估计量.7-13一般,不论总体服从什么分布,总体期望

与方差

2存在,则它们的矩估计量分别为例4设从某灯泡厂某天生产的灯泡中随机抽取10只灯泡，测得其寿命为(单位:小时)1050,1100,1080,1120,12001250,1040,1130,1300,1200试用矩法估计该厂这天生产的灯泡的平均寿命及寿命分布的方差.解7-14例

设总体X~U(a,b),a,b未知,求参数a,b

的矩法估计量.7-15

方法用样本

k

阶矩作为总体

k

阶矩的估计量,建立含有待估参数的方程,从而解出待估参数7-9

矩法2种常用的点估计方法

矩法的优点是简单易行,并不需要事先知道总体是什么分布.

缺点是，当总体类型已知时，没有充分利用分布提供的信息

.一般场合下,矩估计量不具有唯一性.其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性.

2.极大似然法是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的,GaussFisher然而，这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.

极大似然法的基本思想先看一个简单例子：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.下面我们再看一个例子,进一步体会极大似然法的基本思想.你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.这个例子所作的推断已经体现了极大似然法的基本思想.

例

设X~B(1,p),p未知.设想我们事先知道p只有两种可能:问:应如何估计p?p=0.7或p=0.3如今重复试验3次,得结果:0,0,0由概率论的知识,3次试验中出现“1”的次数k=0,1,2,3

将计算结果列表如下：应如何估计p?p=0.7或p=0.3k=0,1,2,3p值 P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.7 0.0270.189 0.441 0.3430.3 0.3430.441 0.189 0.027 出现估计出现出现出现估计估计估计0.3430.4410.4410.343

以上这种选择一个参数使得实验结果具有最大概率的思想就是极大似然法的基本思想.例设总体X服从0-1分布,且P(X=1)=p,

用极大似然法求

p

的估计值.7-18L(p)=f(X1,X2,…Xn;p)解：似然函数为:对数似然函数为：对p求导并令其为0，=0得即为p

的MLE.对于不同的p,L(p)不同,见右下图现经过一次试验，发生了，事件则

p

的取值应使这个事件发生的概率最大.7-19在容许范围内选择

p，使L(p)最大注意到，lnL(p)是L的单调增函数,故若某个p

使lnL(p)最大,则这个p必使L(p)最大。7-20所以为所求p的估计值.

(4)在最大值点的表达式中,用样本值代入就得参数的极大似然估计值.求极大似然估计(MLE)的一般步骤是：(1)由总体分布导出样本的联合概率函数

(或联合密度);(2)把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数看作自变量,

得到似然函数L();(3)求似然函数L()的最大值点(常常转化为求lnL()的最大值点)，即

的MLE;一般,设X为离散型随机变量,其分布律为则样本X1,X2,…,Xn的概率分布为7-21或称L()为样本的似然函数称这样得到的为参数

的极大似然估计值称统计量为参数

的极大似然估计量7-22

MLE简记

mle简记选择适当的=,使取最大值,即L()极大似然法的思想若X

连续,取f(xi,

)为Xi

的密度函数似然函数为7-23注1注2未知参数可以不止一个,如

1,…,

k

设X

的密度(或分布)为则定义似然函数为若关于

1,…,

k可微,则称为似然方程组若对于某组给定的样本值x1,x2,…,xn，参数使似然函数取得最大值,即则称为

1,…,

k

的极大似然估计值7-24显然，称统计量为

1,

2,…,

k

的极大似然估计量7-25例设总体X~N(

,

2),x1,x2,…,xn是

X

的样本值,求

,

2的极大似然估计.7-26极大似然估计方法1）写出似然函数L2）求出,使得7-28可得未知参数的极大似然估计值然后,再求得极大似然估计量.7-29L是的可微函数,解似然方程组若

L不是的可微函数,需用其它方法求极大似然估计值.请看下例：若例设X~U(a,b),x1,x2,…,xn是

X

的一个样本值,求

a,b的极大似然估计值与极大似然估计量.解X的密度函数为似然函数为7-30似然函数只有当a<xi<b,i=1,2,…,n时才能获得最大值,且a越大,b越小,L越大.令xmin=min{x1,x2,…,xn}xmax=max{x1,x2,…,xn}取则对满足的一切a<b,7-31都有故是a,b的极大似然估计值.分别是a,b的极大似然估计量.7-32极大似然估计的不变性设是

的极大似然估计值,u(

)(

)是

的函数,且有单值反函数=(u),uU则是u(

)的极大似然估计值.7-35不变性如在正态总体N(

,

2)中,

2的极大似然估计值为是

2的单值函数,且具有单值反函数，故

的极大似然估计值为lg

的极大似然估计值为7-36这一讲，我们介绍了参数点估计，给出了寻求估计量最常用的矩法和极大似然法.参数点估计是用一个确定的值去估计未知的参数.看来似乎精确，实际上把握不大.为了使估计的结论更可信，需要引入区间估计.这是下一讲的内容.例4：设

X

∼U(a,b)，求a,b的极大似然估计。

解：因所以由上式看到：L(a,b)作为a和b的二元函数