概率论课件第七章7

1、7.1 点估计1. 点估计问题的提法2. 估计量的求法3. 小结2统计估计问题假设检验问题参数估 计非参数估 计统计推断 的基本问题参数估计的类型点估计 估计未知参数的值区间估计 估计未知参数的取值范围， 并使此范围包含未知参数 真值的概率为给定的值.1.点估计问题的提法 设总体 X 的分布函数形式已知, 但它的一个或多个参数为未知, 借助于总体 X 的一个样本来估计总体未知参数的值的问题称为点估计问题.点估计问题的一般提法2.估计量的求法 由于估计量是样本的函数, 是随机变量, 故对不同的样本值, 得到的参数值往往不同, 如何求估计量是关键问题.常用构造估计量的方法: (两种)矩估计法和极大

2、似然估计法.(1). 矩估计法2. 样本 k 阶(原点)矩矩估计法的定义 用样本矩来估计总体相应的原点距,从而得到参数的估计量的方法称为矩估计法，这样的估计量称为矩估量。矩估计法的具体做法:例2设总体X的概率密度为其中为待估参数，设是来自X的一个样本，求的矩估计量.解 总体X 的一阶矩为以一阶样本矩代替上式中的一阶总体矩 ，从中解出 ， 得到的矩估计量为 例3设总体X的概率密度为其中为待估参数，设是来自X的一个样本，求的矩估计量.解 总体X 的一阶、二阶矩分别为分别以一阶、二阶样本矩代替上两式中的有从中解得即得到的矩估计量为解根据矩估计法,例4解例5解方程组得到a, b的矩估计量分别为解解方程

3、组得到矩估计量分别为例6上例表明: 总体均值与方差的矩估计量的表达式不因不同的总体分布而异.一般地, 2. 极大似然法 是在总体类型已知条件下使用的一种参数估计方法 . 它首先是由德国数学家高斯在1821年提出的 , GaussFisher然而，这个方法常归功于英国统计学家费歇 (Fisher). 费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 . 极大似然法的基本思想 先看一个简单例子：一只野兔从前方窜过 .是谁打中的呢？某位同学与一位猎人一起外出打猎 .如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下 . 你就会想，只发一枪便打中,猎人命中的概率一般大于这位同

4、学命中的概率. 看来这一枪是猎人射中的 . 这个例子所作的推断用到了小概率原理.小概率原理：一个概率非常小的一个事件在一次试验中几乎是不可能发生的；也就是说，如果一个事件在一次试验中居然发生了，那么这个事件发生的概率不可能很小，而应认为其概率会尽可能地大极大似然估计方法是利用小概率原理来建立对未知参数的估计量.例设总体，现从中抽取一个样本观察值（500,300,600,400,700),试估计 的值解:设为样本，在一次试验中事件发生了，而 由小概率原理，这个概率不会太小，应尽可能大，即求这个概率的最大值它是的函数,问题转化为求使得这个函数达到最大,我们称这个函数为似然函数,简记为L().利用求

5、导可得到当 =500时，这个函数即概率达到最大因此，我们有理由认为参数为500.这就是极大似然估计 极大似然估计原理： 当给定样本X1,X2,Xn时，定义似然函数为： 设X1,X2,Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f (X1,X2,Xn; ) .f (X1,X2,Xn; ) 似然函数： 极大似然估计法就是用使 达到最 大值的 去估计 . 称 为 的极大似然估计（MLE）. 看作参数 的函数，它可作为 将以多大可能产生样本值X1,X2,Xn的一种度量 . f (X1,X2,Xn; ) (4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然

6、估计值 .求极大似然估计(MLE)的一般步骤是：(1) 由总体分布导出样本的联合概率函数 (或联合密度);(2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;两点说明：1、求似然函数L( ) 的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是 的一个可微函数。通过求解所谓“似然方程”：可以得到 的MLE . 若 是向量，上述方程必须用似然方程组代替 .2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 .两点说明： 下面举例说明如何求极大似然估计L(p)= f (X1,X2,Xn; p ) 例 设X1,X2,Xn是取自总体 XB(1, p) 的一个样本，求参数p的极大似然估计.解：似然函数为: 对数似然函数为：对p求导并令其为0，=0得即为 p 的MLE .例 设总体 X N (, 2),