应用数理统计第二章参数估计(1)点估计课件

1回顾数理统计：由部分信息（带有随机性的数据）推断出合理的结果——统计推断。样本与总体总体的分布——统计模型，统计建模的目的即确定X的分布、参数等参数与参数空间直方图与经验分布函数统计量及其分布三种重要的抽样分布2参数估计与非参数估计参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。如:非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。3第二章参数估计总体X的分布形式已知，但含有未知参数。由样本来推断（估计）其中的未知参数——参数估计。点估计：，这是一个统计量，此处称为估计量，而称为估计值。区间估计：由两个统计量和构成一个区间，使，其中事先给定。5依据（原理）：

柯尔莫哥洛夫强大数定理：如果为相互独立且与X同分布，则

通过总体的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。．

2.1.1．矩法估计

样本矩是描述随机变量的最简单的数字特征，它在一定程度上反映总体的特征．这种用样本(原点)矩作为总体(原点)矩的估计量的方法称为矩估计法．6注：随机序列的收敛定义

是指，（以概率1收敛，或几乎处处收敛a.s）；是指依概率P收敛；还有依分布F收敛（弱收敛）以概率1收敛一定依概率收敛，但反之不一定成立。7若（X的k阶矩存在），也有

亦即，当n较大时，样本原点矩与总体矩非常接近。据此可得：矩估计法：若总体X中含有m个参数X的真实k阶矩存在，且为，显然，为θ的函数。8

设总体X的分布函数为F(x;1,2,...,m),其中1,2,...m为待估参数,如果ak=E(Xk)(k=1,2,..,m)存在,ak为1,2,…,k的函数,记ak=ak(1,2,…,k)(k=1,2,..,m),X1,X2,…,Xn为总体X的样本,用Ak来估计E(Xk),建立m个方程:A1=a1(1,2,…,m)A2=a2(1,2,…,m)…………….Am=am(1,2,…,m)1=1(A1,A2,…,Am)2=2(A1,A2,…,Am)…………….m=m(A1,A2,…,Am)用作为i的估计量------矩估计量.ik价样本矩例2．1（P30）若是总体的原点矩，则相应的样本矩是其矩估计量。10例2.3

设总体X服从[θ1,θ2]上的均匀分布，θ1,θ2未知，X1,X2,…,Xn为来自总体X的样本,试求θ1,θ2的矩估计量．解由矩估计法,得12【例2.5】设总体的密度函数为

得不到解析解，求数值解。【例2．6】柯西分布，各阶矩不存在，不能用矩估计法。142.1.2极大似然估计法（MLE）词义：最像什么就取什么。原理（概率论）：在一次试验中，已经发生（产生），则其事件发生的概率应该很大！小概率原理：小概率事件，在一次试验中（几乎）不可能发生。如乘飞机旅行。

极大似然法的原理:

例如有一个事件,若知道它出现的概率只能是0.01或0.99,而在一次观测中,此事件出现,此时自然会说它的概率应为0.99,因此,极大似然法是要选取这样的值来作为参数的估计值,使得当参数取这一数值时,观测结果出现的可能性为最大.15引例

设在罐中放有许多白球和黑球,已知两种球的数目之比为1:3,但不知哪种颜色的球多,若采用有放回方式从罐中取3个球,发现有一只黑球,问在此情况下应估计哪种颜色的球多?解：设p=黑球所占比例=则则p=1/4或p=3/4又设X=“取出的3只球中黑球的数目”认为p=1/416似然函数(1)设总体X是离散型随机变量，其分布律P{X=x}=p(x;)的形式为已知,

为待估参数,

是可能取值的范围。设X1,X2,…,Xn是来自X的样本，则

(X1,X2,…,Xn)的联合分布律为又设x1,x2,…,xn为样本X1,X2,…,Xn的观察值,称为样本的似然函数.(2)如果总体X是连续型随机变量，其概率密度为f(x;),样本的似然函数为:17则称为的极大似然估计值，定义若有,使得如何求L()的最大值?称为的极大似然估计量.当lnL()关于可微时,必满足方程:

由于L()与lnL()在上有相同的最大值点,所以求L()

与lnL()的最大值点可以改为求lnL()的最大值点.,即-----对数似然方程组18例2.8

设总体X~N(,2),,2均未知，又设X1,X2,...,Xn为总体X的样本,x1,x2,…,xn为X的一组样本观测值，试求,2

的极大似然估计值量.解似然函数为似然方程为20例2.10

设总体X~U(a,b),a,b

均未知，又设X1,2,...,Xn为总体X的样本,x1,x2,…,xn为X的一组样本观测值，试求a,b

的极大似然估计值量.(用定义)例2.11

设总体X服从参数为的柯西分布，求的极大似然估计值量（MLE）.得不到解析解，求数值解。21如果为参数的极大似然估计量，又函数具有单值反函数，则是的极大似然估计量．似然估计具有下述性质:例如在例2.8中已得到的极大似然估计为

函数有单值反函数根据上述性质，得到标准差的极大似然估计为23§2．2估计量的评价准则

由例2.3和例2.10的结果看出，对均匀分布总体参数的估计不一样，哪个好？例2.12若总体X~(),则未知参数的矩估计量为或即使用同一方法得出的估计量也不同。242.2.1．无偏性

定义2.1：如果，则称估计量为无偏估计量；如果记作，则称估计量为渐进无偏估计量。其中称作偏差。

可以验证是总体均值的无偏估计[例2.13]；但不是总体方差的无偏估计，是渐进无偏的。而是无偏的[例2.14]。

262.2.2最小方差性和有效性

定义2.2如果是的无偏估计量，且对于其任意无偏估计量，均有，对一切（参数空间），则称T为最小方差的无偏估计量（或最优无偏估计量）。用估计θ时，仅具有无偏性是不够的．我们希望的取值能集中于θ附近,而且密集的程度越高越好．方差是描述随机变量取值的集中程度的，所以无偏估计以方差小者为好,这就引进了有效性这一标准.

27例2.14’

设总体X的数学期望,方差2存在，X1,X2是X的样本，证明估计时,由定义知较有效．证明又因为所以均为的无偏估计，因为较有效.28

在实际应用中，找出最小方差的估计量不容易，若在一类分布和估计中找出所有无偏估计中方差的一个下界，则当某一估计量达到或接近即认为可行了。则（1）（2）（3）从以上可知35例2.15

设总体X~N(,2),,2均未知，又设X1,X2,...,Xn为总体X的样本,则的无偏估计是有效的,2

的无偏估计是渐近有效的。例2.16

若总体X~(),考虑未知参数的矩估计量为362.2.3其它几个准则

（一）最小均方误差准则

前述的最小方差性（有效性）只对无偏估计而言，对有偏估计量无意义。为使与尽量接近，考虑——称均方误差由得到的估计量称作最小均方误差估计量。

对于无偏估计，均方误差最小和方差最小是一致的。37（二）相合性（相合估计量）定义2.4设

是

的估计量，（即依概率收敛于），则称T是相合统计量。

实际应用中，要求样本信息量（即n）较大，但给出了一种保证，即只要能够获取足够的信息，就一定能得到足够精确的估计。38例2.15’

设总体X

的数学期望μ与方差σ2存在，是X的样本，证明用估计μ时，μn

是一致估计量．证明

由大数定理可知，对于任意的，有

所以

由极大似然法得到的估计量，在一定条件下也具有一致性,这里就不再讨论了．

39例2.17(P46)

设正态总体X

的数学期望μ与方差存在，()是X

的样本，试在形如αS2(α>0)的统计量中确定σ2