《统计计算及统计软件》课件ch3

第三章参数估计

3.1点估计

3.2评价标准 3.3区间估计概述 3.4正态总体区间估计 3.5非正态总体区间估计 3.6Bootstrap区间估计

方法篇：参数估计(第三章）第三章参数估计

方法篇：参数估计(第三章）在上述背景下，所作的估计，就是所谓的参数估计。第三章参数估计

3.1点估计—矩估计[K.Pearson,1894]

统计思想涵盖以下3点： (1)总体矩通常是未知参数的函数 (2)大数定律可知，样本矩依概率收敛于总体矩 (3)联立可构造近似方程组，并可求解

例1：

方法篇：参数估计(第三章）第三章参数估计

3.1点估计—矩估计

单参数通用模式：

双参数通用模式：

多参数通用模式：方法篇：参数估计(第三章）第三章参数估计

3.1点估计—矩估计

例2:设总体X~U(0,A),A>0未知，求A的矩估计量若样本观测值分别为1,2,9,8和1,2,13,8,则A的矩估计值分别是多少?

思考几个问题[1]： (1)矩估计的边界矛盾 (2)矩估计的唯一性 (3)矩估计的存在性 (4)矩估计的评价

方法篇：参数估计(第三章）[1]王宗尧,姜红燕,朱洪波.矩估计法的若干问题讨论[J],菏泽学院学报,2013,35(2):10-12第三章参数估计

3.1点估计—矩估计

例2的实验模拟。#关于矩估计边界问题的模拟，A是其上界，但是估计经常超出AA=10;times=100;n=30moments=numeric(times)for(iin1:times){x=runif(n,0,A);moments[i]=2*mean(x)}plot(1:times,moments,type='o',col='red');abline(h=A)方法篇：参数估计(第三章）[1]王宗尧,姜红燕,朱洪波.矩估计法的若干问题讨论[J],菏泽学院学报,2013,35(2):10-12第三章参数估计

3.1点估计—极大似然估计[R.A.Fisher1912]

一种理论性和实践性都非常强的估计方法，历经百年而不衰！

基本思想在于： (1)若事件发生的概率越大则在现实中越有可能发生 (2)不同取值的未知参数对应事件发生的概率也不尽相同 (3)通过最优化或边界分析能得到使得事件发生概率达到最大的参数值方法篇：参数估计(第三章）第三章参数估计

3.1点估计—极大似然估计[R.A.Fisher1912]

首先有搞清楚研究的事件是什么？

其次这个事件的概率如何表达？

方法篇：参数估计(第三章）第三章参数估计

3.1点估计—极大似然估计[R.A.Fisher1912]

明确优化的由来：样本值一旦观测就固定,且邻域dx也是固定的,只有未知参数是可变的，所以有：

最后：如何计算得到满足上式的未知参数值？

对数化：变连乘为累加极值偏导方程组联立求解

若无解,则到边界分析取得最优值.方法篇：参数估计(第三章）第三章参数估计

3.1点估计—极大似然估计[R.A.Fisher1912]

例3:

方法篇：参数估计(第三章）第三章参数估计

3.1点估计—极大似然估计[R.A.Fisher1912]

例4(对例2)设总体X~U(0,A),A>0未知，求A的极大似然估计量若样本观测值分别为1,2,9,8和1,2,13,8,则A的估计值分别是多少?

解：

此时，需分析边界：，使L(A)最大，则只有取方法篇：参数估计(第三章）第三章参数估计

3.1点估计—极大似然估计[R.A.Fisher1912]

例5:

方法篇：参数估计(第三章）第三章参数估计

3.1点估计—极大似然估计[R.A.Fisher1912]R求数值解：x=rcauchy(200,1)#产生随机样本做测试，其中参数为1likely=function(mu,x)sum(log(1+(x-mu)^2))#转化成极小值函数optimize(likely,c(0,4),x=x) -----------------------------$minimum[1]1.036259#参数的估计$objective[1]259.6061#目标函数值方法篇：参数估计(第三章）第三章参数估计

3.1点估计—小结 (1)方法多样性:矩估计，极大似然估计； (2)各有优缺点，

矩：简单、不唯一、低阶无效则取高阶、越界等；

极：需密度函数，必有唯一解，更符合实际；

(3)谁更好？？？？方法篇：参数估计(第三章）第三章参数估计

3.2评价标准

评价一个估计量的好坏必须建立在以大量观测为基础的统计分析上。估计量是随机变量，参数是未知的常数。

定义偏差:

显然偏差也是一个随机变量，从统计意义上分析，实际上就是计算与偏差有关的数字特征，从特征角度来评价估计量的优劣。

方法篇：参数估计(第三章）第三章参数估计

3.2评价标准 (1)无偏性 (2)无偏前提下的有效性方法篇：参数估计(第三章）第三章参数估计

3.2评价标准 (3)均方误差{无偏有偏均可}

显然若是无偏，则均方误差评价就退化为有效性评价。方法篇：参数估计(第三章）第三章参数估计

3.2评价标准 (4)一致(相合)性

一致性给出了样本容量n对估计的影响表述，即随着样本容量n的增大，估计量应该呈现出稳定于待估参数的趋势特性。方法篇：参数估计(第三章）第三章参数估计

3.2评价标准

理论/实验论证：

实验：以正态分布N(70,16)为总体，估计量构造如下

设计：某个总体，抽样作100次，每次容量由100增到10000，上述4个统计量各自计算了100次，绘制成图作直观对比。

方法篇：参数估计(第三章）第三章参数估计

3.2评价标准times=100;n=seq(10,2000,length=times)mat=matrix(0,nrow=times,ncol=4)for(iin1:times){x=rnorm(n[i],70,4)mat[i,1]=mean(x);mat[i,2]=(x[1]+x[n[i]])/2;mat[i,3]=(min(x)+max(x))/2;mat[i,4]=median(x)}matplot(mat,type='l',col=1:4)legend(70,66,c("mean","mid","half","median"),lty=1:4,col=1:4)方法篇：参数估计(第三章）第三章参数估计

3.3区间估计概述

点估计给出参数值的估计,但无法给出取该值的可信度,这在实际应用中是有缺陷的.为此，提出区间估计这种方法,它既给出参数的值的估计又能给出精度、可信度的表达。

形式上,对于给定的可信度(置信度),寻找参数的一对估计区间，使得该区间包含的概率为

方法篇：参数估计(第三章）第三章参数估计

3.3区间估计概述

这是一个随机区间，因此需要基于统计意义对其加以说明。 (1)希望越短越好，因为它表示了估计的精度； (2)希望越大越好，因为它表示了估计的可信度。

但是，这两个需求是矛盾的，可信度越大必然导致区间长度变大。因此只能先确定一个要求，去优化另一个要求。方法篇：参数估计(第三章）第三章参数估计

3.3区间估计概述

通常先确定置信度，进而寻求最短的区间长度。这个理论和方法最早是由J.Neyman,1934年引入的。

此时称为参数关于置信度的双侧置信区间，称为置信下限，称为置信上限。

实际问题中，有时候更关心参数的上限或下限，若满足

则称或

为单侧置信区间

。方法篇：参数估计(第三章）第三章参数估计

3.3区间估计概述

通用的求解过程： (1)在参数的点估计的基础上构造含参数但不含其他任何未知信息的样本函数T，使其服从完全已知的分布。{最具创意部分} (2)将

正因为T的分布已知，所以a,b可以确定，通常由双侧分位点取代。若是单侧区间估计则由单侧的分位点取代。{考验推导能力}方法篇：参数估计(第三章）第三章参数估计 3.4正态总体区间估计

单正态总体只有两个参数，因此关于它们的区间估计可归结为： (1)方差已知,期望的区间估计(2)方差未知,期望的区间估计 (3)期望已知,方差的区间估计(4)期望未知,方差的区间估计

双正态总体有四个参数，因此关于它们的区间估计可归结为： (5)方差均已知期望差的区间估计(6)方差均未知(相等)期望差的区间估计 (7)方差均未知(不等)期望差的区间估计 (8)方差均未知(样本量较大)期望差的区间估计 (9)均值均已知方差比的区间估计(10)均值均未知方差比的区间估计方法篇：参数估计(第三章）第三章参数估计 3.4正态总体区间估计 (2)方差未知,期望的区间估计方法篇：参数估计(第三章）第三章参数估计 3.4正态总体区间估计 (10)均值均未知方差比的区间估计方法篇：参数估计(第三章）第三章参数估计 3.5非正态总体区间估计

思路是一样的，关键在于构造含参函数使之服从已知分布！ (1)指数分布参数的区间估计

方法篇：参数估计(第三章）第三章参数估计 3.5非正态总体区间估计

有时候可以利用中心极限定理来近似解决区间估计！ (2)0-1分布参数的区间估计

方法篇：参数估计(第三章）第三章参数估计

参数型区间估计通常都需要推导一个“枢轴统计量”来完成，要么精确要么近似服从某一已知分布。请完成以下问题：

有一样本观测值如下：50.20090,51.21600,51.77013,50.75797,50.96502,49.74111,50.75257,49.30683,49.86755,49.52322.样本容量=10，

问：均值的置信度为95%的区间估计？方法篇：参数估计(第三章）第三章参数估计 3.6Bootstrap区间估计

基本思想：通过重复的子样本，计算待估参数或特征的值，再对值进行排序，然后根据区间估计的取法，得到分界点作为估计。假设估计参数或特征的统计量为 (1)由样本

生成子样本 (2)计算统计量值 (3)对 (4)依据方法篇：参数估计(第三章）第三章参数估计

实验探讨： (1)均方误差的bootstrap方法实现 (2)正态总体参数的估计法与bootstrap法的比较 (3)非正态总体参数的估计法与bootstrap法的比较 (4)未知总体分布的特征的估计方法比较方法篇：参数估计(第三章）第三章参数估计 3.6Bootstrap区间估计 (1)均方误差的bootstrap方法实现

均方误差：需要知道参数的值才能准确估计，但参数的真值通常是未知的。以什么来代替参数的值是个问题，如何计算出均方误差的估计也是个问题。

通常的做法：假设参数的估计量为，代入样本观测值得到的函数值作为参数的真值替代。以众多自助样本得到的估计与的偏差平方的平均来估计均方误差。方法篇：参数估计(第三章）第三章参数估计(1)均方误差的bootstrap方法实现

以N(70,16)的期望为参数，求均方误差的bootstrap估计,并与真实结果比较。getmse=function(n,mu,xigma,times=1000){x=rnorm(n,mu,xigma);mu0=mean(x)mus=numeric(times)for(iin1:times)mus[i]=mean(sample(x,n,replace=TRUE))boot.mse=mean((mus-mu0)^2);real.mse=xigma^2/nc(boot.mse=boot.mse,real.mse=real.mse)}sapply(c(20,50,100),getmse,mu=70,xigma=4)方法篇：参数估计(第三章）[,1][,2][,3]boot.mse0.78460680.28766330.1536183real.mse0.80000000.32000000.1600000第三章参数估计(2)正态总体参数的估计法与bootstrap法的比较-方差区间估计erval=function(x,conf.level=0.95,times=10000){s2=var(x);n=length(x)ch1=qchisq((1-conf.level)/