《数据科学统计基础（第二版）》 课件 第二章 参数估计

参数估计第二章第2章参数估计点估计与无偏性PART2.12.1点估计与无偏性定义2.1.1

2.1点估计与无偏性定义2.1.1参数通常指如下几种，它们都可以表示为总体概率分布的函数，记为𝜃=𝑡(𝑓)或𝜃=𝑡(𝐹)。分布中所含的未知常数;分布中的期望、方差、标准差、分位数等特征数;某事件的概率等。一个参数的估计量常不止一个，如何评价其优劣性呢？常用的评价标准有多个，如无偏性、有效性、均方误差最小与相合性。本节先讲无偏性，其他几个评价标准以后再作介绍。2.1点估计与无偏性定义2.1.2

2.1点估计与无偏性定义2.1.2图2.1.12.1点估计与无偏性定义2.1.2

2.1点估计与无偏性例2.1.1

2.1点估计与无偏性例2.1.1

2.1点估计与无偏性

2.1点估计与无偏性表2.1.1正态标准差的修偏系数表第2章参数估计矩估计与相合性PART2.22.2矩估计与相合性2.2.1矩估计矩估计是一种具体的寻找点估计的方法,它的基本思想是“替代”，具体是:用样本矩(即矩统计量)估计总体矩。用样本矩的函数估计总体矩的相应函数。2.2矩估计与相合性2.2.1矩估计这里的矩可以是各阶原点矩,也可以是各阶中心矩。这一思想是英国统计学家皮尔逊

(K.Pearson)在1900年提出的。该思想合理,方法简单,使用方便,只要总体矩存在的场合都可使用。该思想后人称为矩法,

所得估计称为矩估计。2.2矩估计与相合性例2.2.1

2.2矩估计与相合性例2.2.1

2.2矩估计与相合性例2.2.2

2.2矩估计与相合性例2.2.3设样本X1,X2,···,Xn来自正态总体N(µ,σ2),µ与σ未知，求p=P(X<1)的估计。2.2矩估计与相合性解

2.2矩估计与相合性

2.2矩估计与相合性2.2.2相合性2.2矩估计与相合性定义2.2.1

2.2矩估计与相合性定义2.2.1

2.2矩估计与相合性

2.2矩估计与相合性定理2.2.1（辛钦大数定律）

2.2矩估计与相合性定理2.2.2

2.2矩估计与相合性定理2.2.2证

2.2矩估计与相合性

2.2矩估计与相合性故有由τ的任意性,定理得证。

2.2矩估计与相合性例2.2.4

2.2矩估计与相合性例2.2.4

最大似然估计与渐近正态性PART2.32.3最大似然估计与渐近正态性2.3.1最大似然估计定义2.3.1

2.3最大似然估计与渐近正态性2.3.1最大似然估计例2.3.1

设X=(X1，X2，···，Xn)是来自二点分布𝑏(1，𝜃)的一个样本，其中诸Xi非0即1，𝜃∈[0，1]是成功概率，该样本的联合分布为：2.3最大似然估计与渐近正态性2.3.1最大似然估计图2.3.1成功概率𝜃的似然函数2.3最大似然估计与渐近正态性2.3.1最大似然估计

对其求导，并令导函数为零可得对数似然方程，在本例中

2.3最大似然估计与渐近正态性2.3.1最大似然估计

2.3最大似然估计与渐近正态性2.3.1最大似然估计例2.3.2设某机床加工的轴的直径与图纸规定的尺寸的偏差服从N(µ，σ2)，

其中µ，σ2未知。为估计µ与σ2，

从中随机抽取n=100根轴，测得其偏差为X1，X2，···，X100。试求µ，σ2的最大似然估计。2.3最大似然估计与渐近正态性2.3.1最大似然估计

解

2.写出对数似然函数：

2.3最大似然估计与渐近正态性2.3.1最大似然估计3.分别对

µ与

σ2求偏导，并令它们都为0，得到对数似然方程为：解

2.3最大似然估计与渐近正态性2.3.1最大似然估计

2.3最大似然估计与渐近正态性2.3.1最大似然估计例2.3.3设X=(X1，X2，···，Xn)是来自均匀分布U(0，θ)的一个样本，求

θ的MLE2.3最大似然估计与渐近正态性2.3.1最大似然估计

解其中X(n)是样本的最大次序统计量。图2.3.2均匀分布U(0，θ)中θ的似然函数2.3最大似然估计与渐近正态性2.3.1最大似然估计这里并不能使用一阶条件求函数极值，因此使用MLE的定义求θ的MLE。

2.3最大似然估计与渐近正态性2.3.1最大似然估计

为了说明这一点，我们可求得最大次序统计量X(n)的密度函数：2.3最大似然估计与渐近正态性2.3.1最大似然估计

可见，同一参数的无偏估计不止一个，它们的进一步比较将在下一节讨论。2.3最大似然估计与渐近正态性2.3.1最大似然估计例2.3.4设X=(X1，X2，···，Xn)是来自均匀分布U(θ，θ+1)的一个样本，其中θ可为任意实数，现要寻求θ

的MLE。2.3最大似然估计与渐近正态性2.3.1最大似然估计

解该似然函数在其不为零的区域上是常数，只要𝜃不超过X(1)或𝜃+1不小于X(n)都可使𝐿(𝜃)达到极大，即

2.3最大似然估计与渐近正态性2.3.1最大似然估计例2.3.5它有两个参数，µ可取任意实数，称为位置参数；σ>0称为尺度参数。

现要求µ与σ的MLE。设X=(X1，X2，···，Xn)是来自双参数指数分布exp(µ，σ)的一个样本，该分布的密度函数为：

2.3最大似然估计与渐近正态性2.3.1最大似然估计先写出µ与σ的似然函数，在非零区域上有解

这虽是在固定σ下寻求µ的最大值，但没有具体规定σ的值。

即σ为任意值时µ的MLE都为X(1)。

2.3最大似然估计与渐近正态性2.3.1最大似然估计

解此对数似然方程，可得σ的MLE为：这是因为对任意的µ与σ，有

2.3最大似然估计与渐近正态性2.3.1最大似然估计例2.3.6

2.3最大似然估计与渐近正态性2.3.1最大似然估计由二元正态密度函数可以写出σ2与ρ的似然函数：解

2.3最大似然估计与渐近正态性2.3.1最大似然估计经验证，它们确实使似然函数L(σ2，ρ)达到最大值，

故它们分别是σ2与ρ的MLE。解之可得

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理定理2.3.1(不变原理)

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理例2.3.7某产品生产现场有多台设备，设备故障的维修时间T服从对数正态分布LN(µ，σ2)。现在一周内共发生24次故障，其维修时间t(单位：

分)为：平均维修时间µT

与维修时间的标准差σT

的MLE。可完成95%故障的维修时间t0.95(0.95分位数)的MLE。1228125475853368851110407564115485260728710555826665求2.3最大似然估计与渐近正态性这个问题的一般提法是：设t1，t2，···，tn是来自对数正态分布LN(µ，σ2)的一个样本，现要对其均值µT、标准差σT和0.95分位数t0.95分别给出MLE。解2.3.2最大似然估计的不变原理（1）对数正态分布LN(µ，σ2)的均值和方差分别为：若能获得µ与σ2的MLE，由不变原理立即可得µT与σT的MLE。

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理当T∼LN(µ，σ2)时，有X=lnT∼N(µ，σ2)。

由此可知，lnt1，lnt2，···，lntn是来自正态分布

N(µ，σ2)的一个样本，由此可得µ与σ2的MLE分别为(见例2.3.2)：

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理从而可得对数正态分布的均值µT与方差σT2的MLE分别为：这表明，该生产现场设备的平均维修时间约为68分钟，维修时间的标准差约为26分钟。

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理（2）为了给出t0.95的MLE，我们先对对数正态分布LN(µ，σ2)的p

分位数tp

给出一般表达式，记维修时间T的

的分布函数为F(t)，则有

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理例2.3.8设某电子设备的寿命（从开始工作到首次发生故障的连续工作时间，单位：小时）服从指数分布exp(λ)。现任取15台进行寿命试验，按规定到第7台发生故障时试验停止，所得7个寿命数据为：500 1350 2130 2500 3120 3500 3800这是一个不完全样本，常称为定数截尾样本，现要对其寻求平均寿命θ=1/λ的MLE。2.3最大似然估计与渐近正态性

解2.3.2最大似然估计的不变原理

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理其中，p

与F

分别为指数分布的密度函数与分布函数代入后，略去与参数无关的量，即得λ的似然函数

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理

用微分法可得对数似然方程

2.3最大似然估计与渐近正态性2.3.2最大似然估计的不变原理在本例中，n=15，r=7，t(r)=3800，首先算得总试验时间由此可得平均寿命(单位：小时)的MLE

为:

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性定义2.3.2

或依分布收敛符号L

记为:

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性例2.3.9

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性或

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性例2.3.10

前面已经指出：

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性则由中心极限定理知

或

考虑到n/(n−1)→1，又有有

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性这表明

S2

是σ2的渐近正态估计，其渐近方差为2σ4/n。综上所述，有

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性定理2.3.2

则有下述三个结论成立：

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性定理2.3.3设p(x;θ)是某密度函数，其参数空间Θ={θ}是直线上的非退化区间，假如：（1）对一切θ∈Θ，p=p(x;θ)对θ的如下偏导数都存在（2）对一切θ∈Θ，有成立，其中F1(x)与F2(x)在实数轴上可积，而H(x)满足这里M与θ无关。

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性定理2.3.3（3）对一切θ∈Θ，有

其中，I(θ)称为费希尔信息量，有时还简称信息量。

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性定义2.3.3

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性例2.3.11求二点分布b(1,θ)参数

θ的费希尔信息量，其分布列为:

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性解可以验证，二点分布属于Cramer-Rao正则族。为求其费希尔信息量，要进行如下运算:

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性例2.3.12设X1,X2,···,Xn是来自正态总体N(µ,σ2)的一个样本，可以验证，正态分布属于Cramer-Rao正则族。

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性

从而

2.3最大似然估计与渐近正态性2.3.3最大似然估计的渐近正态性在已知µ的条件下,σ的MLE是

而𝜎的费希尔信息量的计算如下:

从而

2.3最大似然估计与渐近正态性2.3.4EM算法MLE是一种非常有效的参数估计方法，但当分布中有多余参数或数据为截尾或缺失时，其MLE的求取是比较困难的。于是Dempster等于1977年提出了EM算法，其出发点是把求MLE的过程分两步走。第一步求期望，以便把多余的部分去掉；第二步求最大值。2.3最大似然估计与渐近正态性2.3.4EM算法Dempster等人建议如下分两步进行迭代求解首先，人为设一个θ的初值

θ(0)第一步(也称E-步)，在已知观测数据y和第i步估计值θ(i)条件下，求基于完全数据的对数似然函数(关于潜在变量z)的期望，称为Q函数：

第二步(也称M-步)，求Q(θ|y,θ(i))关于θ的最大值，记录对应的θ值进行更新:

𝜃重复以上两步，直到收敛即可得到θ的MLE。2.3最大似然估计与渐近正态性2.3.4EM算法

EM算法是一种引入潜在变量的方法,相比于其他同类方法,如缺失数据填补法等,EM算法较为简单和稳定,原因是每次迭代会使似然函数增大或达到局部极值(参考2.3.4节)EM算法只能保证收敛到一个稳定点,并不能保证其能够达到全局最优.2.3最大似然估计与渐近正态性2.3.4EM算法例2.3.13设一次试验可能有4个结果，发生的概率分别为1/2−θ/4，(1−θ)/4，(1+θ)/4，θ/4，θ∈(0,1)。现进行了197次试验，四种结果的发生次数分别为75,18,70,34,试求θ的MLE。2.3最大似然估计与渐近正态性以y1，y2，y3，y4

表示四种结果发生的次数，此时总体分布为多项分布，

其似然函数为我们可以通过最大化对数似然函数的方式求解θ的MLE。

2.3.4EM算法2.3最大似然估计与渐近正态性EM算法通过引入两个潜在变量

z1,z2后，通过迭代计算方式求解。假设第一种结果可以分成两个部分，发生的概率分别为(1−θ)/4和¼，令z1和y1−z1分别表示落入这两部分的次数；再假设第三种结果也分成两部分，发生的概率分别为θ/4和1/4，令z2和y3−z2分别表示落入这两部分的次数，z1,z2是不可观测的。也称(y,z)是完全数据，而只有观测数据y时称为不完全数据。此时完全数据的似然函数用Lc表示：2.3.4EM算法2.3最大似然估计与渐近正态性2.3.4EM算法

其对数似然为

然而此时由于z1

和z2

未知，上式无法直接求解，但我们注意到，当给定y，θ已知时，

2.3最大似然估计与渐近正态性2.3.4EM算法对于本例，可得到

所以

又知

所以

取θ(0)=0.5，则13次迭代后可求得θ的MLE为0.6067。2.3最大似然估计与渐近正态性定理2.3.4

2.3.4EM算法2.3最大似然估计与渐近正态性证

2.3.4EM算法2.3最大似然估计与渐近正态性上式两边求z在(Y,θ=θ(i))已知条件下的期望有2.3.4EM算法

(2.3.2)(2.3.2)式分别取θ=θ(i)和θ(i+1)，得

(2.3.3)(2.3.4)2.3最大似然估计与渐近正态性2.3.4EM算法(2.3.4)–(2.3.3)得

2.3最大似然估计与渐近正态性2.3.4EM算法例2.3.14给定数据X是n行p列的矩阵，每一行是一个样本点，每一列是一个变量，我们的目标是根据列变量的取值对样本点进行聚类，假定一共有K类。

在EM聚类方法中假定每一行观测有一个潜在的(未观测到的)指标向量Zi=(Zi1,Zi2,···,ZiK)，其中Zik=0或1，并且K个中只有一个等于1。如果Zik=1，那么表明第i个样本点属于第k类。向量Zi

服从多项分布，概率分布列为(π1,π2,···,πK)。2.3最大似然估计与渐近正态性

2.3.4EM算法2.3最大似然估计与渐近正态性2.3.4EM算法本例所要估计的参数为(µk,Σk,πk),k=1,...,K.EM算法步骤如下:首先，数据(X,Z)的完全似然函数可以写成：完全对数似然函数为:(2.3.5)

2.3最大似然估计与渐近正态性2.3.4EM算法为了得到该问题的Q函数，需要计算给定Xi时Zi的期望，也就是要得到如下概率值P(Zik=1|Xi)。根据全概率公式，有所以将(2.3.5)式Zik替换为γ(Zik)，即为Q函数。

(2.3.6)2.3最大似然估计与渐近正态性2.3.4EM算法

EM算法的参数估计步骤如下:最小方差无偏估计PART2.42.4最小方差无偏估计2.4.1无偏估计的有效性

图2.4.1θ的两个无偏估计的密度函数示意图2.4最小方差无偏估计2.4.1无偏估计的有效性因而，我们可以用估计量的方差去衡量两个无偏估计的好坏，从而引入无偏估计有效性的标准。2.4最小方差无偏估计2.4.1无偏估计的有效性定义2.4.1

例2.4.1

2.4最小方差无偏估计2.4.1无偏估计的有效性2.4最小方差无偏估计2.4.1无偏估计的有效性例2.4.2

2.4最小方差无偏估计2.4.2有偏估计的均方误差准则定义2.4.2

2.4最小方差无偏估计2.4.2有偏估计的均方误差准则

例2.4.3

2.4最小方差无偏估计2.4.2有偏估计的均方误差准则n

2.4最小方差无偏估计2.4.2有偏估计的均方误差准则

2.4最小方差无偏估计2.4.2有偏估计的均方误差准则以下数据是在n=10时算得的:表2.4.1三个估计的偏差平方、方差与均方误差

00.22220.22220.010.18000.19000.03300.14880.18182.4最小方差无偏估计

2.4.2有偏估计的均方误差准则表2.4.1可以对三个估计的优劣作出评价2.4最小方差无偏估计2.4.3一致最小方差无偏估计例2.4.4

2.4最小方差无偏估计定义2.4.3假如参数的无偏估计存在，则称此参数为可估参数。可估参数g（θ）

的无偏估计可能只有一个，也可能有多个。

在有多个无偏估计的场合，常用其方差作为进一步选择的指标。2.4.3一致最小方差无偏估计2.4最小方差无偏估计定义2.4.4

2.4.3一致最小方差无偏估计2.4最小方差无偏估计定理2.4.1

2.4.3一致最小方差无偏估计证2.4.3一致最小方差无偏估计

2.4最小方差无偏估计证2.4.3一致最小方差无偏估计

2.4最小方差无偏估计2.4最小方差无偏估计2.4.3一致最小方差无偏估计例2.4.5

2.4最小方差无偏估计2.4.3一致最小方差无偏估计例2.4.5

2.4最小方差无偏估计定理2.4.2

2.4.3一致最小方差无偏估计之前的定理是验证性的，加下来介绍构造UMVUE的方法

证2.4.3一致最小方差无偏估计

所以2.4最小方差无偏估计

证2.4.3一致最小方差无偏估计故得

2.4最小方差无偏估计2.4最小方差无偏估计例2.4.6

2.4.3一致最小方差无偏估计2.4最小方差无偏估计例2.4.62.4.3一致最小方差无偏估计

2.4最小方差无偏估计定义2.4.5

2.4.4完备性及其应用2.4最小方差无偏估计例2.4.7

2.4.4完备性及其应用2.4最小方差无偏估计

2.4.4完备性及其应用

2.4最小方差无偏估计

2.4.4完备性及其应用2.4最小方差无偏估计

2.4.4完备性及其应用2.4最小方差无偏估计一些结论简单随机样本的联合分布族总是不完备的指数型分布族，其充分统计量都是完备的次序统计量是完备的2.4.4完备性及其应用2.4最小方差无偏估计定理2.4.3

2.4.4完备性及其应用

证2.4.4完备性及其应用2.4最小方差无偏估计2.4最小方差无偏估计

2.4.4完备性及其应用证2.4最小方差无偏估计例2.4.8

2.4.4完备性及其应用

解2.4.4完备性及其应用2.4最小方差无偏估计

解2.4.4完备性及其应用2.4最小方差无偏估计考虑到诸X1,X2,···,Xn是相互独立的，且X2+X3+···+Xn服从参数为(n−1)λ的泊松分布，所以2.4.4完备性及其应用2.4最小方差无偏估计

2.4.4完备性及其应用2.4最小方差无偏估计

2.4最小方差无偏估计例2.4.9某厂生产一种产品，这种产品包装好后按一定数量放在盒子里。在检验产品时，检验员从每个盒子里随机选出一个容量为n的样本，并逐个检查每个样品的质量。假如样本中有2个或更多个不合格品，那么这一盒被认为是不合格品，退回工厂，而工厂要求质检员把每盒查出的废品通报厂方。2.4.4完备性及其应用2.4最小方差无偏估计例2.4.9

2.4.4完备性及其应用2.4最小方差无偏估计例2.4.9

2.4.4完备性及其应用2.4最小方差无偏估计例2.4.9

2.4.4完备性及其应用2.4最小方差无偏估计例2.4.9

2.4.4完备性及其应用2.4最小方差无偏估计例2.4.9

2.4.4完备性及其应用2.4最小方差无偏估计例2.4.9

2.4.4完备性及其应用例2.4.102.4最小方差无偏估计寻求二点分布b（1，p）的可估参数p（1−p）的UMVUE。2.4.4完备性及其应用使用求解方程的方法直接寻找UMVUE

解2.4.4完备性及其应用2.4最小方差无偏估计nt=0nt=0t=0n-1t=1n

比较左右两端的系数可得p（1−p）的UMVUE为：2.4最小方差无偏估计2.4.4完备性及其应用解

例2.4.112.4最小方差无偏估计

2.4.4完备性及其应用

解2.4.4完备性及其应用2.4最小方差无偏估计

2.4.4完备性及其应用2.4最小方差无偏估计C-R不等式PART2.52.5C-R不等式定理2.5.1

(2.5.1)2.5C-R不等式定理2.5.1证因为样本是简单样本，又记

由于

2.5C-R不等式定理2.5.1证所以

2.5C-R不等式定理2.5.1再利用协方差性质（即施瓦兹不等式）

将上述结果代回原式，即得C-R不等式。2.5C-R不等式定义2.5.1

2.5C-R不等式例2.5.1

2.5C-R不等式例2.5.2设X1,X2,···,Xn

是取自正态总体N(0,σ2)的一个样本，可以验证，正态分布族{N(0,σ2):σ>0}是C-R正则分布族。下面来求参数g(σ2)=σ2的C-R下界，由于

2.5C-R不等式利用E(x2k)=σ2k(2k−1)(2k−3)···1，可算得费希尔信息量

2.5C-R不等式

,都是σ2

的无偏估计，其方差分别为：,

2.5C-R不等式

2.5C-R不等式例2.5.3

2.5C-R不等式

置信区间PART2.62.6置信区间2.6.1置信区间概念定义2.6.1

1.区间估计及其置信度与置信系数2.6置信区间2.6.1置信区间概念定义2.6.1注1：从上述定义可知，构造一个未知参数的区间估计并不难。

一个参数的区间估计可以给出多种，但要给出一个好的区间估计需要有丰富的统计思想和熟练的统计技巧。注2：当置信度所示概率与参数θ无关时，置信度就是置信系数,以后我们将努力寻求置信度与θ无关的区间估计。注3：上述定义中区间估计用闭区间给出，也可用开区间或半开区间给出，由实际需要而定。1.区间估计及其置信度与置信系数2.6置信区间2.6.1置信区间概念例2.6.1它的置信度可用t分布算得，具体如下：

1.区间估计及其置信度与置信系数2.6置信区间2.6.1置信区间概念

例2.6.1由于t分布只依赖于其自由度n−1，而不依赖于未知参数µ与σ,所以用

t分布算得的置信度就是置信系数。在n=20，对k=1,2,3可算出其置信系数如下：其中：

1.区间估计及其置信度与置信系数例2.6.12.6置信区间2.6.1置信区间概念正态均值µ的三个区间估计的置信系数一个比一个高，第三个区间的置信系数达到0.99。

1.区间估计及其置信度与置信系数

2.6置信区间2.6.1置信区间概念例2.6.1其中：现转入考察这三个区间估计的平均长度由式(2.6.1)可知，

其平均长度为：

1.区间估计及其置信度与置信系数

2.6置信区间2.6.1置信区间概念例2.6.1由此可得平均长度为：

利用伽玛分布可算得

1.区间估计及其置信度与置信系数在保证置信系数的前提下，尽量缩短置信区间平均长度。2.6置信区间2.6.1置信区间概念定义2.6.2

2.置信区间2.6置信区间2.6.1置信区间概念

2.置信区间2.6置信区间2.6.1置信区间概念定义2.6.3在定义2.6.2的记号下，如对给定的α(0<α<1)恒有

3.同等置信区间2.6置信区间2.6.1置信区间概念定义2.6.4

4.置信限2.6置信区间2.6.1置信区间概念定义2.6.4

4.置信限定义2.6.52.6置信区间2.6.1置信区间概念设X=(X1,X2,···,Xn)是来自某总体分布Fθ(x)的一个样本，其中θ=(θ1,θ2,···,θk)是k维参数，其参数空间为Θ⊂Rk。假如对Θ的一个子集R(X)，有R(X)仅是样本X的函数；12对给定的α(0<α<1)，有概率不等式

5.置信域定义2.6.52.6置信区间2.6.1置信区间概念5.置信域则称R(X)是θ的置信水平为1−α的置信域（或置信集）。

而概率Pθ(θ∈R(X))在参数空间Θ上的下确界称为该置信域的置信系数，假如式(2.6.6)等号成立，且不依赖于θ，则称R(X)为1−α同等置信域。2.6置信区间2.6.2枢轴量法构造未知参数θ的置信区间的一种常用方法是枢轴量法，它的具体步骤是：

2.6置信区间2.6.2枢轴量法

2.6置信区间2.6.2枢轴量法例2.6.2设X1,X2,···,Xn是来自均匀分布U(0,θ)的一个样本，对给定的α(0<α<1)，寻求θ的1−α置信区间。2.6置信区间2.6.2枢轴量法用枢轴量法来寻求θ的置信区间，分几步进行。解

2.6置信区间2.6.2枢轴量法

它们都与θ无关，故可取G=X(n)/θ为枢轴量。其密度函数曲线见图2.6.3。2.6置信区间2.6.2枢轴量法对给定的置信水平1−α,适当选择c与d，使利用不等式等价变形，可得θ的1−α同等置信区间。

2.6置信区间2.6.2枢轴量法一个直观的方法是：把具有高密度值的点归入区间，使区间外的点的密度值不超过区间内的密度值，这种集最大密度点形成的区间（若可能）称为最大密度区间，此种区间长度应是最短的。

2.6置信区间2.6.2枢轴量法若(2.9,3.0,0.9,1.7,0.7)是取自均匀分布U(0,θ)的一个样本，其

x(5)=3.0。若取α=0.1，则θ的最优置信区间为；

2.6置信区间2.6.2枢轴量法

因为实践中人们对一次实现赋予一定概率是常见的事。如两人约定在某时间段会合，甲认为乙会按时到达的概率为0.9。又如一次球赛中观众认为甲队胜的概率为0.7等，都在一次实现中使用概率。2.6置信区间2.6.2枢轴量法例2.6.3设X1,X2,···,Xn是从指数分布exp(1/θ)中抽取的一个样本。其密度函数为:其中，θ>0为总体均值，即E(x)=θ，现要求θ的1−α置信区间(0<α<1)。

2.6置信区间2.6.2枢轴量法在指数分布场合，Tn=X1+X2+···+Xn是θ的充分统计量。由于指数分布是伽玛分布的特例，即Xi∼Ga(1,1/θ)。利用伽玛分布性质可知解

2.6置信区间2.6.2枢轴量法对给定的置信水平1−α，利用χ2分布的α/2和1−α/2分位数可得

再利用不等式等价变形可得：

2.6置信区间2.6.2枢轴量法

譬如，某产品的寿命服从指数分布exp(1/θ)，如今从中随机抽取9个样品进行寿命试验，获得如下9个寿命数据（单位：小时）可算得Tn=5329，若取α=0.1，可由计算机函数得到χ2分布α分位数χ20.05(18)=9.39，χ20.95(18)=28.87于是平均寿命θ的0.9同等置信区间为152457505531607645707822903

2.6置信区间2.6.2枢轴量法由于平均寿命θ是望大特性，越大越好，因此人们关心其单侧置信下限。它仍可用上述枢轴量2Tn/θ寻求θ的1−α单侧置信下限。由χ2(2n)分布的1−α分位数χ12−α(2n)可得

2.6置信区间2.6.2枢轴量法

2.6置信区间2.6.2枢轴量法例2.6.4设X1,X2,···,Xn是来自某分布函数F(x;θ)的一个样本，若此分布函数F(x;θ)既是x的连续函数，又是θ的严格单调函数，则可构造枢轴量，获得θ的置信区间。2.6置信区间2.6.2枢轴量法例2.6.4在X∼F(x;θ)，F是x的连续函数场合，可利用如下分布间的关系：

2.6置信区间2.6.2枢轴量法例2.6.4

P

P2.6置信区间2.6.2枢轴量法例2.6.4

2.6置信区间2.6.2枢轴量法例2.6.4

P2.6置信区间2.6.2枢轴量法例2.6.4再取对数即得θ的1−α置信区间为：

，，这个例子表明：在一定的条件下，枢轴量是广泛存在的。2.6置信区间2.6.3大量本置信区间

1.基于MLE的近似置信区间

2.6置信区间2.6.3大量本置信区间

1.基于MLE的近似置信区间

其中由此可得

2.6置信区间2.6.3大量本置信区间

1.基于MLE的近似置信区间

由此可得

2.6置信区间2.6.3大量本置信区间例2.6.5

设X1,X2,···,Xn是来自指数分布p(x;θ)=1/θe−x/θ(x>0)的一个样本。该总体的费希尔信息量为：

1.基于MLE的近似置信区间

2.6置信区间2.6.3大量本置信区间例2.6.51.基于MLE的近似置信区间

2.6置信区间2.6.3大量本置信区间

2.基于中心极限定理的近似置信区间

由此立即可得总体均值µ的近似1−α的等尾置信区间：

若其中σ未知，用σ2的相合估计（譬如样本方差S2）替代即可。正态总体参数的置信区间PART2.72.7正态总体参数的置信区间对于正态总体参数的置信区间，可以通过枢轴量法获得，其中枢轴量的分布本书1.5节均有介绍。表2.7.1给出了单总体正态均值、方差、标准差的置信区间。2.7正态总体参数的置信区间表2.7.1一个正态总体参数的置信区间编号参数条件枢轴量（1-a）%置信区间1234同（3）

2.7正态总体参数的置信区间

2.7正态总体参数的置信区间表2.7.2两个正态总体参数的置信区间编号参数条件枢轴量（1-a）%置信区间12

2.7正态总体参数的置信区间表2.7.2两个正态总体参数的置信区间编号参数条件枢轴量（1-a）%置信区间34

2.7正态总体参数的置信区间表2.7.2两个正态总体参数的置信区间编号参数条件枢轴量（1-a）%置信区间567同（6）

2.7正态总体参数的置信区间其中

2.7正态总体参数的置信区间需要说明的几点：第2行假设方差未知但相等，用合样本方差进行估计，枢轴量服从t分布；第3行是大样本正态近似的结果；2.7正态总体参数的置信区间需要说明的几点：第4行假设方差未知且不等，小样本下，枢轴量的分布未知，使用t分布近似。若l为非整数时，取最接近的整数；第5行假设X与Y不独立，数据成对出现，d=X−Y是一维正态分布，记为N(µd,σd2)，di=Xi−Yi,i=1,...,n是来自该分布的样本。µd=µ1−µ2

的置信区间按照一维情况处理。2.7正态总体参数的置信区间2.7.2二维参数(µ,𝜎2)的置信域

就取这两个量作为枢轴量，对给定的置信水平1−α，可以通过标准正态分布的分位数与χ2(n−1)的分位数确定三个数c,d1,d2,使得2.7正态总体参数的置信区间2.7.2二维参数(µ,𝜎2)的置信域

所以正态参数(µ,σ2)的1−α置信域为:这是两条平行线与一条二次曲线所围成的区域，见图2.7.1.