数理统计与随机过程ch7课件

数理统计与随机过程第七章主讲教师：李学京北京工业大学应用数理学院数理统计与随机过程主讲教师：李学京北京工业大学应用数理学院1第七章:参数估计数理统计的任务：

●总体分布类型的判断；

●总体分布中未知参数的推断(参数估计与

假设检验)。第七章:参数估计数理统计的任务：2参数估计问题的一般提法设总体

X

的分布函数为

F(x,θ)，其中θ为未知参数或参数向量，现从该总体中抽样,得到样本X1,X2,…,Xn.

依样本对参数θ做出估计，或估计参数θ的某个已知函数g(θ)。

这类问题称为参数估计。参数估计包括：点估计和区间估计。参数估计问题的一般提法设总体X的分布函数为F(3称该计算值为

µ

的一个点估计。为估计参数µ，需要构造适当的统计量

T(

X1,X2,…,Xn)，一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为

µ

的估计，

4寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘法4.贝叶斯方法

…我们仅介绍前面的两种参数估计法。寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘5其思想是:用同阶、同类的样本矩来估计总体矩。矩估计是基于“替换”思想建立起来的一种参数估计方法。最早由英国统计学家K.

皮尔逊

提出。§7.1矩估计其思想是:用同阶、同类矩估计是基于“替换”6矩估计就是用相应的样本矩去估计总体矩。矩估计就是用相应的样本矩去估计总体矩。7设总体

X

的分布函数中含

k

个未知参数步骤一：记总体

X

的

m

阶原点矩

E(Xm)为

am

,

m

=

1,2,…,k.am(1,2,…,k),

m=1,2,…,k.

一般地,am(m

=

1,2,

…,K)是总体分布中参数或参数向量(1,

2,

…,

k)

的函数。

故,am(m=1,

2,…,k)应记成:设总体X的分布函数中含k个未知参数步骤一：记总体8步骤二：算出样本的

m

阶原点矩步骤三：令得到关于

1,2,…,k

的方程组(L≥k)。一般要求方程组(1)中有

k

个独立方程。步骤二：算出样本的m阶原点矩步骤三：令得到关于9步骤四：解方程组(1),并记其解为这种参数估计法称为参数的矩估计法，简称矩法。步骤四：解方程组(1),并记其解为这种参数10解：先求总体的期望例1：设总体

X

的概率密度为解：先求总体的期望例1：设总体X的概率密度为11由矩法，令样本矩总体矩解得为α的矩估计。注意：要在参数上边加上“^”，表示参数的估计。它是统计量。由矩法，令样本矩总体矩解得为α的矩估计。注意：要在参数上边12解:

先求总体的均值和

2

阶原点矩。例2：设

X1,X2,…Xn是取自总体

X

的简单样本,X有概率密度函数解:先求总体的均值和2阶原点矩。例2：设X1,X213数理统计与随机过程ch7课件14用样本矩估计总体矩得用样本矩得15列出方程组:例3：设总体X的均值为，方差为2，求

和2的矩估计。解：由

列出方程组:例3：设总体X的均值为，方差为2，求和16故，均值,方差2的矩估计为求解，得故，均值,方差2的矩估计为求解，得17如：正态总体N(

,2)中

和2的矩估计为如：正态总体N(,2)中和2的矩估计为18又如：若总体X∼U(a,b)，求a,b的矩估计。解：列出方程组因

又如：若总体X∼U(a,b)，求a,b的矩估计。解19解上述方程组，得到

a,b

的矩估计:解上述方程组，得到a,b的矩估计:20

矩估计的优点是：简单易行,不需要事先知道总体是什么分布。

缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息；此外，一般情形下，矩估计不具有唯一性。矩估计的优点是：简单易行,不需要事先知道总体21§7.2极大似然估计极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法。该方法首先由德国数学家高斯于1821年提出，其后英国统计学家费歇于1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法——极大似然估计原理。§7.2极大似然估计极大似然估计法是在22I.极大似然估计原理设总体

X

的分布

(连续型时为概率密度，离散型时为概率分布)

为f(x,

θ)

,X1,

X2,

…,Xn是抽自总体

X

的简单样本。于是，样本的联合概率函数(连续型时为联合概率密度，离散型时为联合概率分布)为被看作固定，但未知的参数视为变量I.极大似然估计原理设总体X的分布23将上式简记为

L(θ)，即称L(θ)为θ的似然函数。视为变量视为固定值将上式简记为L(θ)，即称L(θ)为θ的似然函数。视为变24假定我们观测到一组样本X1,X2,…,

Xn，要去估计未知参数θ

。称为θ的极大似然估计(MLE)。一种直观的想法是：哪个参数(多个参数时是哪组参数)使得这组样本出现的可能性(概率)最大，就用那个参数(或哪组参数)作为参数的估计。这就是极大似然估计原理。即，如果θ可能变化空间,称为参数空间。假定我们观测到一组样本X1,X2,…,25(4).在最大值点的表达式中，代入样本值，就得参数θ的极大似然估计。II.求极大似然估计(MLE)的一般步骤.由总体分布导出样本的联合概率函数(连续型时为联合概率密度,离散型时为联合概率分布)；(2).把样本的联合概率函数中的自变量看成已知常数,参数θ看成自变量,得到似然函数L(θ)；(3).求似然函数L(θ

)的最大值点(常常转化为求lnL(θ)的最大值点)，即θ的MLE;(4).在最大值点的表达式中，代入样本值，II.26两点说明：●求似然函数

L(θ)

的最大值点，可应用微积分中的技巧。由于

ln(x)

是

x

的增函数，所以

lnL(θ)

与

L(θ)

在θ的同一点处达到各自的最大值。假定θ是一实数,lnL(θ)是θ的一个可微函数。通过求解似然方程可以得到θ的MLE。两点说明：●求似然函数L(θ)的最大值点，可应用微积27●用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求。若θ是向量，上述似然方程需用似然方程组代替。●用上述方法求参数的极大似然估计有时行不通，这时要用极大28III.下面举例说明如何求参数的MLE例1:

设X1,X2,…,Xn是取自总体X~B(1,p)的一个样本，求参数p

的极大似然估计。解：似然函数为III.下面举例说明如何求参数的MLE例1:设X1,X29对数似然函数为：对

p

求导，并令其等于零，得上式等价于对数似然函数为：对p求导，并令其等于零，得上式等价于30解上述方程，得换成换成解上述方程，得换成换成31例2：求正态总体

N(,2)参数

和

2

的极大似然估计(注:我们把

2

看作一个参数)。解：似然函数为对数似然函数为例2：求正态总体N(,2)参数和2的32似然方程组为由第一个方程，得到代入第二方程，得到似然方程组为由第一个方程，得到代入第二方程，得到33是L(,2)的最大值点，即

和

2

的极大似然估计。下面验证：似然方程组的唯一解是似然函数的最大值点。是L(,34例3：设总体

X

服从泊松分布P(

)，求参数的极大似然估计。解：由

X

的概率分布函数为得的似然函数例3：设总体X服从泊松分布P()，求参数的极大35似然方程为对数似然函数为其解为似然方程为对数似然函数为其解为36换成换成得的极大似然估计换成换成得的极大似然估计37例4：设

X

∼U(a,b)，求a,b的极大似然估计。

解：因所以例4：设X∼U(a,b)，求a,b的极大似然估38数理统计与随机过程ch7课件39由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。由上式看到：L(a,b)作为a和b的二元函数是不连续40为使

L(a,b)

达到最大，b-a

应该尽量地小。但

b不能小于max{x1,x2,…,xn}。否则，L(a,b)=0。类似地，a

不能大于min{x1,x2,…,xn}。因此，a

和

b

的极大似然估计为为使L(a,b)达到最大，b-a应该尽量地小41解：似然函数为例5：设X1,X2,…,Xn是抽自总体

X

的一个样本，X

有如下概率密度函数其中θ

>0为未知常数。求θ的极大似然估计。也可写成解：似然函数为例5：设X1,X2,…,Xn是抽自总体42求导并令其导数等于零，得解上述方程，得求导并令其导数等于零，得解上述方程，得43

从前面两节的讨论中可以看到:●同一参数可以有几种不同的估计，这时就需要判断采用哪一种估计为好的问题。●另一方面，对于同一个参数，用矩法和极大似然法即使得到的是同一个估计,也存在衡量这个估计优劣的问题。估计量的优良性准则就是：评价一个估计量“好”与“坏”的标准。§7.3估计量的优良性准则从前面两节的讨论中可以看到:§7.3估计量的优良性准44

设总体的分布参数为θ

，对一切可能的θ成立,则称为的无偏估计。7.3.1无偏性对于样本X1,X2,,Xn的不同取值，取不同的值

)。如果的均值等于θ，即简记为是θ

的一个估计(注意!它是一个统计量，是随机变量。设总体的分布参数为θ，对一切可能的θ成立,则称为45参数，有时可能估计偏高，有时可能偏低，但是平均来说它等于。“一切可能的

”是指：在参数估计问题中，参数

一切可能的取值。我们之所以要求对一切可能的

都成立，是因为在参数估计问题中,我们并不知道参数的真实取值。自然要求它在参数的一切可能取值的范围内都成立说明：无偏性的意义是：用估计量估计参数，有时可能估计偏高，有时可能偏低，但是平均来说它等于46例1：设

X1,X2,…,Xn为抽自均值为的总体X的随机样本，考虑

的如下几个估计量：例如：若指的是正态总体N(

,2)的均值,则其一切可能取值范围是(-∞,∞)。若指的是方差2，则其一切可能取值范围是(0,∞)。例1：设X1,X2,…,Xn为抽自均值为的总47数理统计与随机过程ch7课件48

定理1：设总体

X

的均值为,方差为2,X1,X2,…,Xn

为来自总体

X的随机样本，记与分别为样本均值与样本方差，即

即样本均值和样本方差分别是

总体均值

和总体方差

的无偏估计。定理1：设总体X的均值为,方差为2,49证明：因为

X1,X2,…,Xn独立同分布，且E(Xi

)=μ,所以另一方面，因证明：因为X1,X2,…,Xn独立同分布，且另一方50于是，有注意到于是，有注意到51前面两节中，我们曾用矩法和极大似然法分别求得了正态总体N(μ

,σ2)中参数

σ2的估计,均为很显然，它不是

σ2

的无偏估计。这正是我们为什么要将其分母修正为n-1，获得样本方差S2来估计

σ2

的理由。前面两节中，我们曾用矩法和极大似然法分别求得52例2：求证：样本标准差S不是总体标准差的无偏估计。证明：因

E(S2)=2，所以，D(S)+[E(S)]2=

2，由

D(S)＞0，知

[E(S)]2=

2-D(S)＜

2.所以，E(S)＜.故，S

不是

的无偏估计。例2：求证：样本标准差S不是总体标准差的无偏估计。53例3：设总体

X的

k阶原点距为

ak=E(Xk)，X1,X2,…,Xn是X的随机样本，样本

k

阶原点距为Ak,则Ak是ak的无偏估计，k=1,2,…。证明：因X1,X2,…,Xn独立，且与

X

同分布，故即，Ak是

ak的无偏估计。这就是人们为什么常用样本

k

阶矩估计总体

k

阶矩的主要原因之一。例3：设总体X的k阶原点距为ak=E(Xk)，X1,54例4：设总体

X

服从参数为θ

的指数分布，即其概率密度函数为证明：设Z的分布函数为

FZ(z,θ)，先求分布函数，然后导出

Z

的概率密度函数及

E(nZ)。若

X1,X2,…,Xn是

X

的随机样本，记则

nZ

为θ

的无偏估计。

例4：设总体X服从参数为θ的指数分布，即其概率密度函数55因X1,X2,…,Xn独立，且与

X

同分布，所以，对任意给定的

Z>0,有于是，E(Z)=θ/n，E(nZ)=θ，即

nZ

为θ

的无偏估计。

因X1,X2,…,Xn独立，且与X同分布，所以，对任56

用估计量估计，估计误差7.3.2均方误差准则

是随机变量，通常用其均值衡量估计误差的大小。要注意:为了防止求均值时正、负误差相互抵消，我们先将其平方后再求均值，并称其为均方误差，记成，即用估计量57

哪个估计的均方误差小，就称哪个估计比较优，这种判定估计优劣的准则为“均方误差准则”。注意：均方误差可分解成两部分:证明：哪个估计58上式表明，均方误差由两部分构成：第一部分是估计量的方差，第二部分是估计量的偏差的平方和。

注意：如果一个估计量是无偏的，则第二部分是零，则有:

如果两个估计都是无偏估计，这时哪个估计的方差小，哪个估计就较优。这种判定估计量优劣的准则称为方差准则。上式表明，均方误差由两部分构成：第一部分是估计量的方59例5：设

X1,X2,…,Xn为抽自均值为

的总体,考虑

的如下两个估计的优劣：

我们看到:显然两个估计都是的无偏估计。计算二者的方差：例5：设X1,X2,…,Xn为抽自均值为的总60这表明：当用样本均值去估计总体均值时，使用全样本总比不使用全样本要好。

这表明：当用样本均值去估计总体均值时，使用全样本总比不使用全61前面讨论了参数的点估计。点估计就是利用样本计算出的值

(即实轴上点)来估计未知参数。§7.4区间估计其优点是：可直地告诉人们“未知参数大致是多少”；缺点是：并未反映出估计的误差范围(精度)。故，在使用上还有不尽如人意之处。而区间估计正好弥补了点估计的这一不足之处。前面讨论了参数的点估计。点估计就是利用样本计62

例如：在估计正态总体均值

µ

的问题中,若根据一组实际样本，得到

µ

的极大似然估计为

10.12。一个可以想到的估计办法是：给出一个区间，并告诉人们该区间包含未知参数

µ

的可靠度(也称置信系数)。实际上，µ的真值可能大于10.12，也可能小于10.12。例如：在估计正态总体均值µ的问题中,63也就是说，给出一个区间，使我们能以一定的可靠度相信区间包含参数µ

。这里的“可靠度”是用概率来度量的，称为置信系数，常用表示也就是说，给出一个区间，使我们能以一定的可靠64置信系数的大小常根据实际需要来确定，通常取0.95或0.99，即

根据实际样本，由给定的置信系数，可求出一个尽可能短的区间，使置信系数的大小常根据实际需要来确定，通常取065

为确定置信区间，我们先回顾前面给出的随机变量的上α分位点的概念。为确定置信区间，我们先回顾前面给出的随机变量66数理统计与随机过程ch7课件67数理统计与随机过程ch7课件68书末附有χ2分布、t分布、F分布的上侧分位数表可供使用。需要注意的地方在教材上均有说明。现在回到寻找置信区间问题上来。书末附有χ2分布、t分布、F分布的上侧分位69区间估计的定义定义1：区间估计的定义定义1：70实际应用上，一般取

α=0.05或

0.01。实际应用上，一般取α=0.05或0.01。71§7.5正态总体参数的区间估计根据基本定理(见定理6.4.1)，知7.5.1单正态总体参数的区间估计§7.5正态总体参数的区间估计根据基本定理72数理统计与随机过程ch7课件73也可简记为于是，µ的置信区间为也可简记为于是，µ的置信区间为74例1:

某厂生产的零件长度

X

服从

N(

,0.04),现从该厂生产的零件中随机抽取6个，长度测量值如下(单位:毫米):

14.6,15.l,14.9,14.8,15.2,15.1.求:µ的置信系数为0.95的区间估计。解：n=6，=0.05，z/2=z0.025=1.96，2=0.22

.所求置信区间为例1:某厂生产的零件长度X服从N(,0.0475当方差未知时，取●

µ

的区间估计当方差未知时，取●µ的区间估计76于是，µ的置信系数为1-α

的区间估计为也可简记为于是，µ的置信系数为1-α的区间估计为也可简记为77●

σ2

的区间估计●σ2的区间估计78例2：为估计一物体的重量μ，将其称量10次,得到重量的测量值(单位:千克)如下:10.l,10.0,9.8,10.5,9.7,l0.l,9.9,10.2,10.3,9.9.设它们服从正态分布

N(,2)。求的置信系数为0.95的置信区间。例2：为估计一物体的重量μ，将其称量10次,得到重量的测量值79解:

n=10,=0.05,t9(0.025)=2.2622,解:n=10,=0.05,t9(0.080例3(续例2):

求2的置信系数为0.95的置信区间。解：n=10,

=0.05,S2=0.0583,查附表得，

于是，例3(续例2):求2的置信系数为0.95的置信区间。解：817.5.2两个正态总体的情况

在实际应用中，我们经常会遇到两个正态总体均值差和方差之比的区间估计问题。于是,评价新技术的效果问题，就归结为研究两个正态总体均值之差

1-2

与与方差之比12/22的问题。例如:考察一项新技术对提高产品某项质量指标的作用,将实施新技术前产品质量指标看成正态总体

N(1,

12)，实施新技术后产品质量指标看成正态总体

N(2,22)。7.5.2两个正态总体的情况在实际应用中，我们经82

定理1：设

X1,X2,···,Xm是抽自正态总体X

的简单样本，X～N(1,12)，样本均值与样本方差分别为Y1,Y2,···,

Yn是抽自正态总体

Y

的简单样本，Y

～N(2,22)，样本均值与样本方差分别为I.两个正态总体均值差的区间估计定理1：设X1,X2,···,Xm是83当两样本相互独立时，有当两样本相互独立时，有84证明:1).由基本定理(见定理6.4.1)，知

故，(4)式成立；且二者相互独立。证明:1).由基本定理(见定理6.4.1)，知85且(6)式与(7)式中的随机变量相互独立。由t分布的定义，有且(6)式与(7)式中的随机变量相互独立。由t86N(0,1)χ

2m+n-2换形式~t

m+n-2

.

分母互换N(0,1)χ2m+n-2换形式~tm+n-2.87利用该定理，我们可以得到μ1-μ2

的置信系数为

1-α的置信区间。利用该定理，我们可以得到μ1-μ2的置信88例4

(比较棉花品种的优劣)：假设用甲、乙两种棉花纺出的棉纱强度分别为

X～N(1,2.182)和Y～N(2,1.762)。试验者从这两种棉纱中分别抽取样本X1,X2,…,X200和Y1,Y2,…,Y100，样本均值分别为:求1-2的置信系数为

0.95

的区间估计。

解:

1=2.18,2=1.76,m=200,n=100,=0.05,由(8)式，得

1-

2

的置信系数为

1-的置信区间为例4(比较棉花品种的优劣)：假设用甲、乙两种棉花纺出的棉纱89例5：某公司利用两条自动化流水线灌装矿泉水。设这两条流水线所装矿泉水的体积(单位:毫升)X～N(1,2)和

Y～N(2,2)。现从生产线上分别抽取

X1,X2,…,X12

和

Y1,Y2,…,

Y17，样本均值与样本方差分别为:求

1-

2的置信系数为0.95的区间估计。解：m=12,n=17,=0.05，再由其他已知条件及(10)式，可算出例5：某公司利用两条自动化流水线灌装矿泉水。设这两条流水线所90查

t

分布表，得tm+n-2(α/2)=

t27(0.025)=2.05.再由(9)式，得

1-

2

的置信系数为

1-的置信区间

在这两个例子中，

1-

2

的置信区间都包含了零，也就是说：

1可能大于

2，也可能小于

2。这时我们认为二者没有显著差异。

查t分布表，得tm+n-2(α/2)=t2791II.两个正态总体方差比的区间估计

定理2：设

X1,X2,···,Xm是抽自正态总体X

的简单样本，X～N(1,12)，样本均值与样本方差分别为Y1,Y2,···,

Yn是抽自正态总体

Y

的简单样本，Y

～N(2,22)，样本均值与样本方差为II.两个正态总体方差比的区间估计定理2：92由定理2，易得到两个正态总体方差之比的置信系数为1-α置信区间为：由定理2，易得到两个正态总体方差之比93例5：研究机器A和机器B生产的钢管的内径,随机抽取A生产的钢管18根,测得样本方差0.34

(mm2);随机抽取B生产的钢管13根,测得样本方差为0.29(mm2)。设两样本相互独立,且机器A和机器B生产的钢管的内径分别服从正态分布N(1,2)与

N(2,2)。求的置信水平为0.90的置信区间。

解:

由m=18,n=13,S12=0.34,S22=0.29,

=0.10及(11)式，得

的置信系数为

0.90

的置信区间为例5：研究机器A和机器B生产的钢管的内径,随机抽取A生产的94§7.6非正态总体的区间估计

前面两节讨论了正态总体分布参数的区间估计。但是在实际应用中，我们有时不能判断手中的数据是否服从正态分布，或者有足够理由认为它们不服从正态分布。这时，只要样本大小

n

比较大，总体均值

μ

的置信区间仍可用正态总体情形的公式或σ2已知时σ2未知时§7.6非正态总体的区间估计前面两节讨95所不同的是：这时的置信区间是近似的。

这是求一般总体均值的一种简单有效的方法，其理论依据是中心极限定理，它要求样本大小

n

比较大。因此，这个方法称为大样本方法。设总体均值为μ,方差为σ2,

X1,X2,…,Xn为来自总体的样本。因为这些样本独立同分布的，根据中心极限定理，对充分大的n,下式近似成立所不同的是：这时的置信区间是近似的。这是求96因而，近似地有

于是，μ

的置信系数约为1-α的置信区间为当σ2未知时，用σ2的某个估计，如

S2来代替，得到因而，近似地有于是，μ的置信系数约为1-α的置信区间97只要

n

很大，(2)式所提供的置信区间在应用上是令人满意的。

那么，n

究竟多大才算很大呢？

显然，对于相同的

n

,(2)式所给出的置信区间的近似程度随总体分布与正态分布的接近程度而变化，因此，理论上很难给出n很大的一个界限。但许多应用实践表明：当n≥30时，近似程度是可以接受的；当n≥50时，近似程度是很好的。只要n很大，(2)式所提供的置信区间在应用上是令人满意的98例1：某公司欲估计自己生产的电池寿命。现从其产品中随机抽取

50

只电池做寿命试验。这些电池寿命的平均值为

2.261

(单位：100小时)，标准差

S=1.935。求该公司生产的电池平均寿命的置信系数为

95%

的置信区间。

解：查正态分布表，得zα/2=z0.025=1.96，由公式(2)，得电池平均寿命的置信系数为

95%

的置信区间为例1：某公司欲估计自己生产的电池寿命。现从其产品中随机抽取99设事件

A

在一次试验中发生的概率为

p，现在做

n

次试验，以Yn记事件

A

发生的次数,则

Yn~B(n,p)。依中心极限定理，对充分大的

n，近似地有

7.6.1二项分布

(3)式是(1)式的特殊情形。设事件A在一次试验中发生的概率为p，100

(4)式就是二项分布参数

p

的置信系数约为1-α

的置信区间。例2：商品检验部门随机抽查了某公司生产的产品100件，发现其中合格产品为84件，试求该产品合格率的置信系数为0.95的置信区间。解：n=100,Yn=84,α

=0.05,zα/2=1.96,将这些结果代入到(4)式，得p的置信系数为0.95的近似置信区间为[0.77,0.91]。(4)式就是二项分布参数p的置信系数约为101例3：在环境保护问题中,饮水质量研究占有重要地位，其中一项工作是检查饮用水中是否存在某种类型的微生物。假设在随机抽取的100份一定容积的水样品中有20份含有这种类型的微生物。试求同样容积的这种水含有这种微生物的概率

p

的置信系数为0.90的置信区间。解：n=100,Yn=20,α=0.10,zα/2=1.645,将这些结果代入到(4)式，得

p

的置信系数为0.90的近似置信区间为[0.134,0.226]。例3：在环境保护问题中,饮水质量研究占有重要地位，其中1027.6.2泊松分布

设X1,X2,…,Xn为抽自具有泊松分布P(λ

)的总体的样本，因为

E(X)=D(X)=

λ

，应用(2)式，并用7.6.2泊松分布设X1,X2103例4：公共汽车站在一单位时间内(如半小时,或1小时,或一天等)到达的乘客数服从泊松分布P(

λ

),对不同的车站,不同的仅是参数

λ

的取值不同。现对某城市某公共汽车站进行100个单位时间的调查。这里单位时间是20分钟。计算得到每

20

分钟内来到该车站的乘客数平均值为

15.2

人。试求参数

λ

的置信系数为95%的置信区间。

解:

n=100,α=0.05,zα

/2=1.96,将这些结果代入到(5)式,得λ

的置信系数为0.95的近似置信区间为[14.44,15.96]。例4：公共汽车站在一单位时间内(如半小时,或1小时,或一104数理统计与随机过程第七章主讲教师：李学京北京工业大学应用数理学院数理统计与随机过程主讲教师：李学京北京工业大学应用数理学院105第七章:参数估计数理统计的任务：

●总体分布类型的判断；

●总体分布中未知参数的推断(参数估计与

假设检验)。第七章:参数估计数理统计的任务：106参数估计问题的一般提法设总体

X

的分布函数为

F(x,θ)，其中θ为未知参数或参数向量，现从该总体中抽样,得到样本X1,X2,…,Xn.

依样本对参数θ做出估计，或估计参数θ的某个已知函数g(θ)。

这类问题称为参数估计。参数估计包括：点估计和区间估计。参数估计问题的一般提法设总体X的分布函数为F(107称该计算值为

µ

的一个点估计。为估计参数µ，需要构造适当的统计量

T(

X1,X2,…,Xn)，一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为

µ

的估计，

108寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘法4.贝叶斯方法

…我们仅介绍前面的两种参数估计法。寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘109其思想是:用同阶、同类的样本矩来估计总体矩。矩估计是基于“替换”思想建立起来的一种参数估计方法。最早由英国统计学家K.

皮尔逊

提出。§7.1矩估计其思想是:用同阶、同类矩估计是基于“替换”110矩估计就是用相应的样本矩去估计总体矩。矩估计就是用相应的样本矩去估计总体矩。111设总体

X

的分布函数中含

k

个未知参数步骤一：记总体

X

的

m

阶原点矩

E(Xm)为

am

,

m

=

1,2,…,k.am(1,2,…,k),

m=1,2,…,k.

一般地,am(m

=

1,2,

…,K)是总体分布中参数或参数向量(1,

2,

…,

k)

的函数。

故,am(m=1,

2,…,k)应记成:设总体X的分布函数中含k个未知参数步骤一：记总体112步骤二：算出样本的

m

阶原点矩步骤三：令得到关于

1,2,…,k

的方程组(L≥k)。一般要求方程组(1)中有

k

个独立方程。步骤二：算出样本的m阶原点矩步骤三：令得到关于113步骤四：解方程组(1),并记其解为这种参数估计法称为参数的矩估计法，简称矩法。步骤四：解方程组(1),并记其解为这种参数114解：先求总体的期望例1：设总体

X

的概率密度为解：先求总体的期望例1：设总体X的概率密度为115由矩法，令样本矩总体矩解得为α的矩估计。注意：要在参数上边加上“^”，表示参数的估计。它是统计量。由矩法，令样本矩总体矩解得为α的矩估计。注意：要在参数上边116解:

先求总体的均值和

2

阶原点矩。例2：设

X1,X2,…Xn是取自总体

X

的简单样本,X有概率密度函数解:先求总体的均值和2阶原点矩。例2：设X1,X2117数理统计与随机过程ch7课件118用样本矩估计总体矩得用样本矩得119列出方程组:例3：设总体X的均值为，方差为2，求

和2的矩估计。解：由

列出方程组:例3：设总体X的均值为，方差为2，求和120故，均值,方差2的矩估计为求解，得故，均值,方差2的矩估计为求解，得121如：正态总体N(

,2)中

和2的矩估计为如：正态总体N(,2)中和2的矩估计为122又如：若总体X∼U(a,b)，求a,b的矩估计。解：列出方程组因

又如：若总体X∼U(a,b)，求a,b的矩估计。解123解上述方程组，得到

a,b

的矩估计:解上述方程组，得到a,b的矩估计:124

矩估计的优点是：简单易行,不需要事先知道总体是什么分布。

缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息；此外，一般情形下，矩估计不具有唯一性。矩估计的优点是：简单易行,不需要事先知道总体125§7.2极大似然估计极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法。该方法首先由德国数学家高斯于1821年提出，其后英国统计学家费歇于1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法——极大似然估计原理。§7.2极大似然估计极大似然估计法是在126I.极大似然估计原理设总体

X

的分布

(连续型时为概率密度，离散型时为概率分布)

为f(x,

θ)

,X1,

X2,

…,Xn是抽自总体

X

的简单样本。于是，样本的联合概率函数(连续型时为联合概率密度，离散型时为联合概率分布)为被看作固定，但未知的参数视为变量I.极大似然估计原理设总体X的分布127将上式简记为

L(θ)，即称L(θ)为θ的似然函数。视为变量视为固定值将上式简记为L(θ)，即称L(θ)为θ的似然函数。视为变128假定我们观测到一组样本X1,X2,…,

Xn，要去估计未知参数θ

。称为θ的极大似然估计(MLE)。一种直观的想法是：哪个参数(多个参数时是哪组参数)使得这组样本出现的可能性(概率)最大，就用那个参数(或哪组参数)作为参数的估计。这就是极大似然估计原理。即，如果θ可能变化空间,称为参数空间。假定我们观测到一组样本X1,X2,…,129(4).在最大值点的表达式中，代入样本值，就得参数θ的极大似然估计。II.求极大似然估计(MLE)的一般步骤.由总体分布导出样本的联合概率函数(连续型时为联合概率密度,离散型时为联合概率分布)；(2).把样本的联合概率函数中的自变量看成已知常数,参数θ看成自变量,得到似然函数L(θ)；(3).求似然函数L(θ

)的最大值点(常常转化为求lnL(θ)的最大值点)，即θ的MLE;(4).在最大值点的表达式中，代入样本值，II.130两点说明：●求似然函数

L(θ)

的最大值点，可应用微积分中的技巧。由于

ln(x)

是

x

的增函数，所以

lnL(θ)

与

L(θ)

在θ的同一点处达到各自的最大值。假定θ是一实数,lnL(θ)是θ的一个可微函数。通过求解似然方程可以得到θ的MLE。两点说明：●求似然函数L(θ)的最大值点，可应用微积131●用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求。若θ是向量，上述似然方程需用似然方程组代替。●用上述方法求参数的极大似然估计有时行不通，这时要用极大132III.下面举例说明如何求参数的MLE例1:

设X1,X2,…,Xn是取自总体X~B(1,p)的一个样本，求参数p

的极大似然估计。解：似然函数为III.下面举例说明如何求参数的MLE例1:设X1,X133对数似然函数为：对

p

求导，并令其等于零，得上式等价于对数似然函数为：对p求导，并令其等于零，得上式等价于134解上述方程，得换成换成解上述方程，得换成换成135例2：求正态总体

N(,2)参数

和

2

的极大似然估计(注:我们把

2

看作一个参数)。解：似然函数为对数似然函数为例2：求正态总体N(,2)参数和2的136似然方程组为由第一个方程，得到代入第二方程，得到似然方程组为由第一个方程，得到代入第二方程，得到137是L(,2)的最大值点，即

和

2

的极大似然估计。下面验证：似然方程组的唯一解是似然函数的最大值点。是L(,138例3：设总体

X

服从泊松分布P(

)，求参数的极大似然估计。解：由

X

的概率分布函数为得的似然函数例3：设总体X服从泊松分布P()，求参数的极大139似然方程为对数似然函数为其解为似然方程为对数似然函数为其解为140换成换成得的极大似然估计换成换成得的极大似然估计141例4：设

X

∼U(a,b)，求a,b的极大似然估计。

解：因所以例4：设X∼U(a,b)，求a,b的极大似然估142数理统计与随机过程ch7课件143由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。由上式看到：L(a,b)作为a和b的二元函数是不连续144为使

L(a,b)

达到最大，b-a

应该尽量地小。但

b不能小于max{x1,x2,…,xn}。否则，L(a,b)=0。类似地，a

不能大于min{x1,x2,…,xn}。因此，a

和

b

的极大似然估计为为使L(a,b)达到最大，b-a应该尽量地小145解：似然函数为例5：设X1,X2,…,Xn是抽自总体

X

的一个样本，X

有如下概率密度函数其中θ

>0为未知常数。求θ的极大似然估计。也可写成解：似然函数为例5：设X1,X2,…,Xn是抽自总体146求导并令其导数等于零，得解上述方程，得求导并令其导数等于零，得解上述方程，得147

从前面两节的讨论中可以看到:●同一参数可以有几种不同的估计，这时就需要判断采用哪一种估计为好的问题。●另一方面，对于同一个参数，用矩法和极大似然法即使得到的是同一个估计,也存在衡量这个估计优劣的问题。估计量的优良性准则就是：评价一个估计量“好”与“坏”的标准。§7.3估计量的优良性准则从前面两节的讨论中可以看到:§7.3估计量的优良性准148

设总体的分布参数为θ

，对一切可能的θ成立,则称为的无偏估计。7.3.1无偏性对于样本X1,X2,,Xn的不同取值，取不同的值

)。如果的均值等于θ，即简记为是θ

的一个估计(注意!它是一个统计量，是随机变量。设总体的分布参数为θ，对一切可能的θ成立,则称为149参数，有时可能估计偏高，有时可能偏低，但是平均来说它等于。“一切可能的

”是指：在参数估计问题中，参数

一切可能的取值。我们之所以要求对一切可能的

都成立，是因为在参数估计问题中,我们并不知道参数的真实取值。自然要求它在参数的一切可能取值的范围内都成立说明：无偏性的意义是：用估计量估计参数，有时可能估计偏高，有时可能偏低，但是平均来说它等于150例1：设

X1,X2,…,Xn为抽自均值为的总体X的随机样本，考虑

的如下几个估计量：例如：若指的是正态总体N(

,2)的均值,则其一切可能取值范围是(-∞,∞)。若指的是方差2，则其一切可能取值范围是(0,∞)。例1：设X1,X2,…,Xn为抽自均值为的总151数理统计与随机过程ch7课件152

定理1：设总体

X

的均值为,方差为2,X1,X2,…,Xn

为来自总体

X的随机样本，记与分别为样本均值与样本方差，即

即样本均值和样本方差分别是

总体均值

和总体方差

的无偏估计。定理1：设总体X的均值为,方差为2,153证明：因为

X1,X2,…,Xn独立同分布，且E(Xi

)=μ,所以另一方面，因证明：因为X1,X2,…,Xn独立同分布，且另一方154于是，有注意到于是，有注意到155前面两节中，我们曾用矩法和极大似然法分别求得了正态总体N(μ

,σ2)中参数

σ2的估计,均为很显然，它不是

σ2

的无偏估计。这正是我们为什么要将其分母修正为n-1，获得样本方差S2来估计

σ2

的理由。前面两节中，我们曾用矩法和极大似然法分别求得156例2：求证：样本标准差S不是总体标准差的无偏估计。证明：因

E(S2)=2，所以，D(S)+[E(S)]2=

2，由

D(S)＞0，知

[E(S)]2=

2-D(S)＜

2.所以，E(S)＜.故，S

不是

的无偏估计。例2：求证：样本标准差S不是总体标准差的无偏估计。157例3：设总体

X的

k阶原点距为

ak=E(Xk)，X1,X2,…,Xn是X的随机样本，样本

k

阶原点距为Ak,则Ak是ak的无偏估计，k=1,2,…。证明：因X1,X2,…,Xn独立，且与

X

同分布，故即，Ak是

ak的无偏估计。这就是人们为什么常用样本

k

阶矩估计总体

k

阶矩的主要原因之一。例3：设总体X的k阶原点距为ak=E(Xk)，X1,158例4：设总体

X

服从参数为θ

的指数分布，即其概率密度函数为证明：设Z的分布函数为

FZ(z,θ)，先求分布函数，然后导出

Z

的概率密度函数及

E(nZ)。若

X1,X2,…,Xn是

X

的随机样本，记则

nZ

为θ

的无偏估计。

例4：设总体X服从参数为θ的指数分布，即其概率密度函数159因X1,X2,…,Xn独立，且与

X

同分布，所以，对任意给定的

Z>0,有于是，E(Z)=θ/n，E(nZ)=θ，即

nZ

为θ

的无偏估计。

因X1,X2,…,Xn独立，且与X同分布，所以，对任160

用估计量估计，估计误差7.3.2均方误差准则

是随机变量，通常用其均值衡量估计误差的大小。要注意:为了防止求均值时正、负误差相互抵消，我们先将其平方后再求均值，并称其为均方误差，记成，即用估计量161

哪个估计的均方误差小，就称哪个估计比较优，这种判定估计优劣的准则为“均方误差准则”。注意：均方误差可分解成两部分:证明：哪个估计162上式表明，均方误差由两部分构成：第一部分是估计量的方差，第二部分是估计量的偏差的平方和。

注意：如果一个估计量是无偏的，则第二部分是零，则有:

如果两个估计都是无偏估计，这时哪个估计的方差小，哪个估计就较优。这种判定估计量优劣的准则称为方差准则。上式表明，均方误差由两部分构成：第一部分是估计量的方163例5：设

X1,X2,…,Xn为抽自均值为

的总体,考虑

的如下两个估计的优劣：

我们看到:显然两个估计都是的无偏估计。计算二者的方差：例5：设X1,X2,…,Xn为抽自均值为的总164这表明：当用样本均值去估计总体均值时，使用全样本总比不使用全样本要好。

这表明：当用样本均值去估计总体均值时，使用全样本总比不使用全165前面讨论了参数的点估计。点估计就是利用样本计算出的值

(即实轴上点)来估计未知参数。§7.4区间估计其优点是：可直地告诉人们“未知参数大致是多少”；缺点是：并未反映出估计的误差范围(精度)。故，在使用上还有不尽如人意之处。而区间估计正好弥补了点估计的这一不足之处。前面讨论了参数的点估计。点估计就是利用样本计166

例如：在估计正态总体均值

µ

的问题中,若根据一组实际样本，得到

µ

的极大似然估计为

10.12。一个可以想到的估计办法是：给出一个区间，并告诉人们该区间包含未知参数

µ

的可靠度(也称置信系数)。实际上，µ的真值可能大于10.12，也可能小于10.12。例如：在估计正态总体均值µ的问题中,167也就是说，给出一个区间，使我们能以一定的可靠度相信区间包含参数µ

。这里的“可靠度”是用概率来度量的，称为置信系数，常用表示也就是说，给出一个区间，使我们能以一定的可靠168置信系数的大小常根据实际需要来确定，通常取0.95或0.99，即

根据实际样本，由给定的置信系数，可求出一个尽可能短的区间，使置信系数的大小常根据实际需要来确定，通常取0169

为确定置信区间，我们先回顾前面给出的随机变量的上α分位点的概念。为确定置信区间，我们先回顾前面给出的随机变量170数理统计与随机过程ch7课件171数理统计与随机过程ch7课件172书末附有χ2分布、t分布、F分布的上侧分位数表可供使用。需要注意的地方在教材上均有说明。现在回到寻找置信区间问题上来。书末附有χ2分布、t分布、F分布的上侧分位173区间估计的定义定义1：区间估计的定义定义1：174实际应用上，一般取

α=0.05或

0.01。实际应用上，一般取α=0.05或0.01。175§7.5正态总体参数的区间估计根据基本定理(见定理6.4.1)，知7.5.1单正态总体参数的区间估计§7.5正态总体参数的区间估计根据基本定理176数理统计与随机过程ch7课件177也可简记为于是，µ的置信区间为也可简记为于是，µ的置信区间为178例1:

某厂生产的零件长度

X

服从

N(

,0.04),现从该厂生产的零件中随机抽取6个，长度测量值如下(单位:毫米):

14.6,15.l,14.9,14.8,15.2,15.1.求:µ的置信系数为0.95的区间估计。解：n=6，=0.05，z/2=z0.025=1.96，2=0.22

.所求置信区间为例1:某厂生产的零件长度X服从N(,0.04179当方差未知时，取●

µ

的区间估计当方差未知时，取●µ的区间估计180于是，µ的置信系数为1-α

的区间估计为也可简记为于是，µ的置信系数为1-α的区间估计为也可简记为181●

σ2

的区间估计●σ2的区间估计182例2：为估计一物体的重量μ，将其称量10次,得到重量的测量值(单位:千克)如下:10.l,10.0,9.8,10.5,9.7,l0.l,9.9,10.2,10.3,9.9.设它们服从正态分布

N(,2)。求的置信系数为0.95的置信区间。例2：为估计一物体的重量μ，将其称量10次,得到重量的测量值183解:

n=10,=0.05,t9(0.025)=2.2622,解:n=10,=0.05,t9(0.0184例3(续例2):

求2的置信系数为0.95的置信区间。解：n=10,

=0.05,S2=0.0583,查附表得，

于是，例3(续例2):求2的置信系数为0.95的置信区间。解：1857.5.2两个正态总体的情况

在实际应用中，我们经常会遇到两个正态总体均值差和方差之比的区间估计问题。于是,评价新技术的效果问题，就归结为研究两个正态总体均值之差

1-2

与与方差之比12/22的问题。例如:考察一项新技术对提高产品某项质量指标的作用,将实施新技术前产品质量指标看成正态总体

N(1,

12)，实施新技术后产品质量指标看成正态总体

N(2,22)。7.5.2两个正态总体的情况在实际应用中，我们经186

定理1：设

X1,X2,···,Xm是抽自正态总体X

的简单样本，X～N(1,12)，样本均值与样本方差分别为Y1,Y2,···,

Yn是抽自正态总体

Y

的简单样本，Y

～N(2,22)，样本均值与样本方差分别为I.两个正态总体均值差的区间估计定理1：设X1,X2,···,Xm是187当两样本相互独立时，有当两样本相互独立时，有188证明:1).由基本定理(见定理6.4.1)，知

故，(4)式成立；且二者相互独立。证明:1).由基本定理(见定理6.4.1)，知189且(6)式与(7)式中的随机变量相互独立。由t分布的定义，有且(6)式与(7)式中的随机变量相互独立。由t190N(0,1)χ

2m+n-2换形式~t

m+n-2

.

分母互换N(0,1)χ2m+n-2换形式~tm+n-2.191利用该定理，我们可以得到μ1-μ2

的置信系数为

1-α的置信区间。利用该定理，我们可以得到μ1-μ2的置信192例4

(比较棉花品种的优劣)：假设用甲、乙两种棉花纺出的棉纱强度分别为

X～N(1,2.182)和Y～N(2,1.762)。试验者从这两种棉纱中分别抽取样本X1,X2,…,X200和Y1,Y2,…,Y100，样本均值分别为:求1-2的置信系数为

0.95

的区间估计。

解:

1=2.18,2=1.76,m=200,n=100,=0.05,由(8)式，得

1-

2

的置信系数为

1-的置信区间为例4(比较棉花品种的优劣)：假设用甲、乙两种棉花纺出的棉纱193例5：某公司利用两条自动化流水线灌装矿泉水。设这两条流水线所装矿泉水的体积(单位:毫升)X～N(1,2)和

Y～N(2,2)。现从生产线上分别抽取

X1,X2,…,X12

和

Y1,Y2,…,

Y17，样本均值与样本方差分别为:求

1-

2的置信系数为0.95的区间估计。解：m=12,n=17,=0.05，再由其他已知条件及(10)式，可算出例5：某公司利用两条自动化流水线灌装矿泉水。设这两条流水线所194查

t

分布表，得tm+n-2(α/2)=

t27(0.025