第6章 参数估计(ok)

第六章参数估计

§6.1点估计的几种方法§6.2点估计的评价标准§6.3最小方差无偏估计§6.4贝叶斯估计§6.5区间估计

参数

所有可能取值组成的集合称为参数空间

参数估计有两种：点估计、区间估计参数的种类：（1）分布中所含的未知参数

（2）分布中所含的未知参数

的函数（3）分布的各种数字特征第六章参数估计

设x1,x2,…,xn

是来自总体X的一个样本，用统计量称为

的点估计（量），1.如何给出估计?2.如何对不同的估计进行评价?§6.1点估计的几种方法

定义（点估计）简称估计。估计方法的问题估计好坏的判断标准两个问题：的值作为

的估计值，§6.1

点估计的几种方法

常用的点估计方法：1.矩估计法2.极大似然法3.

贝叶斯方法一、矩法估计

用样本矩替换总体矩英国统计学家K.皮尔逊§6.1

点估计的几种方法

用样本矩的函数替换相应的总体矩的函数1.

基本思想:替换原理用样本均值估计总体均值E(X)，用样本方差估计总体方差Var(X)，用样本的p分位数估计总体的p分位数，用样本中位数估计总体中位数…思考：原理？用样本矩及其函数去替换相应的总体矩及其函数1.

基本思想:一、矩法估计

§6.1

点估计的几种方法

替换原理例1

对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：

29.827.628.327.930.128.729.9

28.027.928.728.427.229.528.5

28.030.029.129.829.626.9

计算

总体均值、方差和中位数的估计分别为:2.总体分布已知时，未知参数的矩法估计

设总体的概率函数P(x；

1,

…,

k)

，

x1,x2

,

…,xn

是样本,

一、矩法估计

总体的k阶原点矩

k

存在，样本的j阶原点矩：(分布类型已知)若

1,

…,

k

能够表示成

1,

…,

k的函数

j=

j(

1,

…,

k)则

j的矩法估计：解:

令例2

x1,x2,

…,xn是来自均匀分布U(a,b)

的样本，

a与b均是未知参数，求a与b的矩估计.a,b的矩估计：解：例3总体X的概率密度：x1,x2,

…,xn是总体的样本，是未知参数，求的矩估计.例4

设总体X～E(

)，x1,x2,

…,xn是总体的一个样本,

求参数

的矩估计.解：

令

的矩法估计：

另外，

令

的矩法估计：EX

=1/

=1/

Var(X)=1/

2=1/

2总体的分布类型已知德国数学家高斯(Gauss)1821年提出。英国统计学家费希尔(Fisher)

1922年再次提出该方法，并证明了方法的一些性质，给出了参数极大似然估计一般方法——极大似然估计原理。二、极（最）大似然估计§6.1

点估计的几种方法

二、极（最）大似然估计1.

定义（似然函数）

设总体X的概率函数为P(x;

)，

x1,x2

,…,xn

是来自总体的一个样本，样本的联合概率函数：

是参数空间关于

的函数L(

)称为样本的似然函数

如果统计量似然函数：二、极（最）大似然估计满足则称简记为MLE是

的极(最)大似然估计，（MaximumLikelihoodEstimate）2.求极大似然估计(MLE)的一般步骤（1）求样本的似然函数L(

)

连续型：联合概率密度

离散型：联合概率分布（2）求

L(

)的最大值点

求ln

L(

)的最大值点二、极（最）大似然估计例5

设总体X~B(1,p)

，X1,

X2

,…,Xn

是来自总体的一个样本，试求参数p的极大似然估计。解：

似然函数：对数似然函数:令p

的极大似然估计：例5

设总体X~B(1,p)

，X1,

X2

,…,Xn

是来自总体的一个样本，试求参数p的极大似然估计。解：

对数似然函数:例6

x1,x2

,

…,xn是正态总体N(,2)的一个样本，试求

,2的极大似然估计。解：似然函数：对数似然函数：似然方程组：例6

x1,x2

,

…,xn是正态总体N(,2)的一个样本，试求

,2的极大似然估计。解：对数似然函数：

,2的极大似然估计:例6

x1,x2

,

…,xn是正态总体N(,2)的一个样本，试求

,2的极大似然估计。解：

似然方程组例7

设x1,x2

,

…,xn

是来自均匀总体U(0,

)的样本，试求

的极大似然估计。解：似然函数要使L(

)达到最大，

1）1/

n尽可能大

2）示性函数值为1

的极大似然估计：

尽可能小

3.

极大似然估计的不变性如果是

的极大似然估计，则对

的任一函数g(

)，其极大似然估计为

.二、极（最）大似然估计例8

设x1,x2,

…,xn是来自正态总体N(

,

2)的样本，则

和

2的极大似然估计：1）标准差

的MLE：2）概率的MLE：3）总体0.90分位数的MLE：x0.90=

+

u0.90u0.90为N(0,1)的0.90分位数§6.2

点估计的评价标准

一、相合性二、无偏性三、有效性四、均方误差

定义

设

∈Θ为某总体分布中的未知参数，

是

的一个估计量，

若对任何一个ε>0，有

则称一、相合性（一致性）n

是样本容量，为

参数的相合估计。把估计量看作一个随机变量序列,相合性就是依概率收敛于

,证明估计的相合性可应用依概率收敛的性质及各种大数定律。注意:一、相合性（一致性）例1

x1,x2

,

…,xn是正态总体N(,2)的一个样本，则

(1)是

的相合估计；

(2)s*2是

2的相合估计；

(3)s2是

2的相合估计；解：

Exi=

,i=1,2,…,且x1,x2

,

…,xn相互独立辛钦大数定律一、相合性（一致性）设若

则是

的相合估计。一、相合性（一致性）是

的一个估计量，定理1例2

设x1,x2

,

…,xn

是来自均匀总体U(0,

)的样本，证明：

的极大似然估计x(n)是

的相合估计。第k个次序统计量x(k)的密度函数为证明:分析:均匀分布：x(n)的密度函数：p(y)=nyn-1/

n,

0<y<

0<y<

例2

设x1,x2

,

…,xn

是来自均匀总体U(0,

)的样本，证明：

的极大似然估计x(n)是

的相合估计。证明：x(n)的密度函数为

p(y)=nyn-1/

n,0<y<

定理2

若分别是

1,

…,

k的相合估计，

=g(

1

,

…,

k)是

1,

…,

k的连续函数，则是

的相合估计。一、相合性（一致性）二、无偏性

设

的参数空间为Θ，若对任意的

∈Θ，有定义则称是

的无偏估计，否则称为有偏估计。是

的一个估计，定理

设总体X具有二阶矩，即E(X)=

,Var(X)=

2

,

x1,x2,…,xn

为从总体的一个样本，则和s2

分别是样本均值和样本方差，3)E(s2)=

2复习结论说明：样本均值是总体均值

的无偏估计样本方差

s

2

是总体方差

2的无偏估计例3

样本方差s*2

不是总体方差

2的无偏估计.当样本量n

，

E(s*2)

称s*2为

2的渐近无偏估计。

2例4

证明：样本标准差s不是总体标准差

的无偏估计.E(s2

)=

2证明：

=Var(s)+(Es)2Var(s)＞0

(Es)2

=

2-Var(s)

E(s)＜

故s

不是

的无偏估计＜

2

三、有效性

设是

的两个无偏估计，如果对任意的

∈Θ,

有且至少有一个

∈Θ使得上述不等号严格成立，则称比有效。定义例5

设x1,x2

,

…,xn

是取自某总体的样本，总体均值为

，总体方差为

2，都是

的无偏估计，当n>1，比有效。说明：用全部数据的平均估计总体均值比只使用部分数据更有效。例6

均匀总体U(0,

)中

的极大似然估计是x(n)，x(n)

是

的渐近无偏估计

修正：无偏估计

的矩估计：例6

均匀总体U(0,

)中

的极大似然估计是x(n)

当n>1

时，比有效。无偏估计无偏估计：哪个有效？四、均方误差

设是

的一个点估计,

该点估计与参数真值

的

称为该点估计的均方误差，

简记为MSE

定义距离平方的期望（MeanSquaredError)，证明:四、均方误差

(1)若是

的无偏估计，

说明：用方差考察无偏估计有效性是合理的。

(2)当不是

的无偏估计时，考察均方误差四、均方误差注意：在均方误差的含义下，有些有偏估计优于无偏估计。例7

均匀总体U(0,

)，由

的极大似然估计x(n)得到1)无偏估计：2)考虑有偏估计：均方误差的标准下，有偏估计优于无偏估计作业：

P312—2，4(1)P322—1，9§6.5区间估计

一、区间估计的概念二、枢轴量法三、单个正态总体下参数的置信区间四、两个正态总体下参数的置信区间五、比例p

的置信区间一、区间估计的概念

设

是总体的一个参数，参数空间为Θ，

x1,x2

,

…,xn是来自该总体的样本，对给定的

(0<

<1)，若统计量对任意的

∈Θ，则称随机区间

的置信区间，定义1为

的置信水平为1-

简称

的1-

置信区间.一、区间估计的概念

称为

的置信水平为1-

的置信区间，简称

的1-

置信区间.—称为

的（双侧）置信下限—称为

的（双侧）置信上限置信水平1-

：在大量使用该置信区间时，至少有100(1-

)%的区间含有

。例1

设x1,x2

,

…,x10是来自N(,

2)的样本，则

的置信水平为1-

的置信区间为

,

s分别为样本均值和样本标准差取

=0.1

，查表t0.95(9)=

1.8331

假设总体N(15,22)，容量为10样本：14.8513.0113.5014.9316.97

13.8017.9513.3716.2912.38由样本算得

的区间估计：该区间包含

的真值15。现重复抽样100次，可以得到100个样本，就得到100个区间，将这100个区间画在图上。例1

=0.10

，

的置信水平为0.90的置信区间100个区间中有91个包含参数真值15可以得到100个置信区间。例1取

=0.50，

的置信水平为1-=

0.50的置信区间为：=

t0.75(9)=0.7027100个区间中有50个包含参数真值15

的置信水平为0.50的置信区间对给定的

(0<

<1)，对任意的

∈Θ，称为

的1-

同等置信区间

定义2定义1

—的置信水平为1-

的置信区间简称

的1-

置信区间若对给定的

(0<

<1)和任意的

∈Θ，定义3则称置信下限。若等号对一切

∈Θ成立，则称为

的置信水平为1-

的（单侧）为

的1-

同等置信下限。置信上限同等置信上限二、枢轴量法

1.

构造样本和

的函数

使得G的分布已知，

具有这种性质的G称为枢轴量2.选择两个常数c、d，使对给定的

(0<

<1)，

3.将c≤G

≤d

等价变形，

则是

的1-

同等置信区间构造未知参数

的置信区间

G=G(x1,…,xn;

)

且不依赖于未知参数P(

c≤

G≤d

)=1-

二、枢轴量法

1.构造一个样本和

的函数

2.选择两个常数c、d，3.等价变形：

则是

的1-

同等置信区间构造未知参数

的置信区间G=G(x1,…,xn;

)P(

c≤

G≤d

)=1-

注意：

2）实际中常选择c与d，使得两个尾部概率各为

/2

P(G

<c

)

=P(G

>

d

)

=

/2等尾置信区间1）c

与d不唯一，选平均长度最短的c与d三、单个正态总体下参数的置信区间

1.

的置信区间（

已知）枢轴量

选择c

、d，满足P(c

≤G≤d

)=

1-

总体:N(,

2)；样本:x1,x2

,

…,xn1.

的置信区间（

已知）枢轴量:

的1-

同等置信区间:三、单个正态总体下参数的置信区间

对称区间：中心：，半径：例3已知天平秤量结果为正态分布,其标准差为0.1克。用天平秤某物体的重量9次，得平均值为（克），试求该物体重量的置信水平1-=0.95置信区间。u0.975=1.96

1-

=0.95，=[15.3347，15.4653]该物体重量

的0.95置信区间：

=0.05，解：

=0.1枢轴量：解：

=1已知，例4

设总体为正态分布N(

,1)，为得到

的置信水平为0.95的置信区间长度不超过1.2，样本容量应为多大？区间长度：n

1-

=0.95，u1-

/2=

u0.975=1.96

n

(1/0.6)2

1.962(2u1-

/2

/1.2)2=

10.67n11

的置信区间：2.

的置信区间（

2未知）三、单个正态总体下参数的置信区间

枢轴量:

的1-

同等置信区间:例5

假设轮胎的寿命服从正态分布N(

,

2)。为估计某种轮胎的平均寿命，现随机地抽12只轮胎试用，测得它们的寿命（单位：万公里）如下：4.684.854.324.854.615.025.204.604.584.724.384.70

求平均寿命的置信水平1-=0.95置信区间。解：

未知，=4.7092，s2

=0.0615，

=0.05，平均寿命的0.95置信区间：t0.975(11)=2.201

枢轴量:在实际问题中，由于轮胎的寿命越长越好，可以只求平均寿命的置信下限，构造单边的置信下限。n=12，=4.7092，s2

=0.0615，

=0.05，t0.95(11)=

1.7959

的0.95置信下限：=4.5806（万公里）

由于

的1-

置信下限为：3.

2的置信区间（

未知）

2的1-

同等置信区间:三、单个正态总体下参数的置信区间

枢轴量:例6

某厂生产的零件重量服从正态分布N(,

2),

现从生产的零件中抽取9个,测得重量为(单位:克)

45.345.445.145.345.545.745.445.345.6

试求总体标准差

的0.95置信区间。解：

未知，

2的1-

置信区间：

s2

=0.0325

20.025(8)

=2.1797

20.975(8)=17.5345

的0.95置信区间:

[0.1218，0.3454]枢轴量:被估参数条件枢轴量及其分布置信区间

2已知

2未知

2

未知单个正态总体均值和方差的置信区间四、两个正态总体下参数的置信区间

x1

,…,xm

是来自N(

1,12)的样本，y1

,…,yn

是来自N(

2,22)的样本，两个样本相互独立样本均值：样本方差：问题：讨论均值差和方差比的置信区间1）

1-

2的置信区间2）

12/

22的置信区间1.

1-

2的置信区间1）

12与

22

已知x1

,…,xm

来自N(

1,12)y1

,…,yn

来自N(

2,22)枢轴量：

1-

2

的1-

置信区间：1.

1-

2的置信区间2）

12

与

22

未知，但

12=

22=

2x1

,…,xm

来自N(

1,

2)y1

,…,yn

来自N(

2,

2)独立1.

1-

2的置信区间2）

12

与

22未知，

12=

22=

2独立1.

1-

2的置信区间2）

12

与

22未知，

12=

22=

2枢轴量：1.

1-

2的置信区间2）

12

与

22未知，

12=

22=

2枢轴量：

1-

2

的1-

置信区间：3）

12,

22未知，但

22/

12=

已知1.

1-

2的置信区间3）

12,

22未知，但

22/

12=

已知独立1.

1-

2的置信区间3）

12,

22未知，但

22/

12=

已知1.

1-

2的置信区间枢轴量：

1-

2的1-

置信区间3）

12,

22未知，但

22/

12=

已知1.

1-

2的置信区间4）当m和n都很大，近似置信区间

枢轴量：

1.

1-

2的置信区间4）当m和n都很大，近似置信区间

枢轴量：

1-

2的1-

置信区间：1.

1-

2的置信区间5）一般情况下，近似置信区间枢轴量：

其中：

1.

1-

2的置信区间（m

、n

不很大）

1-

2的1-

置信区间：例9

为比较两个小麦品种的产量，选择18块条件相似的试验田，采用相同的耕作方法作试验，播种甲品种的8块试验田的亩产量和播种乙品种的10块试验田的亩产量（单位：千克/亩）分别为:

甲品种

628583510554612523530615

乙品种

535433398470567480498560

503426

假定亩产量均服从正态分布，

问题：求这两个品种平均亩产量差的置信区间。（

=0.05）解：用x1

,…,x8表示甲品种的亩产量，

y1

,…,y10表示乙品种的亩产量，由样本数据，n=10=487.0000

sy2=3256.2222

m=8=569.3750

sx2

=2140.5536下面分两种情况讨论：

例9

为比较两个小麦品种的产量，选择18块条件相似的试验田，采用相同的耕作方法作试验，播种甲品种的8块试验田的亩产量和播种乙品种的10块试验田的亩产量（单位：千克/亩）分别为:

甲品种

628583510554612523530615

乙品种