第3章 参数估计理论

1、 第3章 参数估计理论参数估计的基本方法：点估计，区间估计点估计：以样本的某一函数值作为总体中未知参数的估计值。区间估计：把总体中的参数确定在某一区间内。 第1节 点估计 点估计就是以样本的某一函数值作为总体中未知参数的估计值。 设是总体的待估参数，用样本构造一个合适的统计量来估计参数，通常记为，即，称为参数的估计量。对样本的一组观测值，统计量的值称为参数的估计值。 点估计的问题就是要找一个作为待估参数的估计量的问题。 点估计的方法：数字特征法（矩估计法）、极大似然估计法、Bayes估计法、最小二乘法等等。 第2节 矩估计法 矩估计法由英国统计学家K.Person在20世纪初提出，基本思想就是

2、用样本矩去估计相应的总体矩。理论依据是大数定律。例1 设总体服从参数为的指数分布，即 为取自总体的样本，求参数的矩估计量。例2 设总体，为取自总体的样本，求参数的矩估计量。例3 设总体，为取自总体的样本，求参数的矩估计量。例4 设总体，为取自总体的样本，求参数的矩估计量。例5 设总体，为取自总体的样本，求参数的矩估计量。 第3节 极大似然估计法 极大似然估计法最初由德国数学家C.F.Gauss于1821年提出，英国统计学家R.A.Fisher于1922年再次提出极大似然的思想，并探讨了它的性质。 假设总体，其中参数未知，现抽取容量为3的样本，如果样本观察值为1、2、1，我们来估计参数。极大似然

3、估计法的步骤：l 对一组样本，写出似然函数；l 将似然函数取对数；l 令，求出，即为的极大似然估计。例1 设总体，为取自总体的样本，求参数的极大似然估计量。例2设总体，为取自总体的样本，求参数的极大似然估计量。例3 设总体，为取自总体的样本，求参数的极大似然估计量。例4 设总体，为取自总体的样本，求参数的极大似然估计量。定理1 设是参数的极大似然估计，若存在唯一的反函数，则是的极大似然估计。例5 设总体，未知，为取自总体的样本，求的极大似然估计。第4节 Bayes估计 Bayes公式 例 对以往数据分析结果表明，当机器调整良好时，产品的合格品率为90%，而当机器发生故障时产品的合格品率为30%

4、。每天早上机器开动时机器调整得良好的概率为75%。试求已知某日早上第一件产品是合格品时机器调整得良好的概率是多大？解：设事件为“产品为合格品”，事件为“机器调整得良好”。则一、决策理论的基本概念 统计决策理论是著名统计学家A.Wald（1902-1950)在20世纪40年代建立起来的（Wald.A. Statistical decision function. New York：John Wileysons, 1950.中译本：王福宝译，统计决策函数，上海教育出版社，1963）。统计决策理论与经典统计学的差别在于是否涉及后果。经典统计学重在推断上，而不考虑用在何处以及效果如何，统计决策理论引入

5、损失函数，用来度量效益的大小，评价统计推断结果的优劣。 Bayes分析是英国学者T.Bayes（1702-1761）首先提出，在20世纪后半叶迅速发展，它与经典统计学的差别在于是否使用先验信息。1、决策问题与决策空间例1 设甲乙两人进行一种游戏，甲手中有三张牌，分别标有，乙手中也有三张牌，分别标有。游戏规则是双方各自独立地出牌，按下表记甲的得分与乙的失分：甲 乙 3 -2 01 4 -3-4 -1 2描述这类决策问题有三要素：l 状态集：状态集表示自然界或社会所有可能状态的全体。也称为参数集或参数空间。如本例的。l 行动集：行动集表示决策者可能采取的行动的全体。也称为决策集或决策空间。如本例的

6、l 收益函数：收益函数表示自然界或社会处于状态时，决策者采取行动所获的收益。如本例的得分。当和都是有限集时，成为收益矩阵。（1）先验信息：人们在过去对自然界或社会的各种状态所获得的信息。（2）样本的信息：从与自然界或社会的状态有关的环境中抽样，从获得的样本中了解当今状态的最新信息。 如果在一个决策问题中只利用样本的信息，这种问题称为统计决策问题；如果在一个决策问题中不仅利用样本的信息，还利用先验信息，这样的问题称为Bayes决策问题。例2 某工厂生产的产品每100件装成一箱运交顾客，在向顾客交货前面临如下两个行动： a 1:一箱中逐一检查； a2：一箱中都不检查若工厂选择行动a1，则可保证交货

7、时每件产品都是合格品。但因每件产品检查费为0.8元，为此工厂要支付检查费80元/箱；若工厂选择行动a2，工厂可免付每箱检查费80元，但顾客发现不合格品时，按合同不仅允许更换，而且每件还要支付12.5元的赔偿金。2、损失函数 且有限，它反映决策中由于的不同，即使同一个偏差造成的危害性常不一样，而是的非降函数。最常见的形式是，取非负整数。常用的损失函数：（1）平方损失函数：或加权平方损失函数：（2）线性损失函数：其中，和是两个大于0的常数，它们的选择常反映行动低于状态和高于状态的相对重要性。当时，得绝对损失函数若和是的函数，则称为加权线性损失函数（3）0-1损失函数：这里的是正数。这种损失函数常在

8、两行动决策问题中使用，这里的0和1并不是损失的大小，是有无损失之意。类似的有或（4）多元二次损失函数：当和是多维向量时其中，为阶正定矩阵。在实际问题中，我们的愿望是选择一个估计量，使损失函数达到最小。3、决策函数4、风险函数 二、Bayes估计量1、先验分布例3 英国统计学家Savage.L.J.曾考虑如下两个问题：（1）一位常饮牛奶和茶的妇女声称，她能辨别先倒进杯子里的是茶还是牛奶，对此作了十次试验，全都成功；（2）一位音乐家声称，他能从一页乐谱辨别出是海顿(Haydn)的还是莫扎特(Mozart)的作品，在十次试验中全部成功。(0.5)10=0.00097662、后验分布（1）在经典统计中

9、总体的分布依赖于参数和的取值，即总体的分布为，而Bayes学派认为函数是在随机变量给定某个值时的条件分布，所以应该记为（2）根据参数的先验信息确定的先验分布（3）从总体中抽取样本，则样本的联合分布为 这个联合分布综合了样本的信息，又称为似然函数。（4）考虑参数的先验信息，即把参数的先验信息与样本的信息综合到一起，得到样本与参数的联合分布 （5）将样本的信息分离出来。如果用表示的后验分布，表示样本的分布，它是样本的分布，与无关，即不含的任何信息，亦即分解，分解成 其中， （连续型）或 （离散型）从而得到后验分布 是离散性还是连续型，取决于的先验分布是离散性还是连续型。从上述5个过程不难看出，当从

10、总体获得样本后，公式把人们对的认识从调整到，这个调整过程可以形象地表示为 先验信息样本信息=后验信息即 例4 设总体，其中参数未知，且设在区间（0，1）上服从均匀分布，是来自总体的样本，试求的后验分布。解：（1）的条件概率函数为 （2）的先验分布为 （3）样本的联合分布为（4）样本和的联合分布为 （5）样本的分布为注意，函数 所以的后验分布 其中，即的后验分布为3、Bayes估计量定理 设总体的概率密度函数为，其中参数未知，且假定的先验分布为，为取自总体的样本，如果损失函数为，则对样本的任何一组观察值，Bayes估计量为例5设总体，其中参数未知，且设在区间（0，1）上服从均匀分布，是来自总体的

11、样本，给定损失函数，试求的Bayes估计量。解：由例4知，的后验分布为由定理知， 即的Bayes估计量为例6设总体，其中参数未知，且设服从，是来自总体的样本，对损失函数，试求的Bayes估计量。解：（1）的条件概率函数为 （2）的先验分布为 （3）样本的联合分布为 （4）样本和的联合分布为 （5）样本的分布为 所以的后验分布 （6）由定理对样本的任意一组观察值，的Bayes估计量为 第5节 估计量的优良性一、无偏性定义1 设是参数的一个估计量，若则称为的一个无偏估计量，否则称是有偏的。如果，则称为的渐近无偏估计量。例1 设总体的均值，方差，为取自于总体的样本，证明样本均值为的无偏估计，样本方差

12、为的无偏估计，但样本的二阶中心矩是的有偏估计，但是的渐近无偏估计。证明：由第1章的第2节的定理1和定理2，知道，所以样本均值为的无偏估计，样本方差为的无偏估计。 所以样本的二阶中心矩是的有偏估计。由于所以样本的二阶中心矩是的渐近无偏估计。例2 设总体，其中参数未知，为取自总体的样本，求与的无偏估计量。解：，说明是的无偏估计量。又，说明也是的无偏估计量。从而和都是的无偏估计量。由于 所以是的一个无偏估计量。又所以是的一个无偏估计量。从而和都是的无偏估计量。这说明一个参数的无偏估计不是唯一的。二、有效性与有效估计量定义2 设总体，其中参数是未知参数，为取自总体的样本，与都是参数的无偏估计量，若，则

13、称比更有效。即在的无偏估计量中，方差越小越有效。例3 设总体的期望，方差，为取自于总体的样本，若为已知常数，且，证明为的无偏估计量，并问在这些无偏估计量中，当为何值时最有效。解：这说明为的无偏估计量。记 令可得所以当时，最小，说明在诸无偏估计量中，是最有效的。在有效性的定义中，我们说若，则称比更有效。一个自然的问题是，在的无偏估计中是不是永远都只有“更好”而没有“最好”呢？正则性条件：设总体的概率密度函数为（离散型时为概率分布律），关于未知参数可导，且的取值与的非零区域无关，即与无关，对的积分和微分可交换。 为了将问题一般化，考虑参数的函数的无偏估计量的方差，并假定关于可导。 设为取自总体的样

14、本，则的联合密度函数为 由于是无偏估计，所以 两边对求导，有引进记号 则上式可以写成 而 所以 于是由柯西-许瓦兹不等式 记，则 若，和称为Rao-Cramer不等式。称为参数的信息量。定义3 如果的无偏估计达到了Rao-Cramer不等式的下界，即，则称为的有效估计量。定义4 设为的一个无偏估计量，称为的有效率。性质 例4 设总体服从参数为的指数分布，概率密度函数为 试求的信息量。解：， 例5 设总体，其中参数未知，已知，为取自总体的样本，证明为的有效估计量。例6 设总体，为取自总体的样本，为未知参数，证明是的有效估计量。定理 设总体的概率函数（连续型时为概率密度函数，离散型时为概率函数）关

15、于可导，其中为未知参数，与无关，为取自总体的样本，如果 其中与只与有关，则为的无偏有效估计量。例7 设总体，其中参数未知，已知，为取自总体的样本，求参数的无偏有效估计量。例8 设总体，为取自总体的样本，为未知参数，求参数的有效估计量。三、相合性（一致性）定义 设是未知参数的估计序列，如果依概率收敛于，即对任意的，有 则称是的相合估计或一致估计。定理 设是的一个估计量，若，且，则是的相合估计。切比雪夫不等式的推广：四、充分统计量定义 设总体的分布函数为，为取自总体的样本，为一个统计量。当给定时，若样本的条件分布与无关，即 （离散型时为概率函数，连续型时为密度函数），则称为的充分统计量。定理1（因

16、子分解定理） 设总体的概率密度函数或概率函数为，其中参数未知， 一个统计量为的充分统计量的充要条件为的联合概率密度（或概率）函数可以分解为其中是仅依赖于而与无关的非负函数，是与的非负函数。例1 设总体，为取自总体的样本，为未知参数，证明是的充分统计量。例2 设总体，其中参数未知，为取自总体的样本，求参数的充分统计量。例3 设总体，其中参数未知，为取自总体的样本，求参数的充分统计量。定理2 设为的充分统计量，是单值可逆函数，则也是的充分统计量。 第6节 参数的置信区间一、参数的置信区间的定义定义1 设是未知参数，对于给定的，若由样本构造的两个统计量和，且，使，对一切，则称为置信水平，称随机区间是

17、参数的置信水平为的双侧置信区间，和分别称为置信水平为的双侧置信区间的置信下限和置信上限。定义2 对于给定的，若由样本构造的统计量，使，称随机区间是参数的置信水平为的单侧置信区间，称为置信水平为的单侧置信上限。若由样本构造的统计量，使，称随机区间是参数的置信水平为的单侧置信区间，称为置信水平为的单侧置信下限。二、正态总体参数的置信区间1单正态总体参数的置信区间设为取自于正态总体的样本，样本均值和样本方差分别为，求和的置信区间。（1）的置信区间若已知，的置信区间为若未知，的置信区间为例1设总体，其中参数未知，为取自总体的样本，对样本进行观察，得一组观察值为6.92 7.34 7.26 6.88，求

18、参数的置信水平为0.95的置信区间。解：的置信水平为0.95的置信区间为例2 从某商店一年来的发票存根中随机抽取26张，计算得平均金额78.5元，样本标准差为20元。假设发票金额数服从正态分布，其中和未知，试求该商店一年来发票平均金额数的0.90的置信区间。解：的0.90的置信区间为（2）的置信区间若已知，的置信区间为若未知， 的置信区间为例3 某汽车电池制造商声称其生产的电池平均寿命为3年，标准差为1年，这些电池中有5个使用寿命为1.9 2.4 3.0 3.5 4.2年。试求总体方差的0.95的置信区间，并判定制造商声称是否有效。假定电池寿命近似服从正态分布。（1）已知；（2）未知。解：（1

19、）已知，的0.95置信区间为 的0.95置信区间为该区间包含，可以认为制造商声称有效。（2）未知，的置信区间为的0.95置信区间为也可以认为制造商声称有效。例5 从一批电视显像管中随机抽取6个测试其使用寿命，（单位：Kh）：15.6 14.9 16.0 14.8 15.3 15.5，假设显像管寿命，其中和未知，试求（1）的0.95单侧置信下限；（2）的0.90单侧置信上限。解：（1）因为未知，选取由得的0.95单侧置信下限为即的0.95单侧置信区间为（2）因为未知，选取得的0.90单侧置信上限为即的0.90单侧置信区间为（0，0.63）2双正态总体均值差和方差比的置信区间设是来自于总体的简单随机样本，和分别是样本均值和样本方差；是来自于总体的简单随机样本，和分别是样本均值和样本方差。且两样本相互独立。（1）的置信区间若已知，的置信区间为若未知，的置信区间为 例5 两台机床生产同一型号的滚珠，从甲机床生产的滚珠中抽取8个，得；从乙机床生产的滚珠中抽取9个，得，设两台机床生产的滚珠直径（毫米）服从正态分布。（1）若两台机床生产的滚珠直径的标准差分别是，求的0.90的置信区间。（2）若