《概率论与数理统计》课件 孟祥波 第七章 参数估计

概率论

与数理统计理学院数学系“悟道诗---严加安”随机非随意，概率破玄机；无序隐有序，统计解迷离．第七章参数估计数理统计所研究的基本问题根据手中的数据，分析或推断数据反映的本质规律统计推断根据样本对总体的分布或数字特征等作出合理的推断核心问题参数估计假设检验参数估计统计推断的一种基本形式数理统计学的一个重要分支参数估计的两种形式点估计区间估计第一节点估计二、最大似然估计法一、矩估计法三、小结如果总体的分布类型是已知的，但它的一个或多个参数是未知的，则需要对未知的参数作出估计，这就属于参数估计的点估计问题．设是总体的分布函数，其中是未知参数，为总体的一个样本设总体的分布中含有未知参数，从总体中抽取样本，构造某个统计量

作为参数的估计，则称为参数的点估计量；若样本的观测值为，则称为参数

的点估计值.

定义：由于估计量是样本的函数,是随机变量,故对不同的样本值,得到的参数值往往不同,如何求估计量是关键问题.估计量的求法常用构造估计量的方法:(两种)矩估计法和最大似然估计法.（1）矩估计基本思想一、矩估计法用样本矩作为相应总体矩的估计，即用样本矩去替换相应的总体矩.矩可以是原点矩，也可以是中心距.英国统计学家卡尔·皮尔逊（KarlPearson）在1900年提出.（2）矩估计的理论基础设总体的阶原点矩存在，则由大数定律可知，当时，样本的阶原点矩依概率收敛于.（3）矩估计的具体做法设总体的分布中含有个未知参数，

，为总体的一个样本，假设总体的阶原点矩都存在，则有用样本的阶原点矩作为总体的阶原点矩的估计量，由此得到含有的方程组：求解方程组，得这就是未知参数的矩估计量．这就是未知参数的矩估计值．代入样本观测值得到个数，即例1：设总体，其中为未知参数，

是来自总体的一个样本，求参数的矩估计量．由于解：所以参数的矩估计量为令即设总体服从区间上的均匀分布，其中

是未知参数，若取得样本观测值，试计算参数的矩估计值．例2：解：由于总体服从区间上的均匀分布，故其概率密度函数为故有而样本的一阶原点矩为由于只有一个未知参数，所以只需计算总体的一阶原点矩所以的矩估计量为进而得到的矩估计值例3：解：由于总体的分布中有两个未知参数，故应考虑一、二阶原点矩，从而有设总体的均值及方差都存在，且有

，但均未知，又设是来自总体的样本，试求的矩估计值．于是，由矩估计的方法得方程组解得及的矩估计量分别为进一步得到及的矩估计值为以上结果表明：无论总体服从何种分布，只要总体的均值和方差存在，总体均值的矩估计量就是样本均值，总体方差的矩估计量就是样本二阶中心矩，即其矩估计值为用仪器测量某零件的长度（单位：mm），设测得的零件长度服从正态分布，现进行5次测量，其结果如下：9294103105106试计算参数及的矩估计值．例4：解：由例3可知的矩估计量分别为及，故

的矩估计值分别为与，即矩估计法的优点是：简便、直观，不需要事先知道总体是什么分布．缺点是：一般情形下，矩估计量不具有唯一性，而且对于总体矩不存在的情形不适用．二、最大似然估计法一次试验就出现的事件有较大的概率。它首先是由德国数学家高斯在1821年提出的,然而，这个方法常归功于英国统计学家费舍尔(Fisher).费舍尔在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.高斯费舍尔最大似然估计又称极大似然估计，是一种利用给定样本观测值来评估模型参数的方法.基本原理：利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值.（1）离散型总体设离散型总体的分布律为其中为未知参数，为的所有可能取值范围（称为参数空间），则对于给定的样本观测值，样本的联合分布律为令称样本为似然函数，它是未知参数的函数．（2）连续型总体设连续型总体的概率密度函数为其中为未知参数，为的所有可能取值范围（称为参数空间），则对于给定的样本观测值，样本的概率密度为随机变量落在点的邻域（其半径为）内的概率可近似为当取定时，它是的函数，记为，我们称为样本似然函数．由于与无关，故似然函数常取为最大似然估计法得到样本值时，选取使似然函数

取得最大值的作为未知参数的估计值，即其中与有关，记为参数的最大似然估计值参数的最大似然估计量计算最大似然估计步骤离散型总体（1）写出似然函数连续型总体（2）似然函数两侧取自然对数，得到对数似然函数离散型总体连续型总体（3）求对数似然函数的最大值点（通常为极大值点）对数似然方程可得的最大似然估计当在端点处取得最大值时，的最大似然估计即为该端点值.当为单峰函数，并在极大值点处取得最大值时，由例5：解：总体的分布律为设总体，是来自总体的样本，求的最大似然估计量．设是相应的样本值，则似然函数为对上式两边取对数，得对数似然方程由可得因此参数的最大似然估计量为设是来自总体的样本，总体的概率密度函数为例6：解：设是相应的样本观测值，则似然函数为其中是未知参数，求的最大似然估计量．在这里，最大似然估计只需考虑非零部分量最大就可以了，似然函数可改写为对上式两边取对数，得由可得因此参数的最大似然估计量为当总体的分布中有多个未知参数时，似然函数就是多元函数，则相应地有方程组由此方程组解得的最大似然估计值．对数似然方程组例7：解：设总体的概率密度函数为设总体，其中和是未知参数，取样本观测值为，求参数和

的最大似然估计．则似然函数为取对数，得对数似然函数关于和分别求偏导，得似然方程组由此解得及的最大似然估计值分别为最大似然估计量分别为从本例可以看到，正态总体参数的最大似然估计与矩估计是相同的．

设总体服从均匀分布，其中和

是未知参数，取样本观测值为，求参数和的最大似然估计.例8：解：设总体的概率密度函数为则似然函数为令，则似然函数可以写为由于当及时，似然函数的偏导数不为零，故按照最大似然原理来确定的最大值．对于满足及

的任意，有即似然函数在，时取得最大值．故，的最大似然估计值分别为最大似然估计量分别为最大似然估计的不变性原理设是的最大似然估计，是的函数，且具有单值的反函数，则是的最大似然估计．正态分布总体中，的最大似然估计值为

是的函数，且具有单值的反函数，故的最大似然估计值为类似地，的最大似然估计值为注意：（1）当似然函数关于未知参数不可微时，只能按最大似然原理计算最大值点；（2）上述方法推广至多个未知参数的情形；（3）对数似然方程对数似然方程组小结两种求点估计的方法：矩估计法，最大似然估计法.3.注：在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时,再用矩估计法.2.

似然函数.4.最大似然估计的一般步骤：（3）判断并求出最大值点，用样本值代入就是参数

的最大似然估计值．（1）写出似然函数；（2）令或，求出驻点；概率论

与数理统计理学院数学系“悟道诗---严加安”随机非随意，概率破玄机；无序隐有序，统计解迷离．第七章参数估计第二节估计量的评价标准二、有效性一、无偏性三、一致性（相合性）四、小结在上一节中可知，对于同一个参数，用不同的点估计方法得出的估计量可能不同，即使利用同一种方法，也可能得到多个估计量．这就涉及到评价估计量好坏的标准问题.本节我们讨论评价估计量常用的三条标准：（1）无偏性；（2）有效性；（3）一致性（相合性）．设是从总体中抽取的样本，

是总体分布中未知参数的估计量，如果存在，且则称是的无偏估计量．定义：一、无偏性无偏性的意义对于某些样本值，用估计量得到的估计值相对于真值来说有的偏大，有的偏小，但是平均来说它等于未知参数．即不存在系统误差．注意：（3）无偏性是对估计量一个常见而重要的要求，它

的实际意义指估计量没有系统偏差，只是随机

偏差.（1）如果，则称为的有偏估计量，

称为估计量的偏差；（2）如果是的有偏估计量，但，

则称是的渐近无偏估计量；定理：设是取自总体的样本，总体的均值为，方差为．则（1）样本均值是总体均值的无偏估计量；（2）样本方差是总体方

差的无偏估计量；证明因为样本相互独立且与总体

服从相同的分布，故有由数学期望和方差的性质可知：（3）样本二阶中心矩不是总

体的无偏估计量，而是渐近无偏估计量．（1）（2）由于故样本均值是总体均值的无偏估计量．则再由公式，可得因此即样本方差是总体方差的无偏估计量．（3）由于又因为所以不是的无偏估计量．所以是的渐近无偏估计量．二、有效性对于同一个未知参数，它可能有多个无偏估计量，在这些估计量中自然选用对的平均偏离程度较小者为好，也就是说一个较好的估计量应有较小的方差．由此我们引入评价估计量好坏的第二个标准：有效性．设和都是参数的无偏估计量，且，则称较的有效．定义：

当样本容量一定时，若在的所有无偏估计量中，的方差最小，则称是的有效估计量．设是总体的样本，证明

都是总体均值的无偏估计量，并比较哪个估计量更有效．例1：由于解：又因为所以，都是总体均值的无偏估计量．又因为，所以较

更有效．三、一致性（相合性）在样本容量一定的情况下，无偏性和有效性能够较好地反映估计量的好坏．但是随着样本所包含信息的增多，当充分大时，我们希望估计值在某种意义下稳定在真值附近．这就是第三个评价标准：一致性（相合性）．设是总体参数的估计量，如果对于任意，当时，

依概率收敛于，即对于任意，有则称是总体参数的一致估计量或相合估计量．定义：设是总体的样本，且证明：样本均值是总体均值的一致估计量．例2：证明：由于样本是相互独立的，且与总体服从相同的分布，故有再由切比雪夫定理，其中则有所以样本均值是总体均值的一致估计量．说明：（1）样本方差是总体方差的一致估计量．用样本的阶原点矩与样本方差作为总体的阶原点矩与总体方差的估计是无偏的、一致的，且是较好的估计．（2）若是连续函数，

是的一致估计量，则是的一致估计量，故用矩估计法得到的统计量一般是一致估计量．在大多数情况下，最大似然估计量也是一致估计量．小结无偏性3.一致性（相合性）2.

有效性概率论

与数理统计理学院数学系“悟道诗---严加安”随机非随意，概率破玄机；无序隐有序，统计解迷离．第七章参数估计第三节正态总体的区间估计二、单个正态总体参数的区间估计四、小结一、置信区间的概念三、两个正态总体参数的区间估计

定义1：设总体的分布函数一、置信区间的概念中含有一个未知参数所有可能取值的范围），由总体的样本确定的两个统计量其中若对于给定的，使得则称随机区间是的置信水平为的置信区间，称为置信水平，分别称为的双侧置信上限和双侧置信下限.注：（1）置信区间的长度反映了估计的精度；（2）反映估计的可靠性，值越大，估计的（3）置信水平可靠性越高.而精度和可靠性是矛盾的.的含义：在随机抽样中，如果进行N次抽样，则随机得到N个区间，这N个区间中有的包含未知参数的真值，有的不包含.二、单个正态总体参数的区间估计设总体是总体的样本，分别是样本均值和样本方差，置信水平为1.正态总体均值的区间估计（1）已知时，的置信区间利用样本函数根据标准正态分布的上分位点定义，有即得到的一个置信水平为的置信区间或例1

从某厂生产的滚珠中随机抽取10个，测得滚珠的直径（单位：mm）如下：14.615.014.715.114.914.815.015.115.214.8若滚珠直径服从正态分布，并且已知

求滚珠直径均值的置信水平为95%的置信区间.解

计算样本均值，置信水平查表得，由此得的置信水平为95%的置信区间为即注：未知参数的置信水平为的置信区间并不是唯一的.置信区间的长度随置信水平变化.(2)未知时，的置信区间当未知时，选取样本函数由于t分布的分布曲线对称于y轴，故给定的置信水平，选取对称区间.使得即则于是置信区间为例2从某厂生产的滚珠中随机抽取10个，测得滚珠直径（单位mm）为：14.615.014.715.114.914.815.015.115.214.8.若滚珠直径服从正态分布，求滚珠直径均值的置信水平为95%的置信区间.解：样本均值，样本标准差，置信水平，，自由度，查表得，则的置信区间为即注：比较两例，未知时的置信区间要比已知时的置信区间长度大一些，这表明当未知条件增多，估计精度变差.2.正态总体方差的区间估计（1）已知时，的置信区间构造样本函数注：分布的分布曲线不对称，找到最短置信区间是困难的，所以仿照曲线对称情形选取区间.故有即即得到置信区间为例3

从某厂生产的滚珠中随机抽取10个，测得滚珠直径（单位mm）如下：14.615.014.715.114.914.815.015.115.214.8.若滚珠直径服从正态分布，已知求滚珠直径方差的置信水平为95%的置信区间.解：已知则方差的置信水平为95%的置信区间为即所以置信水平为95%的置信区间为(2)未知时，的置信区间选取样本函数选取分位点可得即置信区间为例4从某厂生产的滚珠中随机抽取10个，测得滚珠直径（单位：mm）如下：14.615.014.715.114.914.815.015.115.214.8若滚珠直径服从正态分布，若未知，求滚珠直径方差的置信水平为95%的置信区间.解：样本方差置信水平自由度查表得置信区间为即三、两个正态总体参数的区间估计在实际问题中，有时需要研究两个正态总体均值或方差之间的差异问题，要讨论两个正态总体的均值差和方差比的区间估计问题.设总体是总体,的样本，样本均值和样本方差.,是总体的样本，样本均值和样本方差1.两个正态总体均值差的区间估计（1）已知时，的置信区间有有样本函数对于给定的置信水平，有即则有因此均值差的置信区间为例5比较甲，乙两种钢板的强度，从甲钢板中抽取20个样品，测得强度均值为从乙钢板中抽取25个样品，测得强度均值为设两种钢板强度服从正态分布，其方差分别为试计算两种钢板强度均值差的置信水平90%的置信区间.解：置信水平查表得数据代入得到置信区间为（2）均未知，但时，的置信区间选取样本函数其中有即置信区间为例6两批导线，从第一批中抽取4根，第二批抽取5根测得电阻如下（单位：）第一批：0.1430.1420.1430.138第二批：0.1400.1420.1360.1400138设第一批导线的电阻，第二批导线的电阻，可认为，其中都未知，计算两批导线电阻均值差的置信水平90%的置信区间.解：经计算可得查表得代入得置信区间即2.两个正态总体方差比的区间估计已知时，方差比的区间估计确定分位数有选取样本函数得到方差比的置信区间为（2）未知时，的置信区间选取样本函数给定的置信水平，确定分位数使得得到方差比的置信区间为小结一、置信区间的概念二、单个正态总体参数的区间估计（四种情况）三、两个正态总体参数的区间估计（四种情况）概率论

与数理统计理学院数学系“悟道诗---严加安”随机非随意，概率破玄机；无序隐有序，统计解迷离．第七章参数估计第五节综合例题设总体，抽取样本，

（1）若已知，计算未知参数

的矩估计量与最大似然估计量，并讨论它们的无偏性；（2）若已知，计算未知参数的矩估计量与最大似然估计量，并讨论它们的无偏性．例1：解：（1）由于，所以参数的矩估计量为下面计算的最大似然估计量．因为已知，所以似然函数为上式两边取对数，得上式两侧关于参数求一阶导数，并令一阶导数等于零，得由此解得的最大似然估计值为所以的最大似然估计量为因为是总体均值，是样本均值，所以由本章第二节定理7.2.1可知，的矩估计量与最大似然估计量都是无偏估计量．（2）由于，且已知，根据有由矩估计法得到参数的矩估计量为由于所以，的矩估计量是无偏估计量．上式两侧关于参数求一阶导数，并令一阶导数等于零，得上式两边取对数，得下面计算的最大似然估计量．由于已知，所以似然函数为由此解得的最大似然估计值为所以，的最大似然估计量为由，有所以，的最大似然估计量也是无偏估计量．设为正态总体的一个样本，试确定常数的值，使

为的无偏估计．例2：解：由于所以再由（无偏性），故有所以例3：解：对方差为已知的正态总体来说，问需取容量为多大的样本，才能使总体均值的置信水平为的置信区间的长度不大于？由于的置信区间为故的置信区间长度为要使其不大于，需有从而即需至少取样本容量为，才能使总体均值的置信水平为的置信区间的长度不大于．解：由于且知，故得设和为参数的两个独立的无偏估计量，且假设，求常数和，使

为的无偏估计，并使方差最小．例4：又由于要使方差达到最小，需在满足的条件下，使达到最小．令，代入得．求关于的一阶导数，并令其等于零，得从而解得解：进而有设总体，其中为未知参数，

是的样本，试证明：是的相合估计量．例5：由于，所以应用切比雪夫不等式，有即从而由于概率不能大