上海大学级概率论与数理统计课件

1、上海大学级概率论与数理统计第七章 参数估计参数估计数理统计的目的是进行统计推断，而统计推断的基本问题可以分为两大类，一类是估计问题估计问题，另一类是假假设检验设检验问题。在本章我们将要考虑的是估计问题。所谓参数估计就是： 对于总体X,其分布形式已知 ,但其中 为未知参数，现在从总体中抽出一个简单随机样本 ，要依据这个样本去对未知参数 的值作出估计。),(21mxFm,21nXXX,21m,21上海大学级概率论与数理统计一种是点估计点估计；另一种是区间估计区间估计。我们先考虑点估计参数估计有两种类型：例：已知一批电视机的寿命服从正态分布，但期望和方差未知，现从中抽取一个容量为4的样本，测得样本值

2、为（1453，1502，1367，1650）。现在要根据样本来估计总体的期望和方差。 由于样本是总体的“代表”，所以用样本均值来估计总体均值（期望),用样本方差来估计总体方差是比较“合理”的.当然也可以用其他”合理”的办法来估计.注意注意：样本均值和样本方差都是统计量上海大学级概率论与数理统计1 点 估 计一、点估计的概念设总体的分布函数为 ， 是 的一个样本， 是相应的一个样本值,点估计问题就是要构造一个“合理合理”的统计量 ,用它的观察值 作为未知参数 的估计值，称 为 的估计量估计量，称 为 的估计值估计值。估计量和估计值统称为估计估计，简记为 。);(xFnXXX,21Xnxxx,21

3、),(21nXXX),(21nxxx),(21nXXX),(21nxxx由此可见，点估计的关键在于构造一个“合理合理”的估计量。那么根据什么原理来构造估计量呢上海大学级概率论与数理统计二、 点估计的常用方法1. 矩估计法原理：设 是来自总体 的样本，由大数定理可知 ，矩估计就是根据这一原理来构造估计量的,即用样本矩来估计总体矩。 由来进行未知参数的估计。进一步还可以用样本矩的函数来估计总体矩的函数.nXXX,21XnikPkikXEXnA1)(1kmkkAXE),()(21mk, 2 , 1上海大学级概率论与数理统计当总体是连续型随机变量概率密度为（其中 是 个未知参数），则),;(21mxf

4、m,21mdxxfxXEmkkmk),;()(),(2121当总体是离散型随机变量，其分布律为),;()(21mnnxpxXP, 2 , 1n12121),;()(),(nmnknkmkxpxXE则方法：第一步：求总体矩上海大学级概率论与数理统计解出 ，就以 作为 的估计，称之为矩估计量，矩估计量的观察值称为矩估计值。通常取k=1最简单，但有时E( X )= 0，这时可取K = 2或K = 3等等。 12()( ,)kkmE X 12(,)iinXXXii第二步：用相应的样本矩 作为总体矩的估计kA12 ( ,)kmkA 令：12( ,)iinx xx上海大学级概率论与数理统计例:求下列总体分

5、布中的未知参数的矩估计(1)其中c是已知参数.(2) p 是未知参数 X U(a,b) ,求 a,b的矩估计量.教材173页第4题(求矩估计量和矩估计值) 10,10c xxccfxotherwise1,0,1,mxxmP Xxppxmx上海大学级概率论与数理统计2、 最大似然估计法基本思想：如果事件A在一次试验中就发生，有理由 认为该事件发生的概率很大，即P(A)很大。最大似然估计就是根据这一思想来估计未知参数的。若一次试验就取得样本值 ，这就意味着取到这组样本值的概率很大。nxxx,21上海大学级概率论与数理统计(i) 对离散型随机变量，设总体的分布律为12( ;,)mP Xxp x 则样

6、本 的分布律为),(21nXXXniminnxpxXxXxXP1212211),;(,最大似然估计就是确定参数 ，使事件 的概率m,21nimixp121),;(为最大。,2211nnxXxXxX上海大学级概率论与数理统计),;,(max),;,(2121,212121mnmnxxxLxxxLm若记则称 为 的最大似然估计值最大似然估计值，称 为 的最大似然估计量最大似然估计量。L称为似然函数.),(21m),(21m),(211nXXX),(21nmXXX),(21m,1111,; ,; ,nnniniL xxp x上海大学级概率论与数理统计(ii) 对连续型随机变量，设总体 的概率密度为

7、则样本 的概率密度为 最大似然估计就是要选取使 达到最大。 X),;(21mxf),(21nXXXniminxfxxxf12121),;(),(m,211212(,)(;,)mimLf x 上海大学级概率论与数理统计设 是对应于样本 的一个样本值，令nxxx,21nXXX,21离散型连续型niminimimnxpxfxxxL1211212121),;(),;(),;,(把 看作是 的函数,称这个函数为似然函数似然函数.Lm,21这样，最大似然估计的问题就归结为求似然函数的最大值的问题了。因此由以下的似然方程组0),;,(2121imnxxxL), 2 , 1(mi就可以求得 的最大似然估值 。

8、m,21),(21m上海大学级概率论与数理统计又因为似然函数 与 在同一处取到极值同一处取到极值，因此 的最大似然估计 也可以从对数似然方程组),;,(2121mnxxxL),;,(ln2121mnxxxL),(21m),(21m0),(ln21imL), 2 , 1(mi求得。这样往往计算更简单.最大似然估计的计算步骤: (1) 写出似然函数; (2) 求对数; (3) 求导数; (4) 解方程. 上海大学级概率论与数理统计例1:总体概率密度为 其中c是已知参数,求 的最大似然估计.例2: 总体 的最大似然估计. 10,10c xxccfxotherwise ,:Xe求例5: 总体 的最大似

9、然估计.例4: 总体 的最大似然估计.例3: 总体 的最大似然估计.22,: ,XN 求 ,:XP求;,:Xb n pp求例6: 总体 的最大似然估计0,:XU求例7: 教材173页第4题上海大学级概率论与数理统计3 估计量的评选标准1、无偏性若估计量 的数学期望 存在，且 ，则称 是 的 无偏估计（量）无偏估计（量）。)(E),(21nXXX)(E例1:证明: 样本均值 是总体均值 的无偏估计; 证明:样本方差 是总体方差 的无偏估计，而估计量 却不是 的无偏估计。XniiXXnS122)(112niiXXn12)(12上海大学级概率论与数理统计因为定义:若对于 的估计量 有 ,则称 是 的

10、渐进无偏估计（量）渐进无偏估计（量）),(21nXXXlim( )nE例例2.2.设设 是参数是参数 的无偏估计的无偏估计, ,且且 证明证明 : : 不是不是 的无偏估计的无偏估计. . 22)( )0D22111() niinEXXnn所以不是 的无偏估计.但是随n的增大它越来越接近我们称之为渐进无偏估计.22由此可知若由此可知若 是参数是参数 的无偏估计的无偏估计, ,但但 不一定就不一定就是是 的无偏估计的无偏估计. .( )g( )g上海大学级概率论与数理统计2、 有效性设 与 都是 的无偏估计量无偏估计量，若 则称称 比比 有效。有效。例例3. 3. 是来自总体是来自总体X X的一

11、个样本的一个样本, ,哪些是总体均值的无偏估计哪些是总体均值的无偏估计, ,哪一个最有效哪一个最有效. .),(2111nXXX),(2122nXXX)()(21DD12),(321XXX321321321313131;834183;412141XXXXXXXXX上海大学级概率论与数理统计3、相合性（一致性）设 为参数 的估计量，若当 时， 依概率收敛于 ，即对于任意 ，有则称 是 的相合估计量。这就是说样本容量越大,越能够反映总体的真实情况.),(21nXXXn),(21nXXX01|limPn上海大学级概率论与数理统计例5： 设总体 的概率密度为 是取自 的简单随机样本，求（1） 的矩估计

12、量 ；（2） 的方差 ;（3）判别这个估计是否无偏估计。XnXXX,21X)(D其他00)(6)(3xxxxf例4. 是总体X的一个样本当c为何值时 是总体方差的无偏估计.nXXX,212111)(iiniXXc上海大学级概率论与数理统计例6：设 是总体 的两个独立样本X2(),(),E XD XZaXbY:,;,a bZa b求 当满足什么条件时 是 的无偏估计又当为何值时这个估计最有效.1212(,) ,(,)mnXXXY YY上海大学级概率论与数理统计例7：设总体 的概率密度为 其中 是未知参数， 是来自总体 的一个容量为 的简单随机样本，分别用矩 估计法和最大似然估计法求 的估计量。X

13、其它010)1 ()(xxxf1nXXX,21Xn上海大学级概率论与数理统计例8：设某种元件的使用寿命 的概率密度为 其中 为未知参数，设 是 的一组样本观测值，求参数 的最大似然估计值。Xxxexfx02);()(20nxxx,21Xnxxx,21例9:设 是总体 的一个样本, 求 的最大似然估计.X X0XP上海大学级概率论与数理统计4 区间估计一、置信区间的定义设总体 的分布函数 含有一个未知参数 ， ( 是 可能取值的范围)对于给定值 ，若由样本 确定的两个统计量 和 ，满足: ),(xF10nXXX,2112(,)nX XX),(21nXXX1212 (,)(,) 1nnPXXXXX

14、X X则称随机区间 是 的置信水平为 的置信区间置信区间， 和 分别被称为置信水平 的双侧置信区间的置信下限置信下限和置信上限置信上限。称 为置信水平置信水平(度度)。( ,) 111上海大学级概率论与数理统计例: 设总体 是总体的一个样本,求 的置信 水平为 的置信区间.解: 因为 ,由标准正态分布的双侧 分位点的定义可知:22,XN 其中已知, 未知0,1XNn),(21nXXX12XPnZ21XPnZ 221PXZXZnn上海大学级概率论与数理统计 注:下面讨论的都是正态总体的区间估计,对于非正态总 体的情况都要利用中心极限定理把它化为正态的情况 但要注意这时 n 必须很大,即要采取大样

15、本.这样就得到了置信区间 再把样本值代入,就可得到确定的区间(不再是随机 区间)22(,)XZXZnn这个区间仍然称为置信区间.例: 设某种涂料的干燥时间 ,现随机抽取 4个样品,测得样本值为12.6;13.4;12.8;13.2,求:2( ,0.3 )XN的95%的置信区间.22(,)xZxZnn上海大学级概率论与数理统计 置信区间 的意义: 包含 的可信度为 ;而在 的可信度下,其误差不超过区间的长度1122Zn例:设总体 ,现取一个容量为16的样本,则 的 90%的置信区间的长度为多少;又若要求长度不超过1 则n至少应该取多少.,4XN22(,)xZxZnn2222 1.6451.645

16、16zn解：长度为又若要求长度21Zn221.64523.293.2910.82nZn上海大学级概率论与数理统计要解决这一对矛盾,即既要提高置信水平,又要减小置信区间的长度,只能加大n ,即提高取样成本.要提高置信水平就要减小 ,但这样就会导致 增大,这就意味着置信区间的长度 加大，所以这是一对矛盾。2Z22zn1再来讨论两个问题：1.置信水平与置信区间长度的关系置信水平 是越高越好，而置信区间的长度是越短越好。22Zn上海大学级概率论与数理统计 2. 2.同一置信水平同一置信水平 下的置信区间并不是唯一的下的置信区间并不是唯一的。1例如 是 的置信度为0.95 的置信区间; 0.0250.0

17、25(/,/)XZn XZn由上 的分位点定义知0.040.010.95/XPZZn所以 也是 的置信度为0.95的置信区间。0.010.04(/,/)XZn XZn通常在同一置信度下要。在相同的条件下在相同的条件下, ,选择对称的置信区间长度最短选择对称的置信区间长度最短. .0.040.010.025()/2ZZnZn上海大学级概率论与数理统计有时为了实际问题的需要可以不设置信下有时为了实际问题的需要可以不设置信下( (上上) )限限. .如如: : 由上 的分位点定义知0.050.95/XPun 所以 也是 的置信度为0.95的置信区间。当然,也可以0.05(,/)Xun这样的置信区间称

18、为单侧置信区间这样的置信区间称为单侧置信区间0.050.95XPnu 这样 也是 的置信度为0.95的置信区间。0.05,Xun上海大学级概率论与数理统计单侧置信区间的定义给定置信度 ，若由样本 确定的统计量 ， ，对任意 , 满足) 10(nXXX,21),(21nXXX),(21nXXX(1) , 则称随机区间 是的置信水平为 的单侧置信区间,称 为 的置信度为 的单侧置信下限单侧置信下限;1P),(11(2) , 则称随机区间 是的置信水平为 的单侧置信区间,称 为 的置信度为 的单侧置信上限。单侧置信上限。1P),(11上海大学级概率论与数理统计5 正态总体的置信区间正态总体的置信区间

19、一、单个总体 的情况),(2N1、均值 的置信区间（1） 为已知的情形2 (2) 为未知的情形2置信度为 的置信区间为 ；1) 1(2/ntnSX置信度为 的置信区间为 ；1/2XZn例 设某种涂料的干燥时间 ,现随机抽取 4个样品,测得样本值为12.6;13.4;12.8;13.2,求:2( ,)XN 的95%的置信区间.上海大学级概率论与数理统计2、方差 的置信区间 因为:2) 1() 1(222nSn22222/21/2(1)(1)1(1)(1)nSnSPnn 2221222(1)1nSP 上海大学级概率论与数理统计所以方差 的一个置信水平为 的置信区间为21) 1() 1(,) 1()

20、 1(22/1222/2nSnnSn标准差 的一个置信水平为 的置信区间1) 1() 1(,) 1() 1(22/122/nSnnSn例 设某种涂料的干燥时间 ,现随机抽取 4个样品,测得样本值为12.6;13.4;12.8;13.2,求:2( ,)XN 的95%的置信区间2上海大学级概率论与数理统计) 1() 1(222nSn1) 1() 1(2122nSnP1) 1() 1(2122nSnP方差 的一个置信水平 的单侧置信区间为 21) 1() 1(, 0212nSn，所以，单侧置信上限为) 1() 1(2122nSn关于单侧区间:注意:方差一定大于零.上海大学级概率论与数理统计二、 两个

21、总体 的情形),(),(222211NN1、两个总体均值差 的置信区间21（1）方差 为已知的情形 因为2221,) 1 , 0()()(22212121NnnYX由此得 的置信水平为 的置信区间为2112212/212XYZnn上海大学级概率论与数理统计(2) 方差 相等但未知时的情形2221,)2(11)()(212121nntnnSYXw 的置信水平为 的置信区间为21121212/11)2(nnSnntYXw2) 1() 1(21222211nnSnSnSw这里上海大学级概率论与数理统计2、两个总体方差比 的置信区间2221/) 1, 1(/2122212221nnFSS22121/2

22、12/2122212/(1,1)(1,1) =1/SSP FnnFnn所以方差比 的置信水平为 的置信区间为2221/1) 1, 1(1,) 1, 1(1212/12221212/2221nnFSSnnFSS上海大学级概率论与数理统计例1：有一大批糖果，现从中随机地取10袋，称得重 量（以克为单位）如下： 506,508,499,503,504, 514,505,493,496,506 设袋装糖果的重量近似地服从正态分布，试求总 体均值 的置信水平为 的置信区间和标准差 的置信水平为 的置信区间。95. 095. 0三、举例上海大学级概率论与数理统计例2：设一个物体的重量 未知，为估计其重量用天平去称量。由于称重