概率论与数理统计：第七章参数估计

1、 设总体设总体 X 的分布函数的类型为已知，但是它的的分布函数的类型为已知，但是它的某些参数是未知的，某些参数是未知的，通过总体的一个样本来估计总通过总体的一个样本来估计总体未知参数的值的问题称为体未知参数的值的问题称为参数的点估计问题参数的点估计问题q统计推断统计推断: :利用样本提供的信息对总体的某些统利用样本提供的信息对总体的某些统 计特性进行估计或判断，从而认识总体。计特性进行估计或判断，从而认识总体。1.1.参数估计参数估计( (第七章）第七章）2.2.假设检验假设检验( (第八章第八章) )q统计推断分为两大类统计推断分为两大类: : 设总体设总体X的分布函数的形式为已知的分布函数

2、的形式为已知, , 为总体的待估计的参为总体的待估计的参数数. . X1, X2 ,.,Xn是是X的一个样本的一个样本, ,x1, x2, ,xn是相应的样本值是相应的样本值. .点估计问题的一般提法点估计问题的一般提法: : 点估计问题就是点估计问题就是用样本用样本X1, X2 , ,Xn构造一个适当的统构造一个适当的统计量计量 ( (X1, X2 , ,Xn),),用它的观察值用它的观察值 ( (x1, x2, ,xn) )作为作为未知参数未知参数 的近似值的近似值. . 称称 ( (X1, X2 , ,Xn) )为为 的的估计量估计量. . ( (x1, x2, ,xn) ) 称称为的为

3、的 估计值估计值. .在不致混淆的情况下在不致混淆的情况下, ,计量和估计值统称估为计量和估计值统称估为估计估计, , 并都简记为并都简记为 . .点估计常用方法点估计常用方法: : 矩估计法矩估计法; ; 极大似然估计法极大似然估计法. .参数参数 的估计量的估计量 是样本是样本X1, X2 ,.,Xn的函数的函数. . 样本矩样本矩是描述随机变量的最简单的数字特征，它在是描述随机变量的最简单的数字特征，它在一定程度上反映总体的特征这种用样本一定程度上反映总体的特征这种用样本( (原点原点) )矩作为矩作为总体总体( (原点原点) )矩的估计量的方法称为矩的估计量的方法称为矩估计法矩估计法

4、设总体设总体X的分布函数为的分布函数为F( (x; ; 1, 2, ., k),),其中其中 1, 2,. k为待估参数为待估参数, ,如果如果 i=E( (X i) ) ( (i=1,2,.,k) )存在存在, , i为为 1, 2 , , k的函数的函数, ,记记 i= i( 1, 2 , , k) ( (i=1,2,.,k) ), X1, X2 , ,Xn为总体为总体X的样本的样本, ,用用Ai 来估计来估计E( (X i),),建立建立k个方程个方程: A1= 1( 1, 2 , , k) A2= 2 2( 1, 2 , , k) . Ak= k( 1, 2 , , k)1= 1(A1

5、, A2 , , A k) 2= 2(A1, A2 , , A k). k = k(A1, A2 , , A k) 用用 作为作为 i的估计量的估计量-矩估计量矩估计量. i nikikXnA11k价样本矩价样本矩k 21kAAA21 设总体设总体X服从服从 a，b上的均匀分布，上的均匀分布，a，b未知，未知， X1, X2 , ,Xn为来自总体为来自总体X的样本的样本, ,试求试求a，b的的 矩估计量矩估计量 4)(12)()()()( , 2)(222221baabXEXDXEbaXE 解解由矩估计法由矩估计法, ,令令 22214)(12)(2AbaabAba )(3)(32121212

6、1AAAbAAAa niniXXnXbXXnXa1212)(3,)(3,)(1 XE解解因为因为由矩估计法由矩估计法, ,令令XA 11 所以所以 矩估计量为矩估计量为X故故 的矩估计值为的矩估计值为x 设总体设总体X服从参数为服从参数为 的指数分布的指数分布, X1, X2 , ,Xn为来自总体为来自总体X的样本，试用矩估计法求的样本，试用矩估计法求 的估计值的估计值. . 222221)()()( )( XEXDXEXE解解 2221 ,AA 由矩估计法由矩估计法, ,令令 上述结果表明，总体均值与方差的矩估计量的表达式不上述结果表明，总体均值与方差的矩估计量的表达式不因不同的总体分布而不

7、同因不同的总体分布而不同XA 1 2122AA 设总体设总体X的的均值均值E( (X)=)= , , 方差方差D( (X)=)= 2 2 都存在都存在, ,且且 2 200. .但但 , , 2 2均为未知均为未知. . X1, X2 , ,Xn为来自总体为来自总体X的样本的样本, , 求求 , , 2 2的矩估计量的矩估计量. . niiXXnX122)(1, (1)(1)若总体若总体Xb(1, p), 则未知参数则未知参数 p 的矩估计量为的矩估计量为Xp (2)若总体若总体Xb(N, p), 则未知参数则未知参数p ,N的矩估计量为的矩估计量为常见分布的参数矩估计量常见分布的参数矩估计量

8、XXXnpXXnXXNniinii 12122)(11,)(1(3)若总体若总体X N( , 2), 则未知参数则未知参数 , 2 的矩估计量为的矩估计量为 niiXXnX122)(1, (4)若总体若总体X ( ), 则未知参数则未知参数 的矩估计量为的矩估计量为,X niiXXn12)(1 或或 点估计的矩法是由皮尔逊提出的，它直观、简便，特点估计的矩法是由皮尔逊提出的，它直观、简便，特别对总体期望合方差进行估计时不需要知道总体的分布。别对总体期望合方差进行估计时不需要知道总体的分布。但它要求总体原点矩存在，而有些随机变量的原点矩不存但它要求总体原点矩存在，而有些随机变量的原点矩不存在，就

9、不能用此法进行参数估计。此外，矩估计有时不唯在，就不能用此法进行参数估计。此外，矩估计有时不唯一；再者它没有利用总体分布函数所提供的信息，因此很一；再者它没有利用总体分布函数所提供的信息，因此很难保证它有优良的性质。难保证它有优良的性质。 最大似然法的原理最大似然法的原理: 例如有一个事件例如有一个事件,若知道它若知道它出现的概率只能是出现的概率只能是0.01或或0.99,而在一次观测中而在一次观测中,此此事件出现事件出现,此时自然会说它的概率应为此时自然会说它的概率应为0.99,因此因此,极极大似然法是要选取这样的值来作为参数的估计值大似然法是要选取这样的值来作为参数的估计值,使得当参数取这

10、一数值时使得当参数取这一数值时,观测结果出现的可能性观测结果出现的可能性为最大为最大.例例4 4 设在罐中放有许多白球和黑球设在罐中放有许多白球和黑球, ,已知两种球的数目之比已知两种球的数目之比为为1:3, 1:3, 但不知哪种颜色的球多但不知哪种颜色的球多, , 若采用有放回方式从罐中若采用有放回方式从罐中取取3 3个球个球, , 发现有一只黑球发现有一只黑球, ,问在此情况下应估计哪种颜色的问在此情况下应估计哪种颜色的球多球多? ?解：设解：设 p=黑球所占比例黑球所占比例= =罐中全部球的数目罐中黑球数则则则则 p=1/4=1/4或或 p=3/4=3/4又设又设X=“=“取出的取出的3

11、 3只球中黑球的数目只球中黑球的数目”), 3(pbX649)41(434/3, 16427)43(414/1, 1213213CpXPCpXP认为认为 p=1/4=1/4p似然函数似然函数(1)(1)设总体设总体X是是离散型离散型随机变量，其分布律随机变量，其分布律PPX= =x=p( (x; ; ) )的的形式为已知形式为已知, , 为待估参数为待估参数, , 是是 可能取值的范围。设可能取值的范围。设 X1, X2 , ,Xn是来自是来自X的样本，则的样本，则 ( (X1, X2 , ,Xn )的联合分布的联合分布律为律为, ),(1 niixp ,);();,()(12, 1 niin

12、xpxxxLL 又设又设 x1, x2 , ,xn为样本为样本 X1, X2 , ,Xn的观察值的观察值, ,称称为为样本的似然函数样本的似然函数. .(2)(2)如果总体如果总体X是是连续型连续型随机变量，其概率密度为随机变量，其概率密度为f( (x; ; ),),);();,()(12, 1 niinxfxxxLL 样本的似然函数为样本的似然函数为: :0)(ln dLd则称则称 为为 的的极大似然估计值极大似然估计值，),(21nxxx p定义定义 若有若有 , ,使得使得);,(max);,(2121 nnxxxLxxxL p如何求如何求 L( ( ) )的的最大值最大值? ? ),(

13、21nXXX 称称 为为 的的极大似然估计量极大似然估计量. .当当lnL( ( ) )关于关于 可微时可微时, ,必满足方程必满足方程: : 由于由于L( ( ) )与与 lnL( ( ) )在在 上有相同的最大值点上有相同的最大值点, ,所以所以求求L( ( ) )的最大值点可以改为求的最大值点可以改为求 lnL( ( ) )的最大值点的最大值点. .)(max)( LL , ,即即-对数似然方程对数似然方程),.,2 , 1( , 0)(lnkiLii ( (组组) )例例5 5 设设Xb(1,p), X1, X2 , ,Xn是来自是来自X的一个样本的一个样本, ,求参数求参数p的最大似

14、然估计量的最大似然估计量. .解解 设设x1, x2 , ,xn是相应于是相应于X1, X2 , ,Xn一个样本值一个样本值, , X的分布律为的分布律为 P X= =x=px(1-p)1-x, x=0,1,故似然函数为故似然函数为 nixxiipppL11)1 ()( niiniixnxpp11)1 ()1ln()(ln)()(ln11pxnpxpLniinii 0)(ln pLdpdxxnpnii 11XXnpnii 11似然估计量似然估计量似然估计值似然估计值令令 212)(1,xxnxnii 设总体设总体XN( , 2), , , 2均未知，又设均未知，又设X1, X2,.,Xn为总体

15、为总体X 的样本的样本, , x1, x2 , xn为为X的一组样本观测值，的一组样本观测值，试求试求 , 2 的最大似然估计值量的最大似然估计值量. . 212)(1,XXnXnii 2222)(exp21),;( xxf似然函数为似然函数为 22122)(exp21),( inixL niinx122)(21exp)2(1 似似然然方方程程 0)(212ln0)(1ln1242212niiniixnLxL niixnnL1222)(21ln2)2ln(2ln X的概率密度为的概率密度为iniiniXbXa 11max,min 设总体设总体XU(a, b), , a, b 均未知，又设均未知

16、，又设X1, X2,.,Xn为总体为总体X 的样本的样本, , x1, x2 , xn为为X的一组样本观测值，的一组样本观测值，试求试求a, b 的极大似然估计值量的极大似然估计值量.(.(用定义用定义) ) 设总体设总体 X 服从参数为服从参数为 指数分布，求指数分布，求 的极的极大似然估计值量大似然估计值量. .X 已知一批灯泡的使用寿命已知一批灯泡的使用寿命T服从参数为服从参数为 的指的指数分布，现随机抽取数分布，现随机抽取1818只，测得使用寿命数据如下只，测得使用寿命数据如下（单位：小时）（单位：小时）16，29，50，68，100，130，140，270，280，340，410，4

17、50，520，620，190，210，800，1100求参数求参数 与与 的极大似的极大似然估计值然估计值1000TP解解: : 因为因为T服从指数分布，故参数服从指数分布，故参数 的极大似然估计为的极大似然估计为318x31000003. 01003. 01000edteTPtX 所以所以计算得计算得.318 如果如果 为参数为参数 的极大似然估计量，又函数的极大似然估计量，又函数 具有具有单值反函数，则单值反函数，则 是是 的极大似然估计量的极大似然估计量 )(gg )(g)(gp似然估计具有下述性质似然估计具有下述性质: :2 niiXXn122)(1 例如例如，在例，在例6 6中已得到

18、中已得到 根据上述性质，得到根据上述性质，得到 niiXXn12)(1 的极大似然估计为的极大似然估计为标准差标准差 的极大似然估计为的极大似然估计为 极大似然法极大似然法克服了克服了矩法矩法的一些缺点的一些缺点, , 它它利用总体的样本和分布函数表达形式所提供利用总体的样本和分布函数表达形式所提供的信息建立未知参数的估计量的信息建立未知参数的估计量, , 同时它也同时它也不不要求总体原点矩存在要求总体原点矩存在, , 因此极大似然估计量因此极大似然估计量有比较良好的性质有比较良好的性质. . 但求极大似然估计量一但求极大似然估计量一般要般要解似然方程解似然方程, ,而有时解似然方程而有时解似

19、然方程很困难很困难, , 只能用数值方法求似然方程的近似解只能用数值方法求似然方程的近似解. .设设 是未知参数是未知参数 的估计量，如果的估计量，如果 , ,则称则称 是是 的的无偏估计量无偏估计量 )(E 对总体的同一个未知参数，可用不同的方法作对总体的同一个未知参数，可用不同的方法作估计可能得到不同的估计量那么采用哪种估计估计可能得到不同的估计量那么采用哪种估计量为好呢？这就涉及到用什么样的标准来评价估计量为好呢？这就涉及到用什么样的标准来评价估计量的问题下面介绍几个常用的标准量的问题下面介绍几个常用的标准 在科学技术中在科学技术中 称为以称为以 作为作为 的估计的估计的系统误差的系统误

20、差. .无偏估计的实际意义就是无系统误差无偏估计的实际意义就是无系统误差. . )(E设总体设总体X的数学期望的数学期望 与方差与方差 2存在存在, ,X1, X2,.,Xn为总体为总体X 的样本的样本, , 证明：证明： niiXnX111 (1)(1)是是 的无偏估计量的无偏估计量; ; niiiXc12 niccinii, 2 , 1, 0, 11 (2)(2)也是也是 的无偏估计量的无偏估计量; ;, ,其中其中 niiXXnS12221)(11 是是 2 的无偏估计量的无偏估计量; ;(3)(3) niiXXnB12222)(1 不是不是 2 的无偏估计量的无偏估计量. .(4)(4

21、) 设设 与与 都是参数都是参数 的无偏估计，如果的无偏估计，如果则称则称 较较 有效有效有效性的意义有效性的意义是：用是：用 估计估计 时，除时，除无系统偏差外，还有估计精度高的意义无系统偏差外，还有估计精度高的意义12)()(21DD12 用用 估计估计 时，仅具有无偏性是不够的我们希望时，仅具有无偏性是不够的我们希望 的的取值能集中于取值能集中于 附近附近, ,而且密集的程度越高越好方差是描述随而且密集的程度越高越好方差是描述随机变量取值的集中程度的，因此这里提出所谓机变量取值的集中程度的，因此这里提出所谓“有效性有效性”标准标准. . 设总体设总体X 的数学期望的数学期望 , ,方差方

22、差 2 2存在，存在，X1, X2,., Xn是是X的样本，证明估计的样本，证明估计 时时, , niiXnX111niiiXc12niccinii, 2 , 1, 0, 11 其中其中有效有效. .较较设总体设总体X的数学期望的数学期望 , ,方差方差 2 2存在，存在，X1 1, ,X2 2是是X的样本，的样本，证明估计证明估计 时时, , 2112121XX 2124341XX )()(21DD由定义知由定义知 较较 有效有效12又因为又因为22121121)(41)(41)2121()()(XDXDXXDXDD22121285)(169)(161)4341()(XDXDXXDD所以所以

23、均为均为 的无偏估计，的无偏估计，21,因为因为较较有效有效. . 无偏性和有效性是在样本容量无偏性和有效性是在样本容量n 一定的情况下对估计量一定的情况下对估计量提出的要求，一个好的估计量提出的要求，一个好的估计量 ，当样本容量增大时，当样本容量增大时， 的取的取值与参数值与参数 的真值任意接近的可能性应该更大因此，还的真值任意接近的可能性应该更大因此，还有所谓有所谓“一致性一致性”标准标准 设设 是未知参数的估计量，如果对于任意是未知参数的估计量，如果对于任意 , ,有有 则称则称 为为 的的相合估计量相合估计量即即n01limnnPnPn()nD nn 设总体设总体X X 的数学期望的数

24、学期望 与方差与方差 存在，存在，( )( )是是X 的样本，证明用的样本，证明用 估计估计 时，时， 是是一致估计量一致估计量2nXXX,21 niinnXnX11 由大数定理可知，对于任意的由大数定理可知，对于任意的 ，有，有1)(lim innXEXP01lim nnP 由极大似然法得到的估计量，在一定条件下也具有一致性由极大似然法得到的估计量，在一定条件下也具有一致性, ,这里就不再讨论了这里就不再讨论了 n 所以所以 为了估计总体为了估计总体X 的未知参数的未知参数 ，前面已经介绍了矩估计，前面已经介绍了矩估计法和极大似然估计法由于总体法和极大似然估计法由于总体X X的未知参数的未知

25、参数 的估计量的估计量 是随机变量，无论这个估计量的性质多么好，它只能是未知是随机变量，无论这个估计量的性质多么好，它只能是未知参数的近似值，而不是参数的近似值，而不是 的真值并且样本不同，所得到的的真值并且样本不同，所得到的估计值也不同那么估计值也不同那么 的真值在什么范围内呢？是否能通的真值在什么范围内呢？是否能通过样本，寻求一个区间，并且给出此区间包含参数过样本，寻求一个区间，并且给出此区间包含参数 真值的真值的可信程度这就是总体未知参数的可信程度这就是总体未知参数的 设总体设总体X的分布函数的分布函数F(x; )含有一个未知参数含有一个未知参数 , , , ,对于给定值对于给定值 (0

26、(0 1)1), ,若由样本若由样本X1, X2, ,Xn确定的两个统确定的两个统计量计量 和和 满足满足则称随机区间则称随机区间 是是 的置信度为的置信度为 的的置信区间置信区间, , ),( )1 ( 和和 分别称为置信度为分别称为置信度为 的双侧置信区间的的双侧置信区间的置信下置信下限与置信上限限与置信上限， 称为称为置信水平置信水平( (置信度置信度) )1( )1 (),(21nXXX ),(21nXXX 1P 置置 信信 区区 间间这种估计这种估计 的方法叫做的方法叫做区间估计区间估计. .评价一置信区间评价一置信区间好坏的两个标准：好坏的两个标准：1 1）精度：）精度： 越小越好

27、；越小越好；2 2）置信度：）置信度： 越大越好越大越好. .P 1P(1)当是连续型随机变量时，对于给定的当是连续型随机变量时，对于给定的 ，我，我们总是按要求：们总是按要求：求出置信区间求出置信区间注注(2)当是离散型随机变量时，对于给定的当是离散型随机变量时，对于给定的 ，常，常常找不到区间，使得恰好常找不到区间，使得恰好为此时我们去找使得为此时我们去找使得尽可能地接近尽可能地接近 ),( )1( P),( P)1( 参数参数 的区间估计的意义可解释为的区间估计的意义可解释为：随机区间：随机区间 包含包含着参数着参数 真值的概率近似于真值的概率近似于1- ，也就是说随机区间，也就是说随机

28、区间 以以1- 的概率包含着参数的概率包含着参数 ，这是参数，这是参数 的区间估计的本质所在的区间估计的本质所在.),( ),( 对于给定的对于给定的 (0(0 1 50)是是X的大样本，求的大样本，求p 的置信度为的置信度为(1(1) ) 的置信区间的置信区间.1 , 0,)1();(1 xpppxfxx 设总体设总体Xb(1, p), p为未知参数为未知参数, X的分布律为的分布律为由中心极限定理，知由中心极限定理，知已知已知 (0-1)分布的均值和方差分别为分布的均值和方差分别为)1(,2ppp )1()1(1pnpnpXnpnpnpXnii 1)1 (2/2/zpnpnpXnzP于是有

29、于是有近似近似N(0，1)记记2/2/)1( zpnpnpXnz 0)2()(222/222/ XnpzXnpzn ,42121acbbap acbbap42122 而不等式而不等式等价于等价于222/22/),2(,XnczXnbzna 于是得于是得 p 的近似的置信度为的近似的置信度为(1(1) ) 置信区间为置信区间为:),(21pp 一级品率一级品率 p是（是（0-1）分布的参数，此处）分布的参数，此处96. 1,025. 02/,95. 01 , 6 . 010060,1002/ zxn,84.10322/ zna 设自一大批产品的设自一大批产品的100个样品中，得一级品个样品中，得一级品60个，求这批个，求这批产品的一级品率产品的一级品率p 的置信度为的置信度为0.95的置信区间。的置信区间。而而69. 0,50. 021 p