参数估计(精)

1、第七章参数估计教学内容：矩估计、最大似然估计、评价估计量的标准、区间估计教学目的：熟练掌握矩估计、最大似然估计、区间估计、了解评价估计量的标准 教学重点：矩估计、最大似然估计、区间估计教学难点：最大似然估计、区间估计教学方法：启发式教学手段：多媒体教学时间：5学时教学内容：点估计什么是点估计：设总体X的分布函数的形式已知，但含有一个或多个未知 参数：91,92, _9，X ,X，,X是来自X的一个样本，x ,x，,x是相应的 TOC o 1-5 h z k 12n12 n样本观察值，一般的，用样本构造一个适当的统计量0 (X ,X，,X ),i = 1,2,.,k，用它的统计值99 (x ,x

2、，,x ),i = 1,2,.,k作为未i 12ni 12 n知参数9 ,i = 1,2,k的近似值，我们称0 (X ,X，,X ),i = 1,2,.,k为参数ZAi 12n9 ,i = 1,2,k的估计量，0 (x ,x，,x ),i = 1,2,.,k为9 ,i = 1,2,k的估计值。ii 12 ni这种方法称为点估计法。点估计一般有两种构造估计量的方法：矩估计法和最大似然估计法。1.1矩估计法矩估计法的原理：根据辛钦大数定律，用样本矩作为相应的总体矩的估 计，用样本矩的连续函数作为相应的总体矩的连续函数的估计。具体而言，分两 种情况介绍。设总体X为连续型，它的概率密度为f (x； 9

3、，9，9 ),9，9，9是12m 12mm个待估参数，若总体X的前m阶矩存在，则|n = (9 ,9，,9 ) = I+Mxkf (x； 9 ,9 , ,9 )dx,k = 1,2, ,m。k k 12 m12 m-s设总体X为离散型，上面的概率密度为分布律，上面的积分就是一个和式1|lx =p (9 ,9 /.,9 ) = A =Z Xk,k = 1,2, ,mi=1k k 12 m k n i这样就得到一个含有m个未知数m个方程的方程组，如果方程组的解为目,6 ,.,，就得到0 ,0 ,.,0的矩估计量。12 m12 m矩估计法的例题:例1.设总体X服从二项分布b(N,p), N已知，p未

4、知，X, X ,., X是 来自X的一个样本，求参数p的矩估计量。解：由于E(X) = Np，令Np = X则得p的矩估计量p = N。例2.设总体X在区间0 ,0 上服从均匀分布，0 ,0未知X ,X，,X是121212来自X的一个样本，求参数01,02,02 -01的矩估计量。解：气=E (X) = 01 ；02日=E(X2)= D(X) + E(X)2 =(02 -01)2 +(01 +02)22124则 / +0 2 =2 02 -0 = 2后履2 -咋解得0 =日、；3(日日2)0 =日 +、，3(日日2) TOC o 1-5 h z 11 Y 212121用A , A分别代替旦，旦

5、，得0 ,0的矩估计量 1212120 = A -、：3(A - A2) = X - ：3(上x2 - X2)1121V n ii=1=A +3(A - A2) = X + ：3(上Ex2 -X2) 121V n iIi=1=1 Ex 2 - x2 n ii=1由于S *2 = 1 E (X. - X)20 = X + .0S *2于是得n，T人 ?0 = X r3S *10 2 -01的矩估计量为0 -0 = 2/3S *21例3.设总体X的均值R及方差。2都存在，且a 2 0，但H , g均未知。又设X 1, X 2，., Xn是来自X的一个样本，求参数H , a 2的矩估计量。解：四=E

6、 (X)=目旦=E (X 2) = D( X) + E (X )2 =a 2 + 旦 2解得2日=日,a 2 =日_日2用A1,气分别代替妃七，1得R , a 2的矩估计量口 = A = X,a 2 = A - A2 = -x2 - X2 = 1 (X - X)2n i=1n i=1设总体X的密度函数为f (x,6)=126e - x 1/6 (一8 x 0)x,x，,x是来自X的样本值，求参数6的估计量和估计值。 TOC o 1-5 h z 12n解：由于总体中只含一个未知参数，一般只需要求出E(X)，由E(X) = X解 出6，便得到6的估计量。但是E (X) = L x e-I xl /

7、 6 dx = 0-826即E(X)不含参数6，不可能由此解出6，为此，有E(X2) = j+8x2 e-Ixl/6dx = 262-826于是解得6、E(X 2)2所以，参数6的矩估计量和矩估计值分别为丁 : 1 项6 乙 x 22ni i=1矩估计法小结:(1)矩估计法一般不要求知道总体的分布情况，使用起来直观简便;(2)矩估计法要求总体的原点矩存在，否则就不适用;(3)矩估计法有时不能充分利用总体的分布对未知参数所提供的信息。1.2最大似然估计法最大似然估计法的原理：一个随机试验如果有若干个可能结果，A1,气,若 在一次试验中，结果A1出现了，则一般认为试验条件对A1出现有利，即认为是

8、概率最大的可能结果出现了，也就是说，P(A1)最大。具体而言，分两种情况介 绍。 TOC o 1-5 h z 设总体X为离散型，其分布律为P X = x = p (x, 9), 9g0，6为未知参数， X , X，,X是来自X的一个样本，x ,x，,x是相应的样本值，事件 12n12nX = x ,X = x ,X = x 发生的概率为1122n nL(9) = L(x ,x，x ;9) = H p(x ,9),9 e 012 nii=1若总体X为连续型，其概率密度为f (x,9),9e0，9为待估参数，相应地 HYPERLINK l bookmark58 o Current Document

9、 L(9) = L(x ,x ,x ;9) = rf f (x ,9),9 e 0 12 nii=1 . - . .、 L(9 )称为样本的似然函数。按照最大似然原理，9的估计值9应使似然函数达到 最大值： TOC o 1-5 h z HYPERLINK l bookmark64 o Current Document L(x ,x，x ;9) = maxL(x ,x ,，x ;9)1 2 n9e01 2 n .人 .这样得到的9(x ,x，,x )称为参数9的最大似然估计值，而相应的统计量 12 n人 .一 ，._.9(X ,X，,X )称为参数9的最大似然估计量。为此一般通过求解下述所谓的

10、12n对数似然方程d ln L=0 d9即可求得参数9的最大似然估计量；若总体分布中含有多个未知参数9 ,i = 1,2,k时，似然函数就是这些参数的 i多元函数L(91，92,-,9)，则需求解下述所谓的对数似然方程组= 0, i = 1,2, , ki即可求得参数9 , i = 1,2,k的最大似然估计量。 i最大似然估计法的例题例1.设总体X服从参数为人(人0)的泊松分布，x , x，,x是X的一组样 12n本观测值，求：(1)参数人。0)的最大似然估计值；(2)概率PX = 0的最大似然估计值。解：(1) X的概率分布为P X = x=，x = 0,1,2, x!则似然函数为以)=山X

11、 = x 上土 = e代 1 (Hx !)-ii=ii=i气!i=i 取对数得In L(k) = -nk + (乙)ln k -ln(Hx.!)i=1i=1对数似然方程为d In L(k)dk=-n解得k (k 0)的最大似然估计值为k =1 乙=xn ii=1(2)因为PX = 0 = e-k，所以PX = 0的最大似然估计值为 _ _ . -PX = 0 = e-k = e - x例2.设总体X服从参数为k(k 0)指数分布，概率密度为/(x, k)=ke-kx, x 00, x 0)的最大似然估计。解：设x ,x，,x是X的一组样本观测值，则似然函数为 12nL(k) = H f ( x

12、. , k) = H k 把=Xne 一疙 xii =1i=1取对数得ln L(X) = n In X Xxi i=1由似然方程 TOC o 1-5 h z d In L(X)n _ dXXxi=i=1解得人(X 0)的最大似然估计值为例3.设总体XN(,b2), ,b2为未知参数，x ,x , ,x是x的一组样本12 n观测值，求旦,b2的最大似然估计量。解：X的概率密度为f(x；日，b2) = _L exp-(xf )2侦2兀b2b 2似然函数为L(,b2) = 1-exp 2 (x. - ,)2i=1 2 1 ，=(2兀)-/2(。2)-n/2 exp (x 日)2 TOC o 1-5

13、h z 2b 2inn 1 、In L = ln(2 冗)一In b2 (x |lx )2222b 2 . 1i却L = (xi -n，) = 0i=1-AlnL二 + 工(乙,)2 = 0Qb 22b 22(b 2)2ii=1,15 四一x nii=1解之得x, b 2 = 1 (X X)2nii=1八1项|Ll =乙ni=1因此得旦q 2的最大似然估计量为X = X, b 2 = A = 1 (X X )2n i=1从而可得标准差。的最大似然估计量为XX )2例4.设总体X在区间a,b上服从均匀分布，a,b未知，x ,x，,x是X的 12n一组样本观测值，求a,b的最大似然估计量。解：X的

14、概率密度为1f (x； a, b)= ,a x b b - a0,其它似然函数为L (a,b) = n f (x ;a,b) =,(a x b,i = 1,2,，n)i=1显然，下述似然方程组无解8 1_In L 一8an=0b - a8-n=0In L =8bb - a于是用最值点的定义直接求L(a,b)的最大值点。记 x* = min(x , x，x ), x* = max(x , x，x ) TOC o 1-5 h z 112n n12n由于 a x ,x，,x b 等价于 a x*，于是有 b a x* x* 0，从12n1nn 1而对于满足条件a x*的任意a,b，有L (a,b)=

15、(b a) n(x* x*) n即在a = x*,b = x*时，L(a,b)取得最大值1 ，故a,b的最大似然估计1 n(x* - x*) n值为a = x * = min x , b = x * = max x 1ini1i n1i na, b的最大似然估计量为a = min X , b = max X 1in i1i 1)存在，试证明k阶样本矩是k阶 总体矩的无偏估计。证明：设X ,X，,X是来自X的一个样本，则X ,X，,X与X同分布，12n12n故X,与X的k阶矩相同，即E(X k) = E(Xk) = rk (i = 1,2,n)从而有E(A ) = E(!x k) = 1 e(X

16、 k) = rk n ,， ni k例2.设总体X服从指数分布，概率密度为一1 X 一 f (X,6) = *6 6,X 00, x 0为未知，又设X 1? X 2,，X n是来自X的一个样本， 试证X和nZ = nmin(X ,X，,X )都是6的无偏估计量证明：因为E(X) = E(X) =6 :所以X是6的无偏估计量由于X的分布函数是0, X 0所以F3,9) = 1 - 1 - F (x,0) n = 00, x 0/min (x) = F：in(x,9 )*mn mn 0, x 0而它的无偏估计量(-2)X，当x 取奇数值时，估计值为负数，用 一个负数来估计e-3X 0显然是不合理的

17、，这说明它是一个有明显弊病的无偏估 计。2.2有效性：设99 =0 (X ,X，,X )与0 =0 (X , X，,X )是参数9的无偏估计量，如 1112n 2212n果对于任何可能的参数值9，都有d(9 ) d(9 )1 2且至少对于某一个参数值9使不等号成立，则称9.匕92有效。例1. 设X 1? X 2 , X n是来自总体X的一个样本，E(X) = p, D( X )=b 2, X是样本均值，X (-i)是样本中去掉第i个个体X后，其i余n -1个个体所构成样本的均值：X (-i) = Z 二n 1j归如果用X和X(-i)作为H的估计，试比较它们的有效性。解：易知X和X(-i)都是R

18、的无偏估计量。又-11D( X) = b 2, D (X (-i) =b 2nn 一 1由于D(X) 00，0, x 1时哪其中，参数0 0为未知，又设X 1，X 2已证X和nZ = nmin(XX2,-,X )都是0的无偏估计量，试比较 一个更有效？0 2 一一解：由于D(X) =9 2，所以D(X)=一。又因 n0E (Z) = j +8 xf(x )dx =-8 minnc “，20 2E(Z2) = j+8x2f . (x)dx =02于是D(Z) = E(Z2) -E(Z)2 =一，所以 D(nZ) =0 2， n2当n 1时有D(X) 0，有limP0)-0|e = 1ns则称0是

19、0的相合估计量，也称一致估计量。容易证明，样本均值是总体均值的相合估计量，样本方差是总体方差的相合 估计量，样本k阶矩是总体k阶矩的相合估计量，另外，由最大似然估计法得到 的估计量，在一定条件下也具有相合性。相合性是对估计量的最基本的要求。若一个估计量具有相合性，一般而言样 本容量越大估计值越接近参数的真值。区间估计引言：根据点估计法，可以求得参数的估计值，但是它对估计的精度与可靠 性没有做明确的回答，而在实际问题中，不仅需要知道未知参数的估计值，往往 还需要知道这些估计值的精度与可靠性。区间估计在一定程度上弥补了点估计的 这些不足。3.1.区间估计的定义设总体中含有未知参数0,Oe0,。是。

20、可能取值的范围，X , X , X 是来自X的一个样本，00 =00 (X ,x，,X)与 TOC o 1-5 h z 12n1112n0 =0 (X ,X，,X )是两个统计量。若对给定的概率1-以(0 以 1)，和任意2212n0 c。，有P0 00 = 1a则称随机区间(0 ,0 )是0的置信度为1-a的置信区间。0 ,0分别称为置信 HYPERLINK l bookmark149 o Current Document 1212下限，置信上限，1-a称为置信度(或置信水平)。注意：当X是连续型随机变量时，对于给定的a，可按上述定义求出置信区间(0 ,0)；12当X是离散型随机变量时，对于

21、给定的a，按上述定义求不出置信区间(0 ,0 )，此时按以下方式确定置信区间(0 ,0 ): P0 00 至少为1 -a且尽121212可能的接近1 -a。随机区间(0 ,0 )的含义：随机区间(0 ,0 )包含参数0真值的概率是1 -a。1212或者说，如果有N组样本值，就可确定N个随机区间(0 ,0 )，在这N个随机区12间中，包含0真值的约占100 (1 -a ) %，不包含0真值的约占100a %。3.2 .单个正态总体参数的区间估计设X 1 , X 2,，X n是来自正态总体N (pq 2)的一个样本，X，S2分 别表示样本均值和样本方差：c 2已知，求p的置信区间X是p的无偏估计量

22、，且X-P c / tnN(0,1)，由标准正态分布的双侧a分位点，PP X z r X + z = 1 以v n a/2vn a/2于是得到R的置信度为1 -a的置信区间(X-罢 z ,X + 己 z )tn a/2、/n a/2例1、从某厂生产的一种钢球中随机抽取7个，测得它们的直径(单位：mm) 为5.52,5.41,5.18,5.32, 5.64,5.22,5.76若钢球直径服从正态分布N(r ,0.162)，求这种钢球平均直径R的置信度为95%的 置信区间。解：计算样本均值-1 X = 7 (5.52 + 5.41 + 5.18 + 5.32,+5.64 + 5.22 + 5.76)

23、 =5.44因为置信度为 95%,所以a = 0.05, z = z=1.96，又n = 7,b= 0.16于是0.025(号七/2, X +a/2)=- 普E +=(5.32,5.56)故这种钢球平均直径R的置信度为95%的置信区间为(5.32,5.56)。(2). Q 2未知，求R的置信区间因为样本方差S 2是总体方差b 2的无偏估计，所以b 2未知时，可用S 2来估计。2 .又=t(n -1),由t分布的双侧a分位点有 S / v nPa/2 t(n -1) = 1 -aS /.n a/2P X-兰t(n -1) r X + 兰t(n -1) = 1 -an a/2n a/2于是得到R的

24、置信度为1 -a的置信区间S S(X/2(n-1)，X +乂/2(n-1)例2.在例1中，若。2未知，求这种钢球平均直径|LI的置信度为95%的置信 区间。解：计算样本均值和样本标准差-11= 7 (5.52 + 5.41 + 5.18 + 5.32,+5.64 + 5.22 + 5.76) = 5.44S = 0.22a由1-a =0.95 , 得 一 = 0.0 2 5 又n-l = 6 , 查 t 分布 表得2t ( 1) = (6) = 2.447,于是 TOC o 1-5 h z a/20.025_ C_ C(X_* S l),x+一 (n -1) a/2a/2=(5.44 -竖 x

25、 2.447,5.44 + 竖 x 2.447) 罚J7=(5.24,5.64)(3)目未知，求。2的置信区间。2的无偏估计为S2,且IQ2(_),对于给定的置信度la有。2Px 2(n-l) (n1)52 x 2( 1) = 1_以 TOC o 1-5 h z l-a/20- 2a/2(一1)S2(n -1)5 2Pb2 = 1 aX 2()X 2( 1)a/2l-a/2于是得到b 2的置信度为1 a的置信区间( 1)S2( 1)S29/X 2( 1)x 2(n-l) a/21-a / 2进而得到标准差。的置信度为l-a的置信区间(!n - IS ) 2( l) J% 2()a/2、l-a/

26、2例3.在例1中，若|LI, b2均未知，求总体方差。2的置信度为95%的置信 区间。a解：由于52 =0.222, = 0.025 , l-a /2 = 0.975查乂 2 分布表，得X 2(q = x 2(6) = 14.449,X 2(q = x 2(6) = 1.237 a/20.025l-a/20.975于是（n-1）S 2（n -1）5 26 x 0.222 6 x 0.222（，） =（.，” ）=（0.02,0.23） TOC o 1-5 h z x 2（n -1） x2（n -1）14.4491.2373.3两个正态总体参数的区间估计设总体XN（旦,Q2），总体YN（旦,Q2

27、）, X ,X，,X 是来自X的容量_ 1 12 212n1为n 一个样本，X，5 2分别表示它的样本均值和样本方差；Y,Y，,Y是来自111 2nnY的容量为n2 一个样本，Y，522分别表示它的样本均值和样本方差；又设这两 个样本相互独立。2 求均值差K - %的置信区间 （1）*2,气均已知因为X，Y分别为旦，目的无偏估计，故X - Y是旦-旦的无偏估计，由X，1212YN(旦,M)，得2n2Y的独立性以及XN（旦,竺t），1 n1X YN (旦一旦,气+臭I) TOC o 1-5 h z 12 n1n2或(X - Y)- (*-四。)N(0,1)Q 2。2 n n12Ilb 2 +。2

28、 )n n12即得四-%的置信度为1-a的置信区间(X 一 Y) 一 za /2b 2b 2+ , (X Y) + zna /22（2）b2 =b2 =b 2，但b 2 未知由于(X Y)(日日) ,1 a t(n + n 2) TOC o 1-5 h z %；n+n 112从而可得气-七的置信度为1 a的置信区间为-T -,11(X Y) t(n+ n 2)5，一+ ,(X Y) +1(n+ n 2)5+ )a/2 12 w n na/2 12 w n n其中(n -1)5 2 + (n -1)S 2S 2 = 112, S = .：S 2Wn + n - 2 w * W例4.为提高某一化学生产过程的得率，试图采用一种新的催化剂。为慎重 起见，在实验工厂先进行试验。设采用原来的催化剂进行了 n1 = 8次试验，得到 得率的平均值可= 91.73,样本方差S; = 3.89 ；又采用新的催化剂进行了 n2= 8次 试验，得到的得率的均值目= 93.75，样本方差S2 = 4.02。假设两总体都可认为 服从正态分布，且方差相等，两样本独立。试求两总体均值差气-七的置信度 为95%的置信区间。解：这是* =气=。2，但。2未知的情形，现在(n -1) S 2 + (n -1)S 2由S 2 =112