概率论与数理统计(20211111124213)

1、第五章点估计与区间估计设总体X的分布类型，参数未知，如分布函数为 F(x;r)(或分布律为 p(x;r)，概率密度为f(x;日)，日=(L)日k是未知参数，如总体服从泊松分布，X兀仏)，九未知；总体服从均匀分布，区间两端未知，X U (a,b),a :：: b是两个未知参数等。于是从总体中抽取简单随机样本 X1JH-Xn，来估计未知参数。估计的方式有两种，一是构造统计量T(XiJ|l,Xn)估计二，称为点估计，另一种是构造一个区间，使该区间覆盖参数真值的概 率到达要求的置信度，称为区间估计。下面分别介绍这两种方法。5.1矩估计极大似然估计设总体x的分布，如概率密度为f(xp)(或分布律为p(x

2、；e)，e =他,.,纵)是未知参数，根据获得的样本，如何构造点估计？下面介绍两种经典的方法：矩估计法和极大似然估计法。矩估计的思想是将未知的参数转化为未知的总体矩，而总体矩用样本矩进行估计。具体步骤如下：第1步，计算飞=E(X)=gg,川耳)，卩2 =E(X ) = g2 (日111),比=E(Xk)=gk(ql|,®)第2步，将参数转化为总体矩的函数勺f岸川岸k),22(% 川 H),I - 耳讥宀川")._ 1 n第3步，由样本矩估计总体矩 ？ =X,|I|,% =九=丄7 X：,得参数的矩估计n im卑=hi(也,刃2 川 I，%) = hi (X , A?川 i,

3、 Ak),層 2(气,刃2,川,)2(X,A2，| 山 AQ,g =hk(Ki,蔦，川，魔)=hk(X,A2,IH,Ak).注：如果有k个未知参数，要求总体至少有k阶矩二E(Xk)存在，且九，入与叫，,一一对应，否那么要用到更高阶矩。例如，总体只有一个参数 二，计算EX =gG，解得“ =hEX，从而矩估计hX。，解得3二=.3EX2，从而矩估计?=3Xi2。n i 二假设要估计的是总体的均值和方差二2，计算2，解得假设总体XU一二0未知，贝y EX=O，需要继续算二阶矩 Ex2卩 1 n 2' 2，于是矩估计为 ？ = x,；?2 =A2 -X2 = 7 (Xj - X)2 =b2.

4、这也说明如- 八2 -叫n V果总体有两个未知参数弓，二2，那么叫辽迁7曾J,解得：2 =EX = g2 哥,二2 彳二 0 (?1, ?2)= h(X , A?),t$=h2(!?,建2)=h2(X,A2).r2吩E(X)弋何日2),解得 /?*(%，)= h；(X,B2),同解。= E(X -E(X)2=g2(qp2).篦"；們)"；区閃.例设总体xnC，X1jH,Xn是总体x的简单随机样本，1假设,二2均未2 2 2知，求匚的矩估计；2假设'未知，二=1，求的矩估计；3假设二未知，"-1， 求二2的矩估计。_ _ 1 n _解: 1二匚2的矩估计为？

5、=X,；?2 =a2-X2Xi-X2=B2；n im2 J的矩估计为电=X ；1 n(3)E(X)=1,E(X2)=二2 1，所以，二2 二 E(X2)1，:？2 二 A21Xj21。n im例设总体X B3, p，p未知，对总体进行5次独立重复观察，结果为3, 1, 1, 2,2,求p的矩估计值。解：EX=3p , p=EX/3 , X=1.8，所以 p 的矩估计值 p = 0.6。极大似然估计的思想是参数的估计是使得样本值出现的概率到达最大对应的参数值。即假设总体X的分布律为p(X；d),-=(哥,，和)是未知参数，X/H，Xn是总体的简单随机样本，其样本观测值为Xi,川，Xn , L(R

6、二P(Xi =Xi,HI,Xn二Xn)二P(Xi； 0.卩(冷旳称为似然函数，假设：?满足L(诃=maxL(R，称役为极大似然估计。0对于连续型随机变量的概率密度 f(x;R，-(哥,.,丑)是未知参数，X"，川，Xn是总体的 简单随机样本，其样本观测值为 咅，川，X.，似然函数定义为L(R = f (Xi；R.f(Xn；“，极 大似然估计T?满足L(3二maxL(R。这里，样本在观测值邻域的概率近似值为6P(为 _Xi 为 LXi,川，Xn _Xn _Xn LXn)f(XiR).f(XnC)XiX ，而区域 .凶厶禺的大小与参数无关，是事先确定的，因此似然函数取为 L f (X1)

7、.f(Xn) o求极大似然估计通常采用的方法是:nn px；bL二 n丨【f(Xj；R i吕第1步，根据样本求似然函数当离散型总体有分布律p(x;巧时，当连续型总体有概率密度f(x;R时.第2步，求对数似然函数ln L(r),第3步，令号?九点，解得約|沁即为参数皿山的极大似然估计。注1：取对数似然函数的目的只是简化计算，因为L(R与ln L(R在同一点到达极大值，而许多分布律或概率密度具有指数型，导数为0的解通常是可能的极值点，而对于分布律或概率密度而言，其解都是极大值点，因此不再去验证它。注2:有些似然函数关于参数是单调函数，此时求导不可能等于0,这种情况通常发生在似然函数的取值范围与参数

8、有关，极大似然估计按定义直接计算。注3：假设？是二的极大似然估计，那么 gL)的极大似然估计为 g(巧。注4:“估计是“估计量和“估计值的统称，假设估计结果是用样本表示的，就是估计 量；如果估计结果是用样本观测值表示的，就是估计值。两者是不会引起混淆的。例设总体XN(»；") , Xi,lH,Xn是总体X的简单随机样本，(1)假设J2均未知，求 亠;2的极大似然估计；(2 )假设亠未知，匚2 =1，求)的极大似然估计；(3)假设二2未知，亠-1，求二2的极大似然估计。1 n1丄送Xi_k2解：1 L；2 - e 2；- V ,2、nJ2w ln L.L,匚2 - - nin

9、2 二_nin 2 打' 人-2 ,222o i 4幷1 nin LC - - -2Xi - = 0,= ? = X 2 i4n 1 二 / llx2 cRLf:?2丄Xi - X2n i即J2的矩估计与极大似然估计相同。1(2)二 2 =1，L(士严叮厂, in LV -ln2 二-丄、x J2 ,22 y心nY in L " - -' Xj -， = 0,= ? = Xi 吕即匚2时,J的矩估计与极大似然估计相同。21= 2'n3 l；2= N22 nn 212in L二in2 二 in 二化一12 ,1 2一 ' Xi -12 n i d222c

10、r2 72in L匚2 厶 'X -12 = 0，= ；?22二2二 id2即J =1时，二的矩估计与极大似然估计不相同。日 0 < x £1例设总体X的概率密度为f(XL), 0为未知参数，XjHXnI 0,其他解：矩估计：EX =X dX,EX ,_. m X。B+11 -EX1-X是X的简单随机样本，求 二的矩估计与极大似然估计。极大似然估计:nLLrnX1ll|Xn,in L" = nin 二二 -1、in Xi，i =1_n、Tn Xji 4nnIn L(r) =' In XjB i4例设总体X U(a,b), 0 :：: a :：: b未知

11、，X1JH,Xn是X的简单随机样本，求a,b的矩 估计与极大似然估计。L(a,b)1(b -a)Rn/iR-maxXi，而似然函数iL (a, b) 关于a单调增，(b a)解：矩估计：Xa +bE(X) - 2 la 二E(X)-、. 3D(X)?=X-.3B2D(X) (b-a)b 二 E(X) . 3D(X)t?=X 、3B?i ( _ 12i极大似然估计：1L(a, b) ,a 二 Xj 三b, i =1,., n，等价于(b a)关于b单调减，因此a的最大值与b的最小值分别为a,b的极大似然估计，注意到 a的取值 不高于min Xi， b的取值不低于 maxXj，因此a,b的极大似然

12、估计为i <<i 岂？XidmaxXi。5.2估计量的评选标准一一无偏性从上节的例中看出，用不同的方法得到参数 二的不同估计量，那么这些估计量如何进行比拟呢？所以，这一节介绍估计量的一些重要的也是根本的评选标准。设总体x有未知参数二，xjH,xn是总体x的简单随机样本，依据某种方法，得到二的估计量=(XiJ|,Xn)，假设E(为“，称孑是二的无偏估计量。例 5.2.1 设总体 X 的数字特征 E(X)二D(X) =：；2,E(Xk)二二k,k-2存在，X，川，Xnn是总体X的简单随机样本。证明：(1)AX：,l =1，,k是7的无偏估计，特别地,n i#1 n 2 2X是的无偏估计

13、；(2) B2(Xj -X)2不是匚2的无偏估计，而n y1n -1n_、(Xj -X)2是二2的无偏估计。i =1证明:1 ni n(1)E(A)E(X；)：nn i丄(2)B2=-x (Xi X)2(Xi L)_(X)2(Xin i 4n i 4n i 丄一i2 _X 一 T21 n1 nE(B2)= ' E(Xi -i)2-E(X)2 = ' D(Xi)-D(X)二 n i ±n i an 1 222nn n 122lim E(B?) =lim, E(S ) = E(B2)=n'n ； ： nn -1 n -1 n例总体X N(1,；2)，二2未知，X,

14、|H，Xn是总体X的简单随机样本，由例n和例，得2的矩估计为?2=送X： -1，极大似然估计为n yn；?22 二-' (Xi -1)2，n z判断它们是否为二2的无偏估计。解:nE(?2)E(X：) 一1 二(D(Xi ) 1) -c2n nEC?22EXi -12DXi -2，均是无偏估计。n i壬n y下面通过一个简单例子说明无偏估计的意义。例设总体X的分布律如下表所示，那么总体均值为8/3 = 2.66667X的取值134概率1/31/31/3从总体中采用放回抽样，取得n=2的样本，而所有可能的样本均值见下表编号样本样本均值编号样本样本均值编号样本样本均值11, 1143, 1

15、274, 12.521, 3253, 3384, 33.531, 42.563, 43.594, 44即对于一次具体的抽样结果，用样本均值估计总体均值时可能估计过高，可能估计过低，不过这9个样本均值的平均恰好为 8/3,就是总体均值，这就是无偏性！5.3区间估计对于总体X的未知参数二，根据样本X,lH,Xn，不仅要得到二的点估计，还要了解估计的精确度，即希望给出一个区间硏，使P玄£日v况耳-a，称1-a为置信度或置信水平, 爲趕 为双侧置信区间。假设P玄£日釘-a，称卑是置信度为1-。的单侧置信下限，假设PT £比g，称况是置信度为1 -口的单侧置信上限。容易证明

16、，假设g是置信度为1-a,的单侧置信下限，每是置信度为1-«2的单侧置信上限，那么何，瓦是置信度为1口15的双侧置信区间。常取 。1=口2=。/2。对于参数00，Pg CO。c氏=1a的置信区间铳，况的含义是：将样本 X1,|",Xn实现N次，得到N个具体的区间，这些区间中包含 V。的约占1 - ，不包含V。的约占。P呂£日。=1 -a的单侧置信下限 忆的含义是：将样本XjHXn实现N次，得到N个具 体的下限值，这些值中小于 卞的约占1，大于等于氏的约占：。P0。£况=1 -a的单侧置信上限 每的含义是：将样本 X1,|",Xn实现N次，得到N

17、个具体的上限值，这些值中大于 。的约占1 - :，小于等于®的约占二。F面两图模拟了正态总体均值的置信度为95%和80%的置信区间，这里真值=2，样本量n =9，重复试验次数各为 N=200。从图中可以看出，置信度越高，得到的置信区间越 长，如果置信区间的长度作为精确度指标，那么说明精确度越低。此外，对于一次具体的试验,所得到的置信区间要不包含真值，要不就不包含真值，这里无概率可言。1 1 2 1 1 5 6 1 1 9 1 1 * 3 4 1 1 1 8 1系列1系列2系列343.532.521.510.503.532.521.51系列1系列2系列30.5liinii|iinii|

18、iinii|iinni n ijin mu iimi|iniiiinii|iiiiii|iini|inii|iirin itiiiii iiiii iiiiiii|iiiTii|inii|iinii|iinii|iniiiii i n iiiiiiniiiriiiiniinii1 1 2 1 1 5 6 1 1 9 1 1 彳 3 4 1 1 1 8 1如何构造置信区间？在这里介绍的是一种最根本的构造置信区间的方法一一枢轴量方法。先 来看一个例子:2例设某袋装食品重量单位：克 X N,3 ，现从一大批该产品中随机抽取 10件，称得重量如下：251.3249.6250.4248.8 246.42

19、49.1252.3247.5255.4250.2试在置信度为0.95下求总体均值的双侧置信区间。解：首先获得 的点估计量，就是样本均值X ;进一步得到点估计量的分布，由 132X - 1 ，即 3,0，因此只要有a,b，使得Pa ： Xb = 0.95，等价地有PX310a) =0.95，即(X 1ob,X3,10a为丄的置信度为0.95的双侧置信区间。求置信区间的关键点是我们找到了X - J3 .10它是样本与待估参3A/10数的函数，它的分布，分布中不含未知参数， 称之为枢轴量。另一方面，我们注意到a,b 的选取并不唯一，这时就要考虑另一个指标一一精确度，要使得区间最短，等价于b-a最小，

20、对于对称分布而言，当 a,b是对称点，即b = -a = z0.025时，精确度最高，因此最后的置信区间为X= 1.96，置33_命 Z0.025' * 冷 Z0.025)，计算得 二 250.1，查表得 Z0.025信区间为248.24，251.96。这个置信区间包含了真值吗？如果袋装食品的标注重量为250克，显然这个置信区间包含了真值。 但是还有很多情况我们并不知道真值是多少，这时得到的置信区间又如何解释呢？通常我们描述成“有95%把握认为置信区间包含了真值。枢轴量定义：设总体X的分布含有待估的未知参数二,XjH,Xn是总体X的简单随机样本，G(Xi,川，Xn,R称为枢轴量，如果它

21、是样本与待估参数的函数，此外不含其他未 知参数，并且G(Xi,HI,XnJ)的分布(或近似分布)，分布中不含未知参数。例如当总体 XN(*2), X1JH，Xn是总体X的简单随机样本，众所周知，XXX _ IX一 N(0,1)，对于待估参数 卩，假设0T，那么-一就是枢轴量，假设QT未知，那么X一 二，n'匚.n二.n就不是枢轴量，此时八是枢轴量，八t( n_1)。s：亦求双侧置信区间可以按如下步骤进行：第一步：求待估参数的点估计，首选为极大似然估计，也可以是其他估计，如无偏估计， 矩估计等；第二步：根据点估计的分布，改造得到枢轴量G(X1l,Xn)；第三步：根据置信度1 -：，找两个

22、点a,b，使P(a ：，川，Xnj) ： b)=仁：，等价于 P(g(X1, |,Xn，a,b)<8 <(X1，|",Xn，a,b)=1-a，并使况氏=min。求单侧置信限的步骤与求双侧置信区间的步骤类似，如求单侧置信下限，前两步一样， 第三步修改为：根据置信度1 -：，找一个点a，使P( a G 1X关键是要等价于P(G(X1 川l,Xn,R ：a) =1-，到底 用哪个PXa =0.95,3 -10，P£X1，|,Xn，a,b二=1-:。例如，在例中求均值J的置信度为95%的单侧置信下限,于是得，a=ZoO5 =1.645，因此卩的置信度为95%的单侧置信下

23、限 x - 3竺 =248.54。U10同理可得的置信度为95%的单侧置信下限 X - 320.05 = 251.66。V10正态总体参数的置信区间(一)设总体X NC-2),未知,二2，求的置信度为1 -:的双侧置信区间。设X1,|,Xn是X的简单随机样本，X是样本均值，按照求置信区间的三步骤,(1)的极大似然估计为 X ；2X »X LI(2) X NO1,)，转化为1 N(0,1)，符合枢轴量条件,na/<na/Vn(3)求a,b，使得P(a ： X八b) =1-：，等价地有 cr/JnP(X 二b ： ： X >a) =1 ：，且(X 二 a) (X 二 b) (

24、b a)二 min vnVnVnVn vn得的置信度为1 - : 的双侧置信区间为(X-= z,2, X- z_.2)。Qnyjn类似可得J的置信度为1 -二的单侧置信下限为 X _二=乙.，置信度为1 -二的单侧置信上Jn限为X 乙.。请读者自行完成。-、nJ的置信度为1 -:的双侧置信区间。2s是样本方差，按照求置信区间的三(二)设总体 XN(L,；2)，丄未知，匚2未知，求设XiJH,Xn是X的简单随机样本，X是样本均值, 步骤,(1)的极大似然估计为 X ；(2) XN(»)，转化为X二;N(0,1)，但匚2未知，因此X二 不符合枢轴量条n电 d nnX _ 4f=x _ 4

25、件，进一步得到:t(n -1)，其中S =S，枢轴量为.；GS'd n(3)求 a,b，使得 P(acb) =1口，等价地有- ssP(X b - X a) =1 ，且 JndnE(X 莘a)(X 莘6=耳岂山a)=min ，根据t分布的对称性，得UnQnQnb二-a =t-.2(n T)，因此亠的置信度为1二的双侧置信区间为(X 孚tg(n 1), X + 享t“2(n 1)。TnTn在方差未知的情况下，类似可得J的置信度为1 -:-的单侧置信下限为t：.(n -1),S置信度为1 -a的单侧置信上限为 X +t (n _1)。Vn请读者自行完成。22(三)设总体X N(i,二),未

26、知，二未知，求2-的置信度为17-的双侧置信区间。设Xi,|,Xn是X的简单随机样本，X是样本均值,S2是样本方差，按照求置信区间的三步骤,n 1(1)匚2的极大似然估计为 B2S2 ；(2)由定理421，22nB2 _ (n -1)S二2n' (Xi -X)2V 22(n-1)，因此CJ2鱼驴是枢轴量;(3) 求a,bP(a ： (n 一驴:b) =1一：，CT等价地有P(n -1)Sb(n-1)S2a)=1 _ ：,且(n _1)E(S2)( _丄)=min a b，但2( n-1)分布不对称性，最优解没有显式表示，为方便起见，取a,b满足条件2P(7_CT2»P(fCT

27、a“2-a) 得 b = . 2(n - 1),a 二2“2 21_：.2(n-1)，因此二的置信度为1-的双侧置信区间为(n-1)S2(n-1)S21 Y2 (n - D类似可得二2的置信度为1 -的单侧置信下限为(叮)S，置信度为1 -：的单侧置信上限2(n-1)£。请读者自行完成。1_：(n _1)例设新生儿体重(单位：克) X NCC 2)，J，二2均未知，现对某妇产医院的调查 16 名新生儿体重分别为：3400，3250，2800, 3510，3640, 4650, 3100，4080，2350，2820，2950，3450，3030，2930，3610，2270，分别求&

28、quot;与二 的置信度为95%的双侧置信 区间。解：利用EXCEL将16个数据置于 A1:A16，在B1键入“=AVERAGE(A1:A16) ，得到样本均值只=3240，在B2键入“=STDEV (A1:A16) ，得到样本标准差 S= 604.4391，在B3 键入 “=TINV(0.05, 15) ,得到 t0.025(15) = 2.13145,在 B4 键入 “=CHIINV(0.025, 15) ,2 2得到尤0.025(15) =27.48839,在 B5键入“=CHIINV(0.975, 15) ,得到尤°.975(15) = 6.262138。利用XS- s t-

29、.2n 一1, X爲一t-.2n-1，计算得的置信度为95%的双侧置信区间为 .n '. n '(2917.9, 3562.1);利用(n _1)S2閉，计算得二2的置信度为95 %的双侧置信区间为(199364.1, 875132.5)。例某种电子元件的使用寿命单位：万小时2 2XN,；，二均未知，现随机抽取10件产品进行寿命试验，测得样本均值X= 5.78，样本标准差s二0.92，求的置信度为95%的单侧置信下限。解：根据公式，的置信度为95%的单侧置信下限为S"nt0.05(n -1) =5.780 92刖83曲。四设两个相互独立的总体X NC£2,Y

30、 NCf；，叫匕未知，F2，打,求7 -的置信度为1 -:-的双侧置信区间。设XjH,Xn和Y,l",Ym分别为X和Y的两个独立的简单随机样本， X,Y分别是样本均值,S2,s；分别为样本方差，按照求置信区间的三步骤,(1)丄1 - '2的点估计为X -Y ；X -Y N( 1n，转化为xYJ12No,1,因此m°°X -丫W为枢轴量;2_2 _2(J CJ2n m3求a,b，使得Pa c X -丫_片二2 呦=1 "，等价地有P(X -丫 -b2 _ 2(X -Y _a(门- -2) (X _Y _bY n m2辽=1，且m2 b - a二mi

31、n，根据标准正态 m分布的对称性，得 b二-a二z一.2，因此 叫- J的置信度为1-：的双侧置信区间为(X-Y-zJ巴+空，X-Y+zJ+P)。V n m n m类似可得叫-.二2的置信度为1 -的单侧置信下限为X.221 C 2、Y Z-,，置信度为* n m1 -:的单侧置信上限为X -Y -乙.，'12二 22。请读者自行完成。m五设两个相互独立的总体 XN 已,打,丫N2,打，-U2 未知，二 12*；?"未知，求 叫一亠2的置信度为1的双侧置信区间。设XiJ|,Xn和丫，|",Ym分别为X和Y的两个独立的简单随机样本， X,Y分别是样本均值,S2,S；分

32、别为样本方差，按照求置信区间的三步骤,(1)叫- J2的点估计为X -丫 ；(2)2 1 1X -Y N(7()，转化为n m(X -Y)-(72)N0,1，但二 2 未知,因此X -Y -72不符合枢轴量条件，而 S2,M 都 是的无偏估计，从而sW =2 2(n -1Q (m -1)Sn m -2也是匚2的无偏估计，由定理4.2.2 5得到TIT，因此Hi' n m为枢轴量;(3)求 a,b，使得 p(a :SvJ丄+ 1P(X -Y -bSw11 ：叫2 X 丫 一aSwn m11 一，且n m1 1 _ _E(X -Y _aSw)-(X-Y-bSn m = E(Sw)J1+ 丄

33、(b a) = min，根据 n m标准t分布的对称性，得 b二-a “一.2(n m -2)，因此 亠-2的置信度为1 -:的双侧置信区间为(,2(n 5-2)%：；, E 2)%：；)。类似可得气巴的置信度为1 -«的单侧置信下限为 X -Y Q(n + m-2)SwJ丄+丄，置Y n m信度为1 -的单侧置信上限为 X -丫 t.(n - m-2)Sw。请读者自行完成。(六)设两个相互独立的总体X N(叽匚2), Y N(2,；拧)，12,匚12,打均未知,X1 JH,Xn和YJHYm分别为X和Y的两个独立的简单随机样本,X,Y分别是样本均值,-2S2,s；分别为样本方差，求

34、三 的置信度为1 - ：的双侧置信区间。-2按照求置信区间的三步骤,(1)牙的点估计为s ；(2)由定理， "S/12 F (n 1,m -1)，因此S2 /务是枢轴量;(3)求a,b，使得P(a詣_ 2 2二：b) = 1 ，等价地有 P(SS211且E(-2)() =min，但F(n - 1,m-1)分布不对称性，最优解没有显式表示，为方便S2 a b起见，取a,b满足条件P(W°2aS2爲 bS222b = F 2(n=Fi_- 2(n -n -1),因此得的置信度为 1 -：a2的双侧置信区间为S1s2SfF皆(n 1,m1)' ST2(1，1)Os；_2类

35、似可得二26的置缶度为 心 的单侧置缶下限为 gFJn_1,m1'置缶度为“的单侧置信上限为s22 F m _ 1,n _ 1。请读者自行完成。S2七成对数据 实际中经常碰到这种情况，要了解一种降压药的作用，测量病人服药前与服药后的血压；要了解两种不同品种种子的产量差异， 选假设干块不同的土地， 每块土地随机 分成两块大小相同的局部，随机种下两种种子；要比拟两种仪器的测量效果，选假设干件被测 物体，分别用这两种仪器测量。 这些例子中出现的数据都是一对一对的，如果观察 n次,就有n对数据，记为X1，Y,XnM,通常X1，|H，Xn相互独立，Y，|H，Yn也相互独立,但Xj，Y，i =1,2,., n不独立。对于成对数据，通常设 Di=Xi-Y,i=1,