概率统计第六章

1、概率统计(probability and statistics)宁波工程学院 理学院第六章第六章 参数估计参数估计 6.1 点估计的几种方法点估计的几种方法6.2 点估计的评价标准点估计的评价标准6.3 最小方差无偏估计最小方差无偏估计6.4 贝叶斯估计贝叶斯估计6.5 区间估计区间估计 随机问题研究的三种状态随机问题研究的三种状态1. 1. 分布（含参数）已知分布（含参数）已知2. 2. 分布形式已知（参数未知）分布形式已知（参数未知）3. 3. 分布形式、参数皆未知分布形式、参数皆未知. .假定总体分布形式已知，假定总体分布形式已知，未知的仅仅是参数未知的仅仅是参数. . 利用利用样本样本

2、来估计总体的参数来估计总体的参数 就就是参数估计是参数估计. .参数估计的形式有两种：点估计与区间估计参数估计的形式有两种：点估计与区间估计设设x1, x2, xn是来自总体是来自总体X X 的一个样本，我们的一个样本，我们用一个统计量用一个统计量 的取值作为的取值作为 的估的估计值，称为计值，称为 的点估计（量）的点估计（量）估计估计 在区间在区间 内内称为称为 的区间估计的区间估计1(,)nxx L12, 参数估计问题的提法参数估计问题的提法 构造出适当的样本的函数构造出适当的样本的函数 是当务之急。是当务之急。如何构造统计量如何构造统计量 并没有明确的规定，并没有明确的规定，只要它满足一

3、定的合理性即可。这就只要它满足一定的合理性即可。这就涉及到两个问题：涉及到两个问题： 其一其一 如何选定统计量，即估计的如何选定统计量，即估计的方法问题方法问题； 其二其二 如何对不同的估计进行评价，即估计的如何对不同的估计进行评价，即估计的 好坏判断标准好坏判断标准。1(,)nxx L例如：例如：使用什么样的统计量去估计总体均值使用什么样的统计量去估计总体均值 ？可以用样本均值可以用样本均值; ;也可以用样本中位数也可以用样本中位数; ;还可以用还可以用别的统计量别的统计量注意：注意：被估计的参数被估计的参数 是一个未知常数，而估计是一个未知常数，而估计量量 是一个随机变量，是样本的是一个随

4、机变量，是样本的函数函数, ,当当样本取定样本取定后，它是个已知的数值后，它是个已知的数值, ,这个数这个数就是就是 的一个估计值的一个估计值 . .1(,)nxx L6.1 点估计的几种方法点估计的几种方法 一、一、替换原理和矩法估计替换原理和矩法估计 1、矩法估计矩法估计 替换原理是指用样本矩及其函数去替换原理是指用样本矩及其函数去替换替换相应的相应的总体矩及其函数，譬如：总体矩及其函数，譬如： 用样本均值估计总体均值用样本均值估计总体均值E(X)，即即 ； 用样本方差估计总体方差用样本方差估计总体方差Var(X)，即即 用样本的用样本的 p 分位数估计总体的分位数估计总体的 p 分位数分

5、位数， 用样本中位数估计总体中位数用样本中位数估计总体中位数。 ()E Xx Var2()nXs 例例1 对某型号的对某型号的20辆汽车记录其每加仑汽油的行驶里辆汽车记录其每加仑汽油的行驶里程程( (km) )，观测数据如下：，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有经计算有 由此给出总体均值、方差和中位数的估计分别为由此给出总体均值、方差和中位数的估计分别为: : 28.695, 0.9185 和和 28.6。

6、 矩法估计的实质是用经验分布函数去替换总体分布，矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是其理论基础是格里纹科定理格里纹科定理。20.528.695,0.9185,28.6nxsm 设总体的分布含有设总体的分布含有k k个未知参数个未知参数 ，那么那么总体前总体前k k阶矩阶矩 都可计算并且形式为都可计算并且形式为1,kL1(,)iikg L从这从这k k个方程中解出个方程中解出1(,)jjk L12, ,k L2 2、概率函数概率函数P P( (x x, ,) )已知时未知参数的矩法估计已知时未知参数的矩法估计 则可给出则可给出诸诸j 的矩法估计的矩法估计为为 回顾：回顾：其

7、中其中 （已知）（已知）1(,),1, ,jjkaajkLL11njjiiaxn 例例2 设总体服从指数分布，由于设总体服从指数分布，由于EX=1/ ， 即即 =1/ EX，故，故 的矩法估计为的矩法估计为 另外，由于另外，由于Var(X)=1/ 2，其反函数为，其反函数为 因此，从替换原理来看，因此，从替换原理来看， 的矩法估计也可取为的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的，为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。用低阶矩给出未知参数的估计。11/ x

8、Var1/( )X 21/ s 例例3 x1, x2, , xn是来自是来自(a,b)上的均匀分布上的均匀分布U(a,b)的样本，的样本，a与与b均是未知参数，这里均是未知参数，这里k=2，由于，由于 不难推出不难推出 由此即可得到由此即可得到a, b的矩估计：的矩估计：Var2(),(),212abbaEXX VarVar3(),3(),aEXXbEXX3 ,3axsbxsl 矩法的矩法的优点优点是：简单易行是：简单易行, ,并不需要事先知并不需要事先知道总体是什么分布道总体是什么分布. .l 矩法的矩法的缺点缺点是：当总体类型已知时，没有是：当总体类型已知时，没有充分利用分布提供的信息充分

9、利用分布提供的信息. . l 矩估计量不具有唯一性矩估计量不具有唯一性 . .其主要原因在于其主要原因在于建立矩法方程时，选取那些总体矩用相应建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性样本矩代替带有一定的随意性. .3 3、矩估计方法点评矩估计方法点评 直观想法：直观想法：在试验中概率最大的事件最有可能出现在试验中概率最大的事件最有可能出现 实例：实例：某位同学与一位猎人一起外出打猎某位同学与一位猎人一起外出打猎 . .一只野一只野兔从前方窜过。只听一声枪响，野兔应声倒下。如兔从前方窜过。只听一声枪响，野兔应声倒下。如果要你推测，是谁打中的呢？果要你推测，是谁打中的呢？ 猜

10、测：猜测：你会如何想呢你会如何想呢? ? 只发一枪便打中只发一枪便打中, ,猎人命中猎人命中的概率一般大于这位同学命中的概率。的概率一般大于这位同学命中的概率。 推断：推断：看来这一枪是猎人射中的看来这一枪是猎人射中的 此例体现了极大似然法的基本思想此例体现了极大似然法的基本思想. . 二、二、 极极( (最最) )大似然估计大似然估计 2 2、极极( (最最) )大似然估计大似然估计 定义定义6.1.1 设总体的概率函数为设总体的概率函数为P(x; )，将样将样本的联合概率函数看成本的联合概率函数看成的函数的函数 称为样本的称为样本的似然函数似然函数。112( )( ;,)(; )(; )(

11、; )nnLLxxp xp xp x LL 如果某统计量如果某统计量 满足满足 则称则称 是是的的极极( (最最) )大似然估计大似然估计，简记为，简记为MLE1( , ,)nxx L()max()LL l因为因为L( )、 lnL( )在同处取得极值，故经在同处取得极值，故经常用常用对数似然函数对数似然函数lnL( )进行估计。进行估计。l当当L( )是可微函数时，求导是求极大似然估计是可微函数时，求导是求极大似然估计最常用的方法，对最常用的方法，对lnL( )求导更加简单些。求导更加简单些。l在统计问题中往往先使用最大似然估计法在统计问题中往往先使用最大似然估计法, , 在在最大似然估计法

12、使用不方便时最大似然估计法使用不方便时, , 再用矩估计法再用矩估计法. .3 3、极极( (最最) )大似然估计大似然估计简化简化 例例1 设一个试验有三种可能结果，其发生概率分设一个试验有三种可能结果，其发生概率分别为别为 现做了现做了n次试验，观测到三种结果发生的次数分次试验，观测到三种结果发生的次数分别为别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为则似然函数为 其对数似然函数为其对数似然函数为22123,2 (1),(1)ppp 312322122222( )() 2 (1) (1) 2(1)nnnnnnnnL 12322ln( )(2)ln(2)ln

13、(1)ln2Lnnnnn 将之关于将之关于求导，并令其为求导，并令其为0得到似然方程得到似然方程解之，得解之，得由于由于所以所以 是极大值点。是极大值点。 32122201nnnn 1212123222()2nnnnnnnn 2321222222ln( )0(1)nnnnL 例例2 对正态总体对正态总体N( , 2)，=( , 2)是二维参数，设有是二维参数，设有样本样本 x1, x2 , , xn，则似然函数及其对数分别为，则似然函数及其对数分别为22212/222122221()1( ,)exp221(2)exp()21ln ( ,)()lnln(2 )222niinniiniixLxnn

14、Lx 将将 lnL( , 2) 分别关于两个分量求偏导并令其为分别关于两个分量求偏导并令其为0, 即得到似然方程组即得到似然方程组221222421ln ( ,)1()0ln ( ,)1()022niiniiLxLnx 解此方程组，得解此方程组，得 的极大似然估计为的极大似然估计为 得出得出 2 2的极大似然估计的极大似然估计11niixxn 2221*1()niixxsn 注：注：极大似然估计有一个简单而有用的性质：如极大似然估计有一个简单而有用的性质：如果果 是是的极大似然估计，则对任一函数的极大似然估计，则对任一函数 g()，其极大似然估计为，其极大似然估计为 。该性质称为极大似然估计的

15、该性质称为极大似然估计的不变性不变性，从而使，从而使一些复杂结构的参数的极大似然估计的获得一些复杂结构的参数的极大似然估计的获得变得容易了。变得容易了。 ( )g 例例3 设设 x1 , x2 , , xn是来自均匀总体是来自均匀总体U(0 , ) 的样本，的样本，则则 的极大似然估计的极大似然估计证明：证明： U(0 , ) 的密度函数为的密度函数为 f(x)=1/ , (0 x0，有，有 则称则称 为为参数的相合估计。参数的相合估计。 6.2 点估计的评价标准点估计的评价标准 一、一、相合性相合性1(, ,)nnnxx Llim(|)0nnPn 注：注：点估计量不唯一，存在择优选择点估计量

16、不唯一，存在择优选择 相合性是根据格里纹科定理，使得估计量逼相合性是根据格里纹科定理，使得估计量逼近参数真值，精度任意近参数真值，精度任意 相合性是择优选择的一个最基本要求相合性是择优选择的一个最基本要求 相合性就是相合性就是 依概率收敛于依概率收敛于n 024(|)(|/ 2)()nnnnPPEVar 2 2、定理定理6.2.1 设设 是是的一个估计量，若的一个估计量，若 则则 是是的相合估计的相合估计1(,)nnnxx Llim(),lim()0nnnnEVar n 证明：证明：24(|/ 2)()nnnPEVar lim,|/ 2nnnEEQ2|/| |nnnnnnEEEQ 22|/|/

17、|nnnnnnEE或或3 3、定理定理6.2.2 若若 分别是分别是1, , k 的相合估的相合估 计，计， =g(1 , , k) 是是1, , k 的连续函数，则的连续函数，则 是是 的的相合估计相合估计。1,nnkL1(,)nnnkg L注：注：该性质称为相合估计的该性质称为相合估计的不变性不变性，从而使一些，从而使一些复杂结构的参数的相合估计的获得变得容易了复杂结构的参数的相合估计的获得变得容易了注：矩估计一般都具有相合性。比如：注：矩估计一般都具有相合性。比如： 样本均值是总体均值的相合估计；样本均值是总体均值的相合估计； 样本标准差是总体标准差的相合估计；样本标准差是总体标准差的相

18、合估计； 样本变异系数是总体变异系数的相合估计。样本变异系数是总体变异系数的相合估计。例例1 设设 x1, x2 , , xn 是来自均匀总体是来自均匀总体U(0, )的样本，的样本，证明证明 的极大似然估计是相合估计。的极大似然估计是相合估计。0 -1( ),( )/()/()01nnnnnnnnXp ynynEnydyVarn Q证证明明：其其密密度度函函数数为为，二、二、无偏性无偏性 1 1、定义定义6.2.2 设设 是是的一个估计，的一个估计， 若若 ，则称则称 是是的的无偏估计无偏估计1(,)nxx L( )E 注：注：样本均值是总体均值的无偏估计样本均值是总体均值的无偏估计 样本样

19、本k阶矩阶矩ak是总体是总体k k阶矩阶矩 k的无偏估计的无偏估计 中心矩则不一样，譬如，样本方差中心矩则不一样，譬如，样本方差s*2不是总体不是总体方差方差 2的无偏估计的无偏估计22*1()nE sn (1) 当样本量趋于无穷时，有当样本量趋于无穷时，有E(s*2) 2， 我们称我们称 s*2 为为 2的渐近无偏估计。的渐近无偏估计。 (2) 若对若对s*2作如下修正：作如下修正： 则则 s2 是总体方差的无偏估计。是总体方差的无偏估计。 注：注：特别是小样本时宜使用特别是小样本时宜使用s2 无偏性不满足不变性，例如无偏性不满足不变性，例如 s 是是 的渐近无偏估计的渐近无偏估计2221*

20、1()11niinssxxnn 2 2、总体方差总体方差 2的无偏估计的无偏估计三、三、有效性有效性 1 1、定义定义6.2.3 设设 是是的两个无偏估计，如果的两个无偏估计，如果 则称则称 比比 有效。有效。 12, VarVar12()(), 1 2 2 2、例、例1 设设 x1, x2 , , xn 是取自某总体的样本，记总是取自某总体的样本，记总体均值为体均值为 ，总体方差为，总体方差为 2，则，则 , , , , 都是都是 的无偏估计，但的无偏估计，但 显然，显然， 比比 有效有效11x 2x VarVar2212(),()/ n2 1 6.5 区间估计区间估计 一、一、区间估计的概

21、念区间估计的概念 定义定义6.5.1 设设 是总体的一个参数，对给定的一个是总体的一个参数，对给定的一个 (0 1)，若有两个统计量，若有两个统计量 和和 ，有，有 （6.5.1）1( ,)LLnxx1(, ,)UUnxx L()1,LUP 则称随机区间则称随机区间 为为 的的置信水平为置信水平为1- - 的置的置信区间信区间，或简称，或简称 是是 的的1- - 置信区间置信区间. . 和和 分别称为分别称为 的（双侧）的（双侧）置信下限和置信上限置信下限和置信上限. . ,LU 注：注：这里置信水平这里置信水平1- - 的含义是指在大量使用该置信的含义是指在大量使用该置信区间时，至少有区间时

22、，至少有100(1- - )%的区间含有的区间含有 。 ,LU L U 二、二、枢轴量法枢轴量法 1 1、构造置信区间的最常用的方法是枢轴量法构造置信区间的最常用的方法是枢轴量法，其步骤，其步骤为如下三步：为如下三步： 1. 设法构造一个样本的函数设法构造一个样本的函数 G=G(x1, x2 , , xn, ) 含有含有未知参数未知参数 ，其，其分布已知分布已知。称。称G为为枢轴量枢轴量 2. 适当地选择两个常数适当地选择两个常数c,d，使对给定的，使对给定的 (0 1) 有有 P(cGd)=1- 3. 假如能将假如能将cG d 进行不等式等价变形化为进行不等式等价变形化为 则则 是是 的的1

23、-1- 同等置信区间同等置信区间2 2、枢轴量与统计量的区别枢轴量与统计量的区别LU,LU 这时可用这时可用t 统计量，因为统计量，因为 ， 的的1- - 置信区间为置信区间为 此处此处 是是 2的无偏估计。的无偏估计。 1 1、 已知时已知时 的置信区间的置信区间 在这种情况下，枢轴量可选为在这种情况下，枢轴量可选为 置信区间为置信区间为 ， 。三、三、单个正态总体参数的置信区间单个正态总体参数的置信区间 (0,1)xGNn 12xun 12xun 2 2、 2未知时未知时 的置信区间的置信区间 () (1)n xtt ns 1212(1),(1)x tnsnx tnsn 221()1isx

24、xn 例例6.5.3 用天平秤某物体的重量用天平秤某物体的重量9 9次，得平均值为次，得平均值为 （克），已知天平秤量结果为正态分布，其（克），已知天平秤量结果为正态分布，其标准差为标准差为0.10.1克。试求该物体重量的克。试求该物体重量的0.950.95置信区间。置信区间。解：解：查表知查表知u0.975=1.96，于是该物体于是该物体重量重量 的的0.95置信区间置信区间 15.3347，15.4653。 15.4x 1215.4 1.96 0.1 9 15.4 0.0653x un (0,1)xGNn 例例6.5.5 假设轮胎的寿命服从正态分布。为估计某假设轮胎的寿命服从正态分布。为估

25、计某种轮胎的平均寿命，现随机地抽种轮胎的平均寿命，现随机地抽12只轮胎试用，只轮胎试用，测得它们的寿命（单位：万公里）如下：测得它们的寿命（单位：万公里）如下：4.68 4.85 4.32 4.85 4.61 5.025.20 4.60 4.58 4.72 4.38 4.70 此处此处正态总体标准差未知，可使用正态总体标准差未知，可使用t t分布求均值分布求均值的置信区间。经计算有的置信区间。经计算有 =4.7092，s2=0.0615。取取 =0.05，查表知，查表知t0.975(11)=2.2010，于是平均寿，于是平均寿命的命的0.95置信区间为（单位：万公里）置信区间为（单位：万公里）

26、x4.70922.20100.0615 /124.5516, 4.86683 3、 2的置信区间的置信区间 取枢轴量取枢轴量 ，由于由于 2分布是偏态分布，分布是偏态分布，寻找平均长度最短区间很难实现，一般都用等尾置寻找平均长度最短区间很难实现，一般都用等尾置信区间信区间：采用：采用 2的两个分位数的两个分位数 2 /2(n-1) 和和 21- /2(n-1)，在，在 2分布两侧各截面积为分布两侧各截面积为 /2的部分，的部分， 使得使得 由此给出由此给出 2的的1- - 置信区间为置信区间为 222(1)1nsGn 222/ 21/ 2211nsP 2222121211 ,11nsnnsn

27、例例6.5.6 某厂生产的零件重量服从正态分布某厂生产的零件重量服从正态分布N( , 2)，现，现从该厂生产的零件中抽从该厂生产的零件中抽取取9个，测得其重量为（单位：个，测得其重量为（单位：克）克）45.3 45.4 45.1 45.3 45.5 45.7 45.4 45.3 45.6 试求总体标准差试求总体标准差 的的0.95置信区间。置信区间。解：解： 查表知查表知 2 0.025(8) =2.1797， 20.975(8)=17.5345， 代入可得代入可得 的的0.95置信区间为置信区间为 : : 0.1218，0.3454。 222222/21/22(1)111nsGnnsP 四、

28、四、两个正态总体下的置信区间两个正态总体下的置信区间 设设x1 , , xm是来自是来自N( 1, 12)的样本，的样本，y1 , , yn是来自是来自N( 2, 22)的样本，且两个样本相互独的样本，且两个样本相互独立。立。 与与 分别是它们的样本均值，分别是它们的样本均值， 和和 分别是它们的分别是它们的样本方差。下面讨论两个均值差和两个方差样本方差。下面讨论两个均值差和两个方差比的置信区间。比的置信区间。 xy 22111mxiisxxm 22111nyiisyyn 1 1、 1 - 2的置信区间的置信区间、 12和和 22已知时的已知时的两样本两样本u区间区间 、 12 = 22 =

29、2未知时的未知时的两样本两样本t区间区间 222212121212,xyuxyumnmn 12122 ,2wwmnmnxys tmnxys tmnmnmn 、 22 / 12= 已知时的已知时的两样本两样本t区间区间 12122 ,2ttmnmnxys tmnxys tmnmnmn 2 2、 12/ 22的置信区间的置信区间 由于由于(m-1) sx2/ 12 2(m-1), (n-1) sy2/ 22 2(n-1)，且且sx2与与sy2相互独立，故可仿照相互独立，故可仿照F变量构造如下枢变量构造如下枢 轴量轴量 , ,对给定的对给定的1- ，由，由 经不等式变形即给出经不等式变形即给出 12

30、/ 22的如下的置信区间的如下的置信区间 2212221,1xysFF mns 2222122211,11,11xysP FmnFmns 222212211,1,11,1xxyysssFmnsFmn 例例6.5.10 某车间有两台自动机床加工一类套筒，假某车间有两台自动机床加工一类套筒，假设套筒直径服从正态分布。现在从两个班次的产品设套筒直径服从正态分布。现在从两个班次的产品中分别检查了中分别检查了5个和个和6个套筒，得其直径数据如下个套筒，得其直径数据如下（单位：厘米）：（单位：厘米）： 甲班：甲班：5.06 5.08 5.03 5.00 5.07 乙班：乙班：4.98 5.03 4.97 4.99 5.02