高等数理统计 点估计

1、2 抽样分布、参数估计、假设检验抽样分布、参数估计、假设检验统计推断=n讨论讨论n讲授讲授 第一节第一节 参数估计的概念、估计量的优良标准参数估计的概念、估计量的优良标准11 参数估计是统计推断的基本问题之一。在一些实际问题中，参数估计是统计推断的基本问题之一。在一些实际问题中， 研究对象的总体分布类型可以从理论或实际经验得到，但总体研究对象的总体分布类型可以从理论或实际经验得到，但总体X 的参数的参数未知，需利用样本提供的信息，对未知参数作出估计，未知，需利用样本提供的信息，对未知参数作出估计， 其分布才能完全确定；在另外一些问题中，我们并不关心总体的其分布才能完全确定；在另外一些问题中，我

2、们并不关心总体的 分布类型，仅关心总体的某些数字特征，对数字特征的估计也称分布类型，仅关心总体的某些数字特征，对数字特征的估计也称 参数估计。参数估计。2.1 参数估计与优良性2.1.1 参数估计定义12 参数估计的形式参数估计的形式： 121212,(,)( ,)nnnXXXXXXx xx点估计：设 为未知参数，由样本构造一个统计量，用 估计 ，称 为 的点估计量，代入样本观察值，称为 的点估计值。LULULU区间估计：根据样本构造两个统计量 与 ，且，以区间的形式给出总体未知参数 的估计，事件“区间 ，含有 ”的概率称为置信水平。13 2.1.2 点估计优劣的评价标准点估计优劣的评价标准

3、一个未知参数的点估计量可以有多个，哪个更佳？需有评一个未知参数的点估计量可以有多个，哪个更佳？需有评价其优劣的标准。常用准则有：价其优劣的标准。常用准则有： I. 无偏性无偏性16 1212111,1,2,1()()1()1nkkknkknkkiinkiinkkiX XXkAkEXX XXEXinE AEXnE Xnn 设是来自总体X的随机样本，则样本的 阶原点矩 是总体 阶原点矩的无偏估计量。解：由于和总体X独立同分布，有故例117 2122121121211122,( ,)()() ,(),()nniiiniiiniiXXXNkQkXXE kXXXXXE XD X 设是来自正态总体的随机样

4、本，试选择适当的常数 ，使为的无偏估计量。解：根据题意，只需求出满足的常数即可。由于之间相互独立，且例2有：18 2122222()(),nnE XVar XXXXSS 设总体具有二阶矩，是来自总体X的随机样本，则是总体的无偏估计，但不是总体的例3无偏估计量。22212212212221212)(1-n1)()(1-n1)()(2)(1-n1 )()(2)(1-n1)()(1-n1)(1-n1nnnXnEXEXnXnXEXXXXEXXEXXESEniiniiniiiniinii）（证：22S即是总体的无偏估计。19 222n12222n2222222211()n111)()()lim()nii

5、nnnnnnSXXSnnnnE SESE SnnnSSnE SS 由于：故（即不是总体的无偏估计量。对而言，尽管它不是总体的无偏估计量，但当时，有即是总体的渐近无偏估计量。20 ( )( )gg注：如果是 的无偏估计量，但通常不是的无偏估计量。22( )SSE SS例如： 是总体的无偏估计量，但用 作为总体标准差的点估计，可以证明即 不是总体标准差的无偏估计量。2222222()()()XE XVar XE XnX又例如，样本均值是总体均值 的无偏估计，但即也不是的无偏估计量。关于无偏估计的几点注记：（1）无偏估计不一定存在（2）对可估参数，无偏估计一般不唯一。（3）无偏估计不一定是好估计II

6、. 有效性26 一个未知参数可能有不同的无偏估计量，这些无偏估计量中一个未知参数可能有不同的无偏估计量，这些无偏估计量中 哪个更好？直观的想法是希望无偏估计量围绕真值的波动越小越哪个更好？直观的想法是希望无偏估计量围绕真值的波动越小越 好，即估计量的方差越小越好。好，即估计量的方差越小越好。27 12122111,1()()()2()()niXXXE XXXXnVar XnVar XnVar XVar XXX 设是来自总体X的随机样本，且，则、都是 的无偏估计量，但故当时，则称 比例4有效。28 2121122121121222221212222,( ,)211133222141()()()(

7、)33994159991111()()()()2244111442X XNXXXXVarVarXXVar XVar XVarVarXXVar XVar XVar 设是来自正态总体的随机样本，指出两个总体均值 的无偏估计量和哪个更有效。解：由于例51221()()Var，故 比 更有效。29 12312(13)(13)0, 0),41max,4 min32iiiiXXXXXX 设总体X服从上的均匀分布， 未知（是来自的随机样本（ ）试证都是 的无偏估计；（ ）上述哪个无偏估计量例6更有效？(13)32()0( )01max0()()( ; )30iiYYF XXxxF xxxYXFXF Xxxx

8、 证明：（1）设为的分布函数，则令，则X的分布函数、分布密度函数分别为其它（）30 330(13)(13)322233300(13)1(133x44(max)3min0()1 1()( ; )30331x( -x)(x-2 xx )4(4 min)4max3iiiiZZiiiE YdxEXZXFXF XxxxE ZdxdxEX 所以（ ）令，则X的分布函数、分布密度函数分别为其它（）所以（ ）即2(13)3),4 miniiiXX 都是 的无偏估计。III. 均方误差准则32 33 22222)()()()()( 2)()()()(EEVarEEEEEEEEEE22( )0()( )E EEV

9、ar特别地：如果 是总体参数 的无偏估计量，则，有均方误差越小，则估计量 的误差平均也较小，因而也越优。34 35 2222222221222222222224242244221()()1(1)112()1112()()()111242()11(1)12211niiEEXXnnSEnnESnnnVar Snnnnnnnnn而是总体方差的有偏估计量，其均方误差为由于，故在均方误差的意义下，有偏估计量比无偏21估计量更优。IV 相合性（一致性）37 38 例例8 为估计一批产品的废品率为估计一批产品的废品率p，随机抽取一样本，随机抽取一样本X1,X2,Xn, 其中：其中：0i1,2,n1iX取得合

10、格品取得废品11niipXXpn则是 的无偏、一致估计量。1111()()(1)111( )( )()()1iinnniiiiiniiE XpVar XppE pE XEXE XppnnnpXXpn解：由题设条件，易知即故是 的无偏估计量。39 nppnpnpXVarnXnVarXVarpVarniinii)1 ()1 ()(1)1()() (2121由切比雪夫不等式，对任意的由切比雪夫不等式，对任意的 ，有，有 0nppXVarpXPppP)1 (1)(1220)1 (1limlim2nppppPnn11niipXXpn故是 的相合估计（一致估计量）。40 2121112211222,111

11、()()()11()()()1()limnniinniiiinniiiinXXXXXnE XEXE XnnVar XVarXVar XnnnPXVar XnPX 设 总 体 X的 均 值， 方 差都 存 在 ，是 来 自 X的 随 机 样 本 ， 试 证是的 相 合 估 计 （ 一致 估 计 ） 。证 ： 由 于由 切 比 雪 夫 不 等 式 ， 对 任 意 的例09， 有221lim01nniinXXn 故是的 相 合 估 计 （ 一 致 估 计 ） 。 相合性反映了当n趋于无穷大时估计量的性质，而对任意有限的n,相合性是没有意义的。相合性本身不能说明为使估计量达到一定精度n至少为多少。V

12、淅近正态性定义2.5 (p.87)定理2.1: (p.86)第二节 信息不等式知识点：1、Fisher信息量2、Fisher信息不等式1、Fisher信息量定义2.8 设统计结构 可控，是Rk的子集合，假如定义在 上取值于 的随机向量(,)P (,) (,)kkRR1ln( )ln( )(),kpxpxSX满足（1） 对一切 有定义； （2） ；（3） 模平方可各，即 ，()0,E SX ()SX2()ESX()SX则把 的协差阵()SX( )()()()IVar SXESX SX称为该统计结构的Fisher信息矩阵，简称Fisher信息,k=1时 常称为Fisher信息量 I例2.15 求泊

13、松分布族的Fisher信息量ln( )( )1pxxSx21( )( )var()XIE S X例2.16 求正态分布族的Fisher信息矩阵2242()1( ),22xxS X2*2( )()()ijIVar SXI其中11221()xIVar22244()1()22xIVar212242()1022xxIE1( ()( ),Var T XI 思考题2、诞生了一种统计实验方法Monto Carlo方法dlxMxd/20,02dx （， x):0,0,0sin22dlxxA（ ，x):00sin()2()()2ldAmAlPAdmd的 度 量2的 度 量2( )2nnlP Andlnd从而，n

14、nnMontoMonto CarloCarlo方法方法第三节第三节 几种点估计的方法与应用几种点估计的方法与应用知识点1、矩估计法2、极大似然估计法3、最小二乘估计法4、同变估计法5、稳健估计法一、矩法估计基本思想样本矩去替换总体矩60 矩法估计的基本步骤矩法估计的基本步骤121211122211,1(,)()(,)()(,)()kkkkkkkkXkkgE XgE XgE X 若总体 的分布函数中含有 个未知参数，且分布的 阶矩存在，它们都是的函数，其估计步骤为：、先求出61 11k()k1()1()kkkniinkkiiAXE XE XXnE XXn2、用样本矩去估计总体的 阶原点，得 个方

15、程13,k、解方程组，称为总体参数的矩法估计。62 12122222222,( , ),()2()()()2()()()123,3nnnXXXU a ba babE XE XE XE XabXbaXE XaXSa bbXS 设是来自均匀分布的一个样本，求的矩法估计。解：由于均匀分布的一、二阶原点矩分别为即用样本矩代替总体矩解方程组得的矩法估例1计为：63 例例2 设设 是来自某总体的样本，且是来自某总体的样本，且均值均值 和和方差方差 存在。求总体的均值和方差的矩估计存在。求总体的均值和方差的矩估计。 nXXX,212niiXnXE11)( 所以22niiXnXE1221)( 所以)( XE因

16、为222)( XE又因为niiniiXnXn1222111解方程组，得解方程组，得XXnnii11 222221111 ()nniiniiXXXXSnn讨论矩法的优劣二、极大似然法基本思想？67 先看下例，以便了解极大似然估计法的基本思想。先看下例，以便了解极大似然估计法的基本思想。 例例 1 甲厂收到供货商提供的一批货物，根据以往的经验知该甲厂收到供货商提供的一批货物，根据以往的经验知该 供货商的产品次品率为供货商的产品次品率为10%，而供货商声称次品率仅有，而供货商声称次品率仅有5%。若随。若随 机抽出机抽出10件检验，结果有件检验，结果有4件次品。购货方应该如何做决策（即判件次品。购货方

17、应该如何做决策（即判 断次品率究竟为断次品率究竟为10%，还是，还是5%）？）？ 分析：记次品数为分析：记次品数为X ，则，则X服从二项分布。服从二项分布。 若若p=0.05，则，则10件中有件中有4件次品的概率为：件次品的概率为：001. 095. 005. 0)4(64410CXP若若p=0.1，则，则10件中有件中有4件次品的概率为：件次品的概率为：0112. 09 . 01 . 0)4(64410CXP68 计算的结果表明，在次品为计算的结果表明，在次品为0.1时，时，10件产品中有件产品中有4件次品的概件次品的概 率大，这说明该批产品次品率为率大，这说明该批产品次品率为0.1的可能性

18、大的可能性大（样本来源于总体，样（样本来源于总体，样本能很好反映总体的特征）本能很好反映总体的特征）。 基本思想基本思想：设总体：设总体X的分布函数已知，但参数的分布函数已知，但参数未知，它可以未知，它可以 取很多值，我们要在参数取很多值，我们要在参数的一切可能取值中选出一个使样本观察的一切可能取值中选出一个使样本观察 值出现的概率为最大的值出现的概率为最大的 作为参数作为参数的估计，并称的估计，并称 为为的极大似的极大似 然估计。然估计。 69 求极大似然估计的方法求极大似然估计的方法 1、可通过求导获得极大似然估计的情况、可通过求导获得极大似然估计的情况121112( )( ,)lnlnl

19、n()0ln( )0ln()0,mmmmLLLxLLdLdL 求或的最大值可通过求导获得，由于是 的单调递增函数，与L有相同的极大值点，一般可通过解以下方程或来得到参数 或的极大似然函数。70 12121111,( )(1)2( )ln ( )ln(1)ln(1)ln(1)lnln(1)iinnnxxiniiiniipXXXXx xxpL pppL pL pxpxpnpxpp 0-1分布的未知参数为 ,从总体 中抽取随机样本，其样本观察值为，求 的极大似然估计。解：（1）写出似然函数（ ）对取对数，得对数似然函2数例71 111221ln ( )ln ( )11()11101(1)141ln

20、( )50niiniiniiniiL ppdL pnxdppppnxppppxxndL ppxxpxndppxp（3）将对 求导数，令其为零，得似然方程（ ）解似然方程，得（）在时，则可以使似然函数达到极大，即是 的极大似然估计。72 222221212()()2222212222122,( ,),1( ,)(2)21ln ( ,)ln(2)()22ln ( ,),iinnxxnniniiXXXNx xxLeenLxL 设是来自正态总体的随机样本，均值和方差存在，求总体均值和方差的极大似然估计。解：样本似然函数为对数似然函数为将分别对求偏导数，例3令其为零，得似然方程。73 221222241

21、22222ln ( ,)1()0ln ( ,)1()0221,()1,()niiniiiinLxLnxxxxnXXXSn 解似然方程，得极大似然估计值极大似然估计量为74 *不能通过求导获得极大似然估计的情况不能通过求导获得极大似然估计的情况 当似然函数的非零区域与未知参数有关时，通常无法通过解似当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程求极大似然估计值，此时可从定义出发直接求然方程求极大似然估计值，此时可从定义出发直接求L()的极大值的极大值点。点。121212,b(ba)1( ; , )0,nnna bXXXx xxaaxbp x a bbax xx 设总体X服从上的均匀

22、分布，是来自总体的随机样本，其样本观察值为，求未知参数 和的极大似然估计。解：总体X的密度函数例为其它样本4似然函数为75 nn 1n 112121( , )0ln( , )n0ln( , )n0( , )( , ),min(,)max(nnaxbL a bbaL a baxbabaL a bbbaabL a bL a bbaabaxxxbaxxxb （）其它因为由似然方程组（）其它（）求不出 、 ，可以根据定义确定的极大值点，由的表达式看，只需尽量小，即 要尽量大，要尽量小，且。故12,)bnxxxa是未知参数 、 的极大似然估计。76 极大似然估计的不变原则极大似然估计的不变原则( )(

23、)( )ggg设 是总体参数 的极大似然估计，是 的连续函数，则的极大似然估计为定理。 例例5 设某元件失效时间设某元件失效时间X服从参数为服从参数为的指数分布，其密度函的指数分布，其密度函 数为数为0( ; )000 xexp xx今从总体中抽取容量为今从总体中抽取容量为10的样本，得样本观察值：的样本，得样本观察值：1050 1100 1080 1200 1300 1250 1340 1360 1150 1150（2）求平均寿命）求平均寿命E（X）的极大似然估计量。）的极大似然估计量。（1）由上述样本观察值，求）由上述样本观察值，求的极大似然估计值；的极大似然估计值；77 12121111

24、,( )( ; )0( )ln( )lnln( )ln( )0nnnxxxiinniiiniiniix xxLP xeeeexxLLnxLdLnxd解：（1）样本的似然函数为对取对数，得对数似然函数将对 求导数，令其为零，得似然方程78 11111111681111/11680.0008612111()1()1()niiniiniixxnxxxnXXnXE XE XE XX解似然方程，得由样本观察值得，故是 的极大似然估计。（ ）参数 的极大似然估计为：平均寿命即为 的数学期望，在指数分布场合，它是参数 的函数，则的极大似然估计为：三、最小二乘法（LSE)基本思想在线性模型( ),如果2,nY

25、 XI ()()min()()YXYXYXYX其中 为的最小二乘估计（LSE）估计令()() ()Q BYXYX计算LSE就等价于求Q()的最小值利用矩阵求导Y XX Y2X XX X所以可得到( )22QX YX X 令上式等于0，即得到X XX Y可得到1()LSX XX Y关于最小二乘估计量 的几点注记LS注记1. 若E(Y)=X,则 是的无偏估计LS注记2.若E(Y)=X, ,X为列满秩阵，则 的协方差阵为2( )nVar YILS21()X X12001(,)()nniip x xxp x111(,)(, )(,| ) ( )nnnm xxh xxdp xxd 11111( , )( ,| ) ( )( |,)( ,)( ,| ) ( )nnnnnh xxp xxxxm xxp xxd 后验分布( x1, x2 , , xn )的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布()作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。 B(| )(1),0,1,xn xnP Xxxnx ( , )(1),0,1, ,01xn xnh xxnx(1) (1)(1)(2)xnxnxnxdxn (1) 1(1) 1( , )(2)( | )(1),01( )(1)