研究生应用数理统计参数估计

1、Chapter 2 参数估计一、参数估计的概念定义：已知母体的分布，估计某个或几个未知数字特征（参数）的问题，称为参数估计。二、参数估计的分类n分为点估计和区间估计；n点估计就是根据样本，估计参数为某个数值；n区间估计就是根据样本，估计参数在一定范围内，即一个区间；n总体分布类型已知的统计问题，称为参数型统计问题；n总体分布类型未知的统计问题，称为非参数型统计问题；1点估计1212121212121),( ,.,),.,.,.,.(,.,),( ,.,),(,.,),nnnnnnx xxTT x xxT 定义设总体X的分布函数为F(x,是未知参数 的取值范围称为参数空间X XX 是来自总体X的

2、样本 其观察值为若构造统计量X XX以数值作为 的估计值 则称统计量X XX 为 的估计量 为 的估计量和为 的估计一.点估值统计的概称为为念,.,.的估计 记为 这种对未知参数进行定值估计 称点估计为二、矩估计法,21nXXX相 设 r.v.序列, 2 , 1,)(iXEkki则0有01lim1knikinXnP互独立具有相同的分布，且11()11-knkikiniiE XXMnXXnkkk如果总体X的k阶原点矩存在，当n充分大时，可以用样本的k阶原点矩=作为E(X )的估计；可以用样本的k阶中心矩（） 作为E(X-EX)的估计；1111 ( ;,)( ,)( ; ,), 1, .,)kll

3、lkkkXF xkklaEXx dF xlk设母体 的分布函数含有 个未知参数，若母体的 阶矩存在，则母体X的 阶矩是(的函数。求估计量的步骤：1.求出母体的前k阶矩 11112.1 (,) (1,2, )3.,nlkliikkaXlkn用子样矩作为母体矩的估计令求出矩估计 解方程组，得，分别是 ， ，的估计量。称为矩估计量。22.1.1 1 .1 .iXXXn例设总体服从泊松分布P( )，试求 的矩估计量.解因为E(X)= ,所以 的矩估计量为解2 因为D(X)= ,所以 的矩估计量也为22.1.1 1 .1 .iXXXn例设总体服从泊松分布P( )，试求 的矩估计量.解因为E(X)= ,所

4、以 的矩估计量为解2 因为D(X)= ,所以 的矩估计量也为22.1.1 1 .1 .iXXXn例设总体服从泊松分布P( )，试求 的矩估计量.解因为E(X)= ,所以 的矩估计量为解2 因为D(X)= ,所以 的矩估计量也为122.1.2 1( , ),0.2,1 ()0,2xnxXf xexXXXXE Xxedx 例设总体 的分布密度为为 的样本，试求参数 的矩估计量.解 因为=,解不出为此求22222211()221()211.22xniiE XxedxE XMXn=于是，从而 的矩估计量为 1122112212112.1.3 ,11,11,.nnnniiiinniiiiX YX YX

5、YX YXYX YXX YYnnMXXMYYnn例设为总体的样本，试求 与 的相关系数的矩估计.解 记 121,cov,1 .cov(,),()( ),.iiiiE XYX Y E XX E YnYX YX YX YMnX YX YD X D YMX YM M用替代方法,的矩估计是的矩估计是的矩估计是所以的（）矩估计是从而，的矩估计是矩估计的优点：简便、直观，不一定要知道总体的分布函数.矩估计的缺点：当总体矩不存在时，矩估计法不能使用；对某些总体的参数，矩估计量不唯一；只利用了样本矩的信息，没有成分利用分布函数的信息。三、极大似然法“概率最大事件，最可能出现”参数的哪个值使观察结果出现的概率最

6、大，就应取这个值作为参数的估计值。111 ( ,), 1,(,)(,),MLEkiinniinixxikXXXX这种估计法称为最大似然估计法， 依赖于样本值，即在上式中，将观察值换成子样，得到=称为 的最大似然估计量()。111111 ( ; ),( ,) ( )( ),(,),knniikkXf xxxXLf x定义 设母体 的概率密度(或分布律)为其中是未知参数，由设( , ,)是 的一个观察值。定义似然函数为若在达到最大值，则称分别为的最大似然估计。ln00,(1,2, ).iiLLik解方程组或得到估计值.极大估计值利用了总体分布函数的信息，使估计量具有良好的性质( )uu性质设 是参

7、数 的极大估计，u=u( )是 上的实值函数，且u有单值的反函数，则便是u=u( )的极大似然估计。( )u注：一般，若待估计函数为u=u( )，u( )是 的连续函数，而 是 的极大似然估计，则便是u( )的极大似然估计。112 (1-)(1,2,), knpP Xkpp kpXXXp例2.1.4已知总体服从参数为 的几何分布，即其中 是未知参数，是来自总体的样本，试求 的极大似然估计量。例2.1.5 设总体X的概率分布如下表，X0123P2(1-)1-21023 1303 123X是 未 知 参 数 ， 利 用 总 体的 如 下 观 测 值 ， ， ， ， ， ， ，求的 极 大 似 然

8、估 计 值 。1211,0,.02, 0,.02nXxxxXXXXxXxx 例2.1.6 设总体 的分布函数为F(x; , )=其中，（）和（）均为未知参数，是来自总体 的样本，试求 和 的极大似然估计。解 总体 的密度函数为f(x; , )=其中，（）和（）1111211( ,), ()ln ( ,)lnln(1)lnln ( ,)ln ( ,)lnln 1nnniiinniiniiLxxx xxLnnxLnLnnx （）111ln ( ,)0,( ,)min ( ,)0min ( ,)min ln ( ,)0ii nii nii nLnLxLxLxL 注意到所以随 的增大而增大，但当时，故

9、 取时，达到最大，因此 的极大似然估计量。 再令，解得 的极大似然估计量2212( ,), 22nXNXXXP X 例2.1.7 设总体，未知，为来自总体的样本，试求：(1) 的极大似然估计；（ ）的极大似然估计。极大似然估计的优点：利用了总体的分布函数所提供的信息；不要求总体原点矩的存在（柯西分布）极大似然估计的缺点：求解似然方程困难四、用顺序统计量估计参数无论X服从何种分布，都可以样本中位数X作为总体均值E(X)的估计量，以样本极差R作为总体标准差 DX的估计量。这种估计比较粗超。221222 ,( ,)21lim2ntxnX XXXNXPXxedt 定理 设是来自总体的样本， 是样本中位

10、数，则对任意x,有n（）2点估计的优良性一、无偏性11211 (,),)lim (,),1 nnnniiXXEEEEXXXXD Xn定义 设是参数 的估计量。若则称 是 的无偏估计量；若则称(是估计量 的偏差；若则称 是 的渐进无偏估计量。注：不是（ ）的无偏估计量，但是渐进无偏估计量。2122222111212.2.1 ()(),111,11(2)1(3)nniiiinkiiniiE XD XXXXXX SXXnnkXknXXD Xn 例对任一总体，若= ,=均存在，且为 的样本，试证（），分别是的无偏估计量;样本的 阶原点矩是总体 阶原点矩无偏估计；是（ ）渐进无偏估计量。二、有效性 12

11、12122 ,DD 定义 设 ， 都是参数 的无偏估计量，若则称 比有效。1.有效性注：方差越小越好。那么是否有下界？21222211222112242211122222222.2.1 ( ,),111(2)12( ),2 ,;(1)(1)(1),2(1),nniiniiXNXXXXSXnSSXXnnSnSnDnD SnnSnSnDnD 例设对总体，是来自总体 的样本，试证（）是的无偏估计量;是较更有效的估计量。解 因为所以即（）=即222212;1SnD SD S（）=故（） （）.121213 , (UMVUE)DD定义 设 是参数 的无偏估计量，若对的任一无偏估计量，都有则称 是一致最小

12、方差无偏估计量。2.一致最小方差无偏估计定理 2.2.1(Rao-Cramer不等式)12122222.2.1 (,ln(; )( )0( ).( )( )( )nnXf xXXXXTT XXXgf XIED TnIInIg例设总体 的分布密度函数族为; ),是实数轴上的一个开区间，是来自总体 的样本，()是的任个 ( )无偏估计，若下列条件（1）正则条件；（2）g ( )则对一切，有g ( )这里成为费谢尔信息量，称为 ( )的无偏估计TRC的 的方差下界。222UMVUE( )UMVUE.UMVUE( )4 ( )ln(; )( ).D TTgnIRCIf XIE 注1 对离散总体，将密度

13、函数改为分布律即可；注2 一般分布都满足正则条件；注3 利用R-C不等式有时可以判断出一个无偏估计是否是,因为在满足定理条件下，如果g ( )，则 是 ( )的但的方差不一定能达到方差下界.注的另一表达式1222.2.5 ( ),( ),()( , ),!ln( , )lnln( !),( )()10.1( ).( )nxPXXXXPP Xxef xxf xxxIE XDnIn例设总体服从泊松分布，是来自总体的样本，试求 的无偏估计的方差下界。解 可以验证本例满足正则性条件。因为所以由于于是故 的任一无偏估计 都满足222122222222222222.2.6 ( ,),1( ;( ;211l

14、n( ;ln2ln22ln( ;( )() =nxXNXXXXf xef xf xxf xXIEEE X 例设对总体，是来自总体 的样本，试求的无偏估计的方差下界。解总体的密度函数为,)=，可以验证,)满足正则条件；,)=-,)2442()1(0)D X22222242222 2461,( )(),-ln( ;1122ln( ;112nInD XXnR CXf xxf xx 于是 的无偏估计的方差下界是而说明样本均值 的方差达到了方差下界，所以 是 的最小方差无偏估计。又,),)（）22222 2644422422222ln( ;111()2212.()2(),1. f xIEExR CnIn

15、SD SR CnSUMVUEUMVUER C ,)（ ）因此 的无偏估计的方差下界为样本方差 是 的无偏估计，且没有达到下界，不过可以证明 是 的由此可见不一定达到不等式的下界.4 1 ,( )DnI 定义 设 是参数 的无偏估计量，若则称 是 的有效估计量。3.有效估计注：有效估计一定是UMVUE,而UMVUE不一定是有效估计5 1( ) e(,D(nI定义 设 是参数 的无偏估计量，称)为 的有效率。2.2.2 lim, lim0,nnnnnnED定理设是参数 的一个估计量，若且则是 的相合估计。2.2.3 ()nng定理设是 的相合估计，g(x)在x= 连续，则是g(的相合估计。4 Ba

16、yes估计n只利用总体信息和样本信息的统计学称为经典统计学n除了利用总体信息和样本信息外，还利用先验信息的统计学称为Bayes统计学一、先验分布与后验分布nBayes公式niiABPAP1)()()()(1iniiBAPBP全概率公式Bayes公式)(ABPk)()(APABPkniiikkBAPBPBAPBP1)()()()(引例 设有金、银、铜3种盒子，其中金盒5个，银盒4个，铜盒3个。每个盒子里放了红、黄、蓝、白4种球，个数如下表所示。 红红黄黄蓝蓝白白金 盒702082银 盒1075312铜 盒512803从12个盒子中随机取1个，再从这个盒子里随机抽取1个球。由抽出的球的颜色，去推断

17、该球所来自的盒子的材料。1111543(1), (2), (3),121212708(11), (21),81813(31)81PPPXPXPXPX参数 的分布为先验分布。已知的观测值为红色时， 的条件分布为，后验分布。111,12,23,34,XX引进样本及参数抽出的为球为红色；， 抽出的为金盒；抽出的为球为黄色；， 抽出的为银盒；抽出的为球为蓝色；， 抽出的为铜盒。抽出的为球为白色。1.定义 ： 在参数空间 上的概率分布，叫作 的先验(prior)分布122( ,).nxx xxx定义 ：得到样本值后， 在后验分布就(a posteriori distribution)是在给定 条件下 的

18、分布参数 的后验分布综合了总体信息、样本信息和先验信息对 的统计推断就应建立在后验分布的基础上.1212121212( , ),( ),( ) (). ,( ) ().,( ) ()(,)nnii innnii innii inf xX XXf xX XXg x xxf xdx xxf xhx xxg x 后验密度函数设总体分布的密度函数为， 的先验分布为则的联合密度函数为的边缘密度函数为（） 在给定样本值（）时， 的条件密度为（12,., nxxX）当 和 为离散型随机变量时，只需将密度函数换为概率函数，条件密度换为条件函数即可。121121102.4.1 0 1(1)(0)1-,( )1,

19、01.1(1)(,)1(1)(1) 1iiiinnxxi innxxi inxn nxXXpXpX XXppppppphx xxppdppp例设 服从分布，即P,P,为样本，未知参数 的先验分布为均匀分布，即求 的后验分布。解 的后验分布为110(1) =C(1)1,1iinxxi inxn nxppdppppBe nxn nx即 的后验分布为 分布 ()。2221212222212212.4.2 ( ,),( ,),(,)111()exp()exp2222111(exp()exp222nnnniinniiXNNX XXphx xxxx 例设未知，已知。 的先验分布为，为样本，求 的后验分布。解 的后验分布为2212)2,ndx xx注意到上式分母只与有关而与 无关，没必要计算。22221222222221222222221221()()2211()221, 11()(,)exp.2niiniinxttxnxtnnt