统计学参数估计

1、 nxxx,.,21nX.,21XX),.,(21nXXX),.,(21nxxxk,.,21),.,;(21kxF., 2, 1,)( kAnXEkXkPkkk 时时则当则当存在存在记成记成阶矩阶矩的的若总体若总体证明证明, , 21同同分分布布独独立立且且与与因因为为XXXXn , , 21同同分分布布独独立立且且与与所所以以kknkkXXXX.)()()(21kknkkXEXEXE 故故有有辛钦定理辛钦定理再根据再根据辛钦定理辛钦定理知知由以上定义得下述由以上定义得下述结论结论:由第五章关于依概率收敛的序列的性质知由第五章关于依概率收敛的序列的性质知),(),(2121kPkgAAAg .

2、是连续函数是连续函数其中其中g;, 2, 1,11 kXnkPniki 以上结论是下一章所要介绍的矩估计法以上结论是下一章所要介绍的矩估计法的理论根据的理论根据.,)(),.,;()(),.,;()(2121离散型连续型XRxklklllxpxdxxfxXEnililXnA11.,.2 , 1kl ,2211kkAAAk,.,21k,21k,.,21 );,.,2, 1(klAll 解两个待估参数，连续型解两个待估参数，连续型. .先求总体的一先求总体的一, ,二阶二阶( (原点原点) )矩矩. .因为因为X XUa,b,Ua,b,所以所以)(1XE)(22XE2)()(XEXD,212)(2

3、2baab,2ba 2211AA即即niiXnbaabXba122214)(12)(2,)(312niiXXnXa.)(312niiXXnXb,)(1XE22222)()()(XEXDXE2211AA. 即即niiXnX12221 解得解得,2 2的的矩估计量矩估计量分别为分别为: :,X21221XXnniiniiXXn12)(1 解单参数，离散型解单参数，离散型. .)(1XE 由由11AXmp 因为因为 所以总体所以总体X X的一阶矩的一阶矩( (期望期望) )为为),(pmBXmp即即mXp 解单参数，连续型解单参数，连续型. .)(1XE 因为总体一阶矩因为总体一阶矩11A, 0,

4、10,)(1其它xxxfdxxxf)(101|1x10dxx1 由由故所求故所求为：为：即即X1) 1(X解得解得: :XX)1 (XX121XX 解单参数，连续型解单参数，连续型. .)(1XE 因为总体因为总体一阶矩一阶矩)(21)(|xexfxdxexx|210不含不含，故不能由，故不能由“样本一阶矩样本一阶矩= =总体一阶矩总体一阶矩”解得所求解得所求 矩估计，需要矩估计，需要继续求二阶矩继续求二阶矩：dxexXEx|22221)(xdexdxexxx202021,2)3(22 由由“样本二阶矩样本二阶矩= =总体二阶矩总体二阶矩”得：得：,21212niiXn 于是于是, ,所求所求

5、为：为：niiXn1221函数函数定义定义 一位老猎人与他的徒弟一起打猎一位老猎人与他的徒弟一起打猎,两人同时向一两人同时向一 猎物射击猎物射击,结果该猎物身中一弹结果该猎物身中一弹,你认为谁打中的可能你认为谁打中的可能 性最大性最大? 根据经验而断根据经验而断:老猎人打中猎物的可能性最大老猎人打中猎物的可能性最大. 就是对固定的样本值，选就是对固定的样本值，选 择待估参数的估计值使择待估参数的估计值使“样本取样本值样本取样本值”离散型离散型或或“样样 本取值落在样本值附近本取值落在样本值附近”连续型连续型 的概率最大。的概率最大。下面分离散型与连续型总体来讨论下面分离散型与连续型总体来讨论.

6、 .)();(xpxXPnXXX,.,21nxxx,.,21nXXX,.,21)();();,(121niinxpxxxL根据总体分根据总体分布律写出似布律写出似然函数：换然函数：换x为为xi这正是事件这正是事件“样本取得样本值样本取得样本值” 的概率的概率, ,称之为样本的称之为样本的 似然函数似然函数, ,它是待估参数它是待估参数的函数的函数. .),( 21nxxx相应统计量相应统计量称为参数称为参数的的.),( 21nXXX)();(xf)();(1niixfniiniiniiidxxfdxxf111);();(nXXX,.,21nxxx,.,21nXXX,.,21),(21nxxxn

7、iidx1)();();,(121niinxfxxxL),(21nXXX),(21nxxx,),;(, );();,(1121连续型离散型niiniinxfxpxxxL0);,(21nxxxLdd0);,(ln21nxxxLdd 所以所以, ,样本的样本的为为: : 因为总体因为总体 其分布律为其分布律为),(pmBX)., 1 , 0()1 ();(mxppCpxfxmxxmniipxfpL1);()(nixmxxmiiippC1)1 (在在f中换中换x为为xi写出连乘写出连乘积积 ninixmnixxmiiippC111)1 (nixmnxxmniiniiippC111)1 (求导得：求导

8、得：nixmiCpL1)()(nixiniipx111)(niixmnp1)1 (niixp1)1()1)(111niixmnniipxmn四则运算四则运算求导法则求导法则nixmnxxmniiniiippC11111)1 ()()1)(11niiniixmnppx, 0令令, 0)()1 (11niiniixmnppx即即, 01pmnxnii也即也即解得解得为为mxxmnpnii11为为mXp );,.,2, 1(klAll 求最大似然估计量的步骤求最大似然估计量的步骤:; );();,()();();,()( )(121121 niinniinxfxxxLLxpxxxLL或或写写出出似似

9、然然函函数数一一; );(ln)(ln);(ln)(ln )(11 niiniixfLxpL或或取对数取对数二二最大似然估计法是由最大似然估计法是由R.A.Fisher引进的引进的., 0d)(lnd,d)(lnd )( 的的最最大大似似然然估估计计值值解解方方程程即即得得未未知知参参数数并并令令求求导导对对三三 LL 最大似然估计法也适用于分布中含有多个最大似然估计法也适用于分布中含有多个未知参数的情况未知参数的情况. 此时只需令此时只需令., 2 , 1, 0lnkiLi .), 2 , 1( ,iikik 的的最最大大似似然然估估计计值值数数即即可可得得各各未未知知参参个个方方程程组组成

10、成的的方方程程组组解解出出由由 对数似然方程组对数似然方程组对数似对数似然方程然方程 当总体分布中含有当总体分布中含有个待估参数时，可类似于单个待估参数时，可类似于单 参数情形来求其极大似然估计，其步骤为：参数情形来求其极大似然估计，其步骤为： 写出似然函数写出似然函数);,(21kL 求求；当；当L关于各参数关于各参数 可导时，可解可导时，可解似然方程组似然方程组).,2, 1(0klLl得各参数的极大似然估计。得各参数的极大似然估计。 解双参数，连续型解双参数，连续型. .因为因为X XN(,N(,2 2),),所以所以X X总体的概率密度为总体的概率密度为)0,(2)(exp21),;(

11、222Rxxf 设设 为样本为样本 的一个样本值的一个样本值, , 则似然函数为则似然函数为: :nxxx,.,21nXXX,.,212212)(21exp21),(inixL niinnx122222)(21exp2从而从而, ,取对数得取对数得: :21222)(21ln22ln2),(lnniixnnL由似然方程组由似然方程组视视2为整体为整体0)()(212ln01ln12222212niiniixnLnxL解得解得,2 2的的为为: :niixxnx122)(1,从而从而,2 2的的为为: :niiXXnX122)(1, 解双参数，连续型解双参数，连续型. ., 0,1),;(其它b

12、xaabbaxf 因为因为 所以所以X X的概率密度为的概率密度为,baUX 设设 为样本为样本 的一个样本值的一个样本值, ,记记nxxx,.,21nXXX,.,21,max,min21)(21) 1 (nnnxxxxxxxx由于由于bxxabxxxann)() 1 (21,所以所以, ,为为., 0,)(1),()() 1 (其它bxxaabbaLnn对于满足对于满足 的任意的任意a,ba,b有有bxxan)() 1 (,nnnxxabbaL)(1)(1),() 1 ()(即即),(),(max)() 1 (,)()1(nbxxaxxLbaLn故故a,ba,b的的为为: :.,)() 1

13、(nxbxa.max,min11iniiniXbXa故故a,ba,b的的为为: : 同一个待估参数的同一个待估参数的与与可能可能 相同相同 如二项总体、正态总体如二项总体、正态总体,也可能不同也可能不同 如均匀如均匀 总体总体. 例如例如, ,正态总体正态总体方差方差2 2的极大似然估计为的极大似然估计为niixxn122)(1 故故标准差标准差(0)(0)的极大似然估计为的极大似然估计为niixxn12)(1 定理定理 设设 是总体是总体X的参数的参数 的极大似然估计的极大似然估计,函函 数数 具有单值反函数具有单值反函数,则则 是是 的极大似然估计的极大似然估计,即即)(g)(g)(g).

14、()( gg 因为因为 解因为解因为 , ,易求易求 的极大似然估计值与的极大似然估计值与 极大似然估计量分别为极大似然估计量分别为: : )(X.,Xx)(! 000geeXP有单值反函数有单值反函数, ,故由上述定理知故由上述定理知:PX=0:PX=0的极大似然估的极大似然估 计为计为,)()( 0 xeeggXP.0XeXP 对于同一个参数对于同一个参数, ,用不同方法求出的估计量可能用不同方法求出的估计量可能 不同不同. .那么那么, ,采用哪一个估计量为好呢采用哪一个估计量为好呢? ?用何种标准来用何种标准来 评判估计量的优劣评判估计量的优劣? ? 下面下面, ,介绍几个常用标准介绍

15、几个常用标准. . 1 1、)(E 则称则称 为为 的的. . 称为用称为用 来估计来估计 的的. .因此因此, , . .)(E 解因为解因为niiXnEXE11)(X2SniiXnXnESE122211)()()()()() 1(1221XEXDnXEXDninii)(11niiXEn,11nin)()() 1(1212XnEXEnnii)()() 1(122221nnnni)() 1(12222nnn 1 1、样本均值、样本均值 是总体均值是总体均值的无偏估计的无偏估计; ;X 2 2、样本方差、样本方差 是总体方差是总体方差2 2的无偏估计的无偏估计. .2S所以所以2 易知：对均值易

16、知：对均值,方差方差20都存在的总体都存在的总体,方差的方差的 估计量估计量2*212212)(1SAAXXnnii是是有偏估计有偏估计:.1)()()(222122nnAEAEE.)1(22nnE无偏化无偏化得得:)(2SE 可以证明可以证明:无论总体无论总体X服从何种分布服从何种分布,k阶阶样本矩样本矩 是是k阶阶总体矩总体矩的无偏估计的无偏估计,即有即有kkAE)(22)(SE)(XE 因此因此,一般都是一般都是取样本均值取样本均值 作为总体均值的估计作为总体均值的估计 量量,取样本方差取样本方差 作为总体方差的估计量作为总体方差的估计量.2SX是总体均值是总体均值的无偏估计的无偏估计;

17、 ;并确定常数并确定常数a,ba,b使使D(Y)D(Y)达到达到 最小最小. . 解因为解因为)2 , 1()(,)(2knXDXEkkk 【例【例1111】设从存在均值】设从存在均值与方差与方差2 200的总体中的总体中, ,分分 别抽取容量为别抽取容量为n n1 1,n,n2 2的两个独立样本的两个独立样本, ,其样本均值分别其样本均值分别 为为 . .证明证明: :对任意常数对任意常数a,b,a,b,21,XX) 1(21baXbXaY 由由期望性质期望性质得得: :)()(21XbXaEYE)()(21XbEXaE)(ba 由无偏性知由无偏性知:Y:Y是是的无偏估计量的无偏估计量. .

18、 由由方差方差性质得性质得: :)()()()(221221XDbXDaXbXaDYD22212222122)1 (nananbna0)1 (22)(221令nanaYDdad即即: :21)1 (nana解得当解得当212211,nnnbnnna时时D(Y)D(Y)最小最小. .由导数应用知由导数应用知: 解因为解因为极大似然估计量为极大似然估计量为其它, 0,0,1)(xxfmax1iniX而总体分布函数而总体分布函数., 1,0, 0, 0)(xxxxxFmax1iniX 的分布函数为的分布函数为, 1,0, 0, 0)()(zzzzzFzFnnn故其概率密度为故其概率密度为, 0,0,

19、)(1其它znzzfnndzzzfE)()(从而从而, 不是不是 的无偏估计的无偏估计.dzznnn01nn 2 2、有效性、有效性)()(21DD 则称则称 较较 为为有效有效. .12 同一个参数的无偏估计可能有多个同一个参数的无偏估计可能有多个, ,在容量相同在容量相同 情况下情况下, ,认为取值密集于参数真值附近的估计量较为认为取值密集于参数真值附近的估计量较为 理想理想. . 由于方差度量随机变量取值与其数学期望的偏由于方差度量随机变量取值与其数学期望的偏 离程度离程度, ,故无偏估计应以方差小者为好故无偏估计应以方差小者为好. .定义定义),(),(212211nnXXXXXX 解

20、因为解因为其它, 0, 0,1);(xexfx 易知易知 服从参数为服从参数为/n的指数分布的指数分布,故故min1iniXZX),(min21nXXXnnZnZX,)(,)(2nXDXE所以所以, , 是是的无偏估计量的无偏估计量. .X,)(nZE,)(nZE 所以所以, , 也是也是的无偏估计量的无偏估计量. .nZ 于是于是, , 由于由于, ,)()(2222nnZDnnZD 注意到当注意到当n1n1时时: :),()(nZDXD 在实际问题中常常使用无偏性、有效性这两个标在实际问题中常常使用无偏性、有效性这两个标 准准. .至于一致性请自学，暂存不议至于一致性请自学，暂存不议. .

21、故当故当n1n1时时, , 较较 为有效为有效. .XnZ 设总体设总体X X的分布函数的分布函数F(x;)F(x;)含有一个含有一个 未知参数未知参数.对于给定值对于给定值( 01),( 01),若由来自总体若由来自总体X X 的样本的样本 能确定两个统计量能确定两个统计量nXXX,.,21),(),(212211nnXXXXXX 满足：满足：121P则称随机区间则称随机区间 是是的置信度为的置信度为1-1-的（双侧）的（双侧） ， 分别称为分别称为和和,1- ,1- 称为称为. .21,21,关于定义的说明关于定义的说明.) ,( , , , 是是随随机机的的而而区区间间没没有有随随机机性

22、性但但它它是是一一个个常常数数虽虽然然未未知知被被估估计计的的参参数数 : 1),(),(2121的的本本质质是是因因此此定定义义中中下下表表达达式式 nnXXXXXXP). ,(1 ,1 ) ,( 的的概概率率落落入入随随机机区区间间以以而而不不能能说说参参数数的的真真值值的的概概率率包包含含着着参参数数以以随随机机区区间间 () ()的的是是: :若反复进行多次容量均为若反复进行多次容量均为n n的抽样的抽样, , 则每个样本值都确定一个区间则每个样本值都确定一个区间, ,它或包含它或包含的真值的真值, ,或或 不包含不包含的真值的真值, ,按按贝努里大数定律贝努里大数定律可知可知: :在

23、这样多的在这样多的 区间中区间中, ,包含包含真值的区间约占真值的区间约占100(1-)%,100(1-)%,不包含不包含 真值的区间约占真值的区间约占100%.100%. 例如例如,=0.01,=0.01,反复抽样反复抽样10001000次次, ,得到的得到的10001000个区个区 间中包含间中包含真值的区间约有真值的区间约有990990个个, ,而不包含而不包含真值的真值的 区间仅约为区间仅约为1010个个. . 求未知参数求未知参数的置信区间的步骤的置信区间的步骤: : ),;,.,(21nXXXZZ 并且并且Z Z的分布是的分布是的且不依赖于的且不依赖于及其它任何未知参数及其它任何未

24、知参数; ; (2) (2) 对于给定的置信度对于给定的置信度1-,1-,确定两个常数确定两个常数a,b,a,b,使使1);,.,(21bXXXZaPn (1) (1) 构造一个构造一个含未知参数含未知参数的样本函数的样本函数( (不是不是 统计量统计量):): (3) (3) 由由bXXXZan);,.,(21解得与之等价的不等式解得与之等价的不等式其中统计量其中统计量 构成的构成的 随机区间随机区间 就是就是的的一个一个置信度为置信度为1-1-的置信的置信 区间区间. .),(),(212211nnXXXXXX21,),(),(212211nnXXXXXX (4) (4) 如果有一个样本值

25、如果有一个样本值, ,便可得到一个固定区间便可得到一个固定区间, , 它不是随机区间它不是随机区间, ,仍称之为置信度为仍称之为置信度为1-1-的置信区间的置信区间, ,) 1 , 0(/NnXZnXXX,.,212,SX ),(2nNXX1/22znXzP即即 12/2/znXznXP2/2/,znXznX96. 141X 例如例如,=1,n=16,=0.05,1-=0.95,=1,n=16,=0.05,1-=0.95,查表得查表得 | | , ,则得到一个置信度为则得到一个置信度为95%95%的置信区间的置信区间96. 1025. 0z20. 5x)49. 020. 5(49. 0X 若有

26、一个样本值，并算得样本均值的观察值为若有一个样本值，并算得样本均值的观察值为 则得到一个具体区间则得到一个具体区间)69. 5 ,71. 4(它不再是随机区间，但仍称之为置信度为它不再是随机区间，但仍称之为置信度为95%的置的置 信区间，其信区间，其为：区间为：区间(4.71,5.69)包含包含的可信度的可信度 为为95%. (3). (3).此处置信区间的长度为此处置信区间的长度为, ,即即22znL 222zLn (1). (1).区间区间(4.71,5.69)(4.71,5.69)包含包含的可信程度为的可信程度为95%; 95%; (2). (2).置信区间不唯一置信区间不唯一. .由于

27、标准正态分布概率密度由于标准正态分布概率密度对称对称, ,故一般取对称置信区间故一般取对称置信区间, ,即双侧分位点对称即双侧分位点对称. .当然当然, ,也可取其它非对称的置信区间也可取其它非对称的置信区间, ,即双侧分位点不对称即双侧分位点不对称. .显显然然, ,长度愈短估计精度愈高长度愈短估计精度愈高; ;解得容量解得容量 ) 1(/ntnSXt 由于由于 是是 的无偏估计的无偏估计, ,在上述随机变量在上述随机变量Z Z中中“换换 为为S”S”且由且由ch6-th2 ch6-th2 可作随机变量可作随机变量 2S2其分布不依赖于任何未知参数其分布不依赖于任何未知参数. . 由由t-t

28、-分布的分布的概念知概念知: : 1)1(/) 1(22ntnSXntP即即1)1() 1(2/2/ntnSXntnSXP故得到故得到的的置信度为置信度为1-1-的的) 1(),1(2/2/ntnSXntnSX (1) (1)因为因为, ,故故为为 2/2/,znXznX 解单正态总体解单正态总体, ,置信度为置信度为1-=0.95, =0.05.1-=0.95, =0.05.由于由于 96. 1, 6 . 0, 9, 6025. 0znx故所求置信区间为故所求置信区间为 96. 136 . 06 ,96. 136 . 06392. 6 ,608. 5即即 (2) (2)因为因为, ,故故为为

29、 ) 1(),1(2/2/ntnSXntnSX由于由于 3060. 2)8(,574456264. 0, 9, 6025. 0tsnx故所求置信区间为故所求置信区间为 306. 23574456. 06 ,306. 23574456. 06 即置信区间为即置信区间为 442. 6 ,558. 5) 1() 1(2222nSn 只只介绍介绍未知情形未知情形. .2S22 21)1() 1() 1(2222212nSnnP1) 1() 1() 1() 1(22/12222/2nSnnSnP故得到故得到2 2的的置信度为置信度为1-1-的的) 1() 1(,) 1() 1(22/1222/2nSnn

30、Sn即即 进而可得进而可得的一个置信度为的一个置信度为1-1-的置信区间的置信区间)1(1,) 1(122/122/nnnSn2 2- -分布与分布与F-F-分布概率密度虽不对称分布概率密度虽不对称, , 但习惯上仍取面积对称意义上的双侧分位点但习惯上仍取面积对称意义上的双侧分位点, ,以简化以简化 计算计算. .当然当然, ,这样的置信区间长度并非最短这样的置信区间长度并非最短. .), 2 , 1)(,(2niNXi),(2NXnXXX,21)(2212nXnii1)()()(22/21222/1nXnPnii2 2)()(,)()(22/11222/12nXnXniinii2/2/,zn

31、XznX) 1(),1(2/2/ntnSXntnSX)1()1(,)1()1(22/1222/2nSnnSn)()(,)()(22/11222/12nXnXniinii已知方差已知方差,置信区间置信区间 (N(0,1)-分布分布)未知方差未知方差,置信区间置信区间 (t(n-1)-分布分布)未知均值未知均值,置信区间置信区间 (2(n-1)-分布分布)已知均值已知均值,置信区间置信区间 (2(n)-分布分布)【例【例2 2】 解单正态总体解单正态总体. . ) 1(),1(2/2/ntnSXntnSX方差未知方差未知, ,均值的置信区间均值的置信区间tt分布分布. . 00387. 0,678

32、17. 6sx (1) (1)置信度置信度1-=0.9 ,=0.1,n=6,1-=0.9 ,=0.1,n=6,由样本值计算得：由样本值计算得： 查表得查表得: :015. 2) 5(05. 0t 所得置信区间为所得置信区间为: :015. 2600387. 067817. 6 ,015. 2600387. 067817. 6 即为即为: :681. 6 ,675. 6 (2) (2)置信度置信度1-=0.9 ,=0.1,n=5,1-=0.9 ,=0.1,n=5,由样本值计算得：由样本值计算得：003. 0,664. 6sx 查表得查表得: :1318. 2)4(05. 0t 均值未知均值未知,

33、 ,方差的置信区间方差的置信区间2 2- -分布分布. . 所得置信区间为所得置信区间为: :1318. 25003. 0664. 6 ,1318. 25003. 0664. 6 即为即为: :667. 6 ,661. 6) 1() 1(,) 1() 1(22/1222/2nSnnSn000015. 0,00387. 0,67817. 62ssx (1) (1)置信度置信度1-=0.9 ,=0.1,n=6,1-=0.9 ,=0.1,n=6,由样本值计算得：由样本值计算得： 查表得查表得: :145. 1) 5(,071.11) 5(295. 0205. 0 所得置信区间为所得置信区间为: :

34、即为即为: :5610550. 6 ,10774. 6145. 1000015. 05,071.11000015. 05 (2) (2)置信度置信度1-=0.9 ,=0.1,n=5,1-=0.9 ,=0.1,n=5,由样本值计算得：由样本值计算得：000009. 0,003. 0,67817. 62ssx 查表得查表得: :711. 0)4(,488. 9)4(295. 0205. 0711. 0000009. 04,488. 9000009. 04 即为即为: :561006. 5 ,1079. 3),(),(222211NYNX1 12 221,;,.,2121nnYYYXXX2221,;

35、,SSYX2221, 【推导】因为【推导】因为 分别是分别是 的无偏估计的无偏估计,且且YX,21,),(),(22221211nNYnNX从而可得从而可得 的一个置信度为的一个置信度为1-的的置信区间置信区间为为21故故 是是 的无偏估计的无偏估计, ,且有且有YX 21),(22212121nnNYX) 1 , 0()()(22212121NnnYX2222121znnYX从而从而 2221, 当样本容量都很大时当样本容量都很大时, ,可用样本方差代替总体方差可用样本方差代替总体方差 而得而得 的置信度为的置信度为1-1-的的近似近似的的置信区间置信区间为为212222121znSnSYX

36、 2221 由由ch6-th3得得)2(11)()(212121nntnnSYXw 从而从而 的一个置信度为的一个置信度为1-的的置信区间置信区间为为21) 2(1121221nntnnSYXw其中其中.2) 1() 1(21222211nnSnSnSw 解双正态总体解双正态总体, ,未知同方差的未知同方差的均值差均值差置信区间置信区间. . ) 2(1121221nntnnSYXw【例【例3 3】 6,105 . 1,00387. 0,67817. 615211nssx 置信度置信度1-=0.9 ,=0.1, 1-=0.9 ,=0.1, 由样本值计算得：由样本值计算得： 查表得查表得: :8331. 1)9(05. 0t 所求置信区间为所求置信区间为: :5,109,003. 0,664. 626222nssy2) 1() 1(212222112nnsnsnsw6103