第34节经验贝叶斯估计

1、一、非参数经验贝叶斯估计一、非参数经验贝叶斯估计二、参数经验贝叶斯估计二、参数经验贝叶斯估计第第3.4节经验贝叶斯估计节经验贝叶斯估计0、背景与意义、背景与意义 贝叶斯估计存在的问题：贝叶斯估计存在的问题：先验分布的确定先验分布的确定如何客观地确定先验分布？如何客观地确定先验分布？ 根据历史资料数据（即经验）确定该问题的先根据历史资料数据（即经验）确定该问题的先验分布，其对应的贝叶斯估计称为验分布，其对应的贝叶斯估计称为经验贝叶斯估计经验贝叶斯估计.该方法是由该方法是由Robbins在在1955年提出的年提出的.经验贝叶斯估计分类（共两类）经验贝叶斯估计分类（共两类） 非参数经验贝叶斯估计非参

2、数经验贝叶斯估计 参数经验贝叶斯估计参数经验贝叶斯估计一、非参数经验贝叶斯估计一、非参数经验贝叶斯估计X 设设随随机机变变量量 服服从从泊泊松松分分布布，e 0 1 20(| ),(, , ,;!xxp xxx ）例例1（p109例例3.20)1 1、问题引入、问题引入( ),GX设设参参数数 的的先先验验分分布布为为则则 的的边边缘缘分分布布为为0e 0 1 2( )( ),(, , ,!）xxGmxdGxx ( ),G对对于于先先验验分分布布在在平平方方损损失失下下，可可求求得得 的的贝贝叶叶斯斯估估计计为为00 ( )( |)d ( )( |)( |)d ( )G xpxG xdExpx

3、G x10011 e d ( )!e d ( )!xxG xxG xx11 ()()( )GGxmxmx如果先验分布如果先验分布G(x)未知，该未知，该如何计算？如何计算？2 2、经验贝叶斯决策函数、经验贝叶斯决策函数当先验分布未知时，如何利用历史资料（经验资当先验分布未知时，如何利用历史资料（经验资料）料）定义定义3.113.1112(,)TnXXX任任何何同同时时依依赖赖于于历历史史样样本本1(|,)nnnXddX XX 和和当当前前样样本本 的的决决策策函函数数称称为为12(,)TnXXX的信息得到最优贝叶斯估计？的信息得到最优贝叶斯估计？经经验验贝贝叶叶斯斯决决策策函函数数1(|,)n

4、nnddXXX 如如何何计计算算经经验验贝贝叶叶斯斯估估计计11(|, ,)nnnddX XX （）根根据据贝贝叶叶斯斯估估计计风风险险函函数数的的定定义义可可知知的的风风险险为为dd112(|,)( ,(|,) (| )( )GnnnnRdXXLdx xxxp xxG 1(|,)nnnddXXX 经经验验贝贝叶叶斯斯估估计计的的计计算算方方法法：11,nnXXXX注注：此此结结果果包包含含了了而而为为随随机机变变量量，因因而而，该该风风险险仍仍包包含含有有随随机机性性，需需要要对对此此风风险险再再求求一一次次期期望望，即即2( )计计算算期期望望，可可得得e 21221()0,()( )0,

5、0,yy ， d dd*111212()(|,)(|,)(,)GnGnnGnnGnnRdE RdXXRdXXmxxxx xx定义定义12(,)TnXXX任任何何同同时时依依赖赖于于历历史史样样本本1(|,)nnnXddX XX 和和当当前前样样本本 的的决决策策函函数数称称为为经经验验贝贝叶叶斯斯决决策策函函数数则则 的后验分布为的后验分布为222(|)(|)()hxq x 2211112221() ()eniinx 显然此分布仍为倒显然此分布仍为倒 分布，即先验分布与后验分分布，即先验分布与后验分布都为倒布都为倒 分布，因而分布，因而倒倒 分布是分布是 的共轭先验分布的共轭先验分布族族.例例

6、3(p1253(p125例例4.9)4.9)12(,)TnXXX设设是是来来自自总总体体(, )B N的的一一个个样样本本，现现寻寻求求 的的共共轭轭先先验验分分布布，由由于于该该样样本本的的似似然然函函数数为为11(| )()iiinxxNxNiq xC 1110 1 (), , ,nniiiixnNxixN 哪一个分布具有上述核？结论是哪一个分布具有上述核？结论是 分布，这是因为分布，这是因为 分布的密度函数为分布的密度函数为111010()(), ,( ) ( )( ; ,), xxxf x 其其他他 设设 的先验分布为的先验分布为 分布，即分布，即 11()(1),01,( ) ( )

7、( )0, 其其他他 则则 的后验分布为的后验分布为( |)(| )( )hxq x 1111101 (), nniiiixnNx 显然此分布是显然此分布是 分布的核，因而分布的核，因而 分布是分布是 的共轭的共轭先验分布族先验分布族. 经计算可知经计算可知11( |)(,)nniiiihxxnNx 第二种方法第二种方法设总体设总体X的分布密度为的分布密度为p(x| ),统计量统计量12()(,)nT XT X XX 是是参参数数 的的充充分分统统计计量量，则则有有定理定理4.1( )f设设为为任任一一固固定定的的函函数数，满满足足条条件件10( )( ),f 20( )( | ) ( )dn

8、gtf 则则1 2( | ) ( ): , ,( | ) ( )dnfngtfDngtf 是共轭先验分布族，其中是共轭先验分布族，其中121(| )(| )( | ) (,)ninniq xp xgth x xx 例例4(p1264(p126例例4.10)4.10)12(,)TnXXX设设是是来来自自总总体体1 ( , )B的的一一个个样样本本，试试寻寻求求 的的共共轭轭先先验验分分布布？解解其似然函数为其似然函数为111111(| )()()nniiiiiiixnnxxxiq x 11 ()( | ) , nxn nxngt 11( | ) ()( )tn tngtf 其其中中, ,选选取取

9、，则则1011 20 1 21 (): , , , , ()dtn tftn tDnt 显然此共轭分布族为显然此共轭分布族为 分布的子族，因而，两点分布的子族，因而，两点分布的共轭先验分布族为分布的共轭先验分布族为 分布分布.常见共轭先验分布常见共轭先验分布倒倒 分布分布方差方差 正态分布（均正态分布（均值已知）值已知）正态分布正态分布N( , )均值均值 正态分布正态分布（方差已知）（方差已知） 分布分布 ()均值的倒数均值的倒数 指数分布指数分布 分布分布 ()均值均值 泊松分布泊松分布 分布分布 ( , )成功概率成功概率p二项分布二项分布共轭先验分布共轭先验分布参数参数总体分布总体分布

10、二、参数经验贝叶斯估计二、参数经验贝叶斯估计( , )( ( , ()( , ( ) (| )dRdELd XLd x q xx 由第一小节内容可知，给定损失函数以后，风由第一小节内容可知，给定损失函数以后，风险函数定义为险函数定义为此积分仍为此积分仍为 的函数，在给定的函数，在给定 的先验分布的先验分布 ( )时，定义时，定义( )( ( , )( , )( )dR dERdRd 为决策函数为决策函数d在给定先验分布在给定先验分布 ( )下的贝叶斯风险，简下的贝叶斯风险，简称为称为d的贝叶斯风险的贝叶斯风险.1 1、贝叶斯风险的定义、贝叶斯风险的定义2 2、贝叶斯风险的计算、贝叶斯风险的计算

11、当当X与与 都是连续性随机变量时，贝叶斯风险为都是连续性随机变量时，贝叶斯风险为( )( ( , )( , )( )dR dE RdRd ( , ( ) (| )( )d dLd x q xx ( , ( ) ( |)g( )d dLd x hxxx g( )( , ( ) ( |)d dxLd x hxx 当当X与与 都是离散型随机变量时，贝叶斯风险为都是离散型随机变量时，贝叶斯风险为( )( ( , )R dE Rd g( )( , ( ) ( |)xxLd x hx 注注由上述计算可以看出，贝叶斯风险为计算两次由上述计算可以看出，贝叶斯风险为计算两次期望值得到期望值得到,即即( )( (

12、 , ()R dE ELd X 此风险大小只与决策函数此风险大小只与决策函数d有关，而不再依赖有关，而不再依赖参数参数 . 因此以此来衡量决策函数优良性更合理因此以此来衡量决策函数优良性更合理*()dX则则称称为为参参数数 的的贝贝叶叶斯斯估估计计量量1 1、贝叶斯点估计、贝叶斯点估计定义定义4.6若总体若总体X的分布函数的分布函数F(x, )中参数中参数 为随机为随机变量，变量， ( )为为 的先验分布，若决策函数类的先验分布，若决策函数类D中存在中存在一个决策函数使得对决策函数类中的任一决策函数一个决策函数使得对决策函数类中的任一决策函数均有均有*()inf( ), d DR dR ddD

13、 注注1、贝叶斯估计是使贝叶斯风险达到最小的决策、贝叶斯估计是使贝叶斯风险达到最小的决策 函数函数.2、不同的先验分布，对应不同的贝叶斯估计、不同的先验分布，对应不同的贝叶斯估计2 2、贝叶斯点估计的计算、贝叶斯点估计的计算平方损失下的贝叶斯估计平方损失下的贝叶斯估计定理定理4.2设设 的先验分布为的先验分布为 ( )和损失函数为和损失函数为2( , )()Ldd 则则 的贝叶斯估计为的贝叶斯估计为*( )( |)( |)ddxEXxhx ( |).hx其其中中为为参参数数 的的后后验验分分布布证证首先对贝叶斯风险做变换首先对贝叶斯风险做变换2min( )min( )( )( |)d dR d

14、m xd xhxx 2max .( )( |)da sd xhx 又因为又因为22( )( |)d( |)( |)( )( |)dd xhxExExd xhx 222( |)( |)d ( |)( )( |)d( |) ( |)( ) ( |)dExhxExd xhxExExd x hx 又因为又因为( |) ( |)( ) ( |)dExExd x hx ( |)( )( |) ( |)dExd xEx hx ( |)( |)dExhx 则则0 ( |)( ) ( |)( |)Exd xExEx 因而因而222( )( |)d( |)( |)d( |)( )( |)dd xhxExhxExd

15、 xhx *( )( |) .( ).dxExa sR d 显显然然，当当时时，达达到到最最小小定理定理4.3 设设 的先验分布为的先验分布为 ( )和损失函数为加和损失函数为加权平方损失权平方损失2( , )( )()Ldd 则则 的贝叶斯估计为的贝叶斯估计为*( ( )|)( )( ( )|)ExdxEx 证明略，此证明定理证明略，此证明定理4.2的证明类似的证明类似.定理定理4.4 设参数设参数 为随机向量，先验分布为为随机向量，先验分布为 ( )和损失函数为二次损失函数和损失函数为二次损失函数( , )()()TLddQ d 1*(|)( )( |) (|)pExdxExEx 注注其中

16、其中Q为正定矩阵，则为正定矩阵，则 的贝叶斯估计为后验分布的贝叶斯估计为后验分布h( |x)的均值向量，即的均值向量，即12( ,).p 其其中中参参数数向向量量为为 定理表明，正定二次损失下，定理表明，正定二次损失下， 的贝叶斯估计的贝叶斯估计不受正定矩阵不受正定矩阵Q的选取干扰，表现出其稳健性的选取干扰，表现出其稳健性.证证在二次损失下，任一个决策函数向量在二次损失下，任一个决策函数向量d(x)=12( ),( ),( )Tnd x dxdx的的后后验验风风险险为为()()|TE dQ dx *()()()()|TEdddQ dddx *()()()()|TTddQ ddE dQ dx 0

17、*(|),E dx又又由由于于因因而而()()|TE dQ dx 其中第二项为常数，而第一项非负，因而只需当其中第二项为常数，而第一项非负，因而只需当*( )ddx 时时，风风险险达达到到最最小小. .定义定义4.7 设设d=d(x)为为决策函数类决策函数类D中任一决策函数，中任一决策函数，( |) ( , ( )R d xE Ld x 损失函数为损失函数为L( ,d(x),则则L( ,d(x),对后验分布对后验分布h( |x)的的数学期望称为后验风险数学期望称为后验风险，记为，记为( , ( ) ( |)d , (, ( ) (|) iiiLd x hxxLd x hx 为为连连续续型型随随

18、机机变变量量，为为离离散散型型随随机机变变量量. .注注 如果存在一个决策函数，使得如果存在一个决策函数，使得*(|)inf( |), dR dxR d xdD 则称此决策为后验风险准则下的最优决策函数，或称则称此决策为后验风险准则下的最优决策函数，或称为贝叶斯（后验型）决策函数。为贝叶斯（后验型）决策函数。定理定理4.5 对给定的统计决策问题对给定的统计决策问题(包含先验分布给包含先验分布给定的情形）和决策函数类定的情形）和决策函数类D,当贝叶斯风险满足如下条当贝叶斯风险满足如下条件：件：inf( ), dR ddD *( )( )dxdx则则贝贝叶叶斯斯决决策策函函数数与与贝贝叶叶斯斯后后

19、验验型型决决策策函函数数是是等等价价的的. . 定理表明：如果决策函数使得贝叶斯风险最小，定理表明：如果决策函数使得贝叶斯风险最小，此决策函数也使得后验风险最小，反之，也成立此决策函数也使得后验风险最小，反之，也成立.证明从略证明从略定理定理4.6设设 的先验分布为的先验分布为 ( )和损失函数为和损失函数为( , ) |,Ldd*( )( |)dxhx 后后验验分分布布的的中中位位数数证证则则 的贝叶斯估计为的贝叶斯估计为设设m为为h( |x)的中位数，又设的中位数，又设d=d(x)为为 的另一的另一估计，为确定期间，先设估计，为确定期间，先设dm,由绝对损失函数的定由绝对损失函数的定义可得

20、义可得2, ,( ,)( , )(), , ,mdmLmLdmdmddmd 又由于又由于22()()mdmddmddm当当时时，则则, ,( ,)( , ), ,mdmLmLddmm 由于由于m是中位数，因而是中位数，因而1122|, |,Pm xPm x则有则有(|)( |)( ( ,)( , )|)R m xR d xE LmLdx() |() |md Pm xdm Pm x 11022()()mddm 于是，当于是，当dm时时(|)( |)R m xR d x 同理可证，当同理可证，当dm时时(|)( |)R m xR d x 因而因而*( )( |)dxmhx 后后验验分分布布的的中中

21、位位数数定理定理4.7设设 的先验分布为的先验分布为 ( )和损失函数为和损失函数为01() ,( , )(), ,kddLdk dd ，0*( )( |)dxhxk 1 11 1k k后后验验分分布布的的上上侧侧分分位位数数k k则则 的贝叶斯估计为的贝叶斯估计为证证首先计算任一决策函数首先计算任一决策函数d(x)的后验风险的后验风险( |) ( , ( )( , ( ) ( |)dR d xE Ld xLd x hxx 10() ( |)d() ( |)dddk dhxxkd hxx 100()() ( |)d( |)dkkdhxxkExd 为了得到为了得到R(d|x)的极小值，关于等式两

22、边求导：的极小值，关于等式两边求导：1000( |)()( |)d( )dR d xkkhxxkd d 即即011010( |)d( |)dddkkhxxhxxkkkk 0*( )( |)dxhxk 1 11 1k k后后验验分分布布的的上上侧侧分分位位数数k k则则例例5(p131 例例4.11) 设总体设总体X服从两点分布服从两点分布B(1,p),其中参数其中参数p未知，而未知，而p在在0,1上服从均匀分布，样本上服从均匀分布，样本12(,)nXXXX来来自自总总体体 ，损损失失函函数数为为平平方方损损失失，试求参数试求参数p的贝叶斯估计与贝叶斯风险的贝叶斯估计与贝叶斯风险?解解平方损失下

23、的贝叶斯估计为：平方损失下的贝叶斯估计为：*( )(|)(|)ddxE p Xxph p xp 而而10(|)( )(|)( )(|)( )(|)( )dq x ppq x pph p xm xq x ppp 11111111101111111()()(,)()dnnnniiiiiiiinniiiixnxxnxnnxnxiiiippppxnxppp 11101( ) ( ), )()d,()ababa bxxxab 其其中中（则则11111211()()(|)() ()nniiiixnxnniiiippnh p xxnx 111111()()!()!()!nniiiixnxnniiiippnx

24、nx *( )(|)ddxph p xp 111101111()!()d()!()!nniiiixnxnniiiinpppxnx 1111112()!()!()!()!()!()!nniiiinniiiixnxnnxnx 112niixn 其贝叶斯风险为其贝叶斯风险为( )( ( , ) ( , )|( )dR pERdE L p dppp 112210012() d() dniixE pppEppn 122011122() ) d()niiExnppn 2112() )niiExnp 22112 1212()() ) ()() )nniiiiExnp Exnp 又因为又因为1()( , )n

25、iixB n p 则则22111, ()()()nniiiiExnpExnppnp22112112() )()()niiExnpnppp 所以所以122011122( )()() d()R pnppppn 21441232()()nnn 162()n 11662,pXnn 而而 的的最最大大似似然然估估计计为为其其贝贝叶叶斯斯风风险险为为例例6(p133 例例4.12)设总体设总体X服从正态分布服从正态分布N( ,1),其中参数其中参数 未知，而未知，而 服从标准正态布在服从标准正态布在N(0,1)，样本，样本12(,)nXXXX来来自自总总体体 ，损损失失函函数数为为平平方方损损失失，试求参

26、数试求参数 的贝叶斯估计的贝叶斯估计?解解平方损失下的贝叶斯估计为：平方损失下的贝叶斯估计为：*( )(|)(|)ddxEXxhx 而而(|)( )(|)( )(|)( )(|)( )dq xq xhxm xq x 2212211111222211112222exp() exp()exp() expd()ninininixx 2211221111122211112222exp()()expexp()d()ninininixnnxxnnx 22112222111122211122112exp()()expexp( ) ()()()ninininixnnxnxxnn 12211221(|)() e

27、xp() nnnxhxn 化简化简得得*( )(|)ddxhx 12211221()exp() dnnnxn 1111niinxxxnn 111()( )D XR xnnn 其其贝贝叶叶斯斯风风险险为为例例7(p134 例例4.13)设总体设总体X服从均匀分布服从均匀分布U(0, ),其中参数其中参数 未知，而未知，而 服从服从pareto分布，其分布函数与分布，其分布函数与密度函数分别为密度函数分别为X总总体体 ，损损失失函函数数为为绝绝对对值值损损失失和和平平方方损损失失时时， 试求参数试求参数 的贝叶斯估计的贝叶斯估计?000011( )() , ( ),F 00010,( ,),Pa

28、其其中中和和为为已已知知，该该分分布布记记为为0121( ),(,)nEXXX 的的数数学学期期望望为为来来自自解解(| )( )(| )( )( |)( )(| )( )dq xq xhxm xq x 1100111110001111() (max,)1()ddnninnnixx 0111101(), ()()nnnnnn 1( |)(,).hxparetoPan 显显然然仍仍为为分分布布 根据定理根据定理4.6可知，绝对值损失对应的贝叶斯估计为可知，绝对值损失对应的贝叶斯估计为后验分布的中位数后验分布的中位数,即即1112()()nBBF 则则112*( )Bndx 根据定理根据定理4.4

29、可知，平方损失对应的贝叶斯估计为可知，平方损失对应的贝叶斯估计为后验分布的均值后验分布的均值,即即11011*( )max,nnndxxxnn例例8(p135 例例4.14)设总体设总体X服从伽玛分布服从伽玛分布 (r, ),)nXX来来自自总总体体 ，损损失失函函数数取取平平方方损损失失和和损损失失函函数数 试求参数试求参数 的贝叶斯估计的贝叶斯估计?12,( ,),(,rXX 其其中中参参数数 已已知知 的的先先验验分分布布为为221( , )()Ldd 解解1(),rE X 由由于于因因此此，人人们们更更感感兴兴趣趣估估计计，的的后后验验分分布布为为0(| )( )(| )( )( |)

30、( )(| )( )dq xq xhxm xq x 1111101ee( )( )eed( )( )iirnxriirnxriixrxr 11110()()eedniiniixnrxnr 111()()e()niinnrixnrixnr 1则则在在平平方方损损失失下下的的贝贝叶叶斯斯估估计计为为11*( )(|)dxEx 11101()()ed()niinnrixnrixnr 111111()()()()nnnriiiinnriixxnrnrnrx 1221( , )()Ldd 由由定定理理4 4. .3 3可可知知，在在下下的的贝贝叶叶斯斯估估计计为为212*(|)( )(|)ExdxEx

31、- -1 1111102110()()()ed()()ed()niiniinnrixnrinnrixnrixnrxnr 11010()()ededniiniixnrxnr 21111121()()()()nnnriiiinnriixxnrnrnrx 11111.()niinrxnrnr 3 3、贝叶斯估计的误差、贝叶斯估计的误差 在计算在计算 的估计时，用到了的估计时，用到了 的后验分布，因此考的后验分布，因此考察估计值与真实值之间的误差时，也应考虑察估计值与真实值之间的误差时，也应考虑 的后验分的后验分布，误差定义如下：布，误差定义如下：定义定义4.8参数参数 的后验分布为的后验分布为h(

32、|x),其贝叶斯估计其贝叶斯估计2() 为为 ，则则的的后后验验期期望望为为22|( - )( - )xMSEE 12( |)MSEx称称其其为为 的的后后验验均均方方差差，而而其其平平方方根根|( |)xEhx称称为为后后验验标标准准误误差差，其其中中符符号号表表示示对对条条件件分分布布求求期期望望。( |)Ex 1 1、当当时时，则则均均方方误误差差为为2|(|)( |)- )var( |)xMSExEExx 后验均方差与后验方差的关系后验均方差与后验方差的关系( |)( |).ExEx 2 2、当当时时，则则均均方方误误差差达达到到最最小小，因因而而后后验验均均值值是是较较好好的的贝贝叶

33、叶斯斯估估计计 这这是是因因为为2|(|)( |)-( |)xMSExEExEx 2|( |)var( |)xEExx2( |)var( |)var( |)Exxx后验均方差与后验方差的优点后验均方差与后验方差的优点1、二者只依赖与样本，不依赖参数、二者只依赖与样本，不依赖参数 . 2、二者的计算不依赖与统计量的分布，即抽、二者的计算不依赖与统计量的分布，即抽样分布样分布 3、贝叶斯估计不考虑无偏性，因为贝叶斯估计、贝叶斯估计不考虑无偏性，因为贝叶斯估计只考虑出现的样本，不考虑没出现的样本只考虑出现的样本，不考虑没出现的样本. 4 4、贝叶斯区间估计、贝叶斯区间估计定义定义当当 为为连连续续型型随随机机变变量量时时，给给定定1- ,1- ,当当|P ab x 1 1- - , , , .a b则则称称区区间间为为参参数数 的的贝贝叶叶斯斯区区间间估估计计定义定义当当 为为离离散散型型随随机机变变量量时时，给给定定1- ,1- ,当当|P ab x 1 1- - , , , .a b则则称称区区间间为为参参数数 的的贝贝叶叶斯斯区区间间估估计计定义定义4.9设参数设参数 的后验分布为的后验分布为h( |x)，对给定的，对给定的1201(,)(),TnXXXX