第3.2节贝叶斯估计

1、一、先验分布和后验分布一、先验分布和后验分布二、共轭先验分布二、共轭先验分布三、贝叶斯风险三、贝叶斯风险第第3.2节贝叶斯估计节贝叶斯估计四、贝叶斯估计四、贝叶斯估计一、先验分布与后验分布一、先验分布与后验分布 上一章提出用风险函数衡量决策函数的好坏，但上一章提出用风险函数衡量决策函数的好坏，但是由于风险函数为二元函数，很难进行全面比较。是由于风险函数为二元函数，很难进行全面比较。贝叶斯通过引入先验分布，给出了整体比较贝叶斯通过引入先验分布，给出了整体比较 的指标的指标.1 1、先验信息、先验信息 在抽取样本之前，人们对所要估计的未知参数在抽取样本之前，人们对所要估计的未知参数所了解的信息，通

2、常称为所了解的信息，通常称为先验信息先验信息.例例1(p841(p84例例3.6)3.6) 某学生通过物理试验来确定当某学生通过物理试验来确定当地地的重力加速度，测得的数据为的重力加速度，测得的数据为(m/s):9.80, 9.79, 9.78, 6.81, 6.80试求当地的重力加速度试求当地的重力加速度.解解 用样本均值估计其重力加速度应该是合理的，即用样本均值估计其重力加速度应该是合理的，即8 596.X 由经验可知，此结果是不符合事实的。在估计之前由经验可知，此结果是不符合事实的。在估计之前我们知道，重力加速度应该在我们知道，重力加速度应该在9.80附近，即附近，即29 80 0 1(

3、 ., .)XN这个信息就是重力加速度的这个信息就是重力加速度的先验信息先验信息. 在统计学中，先验信息可以更好的帮助人们解决在统计学中，先验信息可以更好的帮助人们解决统计决策问题统计决策问题. 贝叶斯将此思想应用于统计决策中，形贝叶斯将此思想应用于统计决策中，形成了完整的贝叶斯统计方法成了完整的贝叶斯统计方法.2 2、先验分布、先验分布 对未知参数对未知参数 的先验信息用一个分布形式的先验信息用一个分布形式 ( )来来表示，此分布表示，此分布 ( )称为称为未知参数未知参数 的的先验分布先验分布.例如例如例例1中重力加速度的先验分布为中重力加速度的先验分布为29 80 0 1( ., .)X

4、N3 3、后验分布、后验分布 在抽取样本之前，人们对未知参数有个了解，在抽取样本之前，人们对未知参数有个了解，即先验分布。抽取样本之后，由于样本中包含未知即先验分布。抽取样本之后，由于样本中包含未知参数的信息，而这些关于未知参数新的信息可以帮参数的信息，而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。助人们修正抽样之前的先验信息。12( , ),( ),(,)TnXp xXXXX 设设总总体体 的的分分布布密密度度为为的的先先验验分分布布为为为为总总体体 的的样样本本，其其联联合合密密度度为为121(,)(, ), nniiq x xxp x 而样本值是在知道而样本值是在知道 的

5、先验分布的前提下的先验分布的前提下得到的，得到的，因而上述分布可以改写为因而上述分布可以改写为121(| )(,| )(| ), nniiq xq x xxp x x 又又由由于于 和和样样本本 的的联联合合分分布布可可以以表表示示为为( , )(| ) ( )( ) ( |)f xq xm x hx 由此可以得到由此可以得到(| )( )( |), ( )(| ) ( )d )( )q xhxm xq xm x ( |).hx则则称称 为为 的的后后验验分分布布即即加加入入新新的的信信息息以以后后，对对原原有有分分布布进进行行修修正正由由此此可可见见，后后验验分分布布综综合合用用运运了了先先

6、验验分分布布与与样样本本信信息息. .例例2(p862(p86例例3.7)3.7)为了提高某产品的质量，公司经理为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资考虑增加投资来改进生产设备，预计需投资90万元，万元，但从投资效果来看，顾问们提出两种不同的意见：但从投资效果来看，顾问们提出两种不同的意见：1：改改进进生生产产设设备备后后，高高质质量量产产品品可可占占90%,90%,2：改改进进生生产产设设备备后后，高高质质量量产产品品可可占占70%,70%,经理根据以往的经验，两个顾问建议可信度分别为经理根据以往的经验，两个顾问建议可信度分别为120 40 6().(). 这两

7、个概率是经理的主观判断（也就是先验概率），这两个概率是经理的主观判断（也就是先验概率）， 为了得到更准确的信息，经理决定进行小规模的试验，为了得到更准确的信息，经理决定进行小规模的试验，实验结果如下：实验结果如下：A：试制：试制5个产品，全是正品，个产品，全是正品，由此可以得到条件分布：由此可以得到条件分布：55120 90 5900 70 168(|)( . ).(|).p Ap A （）由全概率公式可以得到：由全概率公式可以得到：11220 337( )(|) ()(|) ().P AP AP A 其后验概率为：其后验概率为：1110 700(|)()(|).( )P AhAP A 222

8、0 300(|)()(|).( )P AhAP A 显然经理对二位顾问的看法已经做了修改，为了得显然经理对二位顾问的看法已经做了修改，为了得到更准确的信息，经理又做了一次试验，结果为到更准确的信息，经理又做了一次试验，结果为B：试制：试制10个产品，个产品，9个是正品，个是正品，120 70 3().(). 5110 0 90 10 387(|)( . ) ( . ).,P B 5210 0 70 30 121(|)( . ) ( . ).P B 11220 307( )(|)()(|)().P BP BP B1110 883(|)()(|).( )P BhBP B 2220 117(|)()

9、(|).( )P BhBP B 由此可见后验分布更能准确描述事情真相由此可见后验分布更能准确描述事情真相.二、共轭先验分布二、共轭先验分布*(| ),Xp xF 设设总总体体 的的分分布布密密度度为为为为为了使得后验分布计算简单，为此引入共轭先验分布为了使得后验分布计算简单，为此引入共轭先验分布.定义定义3.5*( )( ),( |),(| ).FxhxFFp x 的的一一个个分分布布族族，为为 的的任任意意一一个个先先验验分分布布，若若对对样样本本的的任任意意观观测测值值 ， 的的后后验验分分布布则则称称是是关关于于分分布布密密度度的的共共轭轭先先验验分分布布族族，简简称称共共轭轭分分布布族

10、族注注共轭分布族总是针对分布中的某个参数而言的共轭分布族总是针对分布中的某个参数而言的.1 1、共轭分布族、共轭分布族2 2、后验分布核、后验分布核由上一小节内容可知，后验分布为由上一小节内容可知，后验分布为(| )( )( |), ( )( )q xhxm xm x 为为样样本本的的边边缘缘分分布布 可以看出，可以看出，m(x)不依赖于参数不依赖于参数 ,因而因而参数参数 的后验的后验分布可以写为如下等价形式：分布可以写为如下等价形式：( |)(| )( )hxq x (| )( )( |)q xhx 则则称称为为后后验验分分布布的的核核。其其中中符符号号表表示示左左右右两两边边相相差差一一

11、个个不不依依赖赖 的的常常数数因因子子. .3 3、共轭先验分布族的构造方法、共轭先验分布族的构造方法共轭先验分布族共有共轭先验分布族共有两种两种构造方法构造方法.第一种方法第一种方法首先计算似然函数首先计算似然函数q(x| ),根据似然根据似然函数所含函数所含 的因式情况，选取与似然函数具有相同核的因式情况，选取与似然函数具有相同核的分布作为先验分布的分布作为先验分布.例例3(p883(p88例例3.8)3.8)12(,)TnXXX设设是是来来自自正正态态总总体体2( ,)N 2 2的的一一个个样样本本，其其中中 已已知知，现现寻寻求求的的共共轭轭先先验验分分布布，由由于于该该样样本本的的似

12、似然然函函数数为为2222112211122()()(| )e() eniiixnxniq x 22112221()() eniinx 哪一个分布具有上述核？结论是倒哪一个分布具有上述核？结论是倒 分布，这是因为分布，这是因为 分布的密度函数为分布的密度函数为e 10,( ; ,)( )0,0,xxxf xx ， 1,YXY 设设则则 的的密密度度函函数数为为e 11()0,( ; ,)( )0,0,yyf yyy ， 此分布密度为倒此分布密度为倒 分布的密度函数分布的密度函数, 设设 的先验分的先验分布为布为倒倒 分布，即分布，即e 21221()0,()( )0,0,yy ， 则则 的后验

13、分布为的后验分布为222(|)(|)()hxq x 2211112221() ()eniinx 显然此分布仍为倒显然此分布仍为倒 分布，即先验分布与后验分分布，即先验分布与后验分布都为倒布都为倒 分布，因而分布，因而倒倒 分布是分布是 的共轭先验分布的共轭先验分布族族.例例3(p883(p88例例4.9)4.9)12(,)TnXXX设设是是来来自自总总体体(, )B N的的一一个个样样本本，现现寻寻求求 的的共共轭轭先先验验分分布布，由由于于该该样样本本的的似似然然函函数数为为11(| )()iiinxxNxNiq xC 1110 1 (), , ,nniiiixnNxixN 哪一个分布具有上

14、述核？结论是哪一个分布具有上述核？结论是 分布，这是因为分布，这是因为 分布的密度函数为分布的密度函数为111010()(), ,( ) ( )( ; ,), xxxf x 其其他他 设设 的先验分布为的先验分布为 分布，即分布，即 11()(1),01,( ) ( )( )0, 其其他他 则则 的后验分布为的后验分布为( |)(| )( )hxq x 1111101 (), nniiiixnNx 显然此分布是显然此分布是 分布的核，因而分布的核，因而 分布是分布是 的共轭的共轭先验分布族先验分布族. 经计算可知经计算可知11( |)(,)nniiiihxxnNx 第二种方法第二种方法设总体设

15、总体X的分布密度为的分布密度为p(x| ),统计量统计量12()(,)nT XT X XX 是是参参数数 的的充充分分统统计计量量，则则有有定理定理3.1( )f设设为为任任一一固固定定的的函函数数，满满足足条条件件10( )( ),f 20( )( | ) ( )dngtf 则则1 2( | ) ( ): , ,( | ) ( )dnfngtfDngtf 是共轭先验分布族，其中是共轭先验分布族，其中121(| )(| )( | ) (,)ninniq xp xgth x xx 例例4(p894(p89例例3.10)3.10)12(,)TnXXX设设是是来来自自总总体体1 ( , )B的的一一

16、个个样样本本，试试寻寻求求 的的共共轭轭先先验验分分布布？解解其似然函数为其似然函数为111111(| )()()nniiiiiiixnnxxxiq x 11 ()( | ) , nxn nxngt 11( | ) ()( )tn tngtf 其其中中, ,选选取取，则则1011 20 1 21 (): , , , , ()dtn tftn tDnt 显然此共轭分布族为显然此共轭分布族为 分布的子族，因而，两点分布的子族，因而，两点分布的共轭先验分布族为分布的共轭先验分布族为 分布分布.常见共轭先验分布常见共轭先验分布倒倒 分布分布方差方差 正态分布（均正态分布（均值已知）值已知）正态分布正态

17、分布N( , )均值均值 正态分布正态分布（方差已知）（方差已知） 分布分布 ()均值的倒数均值的倒数 指数分布指数分布 分布分布 ()均值均值 泊松分布泊松分布 分布分布 ( , )成功概率成功概率p二项分布二项分布共轭先验分布共轭先验分布参数参数总体分布总体分布三、贝叶斯风险三、贝叶斯风险( , )( ( , ()( , ( ) (| )dRdELd XLd x q xx 由第一小节内容可知，给定损失函数以后，风由第一小节内容可知，给定损失函数以后，风险函数定义为险函数定义为此积分仍为此积分仍为 的函数，在给定的函数，在给定 的先验分布的先验分布 ( )时，定义时，定义( )( ( , )

18、( , )( )dR dERdRd 为决策函数为决策函数d在给定先验分布在给定先验分布 ( )下的贝叶斯风险，简下的贝叶斯风险，简称为称为d的贝叶斯风险的贝叶斯风险.1 1、贝叶斯风险的定义、贝叶斯风险的定义2 2、贝叶斯风险的计算、贝叶斯风险的计算当当X与与 都是连续性随机变量时，贝叶斯风险为都是连续性随机变量时，贝叶斯风险为( )( ( , )( , )( )dR dE RdRd ( , ( ) (| )( )d dLd x q xx ( , ( ) ( |)g( )d dLd x hxxx g( )( , ( ) ( |)d dxLd x hxx 当当X与与 都是离散型随机变量时，贝叶斯

19、风险为都是离散型随机变量时，贝叶斯风险为( )( ( , )R dE Rd g( )( , ( ) ( |)xxLd x hx 注注由上述计算可以看出，贝叶斯风险为计算两次由上述计算可以看出，贝叶斯风险为计算两次期望值得到期望值得到,即即( )( ( , ()R dE ELd X 此风险大小只与决策函数此风险大小只与决策函数d有关，而不再依赖有关，而不再依赖参数参数 . 因此以此来衡量决策函数优良性更合理因此以此来衡量决策函数优良性更合理四四 、贝叶斯估计、贝叶斯估计*()dX则则称称为为参参数数 的的贝贝叶叶斯斯估估计计量量1 1、贝叶斯点估计、贝叶斯点估计定义定义3.6若总体若总体X的分布

20、函数的分布函数F(x, )中参数中参数 为随机为随机变量，变量， ( )为为 的先验分布，若决策函数类的先验分布，若决策函数类D中存在中存在一个决策函数使得对决策函数类中的任一决策函数一个决策函数使得对决策函数类中的任一决策函数均有均有*()inf( ), d DR dR ddD 注注1、贝叶斯估计是使贝叶斯风险达到最小的决策、贝叶斯估计是使贝叶斯风险达到最小的决策 函数函数.2、不同的先验分布，对应不同的贝叶斯估计、不同的先验分布，对应不同的贝叶斯估计2 2、贝叶斯点估计的计算、贝叶斯点估计的计算平方损失下的贝叶斯估计平方损失下的贝叶斯估计定理定理3.2设设 的先验分布为的先验分布为 ( )

21、和损失函数为和损失函数为2( , )()Ldd则则 的贝叶斯估计为的贝叶斯估计为*( )( |)( |)ddxEXxhx ( |).hx其其中中为为参参数数 的的后后验验分分布布证证首先对贝叶斯风险做变换首先对贝叶斯风险做变换2min( )min( )( )( |)d dR dm xd xhxx2min .( )( |)da sd xhx 又因为又因为22( )( |)d( |)( |)( )( |)dd xhxExExd xhx 222( |)( |)d( |)( )( |)d( |)( |)( ) ( |)dExhxExd xhxExExd x hx 又因为又因为( |)( |)( ) (

22、 |)dExExd x hx ( |)( )( |) ( |)dExd xEx hx ( |)( |)dExhx 则则0( |)( )( |)( |)Exd xExEx因而因而222( )( |)d( |)( |)d( |)( )( |)dd xhxExhxExd xhx *( )( |) .( ).dxExa sR d 显显然然，当当时时，达达到到最最小小定理定理3.3 设设 的先验分布为的先验分布为 ( )和损失函数为加和损失函数为加权平方损失权平方损失2( , )( )()Ldd 则则 的贝叶斯估计为的贝叶斯估计为*( ( )|)( )( ( )|)ExdxEx 证明略，此证明定理证明略

23、，此证明定理3.2的证明类似的证明类似.定理定理3.4 设参数设参数 为随机向量，先验分布为为随机向量，先验分布为 ( )和损失函数为二次损失函数和损失函数为二次损失函数( , )()()TLddQ d1*(|)( )( |) (|)pExdxExEx注注其中其中Q为正定矩阵，则为正定矩阵，则 的贝叶斯估计为后验分布的贝叶斯估计为后验分布h( |x)的均值向量，即的均值向量，即12(,).p 其其中中参参数数向向量量为为 定理表明，正定二次损失下，定理表明，正定二次损失下， 的贝叶斯估计的贝叶斯估计不受正定矩阵不受正定矩阵Q的选取干扰，表现出其稳健性的选取干扰，表现出其稳健性.证证在二次损失下

24、，任一个决策函数向量在二次损失下，任一个决策函数向量d(x)=12( ),( ),( )Tnd x dxdx的的后后验验风风险险为为()()|TE dQ dx*()()()()|TEdddQ dddx*()()()()|TTddQ ddE dQ dx0*(|),E dx又又由由于于因因而而()()|TE dQ dx其中第二项为常数，而第一项非负，因而只需当其中第二项为常数，而第一项非负，因而只需当*( )ddx 时时，风风险险达达到到最最小小. .定义定义3.7 设设d=d(x)为为决策函数类决策函数类D中任一决策函数，中任一决策函数，( |) ( , ( )R d xE Ld x 损失函数为

25、损失函数为L( ,d(x),则则L( ,d(x),对后验分布对后验分布h( |x)的的数学期望称为后验风险数学期望称为后验风险，记为，记为( , ( ) ( |)d , (, ( ) (|) iiiLd x hxxLd x hx 为为连连续续型型随随机机变变量量，为为离离散散型型随随机机变变量量. .注注 如果存在一个决策函数，使得如果存在一个决策函数，使得*(|)inf( |), dR dxR d xdD 则称此决策为后验风险准则下的最优决策函数，或称则称此决策为后验风险准则下的最优决策函数，或称为贝叶斯（后验型）决策函数。为贝叶斯（后验型）决策函数。定理定理3.5 对给定的统计决策问题对给

26、定的统计决策问题(包含先验分布给包含先验分布给定的情形）和决策函数类定的情形）和决策函数类D,当贝叶斯风险满足如下条当贝叶斯风险满足如下条件：件：inf( ), BdRddD *( )( )dxdx则则贝贝叶叶斯斯决决策策函函数数与与贝贝叶叶斯斯后后验验型型决决策策函函数数是是等等价价的的. . 定理表明：如果决策函数使得贝叶斯风险最小，定理表明：如果决策函数使得贝叶斯风险最小，此决策函数也使得后验风险最小，反之，也成立此决策函数也使得后验风险最小，反之，也成立.证明从略证明从略定理定理3.6设设 的先验分布为的先验分布为 ( )和损失函数为和损失函数为( , ) |,Ldd*( )( |)d

27、xhx 后后验验分分布布的的中中位位数数证证则则 的贝叶斯估计为的贝叶斯估计为设设m为为h( |x)的中位数，又设的中位数，又设d=d(x)为为 的另一的另一估计，为确定期间，先设估计，为确定期间，先设dm,由绝对损失函数的定由绝对损失函数的定义可得义可得2, ,( ,)( , )(), , ,mdmLmLdmdmddmd 又由于又由于22()()mdmddmddm当当时时，则则, ,( ,)( , ), ,mdmLmLddmm 由于由于m是中位数，因而是中位数，因而1122|, |,Pm xPm x则有则有(|)( |)( ( ,)( , )|)R m xR d xE LmLdx() |()

28、 |md Pm xdm Pm x11022()()mddm于是，当于是，当dm时时(|)( |)R m xR d x 同理可证，当同理可证，当dm时时(|)( |)R m xR d x 因而因而*( )( |)dxmhx 后后验验分分布布的的中中位位数数定理定理3.7设设 的先验分布为的先验分布为 ( )和损失函数为和损失函数为01() ,( , )(), ,kddLdk dd ，0*( )( |)dxhxk 1 11 1k k后后验验分分布布的的上上侧侧分分位位数数k k则则 的贝叶斯估计为的贝叶斯估计为证证首先计算任一决策函数首先计算任一决策函数d(x)的后验风险的后验风险( |) ( ,

29、 ( )( , ( ) ( |)dR d xE Ld xLd x hxx 10() ( |)d() ( |)dddk dhxxkd hxx100()() ( |)d( |)dkkdhxxkExd 为了得到为了得到R(d|x)的极小值，关于等式两边求导：的极小值，关于等式两边求导：1000( |)()( |)d( )dR d xkkhxxkd d 即即011010( |)d( |)dddkkhxxhxxkkkk0*( )( |)dxhxk 1 11 1k k后后验验分分布布的的上上侧侧分分位位数数k k则则例例5(p94 例例3.11)设总体设总体X服从两点分布服从两点分布B(1,p),其中参数

30、其中参数p未知，而未知，而p在在0,1上服从均匀分布，样本上服从均匀分布，样本12(,)nXXXX来来自自总总体体 ，损损失失函函数数为为平平方方损损失失，试求参数试求参数p的贝叶斯估计与贝叶斯风险的贝叶斯估计与贝叶斯风险?解解平方损失下的贝叶斯估计为：平方损失下的贝叶斯估计为：*( )(|)(|)ddxE p Xxph p xp 而而10(|)( )(|)( )(|)( )(|)( )dq x ppq x pph p xm xq x ppp 11111111101111111()()(,)()dnnnniiiiiiiinniiiixnxxnxnnxnxiiiippppxnxppp 11101

31、( ) ( ), )()d,()ababa bxxxab 其其中中（则则11111211()()(|)() ()nniiiixnxnniiiippnh p xxnx 111111()()!()!()!nniiiixnxnniiiippnxnx *( )(|)ddxph p xp 111101111()!()d()!()!nniiiixnxnniiiinpppxnx 1111112()!()!()!()!()!()!nniiiinniiiixnxnnxnx 112niixn 其贝叶斯风险为其贝叶斯风险为( )( ( , ) ( , )|( )dR pERdE L p dppp 112210012

32、() d() dniixE pppEppn 122011122() ) d()niiExnppn 2112() )niiExnp 22112 1212()() ) ()() )nniiiiExnp Exnp又因为又因为1()( , )niixB n p 则则22111, ()()()nniiiiExnpExnppnp22112112() )()()niiExnpnppp 所以所以122011122( )()() d()R pnppppn 21441232()()nnn 162()n 11662,pXnn 而而 的的最最大大似似然然估估计计为为其其贝贝叶叶斯斯风风险险为为例例6(p96 例例3.

33、12)设总体设总体X服从正态分布服从正态分布N( ,1),其中参数其中参数 未知，而未知，而 服从标准正态布在服从标准正态布在N(0,1)，样本，样本12(,)nXXXX来来自自总总体体 ，损损失失函函数数为为平平方方损损失失，试求参数试求参数 的贝叶斯估计的贝叶斯估计?解解平方损失下的贝叶斯估计为：平方损失下的贝叶斯估计为：*( )(|)(|)ddxEXxhx 而而(|)( )(|)( )(|)( )(|)( )dq xq xhxm xq x 2212211111222211112222exp() exp()exp() expd()ninininixx 2211221111122211112

34、222exp()()expexp()d()ninininixnnxxnnx 22112222111122211122112exp()()expexp( ) ()()()ninininixnnxnxxnn 12211221(|)() exp() nnnxhxn 化简得化简得*( )(|)ddxhx 12211221()exp() dnnnxn 1111niinxxxnn 111()( )D XR xnnn 其其贝贝叶叶斯斯风风险险为为例例7(p97 例例3.13)设总体设总体X服从均匀分布服从均匀分布U(0, ),其中参数其中参数 未知，而未知，而 服从服从pareto分布，其分布函数与分布，其

35、分布函数与密度函数分别为密度函数分别为X总总体体 ，损损失失函函数数为为绝绝对对值值损损失失和和平平方方损损失失时时， 试求参数试求参数 的贝叶斯估计的贝叶斯估计?000011( )() , ( ),F 00010,( ,),Pa 其其中中和和为为已已知知，该该分分布布记记为为0121( ),(,)nEXXX 的的数数学学期期望望为为来来自自解解(| )( )(| )( )( |)( )(| )( )dq xq xhxm xq x 1100111110001111() (max,)1()ddnninnnixx 0111101(), ()()nnnnnn 1( |)(,).hxparetoPan

36、 显显然然仍仍为为分分布布 根据定理根据定理3.6可知，绝对值损失对应的贝叶斯估计为可知，绝对值损失对应的贝叶斯估计为后验分布的中位数后验分布的中位数,即即1112()()nBBF 则则112*( )Bndx 根据定理根据定理3.4可知，平方损失对应的贝叶斯估计为可知，平方损失对应的贝叶斯估计为后验分布的均值后验分布的均值,即即11011*( )max,nnndxxxnn例例8(p97 例例3.14)设总体设总体X服从伽玛分布服从伽玛分布 (r, ),)nXX来来自自总总体体 ，损损失失函函数数取取平平方方损损失失和和损损失失函函数数 试求参数试求参数 的贝叶斯估计的贝叶斯估计?12,( ,)

37、,(,rXX 其其中中参参数数 已已知知的的先先验验分分布布为为221( , )()Ldd解解1(),rE X 由由于于因因此此，人人们们更更感感兴兴趣趣估估计计，的的后后验验分分布布为为0(| )( )(| )( )( |)( )(| )( )dq xq xhxm xq x 1111101ee( )( )eed( )( )iirnxriirnxriixrxr 11110()()eedniiniixnrxnr 111()()e()niinnrixnrixnr 1则则在在平平方方损损失失下下的的贝贝叶叶斯斯估估计计为为11*( )(|)dxEx11101()()ed()niinnrixnrixn

38、r 111111()()()()nnnriiiinnriixxnrnrnrx 1221( , )()Ldd由由定定理理3.33.3可可知知，在在下下的的贝贝叶叶斯斯估估计计为为212*(|)( )(|)ExdxEx -1-1111102110()()()ed()()ed()niiniinnrixnrinnrixnrixnrxnr 11010()()ededniiniixnrxnr 21111121()()()()nnnriiiinnriixxnrnrnrx 11111.()niinrxnrnr 3 3、贝叶斯估计的误差、贝叶斯估计的误差 在计算在计算 的估计时，用到了的估计时，用到了 的后验分

39、布，因此考的后验分布，因此考察估计值与真实值之间的误差时，也应考虑察估计值与真实值之间的误差时，也应考虑 的后验分的后验分布，误差定义如下：布，误差定义如下：定义定义3.8参数参数 的后验分布为的后验分布为h( |x),其贝叶斯估计其贝叶斯估计2() 为为 ，则则的的后后验验期期望望为为22|( - )( - )xMSEE 12( |)MSEx称称其其为为 的的后后验验均均方方差差，而而其其平平方方根根|( |)xEhx称称为为后后验验标标准准误误差差，其其中中符符号号表表示示对对条条件件分分布布求求期期望望。( |)Ex 1 1、当当时时，则则均均方方误误差差为为2|( |)( |)- )v

40、ar( |)xMSExEExx后验均方差与后验方差的关系后验均方差与后验方差的关系( |)( |).ExEx 2 2、当当时时，则则均均方方误误差差达达到到最最小小，因因而而后后验验均均值值是是较较好好的的贝贝叶叶斯斯估估计计 这这是是因因为为2|( |)( |)-( |)xMSExEExEx2|( |)var( |)xEExx2( |)var( |)var( |)Exxx后验均方差与后验方差的优点后验均方差与后验方差的优点1、二者只依赖与样本，不依赖参数、二者只依赖与样本，不依赖参数 . 2、二者的计算不依赖与统计量的分布，即抽、二者的计算不依赖与统计量的分布，即抽样分布样分布 3、贝叶斯估计不考虑无偏性，因为贝叶斯估计、贝叶斯估计不考虑无偏性，因为贝叶斯估计只考虑出现的样本，不考虑没出现的样本只考虑出现的样本，不考虑没出现的样本. 4 4、贝叶斯区间估计、贝叶