10贝叶斯估计共轭先验分布

1、10贝叶斯估计共貌先验分布10.1 贝叶斯估计 漫本,6. 3和6. 1节）在明确后蕤分布或后嬖分布函数、分布密度函数e（|X”,xj后，开始构造未知参 数的估计 最常JII的估计方法是取后蛤分布的均值。od（x1 .，兀）=E（。%.xn）该估计值0称为贝叫斯估计.注意：根据定义，后蛤分布依敕丁样本,因此估计值0也 依敕丁书本X”.X”这种方法中，0一般取有关后聆分布的参数丫均值,其中后聆分布 在某种点义上包含数据反映的信息内对参数的直观估计.除此之外，4的估计还考忠以下 内容：现汇工彷Hg数。使其满足E（6-a）1XIxj取自最小值，即尽可能地使。与。 的偏茶最小。为了找到这样的值，液使其

2、导致为零.JE（0-a）X.Xn） = 2E（|Xp.,Xj-2tJ=O以后计弊结果是：a = E（dX1,Xj现在总结贝叶斯估计值的构建方法：.选择夕的先验分布函数九夕）.计算后验分布函数夕,|X，,X”）.寻找后验参数力= E（O|X”,尤）10.2 联合先验分布先险分布/e）与其它众多分布相比拟，其优点是通过“夕）史容易计算后验分布国 数。夕6）夫似丁联合分布函数/（x，尤口）.接下来将用具体实例来介犯例I假设样本服从0-1分布8（），概率函数为：/（x|）=（1_p）j 其中* = 0.1且其似然函数为:八X、.，Xnpp（-p）那么后将分作的形式变为：“际,无）二:/（用七|及（）_

3、握飞一厂，式p）虱Xi“际,无）二:/（用七|及（）_握飞一厂，式p）虱Xi尤）注意到似然或数工。一）与二项分布的分布密度演数相同。因此，如果令先蛤分布是参数为a,夕 0的二项分布8（。1）rf I (a + 2) aT/“加E靖(”#那么后验分布的形式就变成:(a) mz * Jtg(xx)(a)r(.)。我们还必须计：（1.工），但是L E点到（代X的机;:似丁蓼数为a+Z*，与+-ZX的二项分布，即丁是可以防止求X（X1.X。因此，用该Beta函数替换，上式可转化为:小区心）=(a 小区心）=(a + 夕 + )（。+日，）仍-川此为二项分布8（ + ZX/ +一gXj的祗率密度函数。因

4、为二项分布8（a.p）的均值等同丁 a/（a +夕）那么贝时斯估计值为:pE(pX无)=a + Z%pE(pX无)=a + Z%a +工*户/+ 一2， a +应当注意，对丁大样本容量，即当 T+8时，有一a . Va + x： +X-a fl .n n这就点味者当数据出很大时，我们的先骁直观能力往往偏尚小实，但贝叶斯估计值却接近丁样本均值*另外，当 =0时,即先验分值B(a1)的均 如果没仃数据信蔡，那么只能依旅主观猜想.例：假设样本服从指数分小月(a),其概率漏数为:f(xa) = ae l/x 其中 xNO 此时，似然函数为：/(X,，,尤)=。7工 那么第胎分布的形式为：“a%,X.) =注意到该似然函数类似r如玛分仙的概率密度函数，所以，取先蛤分仅为带有多数”和40 = /，丁()那么后验分布等同丁：尔即.3),为?-5刈g【3上式类似丁蓼数为“ + 和u + Z X的加玛分布，即( + &u + Z X J同样，g(xX.)可写为：他|xI，兀)=胃叫af-4，)因为伽玛分布(1)的均值等 a0,贝叶斯计算值为：EM*”，对丁大样本容贸，当 T8时有,“+1 1a = -n x例”假设样本服从泊松分布n（7）,其概率函数为:/（中）=勺淇中”0,1,2,T 虹似然函数为:/（xI，匕自卜“那么后监分俗的形式为:仪平、）=而上二索*.因为似然函数类似丁仙玛分仙，那么令