十贝叶斯统计

1、第十二章贝叶斯统计统计学中有两个主要学派：频率学派和贝叶斯学派。两者间有着长期的争论，这对统计 学的发展起到了积极的促进作用。本章主要讨论贝叶斯统计的基本思想、理论进展及应用， 以期对贝叶斯统计形成初步的认识。 12.1贝叶斯学派概述贝叶斯统计起源于英国学者贝叶斯的一篇论文论有关机遇问题的求解”1763年发表)。 在这篇论文中，他提出了著名的贝叶斯公式。设参数已知时，样本X的分布密度为f (x),0的先验密度为兀(6)，则已知样本X后，参数0的后验密度为h( | x)二兀(0) f (x0)j 兀(0)f (x |0)d0(12.1.1)贝叶斯公式、参数0的后验密度公式(12.1.1)及贝叶斯

2、假设构成了贝叶斯统计的起点。频率学派进行统计推断时，依据两种信息：一是总体信息，即统计总体服从何种概率分 布，例如总体服从正态分布。另一是样本信息，即从总体抽取的样本给我们提供的信息。贝 叶斯学派则除以上两种信息之外，还必需利用先验信息，即在抽样(试验)之前有关总体分 布的未知参数的信息。贝叶斯学派受到的批评集中于以下两点：将参数0看成是随机变量是否合适；先 验分布是否存在，如何确定。贝叶斯统计在参数的点估计、区间估计及假设检验方面形成了与频率统计相平行的理论 方法，并赋予统计推断以新的解释，它在可靠性方面有着成功的应用。贝叶斯分析与统计决 策论也是难以分开的，贝叶斯统计具有简洁实用的特点。贝

3、叶斯方法的关键是先验分布的确 定。由于现实世界中的事物的发生常不具备大量可重复性，事件发生的概率较难具有频率解 释，而又面临解决问题，这就导致主观概率、先验分布的提出，试图通过科学的思维活动来 弥补经验的不足，再利用样本X调整先验分布兀(0)为后验分布h(0 | X)，完成对参数0认 识的再认识。例12.1.一个人打靶，打了 n次，命中了,次，估计此人打靶命中的概率0。一般的估计方法是：0 =-。当n = r = 1时，0 = 1 ；当n = r = 100时，仍有0 =1。 n而实际上在这两种情况下，反映出的此人的射击水平是不一样的。依贝叶斯方法，n次独立 射击，命中r次的概率为一 孚 (n

4、工 . f (r |0 ) =0 - (1 0) n-r ,Ir J当对参数0 一无所知时，可设0服从0,1上的均匀分布，由(12.1.1)得h(Br)= r(5T,0o即嫡是表征信源的不定程度的总体特性的。信息获得的可能性较小，则一旦获得信息，所得 到的信息量也应是较大的。可证明对离散型随机变量，等概率状态相应的嫡最大。对连续信源X，可定义信源的信息嫡为H (X) = -j p (x) ln p (xx)dx,可证明在。,b上的均匀分布是嫡最大的分布。从而例12.1.1中0的最大嫡先验分布为0,1上的均匀分布。又设0是(-3, +3)上的随机变量，假定它的一阶矩为C，二阶中心矩为b 2，T

5、则可推得0的最大嫡分布为N(T ,b 2)。T12.2.4共轭分布Raiffa和Schlaifer(1961)提出选择自然共轭分布作为先验分布。定义：设样本X的分布 密度f (x|0)，若兀(0)决定的后验密度：h(0 |x)与兀(0)是同一类型的，则称先验分布 兀(0)为f (x|0)的共轭分布。再看例12.1.1若选取兀(0)为贝塔分布P (a,b)，则可推出：h(0 |r)仍服从贝塔分布P (a + r,n + b - r)，故贝塔分布是二项分布的共轭分布。此时，0的贝叶斯估计：0 =-。当a = 1, b =1时，0的先验分布P (1,1)即为贝叶斯假设。共轭分布要求先验 a + b

6、+ n分布兀(0)与经样本X调整后的后验分布h(0 |x)具有某种一致性，即要求具有对参数0的 基本认识条件下，通过样本调整，达到对参数0认识的升华。12.2.5经验贝叶斯估计经验贝叶斯方法体现了频率统计和贝叶斯统计的某种融合，其特点是利用历史样本的信 息。例12.2.1设X ，Xn是来自总体X服从N(Jb2)的样本，b 2已知，目的先验分布选 为N(T,b2)，则可 T 推知：给定X = x,目的后验分布h(R |x)服从N(a,b2)，其中，aX b 2 +T b 21a =,b 2 1 b 2 + 1 b2 a 1 b 2 + 1 b2即H的先验分布N版,b2），为给定b2下总体分布N（

7、四,。2）的共轭分布（也是R的二阶矩 T存在下的最大熵分布），在上式中参数匚,b 2是未知的。经验贝叶斯方法是通过样本 TX, , Xn去估计未知参数匚,b2。在前述假设下，可推知总体X的边缘分布为N（t,b2+b?，进而可得7,b2的极大似 然估计-1 EX，b 2 = D （X - X）2 - b 2 i=1 i=1由此确定出参数H的先验分布N（t，b2）。T 12.3贝叶斯统计的应用与发展贝叶斯方法在可靠性分析中有着重要的应用。数据少是可靠性分析的特点，由于可靠性 分析的对象大多是精密、贵重的仪器设备，试验费用大，样本量小到甚至只有一、二次的试 验结果，在这种情况下去分析设备的可靠性指标

8、，须尽可能地搜集、综合各种验前经验，整 理、推导出参数的先验分布。由前述看到，先验分布的确定不是凭空捏造的，而是通过正常 的逻辑思维获得的。先验分布的使用，成为验后样本量不足的合理的补充。在决策分析中，考虑一种新产品的销路，分畅销、一般及滞销三种情形，不同的人因为 各自经验等方面的原因，对此会作出不同的估计，形成新产品销路三种情形的主观概率。可 见在人们现有知识、经验条件下，主观概率是人们带有主观成分的对事物尽可能的客观性判 断，它不等同唯心论。量子力学里最根本的概念就是用波函数中描述的概率幅，最基本的规律就是概率幅叠 加的规则，所谓微观粒子的波粒二象性，就是由大量测量事件显示出来的一种按甲|2的概 率分布。在对物质世界的微观领域的探索中，物理参数呈现出一定的随机性，受科学实验的 制约及实验对实验对象的影响，以及微观粒子的大量存在性，这为贝叶斯统计在物理参数估 计等方面提供了应用空间。贝叶斯统计和频率统计都服从柯尔莫哥洛夫（1933）年提出的概率公理体系，运用概率 论知识进行其理论推导。先验分布的确定体现了贝叶斯统计的特色，使贝叶斯统计成为处理 实际问题的简明有效的方法。面向实际，突出实效也是贝叶斯统计生命力之所在。关