贝叶斯统计简介

1、抛出一枚硬币，硬币落地，现在我不知道结果如何，问 是还是反 ？答案有三个：A正面朝上、B反面朝上、C正面朝上反面朝上的概率各占1/2哪个正确？经典统计学里面正确答案能是 A或者B,只有在贝叶斯统计学里面答案C是才是被允许的一次实验的结果在经典统计学里面被叫做样本点，是确定的。那么为什么在贝叶斯统计学里面第三个的答案的说法是正确的呢？关键在于贝叶斯学派关于随机变量的定义：任何一个未知量 *都可以看做一个随机变量。这也是贝叶斯学派最基本的观点，只要是未知的量都可以看做随机变 量。仅仅从这一个简单的例子就已经可以看到经典统计学派与贝叶斯统计学派的争议来了，其实两个学派在一些问题上的争论是相当深刻而激

2、烈的，当然也有相同相通之处，在这里就不便展开详细的讨论了。就我本人还是比较倾向于贝叶斯学派的。我们在回到上面的问题，看答案 C正面朝上反面朝上的概率各占1/2,仔细想想这句话，实际上我们已经给出了未知量（本次实验结果）一个概率分布的描述。要么正面朝上要么反面朝上，概率各占1/2,这个概率分布被叫做先验分布。先验分布是指根据先验信息所给出的随机变量的分布，这里的先验信息是指在抽样之前有关统计问 题的一些信息。那么先验分布与经典统计学里面的概率分布有什么区 别呢？在所要满足的条件上，如是一致的，主要区别在与概率分 布得到的途径上。经典统计学里概率及其分布的确定来白大量重复实 验，与频率密切相关，由

3、大数定律、中心极限定理这些基本定理做为 理论基石而得来。特别强调的是经典统计学的概率分布 包含了所有样,即所有可能的实验结果都要被包含进去。这是与贝叶斯统 计学里的先验分布不同的地方，贝叶斯统计学的先验概率分布来白于 过去的经验，这里之所以加上”过去的“三个字并且对其强调，是想告 诉大家先验分布只考虑已出现的样本点， 不是所有的样本点。并且可 以由经验而来不必做大量的重复实验。 在这一点上克服了经典统计学 的一些局限性，使得我们的研究深入到那些不适宜或不能大量重复的 随机现象中来。当然这也使先验分布带有的主观性色彩。 关于这一点 也是一个经典统计学与贝叶斯统计学的一个争议点， 有很多深入的问

4、题正在探讨中。在这里我们就不讨论了。若仅仅研究先验分布贝叶斯估计也就没大意思了，与先验分布对 应的还有后验分布。我们先来看一下后验分布的定义，在样本x给定下8的条件分布被称为8的后验分布。我们分析一下这句话，首先可 以明白后验分布是一个条件分布，怎样的条件分布呢，在样本 x给定 的条件下的条件分布，看来仍然是需要样本，在贝叶斯统计中的样本 又是什么样子的呢？从贝叶斯观点看， 样本x=（*，Xn）的产生主要分 两步。首先设想从先验分布兀（。）产生一个样本臼，这一步是“老天爷” 做的，人们是看不见得，故用“设想”二字。第二步是从总体分布 俱）产生一个样本x=（x,Xn）,这个样本是具体的，人们能看

5、的到的，此 时样本X发生的概率与如下联合密度函数成正比np X J - - p Xj 扑'i =1这个联合密度函数综合了总体信息与样本信息，常被称为似然函数，及为L（k）由于W是设想出来的，他仍然是未知的，它是按先验分布冗（8）而产生的，要把先验分布进行综合，不能只考虑而应对e的所有可能加以考虑。这样一来就有了样本 X与参数8的联合分布h X/ = p X二）把先验信息，总体信息，样本信息都综合进去了。我们在是件形式初等概率中已经学过贝叶斯公式的事件形式pB" = PABjPABjPBjP A n、P A Bi P Bii=1根据贝叶斯公式我们也可把h（X,e ）做如下分解h

6、 x"X g x这里g（x）是x的边缘分布函数，与e无关，不含有。的任何信息在8是离散型随机变量时，g（x）=£ q（渺ene）；-bo在是连续型随机变量时，g X = q x/）d）；-no这样我们就可以得到条件分布"X =h xq x一g x g x邛/x ）就是给定样本x下，e的条件分布了，也即e的后验分布。可以说后验分布是对先验分布的调整，它是集中了总体，样本和先验等三种信息中有关e的一切信息后的结果。为了更好的理解后验分布我们来看一个例子例1：为提高某产品的质量，公司经理考虑增加投资来改进生产设备， 预计需投资90万元，但从投资效果上看下属两个部门有两种

7、意见： 气：改进生产设备后，高质量产品可占 90%：改进生产设备后，高质量产品可占 70%经理当然希望q发生，但根据两部门过去意见被采纳的情况，经理认为40%第一个部门是可信度的，60%第二个部门是可信度，即随机变 量投资结果过e的先验分布列为：兀（气）=40% ；兀（）= 60% 这是经理的主管意见，经理不想仅用过去的经验来决策此事，想慎重 一些，通过小规模实验，观察其结果后再定。为此做了一项实验，实 验结果（记为A）如下：A :试制五个产品，全是高质量产品。经理很高兴，希望通过这次结果来修正他原来对 01和缶的看法。下面 我们分别来求一下9i和92的后验概率。如今已有了兀（1网兀（02 ）

8、.还需要条件概率P（A用i ）和P（A汨2），这可根据 二项分布算的，P（Aq ）=0.95 =0.590 ； P（AB2 ）=0.75 =0.168由全概率公式可算的P A =P Af P A J =0.337最后由后验分布公式可求得：二 F A = P A 口1 二哉 / P A = 0.236/0.337 = 0.7二 u2 A = P A u2 *2 /P A =0.1.01/0.337 = 0.3这表明，纪理根据实验 A的信息调整了白己对投资结果的看法，把 对01和02的信任度由0.4，和0.6分别调整到了 0.7和0.3。后者综合了 经理的主观概率和实验结果而获得，要比主观概率更具

9、有吸引力，更 贴近当前实际。当然经过实验 A后经理对投资改进质量的兴趣更大 了，但如果为了进一步保险起见可以把这次得到的后验分布列再一次 作为先验分布在做实验验证，结果将更贴近实际。从上面这个例子中我们初步体验到了后验的求法， 同时也能够看 到贝叶斯统计的实用性。贝叶斯统计应用最做的是在决策方面， 决策 就是对一件事做出决定，它与统计推断的区别在于是否涉及到后果。统计推断依统计理论而进行，很少考虑到推断结果被使用时所带来的 利润或造成的损失，这在决策中恰恰是不能忽略的。度量利损得失的 尺度就是收益函数与损失函数，把收益函数和损失函数加入到贝叶斯 推断就形成了贝叶斯决策论。在这里首先明确几个概念

10、状态集。=心,其中8表示白然界（或社会）可能出现的一种状 态，所有可能的状态的集合组成状态集。行动集A = %,其中每一个元素表示人对白然界可能采取的一个 行动。损失函数，在一个决策问题中假设状态集为 。=也,行动集为 A =" 定义在 AA上的二元函数LB,a痛为损失函数，假如它能表示在白然界（或社会）处于状态8,而人们采取行动a对人们引起的 （经济的）损失。决策函数：在给定的贝叶斯决策问题中，从样本空间 7=x=（XiXn |到行动集A上的一个映射T（x弁为该决策问题的一个 决策函数。状态集，行动集，损失函数是构成一个决策问题必不可少的三个 要素。风险函数：评价T的优劣标准用平均

11、损失R（如T）,即Ru,T =EL u,T I称R（e,T ）为T在n处的风险函数后验风险：损失函数L（e,a）对后验分布的期望称为后验风险决策空间：设随机变量 X的概率函数或概率密度函数为f（x,e）, 其中6WQ未知。对参数。采取的所有“行动”（估计）组成的集合称 为决策空间，记为A,在一般问题中，A是实数集且可测。有了上面的基础，我们就可以讨论贝叶斯估计量了，为了简便起见，在这里假设X的分布和8的分布均为连续型。贝叶斯估计的基本 思想就是选择一个估计值a,使得平均损失最小，即使EL 'a二 L acT最小。我们知道，后验分布是对先验分布的调整，在获得了一组样本的观测 值之后，我们用B的后验概率密度函数n（6/xN弋替江（8）,则上式写为：EL a 】=二 La x d。如果对样本的任何一组观测值，令T(x)表示使上式最小的估计值，即a=T(x )，则称T(x )为。的贝叶斯估计量。T(x)满足下式E L 口，a ' - min