贝叶斯统计学

优选贝叶斯统计学第一页，共一百二十六页。2023/2/722.1条件方法未知参数θ的后验分布是集总体、样本和先验三种信息于一身，是将三种信息进行有效综合的结果，反映了我们所能了解的有关θ的全部信息。应该说给统计推断提供了更有利条件。----条件方法正是充分利用这一条件的方法。后验分布是在样本x给定下θ的条件分布，基于后验分布的统计推断就意味着只考虑已经出现的数据（样本观测值），而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计推断方法被称为条件方法。第二页，共一百二十六页。2023/2/73经典统计中统计推断的简单回顾经典统计统计推断过程：总体样本样本数据x统计量T统计量分布已知未知枢轴统计量枢轴统计分布推断第三页，共一百二十六页。2023/2/74条件方法统计推断过程综合总体信息、样本信息和先验信息得到后验分布。基于后验分布，在已出现的样本基础上推断总体参数。对统计推断的结果，不认为所谓无偏性是优良估计的评价标准。第四页，共一百二十六页。2023/2/752.2贝叶斯点估计贝叶斯点估计的含义最大后验估计条件期望估计贝叶斯估计误差第五页，共一百二十六页。2023/2/761.贝叶斯估计的含义定义：设θ总体分布中的参数，若事先从该总体中抽得一个样本，同时根据θ的先验信息选择一个先验分布，在贝叶斯公式的基础上计算后验分布，这种对θ的所有推断估计都依据后验分布进行估计方法统称为贝叶斯估计。贝叶斯估计的分类：①首先与经典统计一样，贝叶斯估计也可按照方式分----点估计和区间估计。②按照估计的具体方法分----最大后验估计、条件期望估计和后验中位数估计。第六页，共一百二十六页。2023/2/772.最大后验估计若使得则称为θ的最大后验估计。显然，最大后验估计的特殊情形是当先验分布时最大后验分布就是经典统计中的最大似然估计。第七页，共一百二十六页。2023/2/78一般来说，由于后验分布中，蕴含了抽样信息、先验信息和总体信息，其估计应该比经典统计中的“极大似然估计”要好。在“无信息”的条件下，最大后验估计即为最大似然估计。其他情况下，应该比其更好。

第八页，共一百二十六页。2023/2/79例：设是来自正态分布的样本，其中已知。又设的先验分布为求的最大后验估计。解：由题意知其先验分布为第九页，共一百二十六页。2023/2/710∴

两边取对数得：

第十页，共一百二十六页。2023/2/711为了求上式的最大值，对上式求的导数，并令导数为0,则：

解得：

第十一页，共一百二十六页。2023/2/712按照教材的假设，若取为一儿童智力测验结果的分布，

为先验分布，在n=1时可得X=x的条件下该儿童智商的后验分布是正态布,且有

当x等于某一具体值时，按此立刻估计出智商水平。此外，在正态分布条件下，中位数、众数和期望相等，因此最大后验估计也就是条件期望估计和后验中位数估计。第十二页，共一百二十六页。2023/2/713例：（1）设是来自正态总体的样本，又设的先验分布为求的最大后验估计。

（2）若记，设的先验分布为，求的最大后验估计。

解：（1）样本的似然函数为：

第十三页，共一百二十六页。2023/2/714当的先验分布为时，其后验分布为

两边去对数有

所以

第十四页，共一百二十六页。2023/2/715

（2）同理，可得样本的似然函数为

当的先验分布为时，其后验分布为

第十五页，共一百二十六页。2023/2/716取对数，并对求导则有

所以，有的最大后验估计为

可见和的最大后验估计是不同的。第十六页，共一百二十六页。2023/2/7173.条件期望估计（后验期望估计）定义：设后验分布为，如果满足：则称为的条件期望估计。第十七页，共一百二十六页。2023/2/718例：设服从二项分布，又设的先验分布为，求的最大后验估计，条件期望估计。

解：①由以上知识知，样本似然函数为

取的先验分布为贝塔分布

第十八页，共一百二十六页。2023/2/719∴后验分布密度为

∴

的最大后验估计为

第十九页，共一百二十六页。2023/2/720当时，先验分布为，也即均匀分布因此，的最大后验分布为

此即为经典统计学中的极大似然估计。

②由以上知，

可见，后验密度为，其条件期望估计为

第二十页，共一百二十六页。2023/2/721例：设是来自poisson分布总体

的样本，又设的先验分布为，求参数的后验期望估计。

解：样本似然函数为

其中。而其给定的先验分布为

第二十一页，共一百二十六页。2023/2/722∴后验分布为

这仍然是伽玛分布的“核”，所以的后验期望估计为

第二十二页，共一百二十六页。2023/2/7234.贝叶斯估计的误差引子：设是的一个贝叶斯估计，在样本给定时，是一个具体的数。在取得后验分布以后，评价一个估计的好坏，一般计算对的后验均方差或后验标准差。这就是贝氏统计评价标准。说明：在评价一个估计时，经典统计中是利用所谓所谓几个优良标准：即无偏性、一致性和有效性。但贝叶斯统计并不接受这些所谓的标准。因为他们是建立所有样本的基础之上的理论。第二十三页，共一百二十六页。2023/2/724定义1：设参数的后验分布

贝叶斯估计为，则的后验期望

称为的后验均方差。其平方根

称为的后验标准误差。定义2:当为的后验期望估计时，则称为后验方差。其中，其平方根称为后验标准差。第二十四页，共一百二十六页。2023/2/725均方差和后验方差有如下关系：

第二十五页，共一百二十六页。2023/2/726

这表明当为后验期望估计时，可是后验均方差达到最小，所以实际中常使用后验期望估计作为的估计。因此后验期望估计一般优于最大后验估计。

第二十六页，共一百二十六页。2023/2/727例：设一批产品不合格率为θ，检查是一个接一个地进行，直到发现第一个不合格聘停止检查，若设x为发现第一个不合格品时，已检查的产品数，则x服从几何分布，其概率分布为

现假如其中参数θ只能以相同的概率取1/4,2/4和3/4三个值，现只获得一个样本观察值x=3,要求θ的最大后验估计，并计算他的误差。

第二十七页，共一百二十六页。2023/2/728解：显然，有题设条件有：θ的先验分布为

在θ给定的条件下，x=3的条件概率分布为

于是其联合概率分布为

第二十八页，共一百二十六页。2023/2/729所以，x=3的边缘概率分布为

所以在x=3的条件下，θ的后验分布为

i=1,2,3第二十九页，共一百二十六页。2023/2/730所以，θ的概率分布表为

可见θ的最大后验估计。

上述后验分布的均值和方差可计算：

θ1/42/43/49/208/203/20第三十页，共一百二十六页。2023/2/731所以，后验均方差为

后验标准误为：

第三十一页，共一百二十六页。2023/2/7322.3区间估计引子可信区间最大后验可信区间第三十二页，共一百二十六页。2023/2/7331.引子概述：对于区间估计问题，贝叶斯方法比经典统计方法易于处理，因为参数θ是一个随机变量，且经过计算后，它的后验分布已知，所以θ落在某一区间的概率是容易确定的。经典统计将θ看作常量由此产生了置信概率计算上的困难。如计算在区间（a,b）上的概率，反之也易。第三十三页，共一百二十六页。2023/2/734说明：经典统计中对所作的区间估计称作置信区间。其本质是将1-α的保证概率（置信概率）放在中间，两边各留出α/2的概率作为显著性水平，在大多数统计学中经典统计都回避了这一本质（讨论其他情况太复杂）。因为实际上这样得到的所谓置信区间未必就是可行、可信和最优的估计区间。这样所作的置信区间也实际建立概率密度是单峰、连续和对称条件下的一种估计。由于贝叶斯统计处理上的简化，所以它对区间估计处理和认识要细致一些。第三十四页，共一百二十六页。2023/2/735贝叶斯统计中区间估计的分类：以上无论哪一种可信区间都可以说θ落在某一区间。而经典统计绝对不能这样说。第三十五页，共一百二十六页。2023/2/7362.可信区间定义：设参数θ的后验分布为，对于给定的样本和概率1-α（0<α<1）,若存在这样的两个统计量,使得则称区间为参数θ的可信水平为1-α的贝叶斯可信区间。当将可信水平置于中间所得的可信区间为同等可信区间（由于大多属于此类，通常将此类简称可信区间）。为可信上、下限。当满足即当（）时，称区间为（单侧）上侧可信区间。此时称为（单侧）可信下限。第三十六页，共一百二十六页。2023/2/737当满足即当（）时，称区间为（单侧）下侧可信区间。此时称为（单侧）可信上限。第三十七页，共一百二十六页。2023/2/738例：对正态分布作观察，获得三个观察值：2、4、3,若θ的先验分布为，求θ的0.95的可信区间。

解：由以前知识知道，先验分布是参数θ的共轭先验分布，所以其后验分布为,且

第三十八页，共一百二十六页。2023/2/739相应

即后验分布为，所以

显然可查的所以

第三十九页，共一百二十六页。2023/2/740即：θ的0.95的可信区间为

如果按经典统计计算，则θ的0.95的置信区间为

第四十页，共一百二十六页。2023/2/741例：经过早期筛选后的彩色电视机的寿命服从指数分布，其密度函数为,t>0。其中θ>0是彩电的平均寿命。现从一批彩电中随机地抽取n台进行寿命实验，试验到第r（<n）台失效为止，其失效时间为，另外n-r台直到实验停止时（）还未失效这样的试验称为截尾寿命试验，所得样本成为截尾样本，请确定彩电平均寿命θ的贝叶斯估计。

第四十一页，共一百二十六页。2023/2/742解：样本联合密度（似然函数）为

其中，

t>0

第四十二页，共一百二十六页。2023/2/743选用倒伽玛分布作为θ的先验分布，即

假定我们已经从15个彩电厂收集到13142台彩电的寿命试验数据，共计5369812台时，此外还对9240台彩电进行了5547810台时的三年跟踪试验，在此实验中总共不超过250台失效。由这些数据，专家确认我国彩电平均寿命不低于30000小时，10%的分位数大约为11250小时。由此我们可以确定其超参数：

第四十三页，共一百二十六页。2023/2/744所以，即先验分布为

故后验分布为

这仍然是一个倒伽玛分布的核

取后验分布均值（即作后验期望估计）作为θ的贝叶斯估计有

当

代入上式有第四十四页，共一百二十六页。2023/2/745作θ的（单侧）上侧可信区间，如果相对应给出1-γ=0.9,则有

值得注意的是，按照教材：

①θ～IGa，则。

②则，所以，这里有

当

第四十五页，共一百二十六页。2023/2/746例：设来自正态总体

的样本，其中已知，求的的可信区间。

（1）选用共轭先验。

(2)选用广义均匀分布作先验分布。

第四十六页，共一百二十六页。2023/2/747解：显然μ的可信区间与选用什么样的先验分布有关。我们来比较两个不同的先验分布给出的可信区间的差异。

1）选用共轭先验分布作为共轭先验分布。由以前知识可知，μ的后验分布可为并且有：第四十七页，共一百二十六页。2023/2/748因此,给定1-α之后从标准正态分布N(0,1)的分布表上可查得1-α/2的分位点，所以

这样很快就可得到μ的1-α的可信区间为

将和代入上式，有第四十八页，共一百二十六页。2023/2/749显然，如果先验分布非常分散（即对μ的先验信息作用不大）则可考虑到下式成立此时，上述区间可为

这就是经典统计的结果。第四十九页，共一百二十六页。2023/2/7502）选用广义贝叶斯（广义均匀分布）作为μ的先验分布，即所以，在样本给定（样本均值是充分统计量）第五十页，共一百二十六页。2023/2/751即μ的后验分布是正态分布所以

因此，在给定1-α以后第五十一页，共一百二十六页。2023/2/752相对应的可信区间为它与经典统计结果一致。这说明，在没有任何先验信息可利用的条件下，只能靠样本信息来估计时，就是经典统计。第五十二页，共一百二十六页。2023/2/7533.最大后验可信区间1）问题的提出及其含义2）定义3）最大后验密度可信区间的计算第五十三页，共一百二十六页。2023/2/754问题提出及其含义首先对于给定的可信水平，事实上当把1-α放在不同的地方就会得到不同的区间。最基本的以正态分布为例，显然当把1-α放在左边和放在右边所得到的可信区间（经典统计中的置信区间）是不同的。常用的方法是放在中间。特别当后验分布不是单峰，对称和连续分布时上述区间就不一定是理想估计区间。理想的估计区间：应该是估计精度高、保证概率大。这就提出一个要求：我们所作的区间应该将密度值大的点包括在可信区间中——最大后验可信区间第五十四页，共一百二十六页。2023/2/755定义设参数θ的后验分布为，对于给定的概率1-α（0<α<1）若在直线上存在这样一个子区间（子集）c，满足下列两个条件：

1.2.对于任意给定的，总有成立。则称区间c为θ的可信水平为1-α的最大后验密度可信集。若c是一个区间，则c又称θ的1-α的最大后验可信区间，简称为HPD可信区间。第五十五页，共一百二十六页。2023/2/756最大后验可信区间的实际计算尽管最大后验可信区间的理论分析是非常清楚，含义也很明确，但是实际计算存在困难。关键是要比较密度值的大小。对于θ的后验分布实际上，有可能是离散分布、也可能是连续分布；也有可能是对称分布，或者非对称分布；还有可能是单峰的分布，或者多峰的分布。这些对于计算最大后验可信区间都是由影响的。第五十六页，共一百二十六页。2023/2/757①当θ为离散随机变量时，HPD可信区间很难直接找到（实现），操作上需要将所有θ的取值的相应概率进行比较。②当θ为连续型随机变量，但后验分布为多峰分布时，最大后验可信区间c可能是几个互不相连的几个区间构成。有人认为这样计算的区间难度也很大，而实用性却不高，因此甚至有人建议在这种情况下放弃计算最大后验可信区间的准则。③当θ为连续型随机变量，且后验密度函数为单峰分布时，可采用计算机叠代逼近，计算HPD可信区间。特别是当后验分布为对称分布时，HPD可信区间是已于确定的——等尾可信区间。第五十七页，共一百二十六页。2023/2/758叠代方法步骤第一步，计算第二步，取，并计算由此得到。第三步，计算区间上的概率，即

第四步，若p(*)=1-α，则极为所求。若p(*)>1-α，则应减少并重复上述步骤。若p(*)<1-α，则应增加并重复上述步骤。第五十八页，共一百二十六页。2023/2/759例：在前面我们已经确定了彩电平均寿命θ的后验分布为倒伽码分布即求θ的可信水平为0.9的PHD可信区间。解：θ的后验密度为第五十九页，共一百二十六页。2023/2/760为了计算上的方便计算其分布函数求得取，所以有代入后验密度函数有第六十页，共一百二十六页。2023/2/761所以，有区间

计算

故需增加的值，取即

相应地，有有区间

第六十一页，共一百二十六页。2023/2/762所以，增加

得到

所以所求的最大后验可信区间为

第六十二页，共一百二十六页。2023/2/7632.4

假设检验1.概述2.贝叶斯因子3.假设检验的具体操作第六十三页，共一百二十六页。2023/2/7641.概述经典统计中假设检验的处理方法贝叶斯假设检验问题处理的一般步骤贝叶斯假设检验与经典统计相比存在的优点第六十四页，共一百二十六页。2023/2/765经典统计中假设检验的处理方法

1.建立原假设和备择假设。2.选择统计量，在原假设为真时，使其概率分布已知。3.对给定的显著性水平，确定拒绝域W，使犯第一类错误的概率不超过。4.当由样本所构造的统计量值落入一个非常小的概率所对应的拒绝域W时，就不能接受原假设。相应只能更加相信备择假设。第六十五页，共一百二十六页。2023/2/766贝叶斯假设检验问题处理的一般步骤1.根据有关理论，确定后验分布。2.作假设：。3.计算后验概率：。4.计算后验机会比。5.判断：当时，接受;当时，接受；当时，应增加样本容量第六十六页，共一百二十六页。2023/2/767贝叶斯假设检验与经典统计相比存在的优点1.贝叶斯假设检验，过程简便，含义直观，思路清晰。2.贝叶斯假设检验无需事先给出显著性水平。3.贝叶斯假设检验无需已知统计量及其对应的枢轴统计量的概率密度。第六十七页，共一百二十六页。2023/2/768例：设从正态总体中抽得样本容量为10的样本，并算得样本均值为，设的先验分布是，作下列贝叶斯假设检验：解：由共轭先验分布有关知识知，后验分布为且有：

第六十八页，共一百二十六页。2023/2/769所以故拒绝，相应接受。第六十九页，共一百二十六页。2023/2/770例：设是从二项分布中抽得的一个样本，现考虑如下二个假设：其中，若取均匀分布作为θ的先验分布，请据此作假设检验。解：由题设知，第七十页，共一百二十六页。2023/2/771∴后验分布为贝塔分布即：第七十一页，共一百二十六页。2023/2/772当n=5时，数据见（mathcad中：贝塔分布计算表）由此可见，当x=0,1,2时，应该接受而当x=3,4,5时，应该拒绝接受。第七十二页，共一百二十六页。2023/2/773例：如上例类似，现设有一批产品的废品率是θ，其先验分布是均匀分布，从该批产品中有放回地抽取样本容量为100的样本，记其废品数为x作下列贝叶斯假设检验：使制定一个抽样方案，说明何时接，何时拒绝。解：因为是有放回抽样，所以总体分布可以看作二项分布即x~当废品数为x时，其样本联合分布为第七十三页，共一百二十六页。2023/2/774∴后验分布也就是贝塔分布∴很快就有依此相应计算出。将和以及它们的比值分别计算出来（mathcad:贝塔分布计算表2）第七十四页，共一百二十六页。2023/2/775第七十五页，共一百二十六页。2023/2/7762.贝叶斯因子定义：设两个假设和的先验概率分别为和，后验概率分别为和，则称为贝叶斯因子。第七十六页，共一百二十六页。2023/2/777说明：①后验概率（机会），一般认为它包含了先验信息和样本数据的影响。从定义来看，贝叶斯因子它也依赖于先验分布和样本数据，但贝叶斯因子将后验机会与先验机会进行对比，很多人认为：这样比较可能会消弱先验分布的影响，突出样本数据对假设检验判断的影响。所以从这一角度来看，贝叶斯因子实际上是样本数据对的支持程度。研究贝叶斯因子的重要性也正是在于它被解释为“数据得出的与的机会比”。根据贝叶斯因子，有时可以将假设检验的判断问题转化为似然比与先验机会比的比较问题。第七十七页，共一百二十六页。2023/2/778贝叶斯假设检验的简单分类1.假设检验问题的一般表述：其中和分别是θ的某一区间。第七十八页，共一百二十六页。2023/2/7792.假设检验问题的分类，按θ的取值区间分：简单对简单假设复杂对复杂假设简单对复杂（或复杂对简单）假设第七十九页，共一百二十六页。2023/2/7803.假设检验的具体操作1）简单对简单假设其中：。也即：

一定要注意的是实际上就是先验概率。在发生的条件下x的条件概率为，相应地在发生的条件下x的条件概率为。第八十页，共一百二十六页。2023/2/781则相对应的后验概率为在这里实际上贝叶斯因子就是似然比。这种情况下可利用似然比（贝氏因子）来给出判断。第八十一页，共一百二十六页。2023/2/782即当时，接受拒绝；相对应，当可以看出先验机会比似乎就是一个所谓临界值。第八十二页，共一百二十六页。2023/2/783例：设x～，其中θ只有两种可能，非0即1,若从该总体中抽取了一个样本容量为n的样本，其均值是充分统计量，要求对作出判断。解：作假设∴在和分别为真时，的似然函数为第八十三页，共一百二十六页。2023/2/784值得注意的是，在这里我们忽略了，但是我们注意到贝叶斯因子：第八十四页，共一百二十六页。2023/2/785理应当接受，拒绝。接受，拒绝。当n=100,时，贝叶斯因子的取值为要求即支持原假设的机会是很小的。第八十五页，共一百二十六页。2023/2/7862.）复杂对复杂假设此时假设形式为即这是我们注意到第八十六页，共一百二十六页。2023/2/787在成立时，设有一先验分布同里，在成立时，设有一先验分布∴这时，实质上先验分布表示为第八十七页，共一百二十六页。2023/2/788所以后验机会比为贝叶斯因子为第八十八页，共一百二十六页。2023/2/789可见：①就是加权似然比。②它强调了样本的作用。③它部分地消除了先验分布的影响。第八十九页，共一百二十六页。2023/2/790例：一产品的长度的误差服从正态分布，设的先验分布Iga(0,0),也即，现在取200个做实验，设其长度的误差平方和。作下列贝叶斯假设检验：解：似然函数为

第九十页，共一百二十六页。2023/2/791第九十一页，共一百二十六页。2023/2/792其先验分布为Iga(0,0)，即：所以，有后验分布为第九十二页，共一百二十六页。2023/2/793显然这仍然是一个倒伽玛分布，即又由于t=17.24,所以后验分布为如果你有伽玛分布的概率分布表，由于第九十三页，共一百二十六页。2023/2/794所以倒伽玛分布与伽玛分布有则后验概率第九十四页，共一百二十六页。2023/2/795所以，接受如果直接用mathcad计算：倒伽玛分布概率计算第九十五页，共一百二十六页。2023/2/7963）简单对复杂假设此时假设的基本形式为其中：按照惯例，即为了研究方便，通常还将其看作其中：为无穷小量。第九十六页，共一百二十六页。2023/2/797对于原假设，显然不可能存在一个连续密度函数作为θ的先验分布。因为对于连续分布而言，当时的先验概率为0，因此，为了研究的需要作如下处理：设：当成立时有一先验分布；当成立时，也有一先验分布第九十七页，共一百二十六页。2023/2/798因此，类似地，先验分布可表示为这时，若似然函数为，则利用以上给定的条件可得样本边缘分布第九十八页，共一百二十六页。2023/2/799其中：。后验分布为当成立时，第九十九页，共一百二十六页。2023/2/7100相应地，当成立时，所以因此从而相应的贝氏因子为第一百页，共一百二十六页。2023/2/7101在这一情况下，贝氏因子较易于计算，所以通常也可先计算贝氏因子，在计算后验概率。第一百零一页，共一百二十六页。2023/2/7102例：设x是从二项分布b(n,θ)中抽取的一个样本，若设在上的先验密度为区间（0,1）上的均匀分布,现考察如下假设:解：似然函数为第一百零二页，共一百二十六页。2023/2/7103所以于是，贝叶斯因子为原假设成立的后验概率第一百零三页，共一百二十六页。2023/2/7104当n=5,x=3,用mathcad计算：规划计算1第一百零四页，共一百二十六页。2023/2/7105例：设为来自正态总体的样本，要求作下列假设检验：分别为成立时的先验概率，且为单点集，若成立，。若成立，。第一百零五页，共一百二十六页。2023/2/7106解：根据以上条件所以，第一百零六页，共一百二十六页。2023/2/7107所以故：第一百零七页，共一百二十六页。2023/2/7108在其他条件不变时，要求越大，实际上就是要求越小。这完全符合实际。注：第一百零八页，共一百二十六页。2023/2/7109第一百零九页，共一百二十六页。2023/2/7110例：投掷一枚钱币，共投掷n=10次，出现正面x次，问能否认为钱币是均匀的？

1)x=32)x=8解：设出现正面的概率为，作假设又设先验分布第一百一十页，共一百二十六页。2023/2/7111所以又第一百一十一页，共一百二十六页。2023/2/7112贝叶斯因子为当时，所以:1)当n=10,x=3,2)当n=10,x=8,第一百一十二页，共一百二十六页。2023/2/7113即1）当x=3时，接受。

2）当x=8时，不能接受。事实上，用mathcad计算其结果可见规律：规划计算2第一百一十三页，共一百二十六页。2023/2/71142.5预测1.预测的含义2.预测分布3.预测的基本原理第一百一十四页，共一百二十六页。2023/2/71151.预测的含义对随机变量X未来观测值作出统计推断称为预测。对随机变量未来观测值的预测，无非有两种：①已知X～p(x/θ)（或者来自p(x/θ)的一组观测值），在参数θ位置的条件下，对X未来观测值作出推断。②得到来自p(x/θ)的一组观测值后，如何对具有密度函数g(z/θ)的随机变量Z的观测值作出推断。第一百一十五页，共一百二十六页。2023/2/71162.预测分布预测问题也是统计推断形式之一，在统计学中有些问