贝叶斯统计与决策讲座课件

STATISTICSPROBABILITYPROBABILITY&STATISTICSPROBABILITYSTATISTICSSTATISTICSPROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYPROBABILITY&STATISTICSμ-4-2024PROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYSTATISTICS贝叶斯统计与决策吴志雄STATISTICSPROBABILITYPROBABI

统计学中有二个主要学派：频率学派和贝叶斯学派。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设，贝叶斯定理（或贝叶斯公式）在通常的概率论教科书中都有叙述，而贝叶斯假设几乎都不提及。在统计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在着重大差异。引言引言讲座内容1贝叶斯统计概述2先验分布的确定3贝叶斯统计推断4贝叶斯决策讲座内容1贝叶斯统计概述1贝叶斯统计概述

1.1全概率公式与贝叶斯公式引例有三个箱子，分别编号为1,2,3。1号箱装有1个红球4个白球，2号箱装有2红3白球，3号箱装有3红球.某人从三箱中任取一箱，从中任意摸出一球，（1）求取得红球的概率。（2）已知取出的是红球，求此球来自1号箱的概率。(1)解：记

Bi={球取自i号箱},i=1,2,3;

A

={取得红球}B1A,B2A,B3A两两互斥1贝叶斯统计概述引例有三个箱子，分别编号为1,2将此例中所用的方法推广到一般的情形，就得到在概率计算中常用的全概率公式。依题意，P(A|B1)=1/5,P(A|B2)=2/5,

P(A|B3)=3/3将此例中所用的方法推广到一般的情形，就得到在概率计算中常用的(2)

解：引例有三个箱子，分别编号为1,2,3。1号箱装有1个红球4个白球，2号箱装有2红3白球，3号箱装有3红球.某人从三箱中任取一箱，从中任意摸出一球，（1）求取得红球的概率。（2）已知取出的是红球，求此球来自1号箱的概率。(2)解：引例有三个箱子，分别编号为1,2,3Bayes公式这类问题，是“已知结果求原因”是已知某结果发生条件下，求各原因发生可能性大小。

设B1,B2,…,Bn是两两互斥的事件，且P(Bi)>0，i=1,2,…,n,另有一事件A，它总是与B1,B2,…,Bn之一同时发生，则Bayes公式这类问题，是“已知结果求原因”是已知某结果发生称P(Bi)为先验概率，它是由以往的经验得到的，它是事件

A

的原因。称为后验概率，它是得到了信息—A

发生，再对导致

A

发生的原因Bi发生的可能性大小重新加以修正。后来的学者依据贝叶斯公式的思想发展了一整套统计推断方法，叫作“贝叶斯统计”。可见贝叶斯公式的影响。称P(Bi)为先验概率，它是由以往的经验得到的，它是

例1.1用Bayes公式分析伊索寓言《孩子与狼》中村民对小孩的信赖程度是如何下降的。解:A

：小孩说谎；B

：小孩可信；小孩第说一次谎后的可信度为：不妨设：P(B)=0.8；例1.1用Bayes公式分析伊索寓言《孩子与狼小孩第说二次谎后的可信度为：小孩第说二次谎后的可信度为：1.2贝叶斯统计贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后二年发表的一篇论文《论有关机遇问题的求解》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。1.2贝叶斯统计贝叶斯统计学的基础是1.总体信息：总体分布或所属分布族提供给我们的

信息2.样本信息：从总体抽取的样本提供给我们的信息

3.先验信息：在抽样之前有关统计推断的一些信息

1.2.1统计推断中可用的三种信息1.总体信息：总体分布或所属分布族提供给我们的1.2.2贝叶斯学派与频率学派之间存在重大差异1)频率统计学派与贝叶斯学派在进行统计推

断时的依据不同；2)对概率的概念的理解不同；3)两个学派的具体统计推断理念之间存在根

本差异。1.2.2贝叶斯学派与频率学派之间存在重大差异1)频率统计1)统计推断时的依据不同频率统计学派在进行统计推断时，依据两类信息：总体信息（或模型信息）和样本信息（数据信息），而贝叶斯学派则除了以上两种信息外，还利用另外一种信息即先验信息。

在概率论与数理统计中讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统计学。

1)统计推断时的依据不同频率统计学派在进行统计推断时，依据2)对概率的概念的理解不同频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论；与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相信程度，它不依赖事件能否重复；2)对概率的概念的理解不同频率学派坚持概率3)两个学派统计推断理念之间存在着根本差异

统计学奠基人费歇尔把统计学的任务概括为三个问题：选定模型、确定统计量和决定统计量的分布。根据费歇尔的观点，信息量包含在样本中，但样本为数众多，因此须用少数几个统计量把信息集中起来，而抽样分布则决定了统计量的全部性质；目前，频率统计学派基本上是按照这种思路来处理统计推断问题的。3)两个学派统计推断理念之间存在着根本差异贝叶斯学派认为：先验分布反映了试验前对总体参数分布的认识，在获得样本信息后，对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了先验分布和样本的信息。由此可以看出，频率学派统计推断是“从无到有”的过程——在试验前，关于位置参数的情况是一无所知，而试验后则有些了解，但了解多少？并无普遍的表述方法，在实践中有赖于所使用的统计量的针对性；贝叶斯统计推断则不然，它是一个“从有到有”的过程，且结果清楚自然，符合人们的思维习惯——根据所获得的信息修正以前的看法，不一定从零开始，从本质上说，贝叶斯推断理论概括了多数成年人的学习过程。贝叶斯学派认为：先验分布反映了试验前对总体参数分但是最主要的差别，也是贝叶斯理论的一个重要特征，在于只能基于后验分布，也就是说，在获得后验分布后，如果把样本、原来的统计模型都丢掉，一点也不会影响将来的推断，凡是符合这个准则的推断就是贝叶斯推断。据此，矩估计、显著性统计检验和置信区间估计都不属于贝叶斯推断，但最大似然估计则可视为均匀先验分布之下的贝叶斯推断，因此，作为频率学派中一个很重要的极大似然估计，其实，它只不过是在一种很特殊先验分布下的贝叶斯估计而已。但是最主要的差别，也是贝叶斯理论的一个重要特征，在于1.3.1贝叶斯公式的三种形式1.贝叶斯公式的事件形式：假定是互不相容的事件，它们之和包含事件B，即，则有：1.3贝叶斯公式1.3.1贝叶斯公式的三种形式1.贝叶斯公式的事件形式：1假设Ⅰ随机变量X有一个密度函数p(x;θ)，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)是在给定θ后的一个条件密度函数，因此记为p(x│θ)更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。假设Ⅱ当给定θ后，从总体p(x│θ)中随机抽取一个样本X1，…，Xn，该样本中含有θ的有关信息。这种信息就是样本信息。2.贝叶斯公式的密度函数形式：在给出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者叫着基本假设：假设Ⅰ随机变量X有一个密度函数p(x;θ)，其中θ是一个参假设Ⅲ从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。（1）先验分布定义1将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π(θ)，称为参数θ的先验分布。（2）后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数：假设Ⅲ从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这在这个联合密度函数中。当样本给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：这就是贝叶斯公式的密度函数形式，其中称为θ的后验密度函数，或后验分布。而：是样本的边际分布，或称样本的无条件分布，它的积分区域就是参数θ的取值范围，随具体情况而定。在这个联合密度函数中。当样本3.贝叶斯公式的离散形式：

当是离散随机变量时，先验分布可用先验分布列π(θi)，这时后验分布也是离散形式：假如总体X也是离散的，则只须将p(x|θ)换成P(X=x|θ)即可。

3.贝叶斯公式的离散形式：当是离散随机变量时

前面的分析总结如下：人们根据先验信息对参数θ已有一个认识，这个认识就是先验分布π(θ)。通过试验，获得样本。从而对θ的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步，可看出，获得样本的的效果是把我们对θ的认识由π(θ)调整到。所以对θ的统计推断就应建立在后验分布的基础上。1.3.2后验分布是三种信息的综合前面的分析总结如下：人们根据先验信息对参数θ已有一例1.2设事件A的概率为，即。为了估计而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布即解题步骤：1.作贝叶斯假设。如果此时我们对事件A的发生没有任何了解，对的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（0，1）上的均匀分布作为θ的先验分布。因为它在（0，1）上每一点都是机会均等的。因此：2.计算样本X与参数的联合分布：此式在定义域上与二项分布有区别。如何求出后验分布？例1.2设事件A的概率为，即即：5.具体算例。拉普拉斯计算过这个概率,研究男婴的诞生比例是否大于0.5?如抽了251527个男婴,女婴241945个。他选用U(0，1)作为θ的先验分布，于是可得θ的后验分布Be(x+1,n-x+1),其中n=251527+241945=493472，x=251527。由此拉普拉斯计算了“θ≤0.5”的后验概率：故他断言男婴诞生的概率大于0.5。4.利用贝叶斯公式可得的后验分布：3.计算X的边际密度为:即：5.具体算例。拉普拉斯计算过这个概率,研究男婴的诞生比注：伽玛函数与贝塔分布简介：定义：定义在[0，1]上，且用密度函数：表示的概率分布称为贝塔分布，记为Be(p,q)。

注：伽玛函数与贝塔分布简介：定义：定义在[0，1]上，且用密特例：当p=q=1时，Be(1,1)分布即为区间

[0，1]上的均匀分布；当p=q=1/2，Be(1/2,1/2)分布称为反正弦分布，密度函数为：设，则的密度函数为：即：特例：当p=q=1时，Be(1,1)分布即为区间即：为什么将贝塔分布作为θ的先验分布族是恰当的？(1)参数θ是废品率，它仅在（0，1）上取值。因此，必需用

区间（0，1）上的一个分布去拟合先验信息。β分布正是

这样一个分布。(2)β分布含有两个参数p与q，不同的p与q就对应不同的先验

分布，因此这种分布的适应面较大。(3)样本X的分布为二项分布b(n,θ)时，假如θ的先验分布为β分布，则用贝叶斯估计算得的后验分布仍然是β分布，只是其中的参数不同。这样的先验分布(β分布)称为参数θ的共轭先验分布。选择共轭先验分布在处理数学问题上带来不少方便。为什么将贝塔分布作为θ的先验分布族是恰当的？(1)参数θ是例1.3投资决策问题

为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资100万元，但从投资效果看，下属部门有两种意见：

θ1

：改进生产设备后，高质量产品可占90%

θ2：改进生产设备后，高质量产品可占70%问：公司经理怎样决策？根据过去的经验知：

θ1的可信度为40%，θ2的可信度为60%例1.3投资决策问题为了提高某产品的质量，公试验A，A：试制5个产品，全是高质量的产品试验A，A：试制5个产品，全是高质量的产品试验B，B：试制10个产品，9个是高质量的产品试验B，B：试制10个产品，9个是高质量的产品1.4共轭先验分布1.4.1共轭先验分布定义1.1设是总体分布中的参数（或参数向量），π(θ)是的先验密度函数，假如由抽样信息算得的后验密度函数与π(θ)有相同的形式，则称π(θ)是的（自然）共轭先验分布。注意：共轭先验分布是对某一分布中的参数而言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的。

1.4共轭先验分布1.4.1共轭先验分布1.4.2样简化后验分布的计算

——省略常数因子

在给定样本分布p(x|θ)和先验分布π(θ)后可用贝叶斯公式计算θ的后验分布：π(θ)=p(x|θ)π(θ)/m(x)，由于m(x)不依赖于θ，在计算θ的后验分布中仅起到一个正则化因子的作用。假如把m(x)省略，把贝叶斯公式改写成如下等价形式：其中符号“”表示两边仅差一个常数因子，一个不依赖于θ的常数因子。上式右端称为后验分布

的核。1.4.2样简化后验分布的计算——省略常数因子例1.4证明：二项分布的成功概率θ的共轭先验分布是贝塔分布。例1.4证明：二项分布的成功概率θ的共轭先验分布是贝塔分布1.4.3共轭先验分布的优缺点共轭先验分布在很多场合被采用，因为它有两个优点：（1）计算方便。（2）后验分布的一些参数可得到很好的解释。

不足：怎样找到合适的先验分布？1.4.3共轭先验分布的优缺点共轭先验1.4.4常用的一些共轭先验分布共轭先验分布选取的一般原则：是由似然函数L(θ)=p(x|θ)中所含的因式所决定的，即选与似然函数具有相同核的分布作为先验分布。1.4.4常用的一些共轭先验分布共轭先验分布常用的一些共轭分布总体分布参数共轭先验分布后验分布的期望正态分布均值正态分布正态分布方差倒Γ分布IGa(a,b)二项分布

成功概率

β分布Poisson分布

均值

Γ分布Ga(a,b)指数分布均值的倒数Γ分布Ga(a,b)常用的一些共轭分布总体分布参数共轭先验分布后验分布的期望正态1.5超参数及其确定一、超参数的定义：先验分布中所含的未知参数称为超参数二、估计方法：共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来确定它，下面用一个例子来介绍目前国内外文献中对超参数的估计方法：问题：二项分布中成功概率θ的共轭先验分布是贝塔分布Be(α,β)，怎样确定两个超参数α和β？1.5超参数及其确定一、超参数的1.5.1利用先验矩：1.5.1利用先验矩：1.5.2.利用先验分位数：假如根据先验信息可以确定贝塔分布的二个分位数，则可用这两个分位数来确定α与β，譬如用两个上、下四分位数θU与θL来确定α与β，θU与θL分别满足如下二个方程：从这两个方程解出α与β即可确定超参数。1.5.2.利用先验分位数：假如根据先验信息可以确定贝塔分1.5.3.利用先验矩和先验分位数假如根据先验信息可获得先验均值和p分位数，则可列出下列方程：

由此可解出α与β的估计值。

1.5.4.其它方法1.5.3.利用先验矩和先验分位数假如根据先验信息2.1主观概率1.贝叶斯学派要研究的问题：如何用人们的经验和过去的历史资料确定概率和先验分布。2.经典统计确定概率的两种方法：（1）古典方法；（2）频率方法。3.主观概率的定义：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信念。2先验分布的确定2.1主观概率1.贝叶斯学派要研究的问题：如何用人们的经2.2确定主观概率的方法1.利用对立事件的比较确定主观概率；2.利用专家意见确定主观概率；3.向多位专家咨询确定主观概率；4.充分利用历史资料，考虑现有信息加以修正,才能得到比较切合实际的主观概率。2.2确定主观概率的方法1.利用对立事件的比较确定主观概45

2.3利用先验信息确定先验分布当先验信息足够多时，可用下列方法：一、直方图法二、选定先验密度函数形式再估计其超参数三、定分度法与变分度法

2.4利用边缘分布m(x)确定先验密度452.3利用先验信息确定先验分布当先验信息足够多46

2.5无信息先验分布一、贝叶斯假设与广义先验分布二、位置-尺度参数的无信息先验三、Jeffreys先验四、Reference先验五、概率匹配先验462.5无信息先验分布一、贝叶斯假设与广义先验分布3贝叶斯统计推断3.1条件方法1.后验分布的特点：未知参数的后验分布是集三种信息（总体、样本和后验）于一身，它包含了所有可供利用的信息。故有关的参数估计和假设检验等统计推断都按一定方式从后验分布提取信息，其提取方法与经典统计推断相比要简单明确得多。2.条件方法的基本思想：基于后验分布的统计推断实际上只考虑已出现的数据（样本观察值）而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计方法被称为条件方法。3贝叶斯统计推断3.1条件方法1.后验分布的特点：3.条件方法与频率方法的区别：(以对估计的无偏性认识为例)例如经典统计学认为参数的无偏估计应满足：其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本尚为出现过，而多数从未出现的样本也要参与平均是实际工作者难以理解的。故在贝叶斯推断中不用无偏性，而条件方法是容易被实际工作者理解和接受的。3.条件方法与频率方法的区别：(以对估计的无偏性认识为例)3.2估计1.贝叶斯估计

定义3.1使后验密度达到最大的值称为最大后验估计；后验分布的中位数称为后验中位数估计；后验分布的期望值称为的后验期望值估计，这三个估计都称为贝叶斯估计，记为。3.2估计1.贝叶斯估计定义3.1使后验密度解题的基本步骤：2．分析后验分布的特征：对称分布解题的基本步骤：2．分析后验分布的特征：对称分布例3.2为估计不合格率，今从一批产品中随机抽取n件，其中不合格品数X服从，一般选取为的先验分布，设已知，求的Bayes估计。解：由共轭先验分布可知，的后验分布为：则得：特例：选用贝叶斯假设作为先验分布，即则：例3.2为估计不合格率，今从一批产品中随机抽取n件第一、在二项分布时，的最大后验估计就是经典统计中的极大似然估计，即的极大似然估计就是取特定的先验分布下的贝叶斯估计。第二、的后验期望值估计要比最大后验估计更合适一些。注意:第一、在二项分布时，的最大后验估计就是经典统计中的极大试验号样本量n不合格数x13000.200210000.08333310.8004101010.917表3.1不合格率的二种贝叶斯估计的比较试验号样本量n不合格数x13000.200210000.083.3区间估计(可信区间)一、可信区间3.3区间估计(可信区间)一、可信区间这里的可信水平和可信区间与经典统计中的置信水平与置信区间虽是同类的概念，但两者还是有本质的差别，主要表现在下面二点:1.在条件方法下,对给定的样本x和可信水平1-α，通过后验分布可求得具体的可信区间，譬如，θ的可信水平为0.9的可信区间是[1.5，2.6]，这时我们可以写出2.在经典统计中寻求置信区间有时是困难的，因为它要设法构造一个枢轴量（含有被估计参数的随机变量），使它的分布不含未知参数，这是一项技术性很强的工作。相比之下可信区间只要利用后验分布，不需要再去寻求另外的分布，可信区间的寻求要简单得多。这里的可信水平和可信区间与经典统计中的置信水

例3.3

设是来自正态总体的一个样本观察值，其中已知,若正态均值的先验分布取为，其中与已知，则可求得的后验分布为，由此很容易获得的可信区间：其中是标准正态分布1-α/2的分位数。例3.3设是来自正态总体3.4假设检验

3.4.1假设检验经典统计中处理假设检验问题的基本步骤：1.建立原假设H0与备择假设H1：H0：θ∈Θ0，H1：θ∈Θ1其中Θ0与Θ1是参数空间Θ中不相交的二个非空子集。2.选择检验统计量T=T(x)，使其在原假设H0为真时概率分布是已知的。这是在经典方法中最困难的一步。3.对给定的显著性水平α(0<α<1)，确定拒绝域W，使犯第Ⅰ类错误（拒真错误）的概率不超过α。4.当样本观察值x落入拒绝域W时，就拒绝原假设H0，接受备择假设H1；否则就保留原假设。3.4假设检验3.4.1假设检验

3.4.2贝叶斯统计中处理假设检验问题的基本思想

获得后验分布π(θ|x)后，先计算二个假设H0和H1的后验概率：

αi=P(Θi|x)，i=0,1

然后比较α0与α1的大小：

当后验概率比(或称后验机会比)α0/α1>1时接受H0；

当α0/α1<1时接受H1；

当α0/α1≈1时，不宜做判断，还需要进一步抽样或进一步收集先验信息。3.4.2贝叶斯统计中处理假设检验问题的基本思想

59

由这两个学派假设检验的基本思想可看出贝叶斯假设检验更易理解更简单：1.贝叶斯假设检验无需选择检验统计量，确定抽样分布；2.无需事先给出显著性水平，确定其拒绝域；3.易推广到多重假设检验的场合，检验的标准是：接受具有最大后验概率的假设。59由这两个学派假设检验的基本思想可看出贝叶4贝叶斯决策

4.1决策理论基础

4.1.1决策问题的三要素

1.状态集,其中每个元素表示自然界(或社会)可能出现的一种状态,所有可能状态的全体组成状态集.（如例2中的两种状态：雨水充足和雨水不充足）

2.

行动集,其中a表示人对自然界可能采取的一个行动.注意：一般行动集有两个以上的行动供选择.若有两个行动无论对自然界的哪一个状态出现,总比收益高,则就没有存在的必要,可把它从行动集中去掉,使留在行动集中的行动总有可取之处.4贝叶斯决策

4.1决策理论基础

1.状态3.收益函数。函数值表示当自然界处于状态,而人们选取行动时所得到的收益大小。收益函数的值可正可负，其正表示赢利，负表示亏损，单位常用货币单位。收益函数的建立不是件容易的事，要对所研究的问题有全面的了解才能建立起来。收益矩阵3.收益函数。函数值表示当4.1.2先验期望准则一、先验期望准则(1)定义：对给定的决策问题，若在状态集Θ上有一个正常的先验分布π(θ)，则收益函数Q(θ,α)对π(θ)的期望与方差分别称为先验期望收益和收益的先验方差。使先验平均收益达到最大的行动a'称为先验期望准则下的最优行动。若此种最优行动不止一个，其中先验方差达到最小的行动称为二阶矩准则下的最优行动。4.1.2先验期望准则一、先验期望准则4.1.3损失函数

这里的损失函数不是负的收益，也不是亏损。例如，某商店一个月的经营收益为-1000元，即亏1000元。这是对成本而言。我们不称为损失，而称其为亏损。我们讲的损失是指“该赚而没有赚到的钱”，例如该商店本可以赚2000元，但由于某种原因亏了1000元，那我们说该商店损失了3000元。用这种观点认识损失对提高决策意识是有好处的。

构成决策问题的三要素:由收益函数容易获得损失函数

4.1.3损失函数这里的损失函数不是负的收益例4.1某公司购进一批货物投放市场,若购进数量低于市场需求量,每吨可赚15万元,若购进数量超过市场需求量,超过部分每吨反而要亏35万元.由此可写出收益函数显然,当购进数量等于市场需求量时,收益达到最大为15.则立即可得损失函数:例4.1某公司购进一批货物投放市场,若购进数量低于市场需求4.1.4常用损失函数(1)平方损失函数

这是在统计决策中用得最多的损失函数.(2)线性损失函数

(3)0-1损失函数(4)多元二次损失函数

4.1.4常用损失函数(1)平方损失函数这是在统计决策中

4.2贝叶斯决策问题4.2.1决策问题分类

(1)仅使用先验信息的决策问题称为无数据(或无样本信息)的决策问题;(2)仅使用抽样信息的决策问题称为统计决策问题;(3)先验信息和抽样信息都使用的决策问题称为贝叶斯决策问题.损失函数被称为贝叶斯统计中的第四种信息.

4.2贝叶斯决策问题4.2.1决策问题分类

先验信息和抽样信息都用的决策问题称为贝叶斯决策问题。若以下条件已知，则我们认为一个贝叶斯决策问题给定了。(4)定义在上的二元函数称为损失函数先验信息和抽样信息都用的决策问题称为贝叶斯4.2.2贝叶斯决策的优缺点1.优点主要表现在:(1)贝叶斯决策充分利用各种信息,使决策结果更加科学化;(2)能对调查结果的可能性加以数量化的评价;(3)贝叶斯决策巧妙地将调查结果和先验知识有机地结合起来;(4)贝叶斯决策过程可以不断地使用,使决策结果逐步完善.2.缺点:(1)贝叶斯决策所需要的数据多，分析计算也比较复杂,如果解决的问题比较复杂时,这个矛盾就更加突出;(2)在决策的过程中，有些数据必须要使用主观概率,有些人不是很相信,这也妨碍了贝叶斯决策方法的推广和使用.O4.2.2贝叶斯决策的优缺点1.优点主要表现在:4.3后验风险决策1.后验风险函数我们把损失函数对后验分布的期望称为后验风险,记,即

后验风险就是用后验分布计算的平均损失.4.3后验风险决策1.后验风险函数我们把损失函2.决策函数定义4.1在给定的贝叶斯决策问题中,从样本空间到行动集A上的一个映照称为该决策问题的一个决策函数,表示所有从样本空间χ到A上的决策函数组成的类,称为决策函数类.在贝叶斯决策中我们面临的是决策函数类D,要在D中选择决策函数,使其风险最小.2.决策函数定义4.1在给定的贝叶斯决策问题中,从样本3.后验风险准则定义在给定的贝叶斯决策问题中是其决策函数类,则称为决策函数的后验风险.假如在决策函数类中存在这样的决策函数,它在D中有最小的风险,即则称为后验风险准则下的最优决策函数,或称贝叶斯决策,或贝叶斯解,或贝叶斯估计。注:(1)定义中的条件:给定的贝叶斯决策问题(2)定义中的先验分布允许是广义的.3.后验风险准则定义在给定的贝叶斯决策问例4.2设是来自正态分布N(θ,1)的一个样本。又设参数θ的先验分布为共轭先验分布N(0,τ2),其中τ2已知.而损失函数为0-1损失函数

试求参数θ的贝叶斯估计。解:分三步求解:(1)求参数θ的后验分布(2)对于任意一个决策函数计算后验风险函数:(3)求出使得上述风险函数达到最小时的决策函数:例4.2设例4.3在市场占有率θ的估计问题中，已知损失函数为：

药厂厂长对市场占有率θ无任何先验信息，另外在市场调查中，在n个购买止痛剂的顾客中有x人买了新药，试在后验风险准则

下对θ作出贝叶斯估计。例4.3在市场占有率θ的估计问题中，已知损失函数为：

解:(1)θ的先验分布U(0,1),(2)求参数θ的后验分布:结果为Be(x+1,n-x+1)(3)计算后验风险函数(4)求最优行动使上述后验风险函数达到最小.令:

则得:(5)数值计算:设n=10,x=1,后验分布:结果为

解:(1)θ的先验分布U(0,1),4.4.1平方损失函数下的贝叶斯估计定理4.1在平方损失函数下,的贝叶斯估计为后验均值,即4.4常用损失函数下的贝叶斯估计4.4.1平方损失函数下的贝叶斯估计定理4.1在平方损失函定理4.2在加权平方损失函数下,θ的贝叶斯估计为:

其中λ(θ)为参数空间Θ上的正值函数.

定理4.3在参数向量的场合下,对多元二

次损失函数,Q为正定阵,

θ的贝叶斯估计为后验均值向量:定理4.2在加权平方损失函数例4.4设是来自泊松分布

的一个样本.若θ的先验分布用其共轭先验分布G(α,λ),即

其中参数α与λ已知.求平方损失函数下θ的贝叶斯估计.解:解题过程分为以下三步:(1)根据题意求出θ的后验分布(2)写出后验均值(3)结论:由定理4.1知θ的贝叶斯估计为:例4.4设是来例4.5设是来自均匀分布U(0,θ)的一个样本.

又设θ的先验分布为Pareto分布.在损失函数分别为

绝对值损失函数和平方损失函数下求θ的贝叶斯估计.解题步骤:第一步:求θ的后验分布:第二步:在绝对值损失函数下θ的贝叶斯估计:恰为后验分布的中位数.第三步:平方损失函数下θ的贝叶斯估计:Pareto分布的分布函数:密度函数为:期望:方差:中位数:例4.5设是来自4.4.2.线性损失函数下的贝叶斯估计

定理4.4在绝对值损失函数L(θ,δ)=|θ-δ|下,θ的贝叶斯估计δB(x)为后验分布π(θ|x)的中位数.定理4.5在线性损失函数:

下,θ的贝叶斯估计δn(x)为后验分布π(θ|x)的

分位数.

4.4.2.线性损失函数下的贝叶斯估计定理4.4在绝4.5抽样信息期望值4.5.1、基本概念1.完全信息：对需要作决策的问题，假如决策者所获得的信息足以肯定那一个状态即将发生，则该信息就称为(该状态的)完全信息。

2.完全信息期望值(EVPI)：设某决策问题有n种状态θ1,θ2,…,θn,且各种状态的先验概率π(θi)已知,又有m种行动a1,a2,…,am。设Qij为出现θi采取行动aj的收益，a′为使取得最大时的行动，则称为完全信息期望值，记为EVPI。4.5抽样信息期望值4.5.1、基本概念3.先验EVPI：在一个决策问题中π(θ)是状态集Θ={θ}上的先验分布。a′是先验期望准则下的最优行动，则在a′下的损失函数L(θ,a′)的先验期望称为完全信息先验期望值，记为先验EVPI。4.两者的关系:5.例题:对给定的Q或L怎样计算EVPI和先验EVPI？如：3.先验EVPI：在一个决策问题中π(θ)是状态集Θ={θ}是先验期望准则下的最优行动是先验期望准则下的最优行动4.5.2抽样信息期望值1.定义：在一个贝叶斯决策问题中,a′是先验期望准则下的最优

行动，是后验风险准则下的最优决策函数。则先验EVPI与后验EVPI期望值的差称为抽样信息期望值，记为：2.计算一个EVSI的基本步骤：第一步：计算先验EVPI；第二步：计算θ的后验分布；第三步：计算每个行动的后验期望损失；第四步：确定最优决策函数；第五步：计算后验EVPI；第六步：计算后验EVPI的期望值；第七步：计算抽样信息期望值。4.5.2抽样信息期望值1.定义：在一个贝叶斯决策问题中,4.5.3案例分析甲厂的某一零件由乙厂生产，每批1000只，其次品率θ的概率分布如下表所示：甲厂在整机装配时，如发现零件是次品，必须更换，每换一只，乙厂赔偿2.20元的损失费，但也可以在送装前采取全部检查的办法，使每批零件的次品率降为1%，但乙厂必须支付每只0.10元的检查费。乙厂面临如下两种选择：

a1:一批中一件都不检查a2:一批中每件都检查若乙厂厂长想从每批中任取三只零件进行抽查，根据不合格品个数来决定是采取行动a1还是行动a2，并想知道这样能否带来更大的收益？θ0.020.050.10π(θ)0.450.390.164.5.3案例分析甲厂的某一零件由乙厂生产，每一、计算先验EVPI：支付函数：由此的支付矩阵和损失矩阵：计算每个行动下的先验期望损失：由此得在先验期望准则下，a1是最优行动，则：先验EVPI=15.68

一、计算先验EVPI：2.计算的后验分布3.计算各行动的后验期望损失x0123m(x)0.87450.11760.00760.0002x0123θ1=0.020.48430.22020.06580.0028θ2=0.050.38240.44900.36840.0190θ3=0.100.13330.33080.56580.9782x012313.063432.414855.448495.863642.364222.56369.55320.44642.计算的后验分布3.计算各行动的后验期望损失x4.确定最优决策函数：5.计算后验EVPI：x=0时，后验EVPI=13.0634x=1时，后验EVPI=22.5636x=2时，后验EVPI=9.5532x=3时，后验EVPI=0.44946.计算后验EVPI的期望值:7.计算抽样信息期望值：

EVSI=15.68-14.15=1.53思考：该厂长所确定的抽取三件产品检查，是否是最好？4.确定最优决策函数：5.计算后验EVPI：x=0时，后验E注：EVSI和样本量n有关，EVSI（3）=1.53

若n=1,抽一个进行检查，可得

EVSI（1）=0.63注：EVSI和样本量n有关，EVSI（3）=1.53EVSI参考书1.茆诗松，汤银才编著，贝叶斯统计（第二版），中国统计出版社，20122.吴喜之，现代贝叶斯统计学，中国统计出版社，2000年10月。3.张尧庭陈汉峰编著，贝叶斯统计推断，科学出版社，1991年3月。4.Berger，J.O.，StatisticaldecisiontheoryandBayesiananalysis，Secondedition，Springer-Verlag，NewYork，1985，中译本：统计决策理论及贝叶斯分析，贾乃光译，中国统计出版社，1998。5.James等著，贝叶斯统计学：原理、模型与应用，中国统计出版社，1992参考书1.茆诗松，汤银才编著，贝叶斯统计（第二版），中国演讲完毕，谢谢观看！演讲完毕，谢谢观看！STATISTICSPROBABILITYPROBABILITY&STATISTICSPROBABILITYSTATISTICSSTATISTICSPROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYPROBABILITY&STATISTICSμ-4-2024PROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYSTATISTICS贝叶斯统计与决策吴志雄STATISTICSPROBABILITYPROBABI

统计学中有二个主要学派：频率学派和贝叶斯学派。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设，贝叶斯定理（或贝叶斯公式）在通常的概率论教科书中都有叙述，而贝叶斯假设几乎都不提及。在统计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在着重大差异。引言引言讲座内容1贝叶斯统计概述2先验分布的确定3贝叶斯统计推断4贝叶斯决策讲座内容1贝叶斯统计概述1贝叶斯统计概述

1.1全概率公式与贝叶斯公式引例有三个箱子，分别编号为1,2,3。1号箱装有1个红球4个白球，2号箱装有2红3白球，3号箱装有3红球.某人从三箱中任取一箱，从中任意摸出一球，（1）求取得红球的概率。（2）已知取出的是红球，求此球来自1号箱的概率。(1)解：记

Bi={球取自i号箱},i=1,2,3;

A

={取得红球}B1A,B2A,B3A两两互斥1贝叶斯统计概述引例有三个箱子，分别编号为1,2将此例中所用的方法推广到一般的情形，就得到在概率计算中常用的全概率公式。依题意，P(A|B1)=1/5,P(A|B2)=2/5,

P(A|B3)=3/3将此例中所用的方法推广到一般的情形，就得到在概率计算中常用的(2)

解：引例有三个箱子，分别编号为1,2,3。1号箱装有1个红球4个白球，2号箱装有2红3白球，3号箱装有3红球.某人从三箱中任取一箱，从中任意摸出一球，（1）求取得红球的概率。（2）已知取出的是红球，求此球来自1号箱的概率。(2)解：引例有三个箱子，分别编号为1,2,3Bayes公式这类问题，是“已知结果求原因”是已知某结果发生条件下，求各原因发生可能性大小。

设B1,B2,…,Bn是两两互斥的事件，且P(Bi)>0，i=1,2,…,n,另有一事件A，它总是与B1,B2,…,Bn之一同时发生，则Bayes公式这类问题，是“已知结果求原因”是已知某结果发生称P(Bi)为先验概率，它是由以往的经验得到的，它是事件

A

的原因。称为后验概率，它是得到了信息—A

发生，再对导致

A

发生的原因Bi发生的可能性大小重新加以修正。后来的学者依据贝叶斯公式的思想发展了一整套统计推断方法，叫作“贝叶斯统计”。可见贝叶斯公式的影响。称P(Bi)为先验概率，它是由以往的经验得到的，它是

例1.1用Bayes公式分析伊索寓言《孩子与狼》中村民对小孩的信赖程度是如何下降的。解:A

：小孩说谎；B

：小孩可信；小孩第说一次谎后的可信度为：不妨设：P(B)=0.8；例1.1用Bayes公式分析伊索寓言《孩子与狼小孩第说二次谎后的可信度为：小孩第说二次谎后的可信度为：1.2贝叶斯统计贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后二年发表的一篇论文《论有关机遇问题的求解》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。1.2贝叶斯统计贝叶斯统计学的基础是1.总体信息：总体分布或所属分布族提供给我们的

信息2.样本信息：从总体抽取的样本提供给我们的信息

3.先验信息：在抽样之前有关统计推断的一些信息

1.2.1统计推断中可用的三种信息1.总体信息：总体分布或所属分布族提供给我们的1.2.2贝叶斯学派与频率学派之间存在重大差异1)频率统计学派与贝叶斯学派在进行统计推

断时的依据不同；2)对概率的概念的理解不同；3)两个学派的具体统计推断理念之间存在根

本差异。1.2.2贝叶斯学派与频率学派之间存在重大差异1)频率统计1)统计推断时的依据不同频率统计学派在进行统计推断时，依据两类信息：总体信息（或模型信息）和样本信息（数据信息），而贝叶斯学派则除了以上两种信息外，还利用另外一种信息即先验信息。

在概率论与数理统计中讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统计学。

1)统计推断时的依据不同频率统计学派在进行统计推断时，依据2)对概率的概念的理解不同频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论；与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相信程度，它不依赖事件能否重复；2)对概率的概念的理解不同频率学派坚持概率3)两个学派统计推断理念之间存在着根本差异

统计学奠基人费歇尔把统计学的任务概括为三个问题：选定模型、确定统计量和决定统计量的分布。根据费歇尔的观点，信息量包含在样本中，但样本为数众多，因此须用少数几个统计量把信息集中起来，而抽样分布则决定了统计量的全部性质；目前，频率统计学派基本上是按照这种思路来处理统计推断问题的。3)两个学派统计推断理念之间存在着根本差异贝叶斯学派认为：先验分布反映了试验前对总体参数分布的认识，在获得样本信息后，对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了先验分布和样本的信息。由此可以看出，频率学派统计推断是“从无到有”的过程——在试验前，关于位置参数的情况是一无所知，而试验后则有些了解，但了解多少？并无普遍的表述方法，在实践中有赖于所使用的统计量的针对性；贝叶斯统计推断则不然，它是一个“从有到有”的过程，且结果清楚自然，符合人们的思维习惯——根据所获得的信息修正以前的看法，不一定从零开始，从本质上说，贝叶斯推断理论概括了多数成年人的学习过程。贝叶斯学派认为：先验分布反映了试验前对总体参数分但是最主要的差别，也是贝叶斯理论的一个重要特征，在于只能基于后验分布，也就是说，在获得后验分布后，如果把样本、原来的统计模型都丢掉，一点也不会影响将来的推断，凡是符合这个准则的推断就是贝叶斯推断。据此，矩估计、显著性统计检验和置信区间估计都不属于贝叶斯推断，但最大似然估计则可视为均匀先验分布之下的贝叶斯推断，因此，作为频率学派中一个很重要的极大似然估计，其实，它只不过是在一种很特殊先验分布下的贝叶斯估计而已。但是最主要的差别，也是贝叶斯理论的一个重要特征，在于1.3.1贝叶斯公式的三种形式1.贝叶斯公式的事件形式：假定是互不相容的事件，它们之和包含事件B，即，则有：1.3贝叶斯公式1.3.1贝叶斯公式的三种形式1.贝叶斯公式的事件形式：1假设Ⅰ随机变量X有一个密度函数p(x;θ)，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)是在给定θ后的一个条件密度函数，因此记为p(x│θ)更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。假设Ⅱ当给定θ后，从总体p(x│θ)中随机抽取一个样本X1，…，Xn，该样本中含有θ的有关信息。这种信息就是样本信息。2.贝叶斯公式的密度函数形式：在给出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者叫着基本假设：假设Ⅰ随机变量X有一个密度函数p(x;θ)，其中θ是一个参假设Ⅲ从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。（1）先验分布定义1将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π(θ)，称为参数θ的先验分布。（2）后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数：假设Ⅲ从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这在这个联合密度函数中。当样本给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：这就是贝叶斯公式的密度函数形式，其中称为θ的后验密度函数，或后验分布。而：是样本的边际分布，或称样本的无条件分布，它的积分区域就是参数θ的取值范围，随具体情况而定。在这个联合密度函数中。当样本3.贝叶斯公式的离散形式：

当是离散随机变量时，先验分布可用先验分布列π(θi)，这时后验分布也是离散形式：假如总体X也是离散的，则只须将p(x|θ)换成P(X=x|θ)即可。

3.贝叶斯公式的离散形式：当是离散随机变量时

前面的分析总结如下：人们根据先验信息对参数θ已有一个认识，这个认识就是先验分布π(θ)。通过试验，获得样本。从而对θ的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步，可看出，获得样本的的效果是把我们对θ的认识由π(θ)调整到。所以对θ的统计推断就应建立在后验分布的基础上。1.3.2后验分布是三种信息的综合前面的分析总结如下：人们根据先验信息对参数θ已有一例1.2设事件A的概率为，即。为了估计而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布即解题步骤：1.作贝叶斯假设。如果此时我们对事件A的发生没有任何了解，对的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（0，1）上的均匀分布作为θ的先验分布。因为它在（0，1）上每一点都是机会均等的。因此：2.计算样本X与参数的联合分布：此式在定义域上与二项分布有区别。如何求出后验分布？例1.2设事件A的概率为，即即：5.具体算例。拉普拉斯计算过这个概率,研究男婴的诞生比例是否大于0.5?如抽了251527个男婴,女婴241945个。他选用U(0，1)作为θ的先验分布，于是可得θ的后验分布Be(x+1,n-x+1),其中n=251527+241945=493472，x=251527。由此拉普拉斯计算了“θ≤0.5”的后验概率：故他断言男婴诞生的概率大于0.5。4.利用贝叶斯公式可得的后验分布：3.计算X的边际密度为:即：5.具体算例。拉普拉斯计算过这个概率,研究男婴的诞生比注：伽玛函数与贝塔分布简介：定义：定义在[0，1]上，且用密度函数：表示的概率分布称为贝塔分布，记为Be(p,q)。

注：伽玛函数与贝塔分布简介：定义：定义在[0，1]上，且用密特例：当p=q=1时，Be(1,1)分布即为区间

[0，1]上的均匀分布；当p=q=1/2，Be(1/2,1/2)分布称为反正弦分布，密度函数为：设，则的密度函数为：即：特例：当p=q=1时，Be(1,1)分布即为区间即：为什么将贝塔分布作为θ的先验分布族是恰当的？(1)参数θ是废品率，它仅在（0，1）上取值。因此，必需用

区间（0，1）上的一个分布去拟合先验信息。β分布正是

这样一个分布。(2)β分布含有两个参数p与q，不同的p与q就对应不同的先验

分布，因此这种分布的适应面较大。(3)样本X的分布为二项分布b(n,θ)时，假如θ的先验分布为β分布，则用贝叶斯估计算得的后验分布仍然是β分布，只是其中的参数不同。这样的先验分布(β分布)称为参数θ的共轭先验分布。选择共轭先验分布在处理数学问题上带来不少方便。为什么将贝塔分布作为θ的先验分布族是恰当的？(1)参数θ是例1.3投资决策问题

为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资100万元，但从投资效果看，下属部门有两种意见：

θ1

：改进生产设备后，高质量产品可占90%

θ2：改进生产设备后，高质量产品可占70%问：公司经理怎样决策？根据过去的经验知：

θ1的可信度为40%，θ2的可信度为60%例1.3投资决策问题为了提高某产品的质量，公试验A，A：试制5个产品，全是高质量的产品试验A，A：试制5个产品，全是高质量的产品试验B，B：试制10个产品，9个是高质量的产品试验B，B：试制10个产品，9个是高质量的产品1.4共轭先验分布1.4.1共轭先验分布定义1.1设是总体分布中的参数（或参数向量），π(θ)是的先验密度函数，假如由抽样信息算得的后验密度函数与π(θ)有相同的形式，则称π(θ)是的（自然）共轭先验分布。注意：共轭先验分布是对某一分布中的参数而言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的。

1.4共轭先验分布1.4.1共轭先验分布1.4.2样简化后验分布的计算

——省略常数因子

在给定样本分布p(x|θ)和先验分布π(θ)后可用贝叶斯公式计算θ的后验分布：π(θ)=p(x|θ)π(θ)/m(x)，由于m(x)不依赖于θ，在计算θ的后验分布中仅起到一个正则化因子的作用。假如把m(x)省略，把贝叶斯公式改写成如下等价形式：其中符号“”表示两边仅差一个常数因子，一个不依赖于θ的常数因子。上式右端称为后验分布

的核。1.4.2样简化后验分布的计算——省略常数因子例1.4证明：二项分布的成功概率θ的共轭先验分布是贝塔分布。例1.4证明：二项分布的成功概率θ的共轭先验分布是贝塔分布1.4.3共轭先验分布的优缺点共轭先验分布在很多场合被采用，因为它有两个优点：（1）计算方便。（2）后验分布的一些参数可得到很好的解释。

不足：怎样找到合适的先验分布？1.4.3共轭先验分布的优缺点共轭先验1.4.4常用的一些共轭先验分布共轭先验分布选取的一般原则：是由似然函数L(θ)=p(x|θ)中所含的因式所决定的，即选与似然函数具有相同核的分布作为先验分布。1.4.4常用的一些共轭先验分布共轭先验分布常用的一些共轭分布总体分布参数共轭先验分布后验分布的期望正态分布均值正态分布正态分布方差倒Γ分布IGa(a,b)二项分布

成功概率

β分布Poisson分布

均值

Γ分布Ga(a,b)指数分布均值的倒数Γ分布Ga(a,b)常用的一些共轭分布总体分布参数共轭先验分布后验分布的期望正态1.5超参数及其确定一、超参数的定义：先验分布中所含的未知参数称为超参数二、估计方法：共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来确定它，下面用一个例子来介绍目前国内外文献中对超参数的估计方法：问题：二项分布中成功概率θ的共轭先验分布是贝塔分布Be(α,β)，怎样确定两个超参数α和β？1.5超参数及其确定一、超参数的1.5.1利用先验矩：1.5.1利用先验矩：1.5.2.利用先验分位数：假如根据先验信息可以确定贝塔分布的二个分位数，则可用这两个分位数来确定α与β，譬如用两个上、下四分位数θU与θL来确定α与β，θU与θL分别满足如下二个方程：从这两个方程解出α与β即可确定超参数。1.5.2.利用先验分位数：假如根据先验信息可以确定贝塔分1.5.3.利用先验矩和先验分位数假如根据先验信息可获得先验均值和p分位数，则可列出下列方程：

由此可解出α与β的估计值。

1.5.4.其它方法1.5.3.利用先验矩和先验分位数假如根据先验信息2.1主观概率1.贝叶斯学派要研究的问题：如何用人们的经验和过去的历史资料确定概率和先验分布。2.经典统计确定概率的两种方法：（1）古典方法；（2）频率方法。3.主观概率的定义：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信念。2先验分布的确定2.1主观概率1.贝叶斯学派要研究的问题：如何用人们的经2.2确定主观概率的方法1.利用对立事件的比较确定主观概率；2.利用专家意见确定主观概率；3.向多位专家咨询确定主观概率；4.充分利用历史资料，考虑现有信息加以修正,才能得到比较切合实际的主观概率。2.2确定主观概率的方法1.利用对立事件的比较确定主观概135

2.3利用先验信息确定先验分布当先验信息足够多时，可用下列方法：一、直方图法二、选定先验密度函数形式再估计其超参数三、定分度法与变分度法

2.4利用边缘分布m(x)确定先验密度452.3利用先验信息确定先验分布当先验信息足够多136

2.5无信息先验分布一、贝叶斯假设与广义先验分布二、位置-尺度参数的无信息先验三、Jeffreys先验四、Reference先验五、概率匹配先验462.5无信息先验分布一、贝叶斯假设与广义先验分布3贝叶斯统计推断3.1条件方法1.后验分布的特点：未知参数的后验分布是集三种信息（总体、样本和后验）于一身，它包含了所有可供利用的信息。故有关的参数估计和假设检验等统计推断都按一定方式从后验分布提取信息，其提取方法与经典统计推断相比要简单明确得多。2.