各种概率分布介绍

本文格式为Word版，下载可任意编辑——各种概率分布介绍

一、引言

Bayes统计起源于英国学者托马斯.贝叶斯（ThomasBayes,1702～1761）死后发表的一篇论文“论有关机遇问题的求解〞。在此论文中他提出了著名的贝叶斯公式和一些归纳推理方法，随后拉普拉斯（Laplace,P.C.1749～1827）不仅重新发现了贝叶斯定理，阐述的远比贝叶斯更为明了，而且还用它来解决天体力学、医学统计以及法学问题。之后虽有一些研究和应用但由于其理论尚不完整，应用中出现一些问题，致使贝叶斯方法长期未被接受。直到二战后，瓦尔德(Wald,A.1902～1950)提出统计决策函数论后又引起好多人对贝叶斯研究方法的兴趣。由于在这个理论中，贝叶斯解被认为是一种最优决策函数。在Savage,L.J.(1954)、Jeffreys,H.(1961)

、

Good,I.J(1950)

、

Lindley,D.V(1961)

、

Box,G.E.P.??，它表示在参数空间?={?}中对应不同的分布。可在贝叶斯统计中记为p?x|??，它表示在随机变量?给定某个值时，总体指标X的分布.根据参数?的先验信息确定先验分布????。这样一来，样本x和参数?的联合分布为

h?x,???p?x|??????

-5-

这个联合分布把样本信息、总体信息和先验信息都综合进去了。

我们的任务是要对未知数?作出统计推断。在没有样本信息时，人们只能据先验分布对?作出推断。在有样本观测值x??x1,x2,...,xn?之后，我们应当依据h?x,??对?作出推断。为此我们需把h?x,??作如下分解：

h?x,??????|x?m?x?其中m?x?是x的边缘密度函数。它与?无关，或者

说，m?x?中不含?的任何信息。因此能用来对?作出推断的仅有条件分布

???|x?。它的计算公式是

???|x??h?x,?m?x???p?x|????????p?x|??????d?(1.1)

这就是贝叶斯公式的密度函数形式。这个在样本x给定下，?的条件分布被称为?的后验分布。它是集中了总体、样本和先验等三种信息中有关?的一切信息，而又是排出一切与?无关的信息之后所得到的结果。故基于后验分布???|x?对?进行统计推断是更为有效，也是最合理的。

在?是离散随机变量时，先验分布可用先验分布列???i?,i?1,2,?,表示。这时后验分布也是离散形式。

???i??p?x|?i????i??p?x|??????jjj,i?1,2,?(1.2)

假使总体X也是离散的，那只要把（1.1）或(1.2)中的密度函数p?x|??看作为概率函数P?X?x|??即可。

（三）先验分布与共轭先验分布

一般来说，先验信息主要来源于经验和历史资料，这在日常生活和工作中经常遇见人们也在自觉不自觉的实用它。根据先验信息确定先验分布是Bayes理论的重要研究内容；先验分布分为无信息先验分布和有信息先验分布两大类。

在没有先验信息的状况下确定的先验分布就叫做无信息先验分布。这是Bayes分析诞生之初就面临的问题，是Bayes学派近30多年来获得的重要成果之一。主要有贝叶斯假设位置参数的无信息先验分布，尺度参数的无信息先验分布和Jeffreys先验分布。共轭先验分布就是一种有信息先验分布，一般都含有超参数，而无信息先验分布一般不含超参数。

????是?的先验密度函数，定义3.1总体分布中的参数(或参数向量)，

-6-

假使由抽样信息算得的后验密度函数与????有一致的函数形式，则称

????是?的共轭先验分布。

应着重指出的是，共轭先验分布是对某一分布中的参数而言的，离开了指定的参数及其所在的分布去谈共扼先验分布是没有意义的。

共轭先验分布在大量场合被采用，它主要有两个优点：（1）由于先验分布和后验分布属于同一个分布族，计算便利。（2）后验分布使得一些参数可以得到很好的解释。

常用的共轭先验分布

表1

总体分布二项分布泊松分布指数分布正态分布（方差已知）正态分布（均值已知）参数成功概率均值均值的倒数均值方差共轭先验分布贝塔分布Be(?,?)伽玛分布Ga(?,?)伽玛分布Ga(?,?)正态分布N(?,?2)倒伽玛分布IGa(?,?)（四）似然原理

似然原理是统计学规范中大家都应遵守的公理。是统计学最一般的基础原理。

似然原理的核心概念是似然函数，对似然函数和对联合概率密度的理解是这样的：假使x??x1,x2,...,xn?是来自总体x的一个样本，x的密度函数是p?x|??那么其乘积

np?x|????p?xi|??(1.3)

i?1（1）当?给定时，p?x|??是样本x的联合密度函数。

（2）当样本x的观测值给定时，p?x|??是未知参数?的函数，p?x|??-7-

是似然函数，记为L???。

似然函数L???强调：它是?的函数，而样本x在似然函数中只是一组数据或一组观测值。所有与试验有关的?信息都被包含在似然函数之中，使L???=p?x|??大的?比使L???小的?更“像〞是?的真值。特别地，使

L???称为最大似然估计，假使两个似然函数?在在参数空间?达到最大的?成比例，比例因子又不依靠于?，则它们的最大似然估计是一致的，这是由于两个成比例的似然函数所含的?的信息是一致的，假使我们对?采用一致的先验分布，那么基于x对?所做的后验推断也是一致的。

在贝叶斯学派看来，似然原理可以概括为以下两点：

(1)有了观测x之后，在做关于?的推断时，所有与试验有关的?信息均被包含在似然函数L???之中。

(2)假使有两个似然函数是成比例的，比例常数与?无关，则它们关于?含有一致的信息。

（五）Bayes估计

1、点估计（1）点估计

设?是总体分布p?x|??中的参数，从总体随机抽取一样本

X??X1,X2,???,Xn?，根据?的先验信息取一先验分布????，用贝叶斯算得

后验分布???|x?。作为?的估计可选用后验分布???|x?的某个位置特征量，如众数、中位数或期望值等。

定义3.2使后验分布???|x?达到最大的值??MD称为?的最大后验估计；后验分布的中位数??ME称为?的后验中位数估计；后验分布的期望值??E称为?的后验期望估计，这三个估计都称为?的贝叶斯估计，记为??。可根据实际状况选用其中的一估计。

（2）贝叶斯估计的误差

设??是?的一个贝叶斯估计，评定Bayes估计??的确切常用后验均方差(或其平方根），具体定义如下：

定义3.3设参数?的后验分布为???|x?，贝叶斯估计为??，则??????的后验期望

MSE??|x?E?|x????

2????2

-8-

1称为??的后验均方差，而其平方根[MSE??|x]2称为??的后验标准差。当??为?的后验期望??E?E(?|x)时，则MSE??E|x?E?|x??E??1??????2?Var??|x?

称为后验方差，其平方根[Var??|x?]2称为后验标准差。而且

MSE??|x?E?|x????22????2=E?|x?????????????Var??|x??????EEE????????

可见，当?????E时，后验均方差达到最小。本文就在后验均方差达到最小的准则下，取后验均值作为参数的贝叶斯估计值。

2、区间估计

定义3.4设参数?的后验分布为???|x?，对于给定的样本

X??X1,X2,???,Xn?和??0???1?，若存在统计量??L???L?x?和??U???U?x?满足:

p???L?????U|x??1??

则称区间???L,??U?为参数?置信水平为1??的贝叶斯双侧区间估计。满足：

p?????L|x??1??

的??L称为?的置信水平为1??的（单侧)置信下限。而满足：p?????U|x??1??

的??U称为?的置信水平为1??的（单侧）置信上限。

对于区间估计，经典统计与贝叶斯统计存在本质的区别。在经典统计中，把参数?看成是一个常数，在寻求置信区间时要构造一个分布不含未知参数的枢轴量，这一点比较困难，而且在解释置信水平和置信区间时也产生困难。而在贝叶斯统计中，把参数?看成是一随机变量，在寻求置信区间时直接从后验分布推导即可，而且很自然的可把置信水平为1??的置信区间???L,??U?解释为参数落入这一区间的概率为1??。因此，在区间估计问题上，贝叶斯方法具有处理简单和含义明了的优点。

四、可靠性统计分析

（一）可靠性

可靠性是衡量产品在规定的条件和规定的时间内完成规定功能的能

-9-

力。可靠性技术从开始应用于航天、航空、电子、核能工业中，发展到机械、电气、冶金、仪器仪表等民用工业部门，可靠性理论和方法经过四十多年的建立和发展的历程，今天已成为一门重要的新兴学科。可靠性学科主要包括可靠性数学、可靠性物理和可靠性工程。可靠性数学为可靠性理论的基础。在概率论和数理统计基础上建立起来的可靠性概率模型和统计模型方法是可靠性研究的两个主要数学方法。可靠性数学中概率分布模型的原理是从系统的结构及部件的寿命分布、修理时间分布等有关的信息出发，对不同结构的系统、设备、零件、材料等可靠性研究对象建立概率模型，并藉以推断出与寿命分布有关的可靠性定量指标，由此进一步探讨系统等的最优设计，使用维修策略等。可靠性数学中数理统计模型及方法，即从观测数据出发，通过分析、整理寿命试验数据，确定各部件或系统适合分布的类型，进行分布参数估计，并检验寿命分布的确定性。各种概率模型与统计模型的建立，均可采用解析方法及MonteCarlo模拟两种手段，且运用经典、贝叶斯等不同学派的不同观点及方法来实现。可靠性物理就是以研究失效机理为核心，通过建立物理模型和概率模型，将材料元器件失效的微观本质与宏观的统计规律相结合的新的可靠性研究方法。可靠性工程主要包括可靠性设计技术，可靠性评定技术，可靠性试验方法和可靠性管理。可靠性评定是根据产品的可靠性结构（即系统与部件之间和可靠性关系如串联、并联系繁杂关系等）,寿命及维修模型，试验信息等，利用概率统计方法，给出产品可靠性特征量的区间估计、点估计及优化结果。

（二）贝叶斯在可靠性的应用现状

贝叶斯可靠性分析就是将贝叶斯统计方法应用于可靠性问题中，所考虑的参数认为是随机变量，其先验分布表达了对参数的从前的信念程度。

贝叶斯统计方法在可靠性中的应用，一直受到广泛关注。早在60年代，就已有人将贝叶斯方法用于可靠性统计分析，到了80年代已有这方面的专著，系统而详尽地总结可这一方向的工作。Martz&Waller详尽回想了1982年以前贝叶斯在可靠性中的应用，他们认为，贝叶斯方法在可靠性中的应用具有以下优点：

（1）假使验前信息确凿，贝叶斯推断更确凿；

（2）可以减少测试时间和样本量，即贝叶斯方法适用于小样本状况；（3）在贝叶斯统计推断中，不能接受的推断是来自不确凿的假设（即不确凿的验前信息），而不是有问题的方法论；

-10-

综上所述，通过(5.11)和(5.12)两式，综合考虑生产方和使用方的利益，适当的调整?直到双方都可接受为止,这时求得的值就是该验证试验中的截尾时间。直观上要增大无条件概率p?r?0?必需适当的缩短截尾时间t,实际上这一点从(5.12)式很简单看出，分析(5.11)式要使t减小，?值须减小。

（3）可靠性验证试验方案的具体步骤1、先确定????m的后验分布密度；2、对于给定的?,R0，用(5.11)式解出t值；

3、把其次步中解出的值带入(5.12)中，计算无失效概率p?r?0?，若此概率过小达不到生产方可接受的范围，则在使用方允许的范围内适当的调整?，再重复步骤2直到解出的值使得p?r?0?的值达到生产方的可接受的范围为止；

4、由步骤3确定的t值就是该验证试验中的截尾时间。

于是，若产品的寿命T听从威布尔分布W?m,??,其中m已知，?未知，可靠性验证试验可以如下进行：随机的抽取n月个产品同时独立地进行寿命试验.截尾是为t，(由步骤3确定的)，假使在此规定的时间内无一失效，则可断言(5.5)式成立。

3、m，?均未知时的可靠性验证试验

设产品的寿命T听从威布尔分布W?m,??，其中m，?均未知，则可靠度函数为：

m???t???R?t??exp?????（5.13）

???????若令????m，则（5.9）式变为

R?t??exp???tm?（1）?,m的联合后验分布

取形状参数m的无信息先验分布为均匀分布??m??1m1?m2m1?m?m2

-26-

其中m1,m2的值可根据工程经验或专家确定。

在给定m的前提下，取?的共轭先验分布Ga?a,b????|m??ba??a??a?1e?b?

其中a,b的值可根据前面的方法确定。

?,m的联合后验分布密度为

???,m????m?????|m??1m2?m1??a??ba?a?1e?b???0,m1?m?m2（5.14）

截尾时间为t，在无失效的状况下，n个产品独立地进行定时截尾试验，相应的似然函数为

L?0|?,m??exp??n?tm?（5.15）

由（5.14）和（5.15）两式，根据贝叶斯公式得?,m的联合后验分布密度为

L??,m|0?????,m?L?0|?,m??????,m?L?0|?,m?d?dmMN?MN??m2?m1??a?1baaa?1e?b??e?n?tm??m12?m1??a??b?nt?b

e?b??a?1?e?n?tmd?dm??a?1ee?m??????m1m2?0?a?1?b?nt?m

d?dm??a?1e?b?nt?m???m2m1??a???0,m1?m?m2（5.16）

dm?b?ntm?a（2）截尾时间t的确定

因可靠度R?t??exp???tm?，故由（5.16）式得R,m的联合分布密度为

-27-

??R,m|0???lnR???m?t??a?1?m2m1lnR??mexp??b?nt??m?t??m???tlnRlnt?

??a??b?nt?maadmlnR??lnR??mlnt??m?exp??b?nt??m?t?t????m2??a?

?m1?b?nt?madmR的边缘密度为：

m2??R|0??lnR??lnR??mlnt?expb?nt?dm????mm???t?t???m1a?m2m1??a?（5.17）

?b?nt?madm对于给定的?，由可靠性验证问题（5.17）式得，通过以下方程得t值。

1???R|0?dR?1??（5.18）

R0宛如前面（5.12）式下面的文字说明，再从生产方的利益考虑，适当的调整?，直到双方都可接受为止，这时求得的t值就是该验证试验方案的截尾时间。当m，?均未知时的无条件概率

p?r?0?????,m?L?0|?,m????,m|0?1m2?m1??a??ba

e?b??a?1?e?n?tm??a?1e?b?nt?m??

?bam2m1??