主观贝叶斯方法

1、 主观bayes方法 概述l主观bayes方法l又称为主观概率论l一种处理不确定性推理l一种基于概率逻辑的方法l以概率论中的贝叶斯公式为基础l首先应用于地矿勘探专家系统prospector5.3.1 基本bayes公式 概率论基础l条件概率：条件概率：设设a，b是两个随机事件，是两个随机事件， ，则，则是在是在b事件已经发生的条件下，事件已经发生的条件下， a事件发送的概事件发送的概率。率。乘法定理乘法定理:0)(bp)()()|(bpabpbap)()|()(bpbapabp5.3.1 基本bayes公式全概率公式：设全概率公式：设 事件满足：事件满足： 两两互不相容，即当两两互不相容，即当

2、 时，时，有有 样本空间样本空间 则对任何事件则对任何事件b, 有下式成立：有下式成立： 称为称为全概率公式全概率公式。 ji jiaa)1 ( 0)(niapiuniiad1)|()()(1iniiabpapbpnaaa,.,215.3.1 基本bayes公式bayesbayes公式：设公式：设 事件满足：事件满足： 两两互不相容，即当两两互不相容，即当 时，时，有有 样本空间样本空间 则对任何事件则对任何事件b, 有下式成立：有下式成立： 称为称为贝叶斯公式贝叶斯公式。 ji jiaa)1 ( 0)(niapiuniiad1nibpabpapbapiii,.,2 , 1,)()|()()|

3、(naaa,215.3.1 基本bayes公式l把全概率公式带入贝叶斯公式后，得如下公式:njjjiiiabpapabpapbap1)|()()|()()|(ni,.,2 , 15.3.1 基本bayes公式l又有产生式规则lif e then hil用产生式中的前提条件e代替bayes公式中的b，用hi 代替公式中的ai,就可以得到公式：l用来求得在条件e下，hi的先验概率。nihphephphepehpnjjjiii,.,2 , 1,)()|()()|()|(15.3.1 基本bayes公式l在有些情况下，有多个证据e1,e2,en和多个结论h1,h2,.,hn，并且每个证据都以一定程度支

4、持结论，这是可对上面的公式进行扩充，得：nihphiephephphephepeeehpnjjmjiimini,.,2 , 1,)()|(.)|()()|(.)|().|(111215.3.1 基本bayes公式l此时，只要知道hi的先验概率p(hi)以及hi成立时证据e1,e2,em出现的条件概率p(e1|hi),p(e2|hi),p(em|hi)，就可以求得在e1,e2,.,em出现情况下hi的条件概率p(hi|e1e2.em)5.3.2 主观bayes方法l主观bayes方法的基本思想l由于证据e的出现，使得p (h)变为p(h|e)l主观bayes方法,就是研究利用证据e，将先验概率p

5、(h)更新为后验概率p(h|e)l主观bayes方法引入两个数值（ls，ln）用来度量规则成立的充分性和必要性。其中，lls: 充分性量度lln: 必要性量度5.3.3 知识不确定性的表示l1.知识表示方法知识表示方法l在地矿勘探专家系统中，为了进行不确定性推理，把所有的知识规则连接成一个有向图，图中的各节点代表假设结论，弧代表规则。l在主观bayes方法中，知识的不确定性是以一个数值对（ls，ln）来进行描述的。其具体产生式规则形式表示为：lif e then (ls,ln) h (p(h)5.3.3 知识不确定性的表示l其中，(ls,ln)是为度量产生式规则的不确定性而引入的一组数值，用来

6、表示该知识的强度，ls和lz的表示形式如下。l(1)充分性度量(ls)的定义)|()|(hephepls它表示e对h的支持程度，取值范围为0,+)。5.3.3 知识不确定性的表示l(2)必要性度量的定义它表示e对h的支持程度，即e对h为真的必要程度，取值范围0,+)。)|(1)|(1)|()|(hephephephepln5.3.3 知识不确定性的表示l结合bayes公式，得：p(h|e)=p(e|h)p(h)/p(e)lbayes公式除以上式得：)()()|()|()|()|(hphphephepehpehp5.3.3 知识不确定性的表示l为了讨论方便，引入几率函数 又l则可以化为)(1)(

7、)(xpxpxo)(1)()(xoxoxp)|()|(hephepls)()()|()|()|()|(hphphephepehpehp)()|(holseho5.3.3 知识不确定性的表示l上式被称为bayes公式的几率似然性形式。ls称为充分似然性，如果ls-+，则证据e对于推出h为真是逻辑充分的。l同理，可得关于ln的公式：lo(h| e)=ln o(h)l其被称为bayes公式的必率似然性形式。ln称为必然似然性，如果ln=0，则有o(h| e)=0。这说明当e为真时，h必为假，即e对h来说是必然的。5.3.3 知识不确定性的表示l2.ls和ln的性质(1)ls的性质ls表示证据e的存在

8、，影响结论h为真的概率：o(h|e)=ls o(h)l当ls1时，p(h|e)p(h),即e支持h，e导致h为真的可能性增加；l当ls-+时,表示证据e将致使h为真；l当ls=1时，表示e对h没有影响，与h无关；l当ls1时，p(h|e)p(h),即e支持h，e导致h为真的可能性增加；l当ln-+时,表示证据e将致使h为真；l当ln=1时，表示e对h没有影响，与h无关；l当ln1且ln1ls1ls=1=ln5.3.4 证据不确定性的表示l1.单个证据不确定性的表示方法单个证据不确定性的表示方法l证据通常可以分为全证据和部分证据。全证据就是所有的证据，即所有可能的证据和假设，他们组成证据e。部分

9、证据s就是e的一部分，这部分证据也可以称之为观察。在主观bayes方法中，证据的不确定性是用概率表示的。全证据的可行度依赖于部分证据，表示为p(e|s)，为后验概率。5.3.4 证据不确定性的表示l2.组合证据的不确定性的确定方法组合证据的不确定性的确定方法l当证据e由多个单一证据合取而成，即l如果已知p(e1|s), p(e2|s),p(en|s)，则lp(e|s)=minp(e1|s),p(e2|s),p(en|s)l若证据e由多个但以证据析取而成，即lp(e|s)=maxp(e1|s),p(e2|s),p(en|s)l对于非运算，lp(e|s)=1-p(e|s)neeee.21neeee

10、.215.3.5 不确定性推理计算l1.确定性证据确定性证据l(1)证据确定出现时证据e肯定出现的情况下，吧结论h的先验概率p(h)更新为后验概率p(h|s)的计算公式为：l(2)证据确定不出现时证据e肯定不出现的情况下，把结论h的先验概率p(h)更新为后验概率p(h|e)的计算公式为：1)() 1()()|(hplshplsehp1)() 1()()|(hplnhplnehp5.3.5 不确定性推理计算l(2)不确定性证据l在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在l用户提供的原始证据不精确l用户的观察不精确l推理出的中间结论不精确l假设s是对e的观察,则p(e|s)表示

11、在观察s下, e为真的概率, 值在0,1；5.3.5 不确定性推理计算l此时0p(e|s)1，故计算后验概率p(r|s), 不能使用bayes公式l可以采用下面的公式修正（杜达公式）)|()|()|()|()|(sepehpsepehpshp1）e肯定存在，即p(e|s)=1, 且p( e | s)=0，杜达公式简化为：1)() 1()()|()|(hplshplsehpshp5.3.5 不确定性推理计算2）e肯定不存在，即p(e|s)=0, p( e | s)=1，杜达公式简化为：1)() 1()()|()|(hplnhplnehpshp3） p(e|s)= p(e)，即e和s无关, 利用全

12、概率公式（公式7），杜达公式可以化为：)()()|()()|()|(hpepehpepehpshp5.3.5 不确定性推理计算4)当p(e|s)为其它值（非0，非1，非p(e)）时，则需要通过分段线形插值计算：1)|()(),()|()(1)()|()()()|(0),|()()|()()|()|(sepepepsepephpehphpepsepsepepehphpehpshp?5.3.6结论不确定性的合成和更新算法l1.结论不确定性的合成算法结论不确定性的合成算法ln条规则都支持同一结论r,l这些规则的前提条件e1,e2, en 相互独立l每个证据所对应的观察为s1,s2, snl先计算o(h|si)，然后再计算所有观察下， h的后验几率计算方法:)()()|()()|()()|(),.,|(2121hohoshohoshohoshossshonnl5.3.6结论不确定性的合成和更新算法l2.结论不