课件及期末考试卷人工智能ai5不确定推理

2023/5/30福州大学计算机科学与技术系1

第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论贝叶斯网络2023/5/30福州大学计算机科学与技术系2

第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论2023/5/30福州大学计算机科学与技术系3基本概念不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。很多原因导致同一结果推理所需的信息不完备背景知识不足信息描述模糊信息中含有噪声规划是模糊的推理能力不足解题方案不唯一在人类的知识和思维行为中，精确性只是相对的，不精确性才是绝对的。知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法。2023/5/30福州大学计算机科学与技术系4基本概念什么是不确定性推理从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程。事实与结论之间存在着不确定的因果关系，且事实也是不确定的。2023/5/30福州大学计算机科学与技术系5基本概念—不确定性推理的基本问题不确定性问题的数学模型表示的3方面问题表示问题： 采用什么方法描述不确定性，这是解决不确定推理关键的一步。计算问题： 不确定性的传播和更新。也是获取新信息的过程。语义问题： 上述表示和计算的含义是什么。>>>2023/5/30福州大学计算机科学与技术系6基本概念—不确定性推理的基本问题表示问题：表达要清楚。表示不仅仅是数，还要有语义描述。通常有数值表示和非数值表示方法，两者都不够完善。数值表示便于计算、比较，再考虑到定性的非数值描述才能较好的解决不确定问题。知识的不确定性描述（静态强度）通常是一数值，一般由领域专家给出。证据的不确定性描述（动态强度）也是一数值，除初始证据由用户给定外，一般通过传递算法计算得到。<<<例：EH,已知f(H,E)和C(E)，计算求得C(H)。2023/5/30福州大学计算机科学与技术系7基本概念—不确定性推理的基本问题计算问题：不确定性的传播和更新算法。包括已知规则EH的强度f(H,E)和前提的不确定性C(E)，如何计算结论的不确定性C(H)=g1(C(E),f(H,E))已知某命题H的不确定性C1(H)，又根据新的证据求得C2(H),如何计算新的C(H)=g2(C1(H),C2(H))定义算法g3，使C(E1∧E2)=g3(C(E1),C(E2))定义算法g4，使C(E1∨E2)=g4(C(E1),C(E2))<<<2023/5/30福州大学计算机科学与技术系8基本概念—不确定性推理的基本问题语义问题：将各个公式解释清楚。例如规则EH的强度f(H,E)有E为真，H为真，则f(H,E)=？E为真，H为假，则f(H,E)=？E对H没有影响，则f(H,E)=？前提E的不确定性度量C(E)有E为真，则C(E)=？E为假，则C(E)=？对E一无所知，则C(E)=？<<<2023/5/30福州大学计算机科学与技术系9基本概念—不确定性推理方法的分类模型方法：把不确定的证据和不确定的知识分别与某种度量标准对应起来，并且给出更新结论的算法，从而构成了相应的不确定性推理模型。模型方法数值方法非数值方法基于概率的方法模糊推理

控制方法：通过识别领域中引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统的影响，此类方法没有处理不确定性的统一模型，其效率极大地依赖于控制策略。2023/5/30福州大学计算机科学与技术系10

第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论2023/5/30福州大学计算机科学与技术系11

第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论2023/5/30福州大学计算机科学与技术系12概率方法经典概率方法EH用概率P(H|E)表示结论H的确定性程度。问题：实际情况P(H|E)不容易求。而P(E|H)较易求。逆概率方法EHi

用概率P(Hi|E)表示结论Hi的确定性程度。

P(Hi|E)=i=1,2,3,……,n优点：理论背景强。缺点：求P(Hi)、P(E|Hi)困难P(Hi)P(E|Hi)(P(Hj)P(E|Hj)j=1n2023/5/30福州大学计算机科学与技术系13

第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论2023/5/30福州大学计算机科学与技术系14

第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论2023/5/30福州大学计算机科学与技术系15主观贝叶斯方法概述在Prospector的探矿系统的研究过程中提出的。 原有贝叶斯公式只考虑E出现对H的影响，没有考虑E不出现的影响。贝叶斯规则：当H为n个互不相容事件的集合时，Bayes公式可写为：2023/5/30福州大学计算机科学与技术系16主观贝叶斯方法思路采用Bayes公式必须有较多的有效样本集，且存在“关联数据”问题，即要知道在Hi下E存在的概率。实际应用中无法实现，需“修正”。先定好应该怎么办，再凑公式。主要是避开P(E|H)的计算。

2023/5/30福州大学计算机科学与技术系17主观贝叶斯方法修正的Bayes公式设只有一个证据E和一个结论H，则

（1）（2）相除，得 2023/5/30福州大学计算机科学与技术系18主观贝叶斯方法修正的Bayes公式设O(H)=P(H)/P(H)为H的先验机率，>>>O(H|E)=P(H|E)/P(H|E)为H的后验机率。则（3）式为同理，有即为修正的Bayes公式 >>>2023/5/30福州大学计算机科学与技术系19主观贝叶斯方法（规则的不确定性）

几率函数O(H)O(H)的性质P(H)=0时,O(H)=0 假P(H)=0.5时,O(H)=1P(H)=1时,O(H)=∞ 真<<<2023/5/30福州大学计算机科学与技术系20主观贝叶斯方法规则的不确定性定义：

表示E为真时，对H为真的影响。（规则成立的充分性）表示E为假时，对H为真的影响。（规则成立的必要性）2023/5/30福州大学计算机科学与技术系21主观贝叶斯方法（规则的不确定性）则：O(H)与LN，LS的关系O(H|E)=LS•O(H)O(H|E)=LN•O(H)2023/5/30福州大学计算机科学与技术系22主观贝叶斯方法（规则的不确定性），且必须满足：2023/5/30福州大学计算机科学与技术系23主观贝叶斯方法（规则的不确定性）LS、LN≥０，不是独立取值的。LS,LN不能同时＞１或＜１LS,LN可同时＝1在实际系统中，LS,LN的值是由专家凭经验给出的，而不是依LS,LN的定义来计算的。

2023/5/30福州大学计算机科学与技术系24主观贝叶斯方法（证据E的不确定性）P(E)或O(E)表示证据E的不确定性2023/5/30福州大学计算机科学与技术系25主观贝叶斯方法（推理计算1）E必出现时：O(H|E)=LS•O(H)O(H|E)=LN•O(H)

若需要概率时：2023/5/30福州大学计算机科学与技术系26主观贝叶斯方法（推理计算1）例：有如下推理图，问当Ei(i-=1,2,3,4,5)存在或不存在时，H的先验概率P(H)=0.03应如何变化？E3E5E2E4HE1R1:20,1R2:300,1R5:1,0.0002R3:7.5,1R4:6,12023/5/30福州大学计算机科学与技术系27主观贝叶斯方法（推理计算2）E不确定时：即P(E)1（1976年的算法）向前看一步E’，E’

为与E有关的所有观察

P(H|E’)=P(H|E)P(E|E’)+P(H|E)P(E|E’)

P(E|E’)=1时，证据E必然出现（P168）

P(E|E’)=0时，LN代替上式的LS，P(E|E’)=P(E)时，(E’对E无影响)，由上式

P(H|E’)=P(H)

2023/5/30福州大学计算机科学与技术系28主观贝叶斯方法（推理计算2）P(E|E’)与P(H|E’)坐标系上的三点：

总之是找一些P(E|E’)与P(H|E’)的相关值，两点也可以做曲线（或折线、直线）。由插值法从线上得到其它点的结果，具体过程见教科书上例题。2023/5/30福州大学计算机科学与技术系29主观贝叶斯方法（推理计算2）P(H|E’)=P(H|E)P(E|E’)+P(H|E)P(E|E’)P.185P(H|E)P(E|E’)P(H|E’)1P(H|E)0P(E)P(H)Pc(E)P(E|E’)P(H|E’)2023/5/30福州大学计算机科学与技术系30主观贝叶斯方法（推理计算2）证据不确定的情况下的EH公式(P.186)0<=P(E|E’)<=P(E)P(E)<=P(E|E’)<=12023/5/30福州大学计算机科学与技术系31主观贝叶斯方法（推理计算2）例：求P(HY|E1)=?HE1R1:20,1HY300,0.001P(H)=0.03P(HY)=0.012023/5/30福州大学计算机科学与技术系32主观贝叶斯方法（推理计算3）两个证据时，证据的合成：

2023/5/30福州大学计算机科学与技术系33主观贝叶斯方法（推理计算3）两个证据时，证据的组合：若E1→H,E2→H,而E1,E2相互独立，E1,E2的观察值分别为E1’,E2’。则H的后验几率为：

例：P.188例5.22023/5/30福州大学计算机科学与技术系34主观贝叶斯方法主观Bayes方法的评价优点：计算方法直观、明了。缺点：要求Hj相互无关（实际不可能）。P(E|H’)与P(Hi)很难计算。应用困难。2023/5/30福州大学计算机科学与技术系35第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论2023/5/30福州大学计算机科学与技术系36第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论2023/5/30福州大学计算机科学与技术系37可信度方法（可信度的概念）可信度（信任度Degreeofconfirmation）：又称证据强度，即一个证据对结论的支持程度。

可信度的完备条件Dc1:IFEHTHENDc(H|E)=max

（当E肯定H时，Dc值最大）Dc2:IFEHTHENDc(H|E)=min

（当E肯定

H时，Dc值最小）Dc3:Dc(HE|E)=Dc(H|E)

（重复证据的获取不应该增加对结论的信任度）Dc4:IFE、H相互独立THENDc(H|E)=02023/5/30福州大学计算机科学与技术系38可信度方法（可信度的概念）

可信度的设计（能反映专家主观判断知识）便于专家使用，如取值范围要直观、方便。在证据不断出现时，可以累加修改，取得肯定的证据时其值增加，出现否定的证据时其值减少。当证据绝对肯定结论时，取最大值，否则取最小值。累加的最终值不应该超过度量的极限值。同一个证据对几个互斥的结论产生影响时，其度量值之和不应该超过极限值。能用于非确定证据的推理。重复的证据不应该改变其累加值。2023/5/30福州大学计算机科学与技术系39可信度方法（确定性方法、C-F模型）MYCIN系统研制过程中产生的不确定推理方法,第一个采用了不确定推理逻辑，70年代很有名。

提出该方法时应遵循的原则不采用严格的统计理论。使用的是一种接近统计理论的近似方法。用专家的经验估计代替统计数据尽量减少需要专家提供的经验数据，尽量使少量数据包含多种信息。新方法应适用于证据为增量式地增加的情况。专家数据的轻微扰动不影响最终的推理结论。2023/5/30福州大学计算机科学与技术系40理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。可信度方法2023/5/30福州大学计算机科学与技术系41理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。

规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。可信度方法2023/5/30福州大学计算机科学与技术系42理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。可信度方法2023/5/30福州大学计算机科学与技术系43

因E而对H信任的增长

规则(规则的不确定性度量）规则

E→H， 可信度表示为CF(H,E)。定义

CF(H,E)=MB(H,E)-MD(H,E)

其中MB(H,E)为不相信H的概率表示由证据E引起的对H相信程度的增加量2023/5/30福州大学计算机科学与技术系44

因E而对H信任的减少

规则(规则的不确定性度量）规则

E→H， 可信度表示为CF(H,E)。定义

CF(H,E)=MB(H,E)-MD(H,E)

其中MD(H,E)为相信H的概率表示由证据E引起的对H不相信程度的增加量2023/5/30福州大学计算机科学与技术系45规则(规则的不确定性度量）规则

E→H， 可信度表示为CF(H,E)。定义

CF(H,E)=MB(H,E)-MD(H,E)

其中MB(H,E)指示信任量度

MD(H,E)指示不信任量度由定义知，MB和MD不可能同时>0，事实上如果MB>0，则MD=0（E有利于H）；如果MD>0，则MB=0（E不利于H）。2023/5/30福州大学计算机科学与技术系46规则(规则的不确定性度量）

当p(H/E)＞p(H)时，表示证据E支持结论H，则有MB>0，MD=0；反之，当p(H/E)<P(H)时，表示E不支持H，则有MB=0，MD>0；当p(H/E)＝p(H)时，表示E对H无影响，则有MB＝MD＝0。值得注意的是，可信度CF(H,E)(即MB,MD)的值通常并不是经由p(H/E)和P(H)来计算的，而是在建立规则库时由领域专家凭经验主观确定的。2023/5/30福州大学计算机科学与技术系47规则(规则的不确定性度量）规则可信度CF(H,E)有性质：1.因为0MB(H,E)1,0MD(H,E)1,则-1CF(H,E)12.若E绝对肯定H，即P(H|E)=1，则MB(H,E)=1,MD(H,E)=0,CF(H,E)=1………..Dc13.若E绝对否定H，即P(H|E)=1，则MB(H,E)=0,MD(H,E)=1,CF(H,E)=-1………..Dc24.若E不能证实H或E、H独立，即P(H|E)=P(H)，则MB(H,E)=0,MD(H,E)=0,CF(H,E)=0………..Dc45.对同一个证据E，支持若干个互斥的结论Hi，则CF(Hi,E)1

………..Dc32023/5/30福州大学计算机科学与技术系48规则(规则的不确定性度量）规则

E→H， 可信度表示为CF(H,E)。2023/5/30福州大学计算机科学与技术系49

规则(规则的不确定性度量）CF(H,E)表示的意义证据为真时相对于P(H)=1-P(H)来说，E对H为真的支持程度。即E发生更支持H发生。此时CF(H,E)≥0。或，相对于P(H)来说，E对H为真的不支持程度。即E发生不支持H发生。此时CF(H,E)<0。结论-1≤CF(H,E)≤12023/5/30福州大学计算机科学与技术系50规则(规则的不确定性度量）CF(H,E)的特殊值：CF(H,E)=1， 前提真，结论必真CF(H,E)=-1，前提真，结论必假CF(H,E)=0，前提真假与结论无关实际应用中CF(H,E)的值由专家确定，并不是由P(H|E),P(H)计算得到的。2023/5/30福州大学计算机科学与技术系51理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。可信度方法2023/5/30福州大学计算机科学与技术系52理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。

规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。可信度方法2023/5/30福州大学计算机科学与技术系53规则(证据的不确定性度量）证据E的可信度表示为CF(E)

同样有：-1≤CF(E)≤1特殊值：CF(E)=1， 前提肯定真

CF(E)=-1， 前提肯定假

CF(E)=0， 对前提一无所知CF(E)＞0，表示E以CF(E)程度为真

CF(E)＜0，表示E以CF(E)程度为假2023/5/30福州大学计算机科学与技术系54理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。可信度方法2023/5/30福州大学计算机科学与技术系55理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。

规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。可信度方法2023/5/30福州大学计算机科学与技术系56规则(推理计算－1）“与”的计算：

E1∧E2→H CF(E1∧E2)=min{CF(E1),CF(E2)}“或”的计算：

E1∨E2→H CF(E1∨E2)=max{CF(E1),CF(E2)}“非”的计算：

CF(E

)=-CF(E

)由E，E→H，求

H：

CF(H)=CF(H,E

)·max{0,CF(E)} (CF(E)＜0时可以不算即为“0”)2023/5/30福州大学计算机科学与技术系57规则(推理计算－2）合成，由两条规则求出再合并：

由CF１(H)、CF２(H)，求CF(H)

2023/5/30福州大学计算机科学与技术系58规则(推理计算－3）更新，CF(H)的更新算法：由CF(E)、E→H、CF(H,E

)、CF(H)，求后验CF(H|E)a)当E必然发生，CF(E)=1时：

2023/5/30福州大学计算机科学与技术系59规则(推理计算－3）更新，CF(H)的更新算法：由CF(E)、E→H、CF(H,E

)、CF(H)，求后验CF(H|E)b)当E不必然发生，0<

CF(E)<1时，用CF(E)CF(H,E)代替CF(E)=1时的CF(H,E)即可。

2023/5/30福州大学计算机科学与技术系60规则(推理计算－3）更新，CF(H)的更新算法：由CF(E)、E→H、CF(H,E

)、CF(H)，求后验CF(H|E)c)当E不必然发生，CF(E)<0时，规则EH不可使用，即此计算不必进行。如MYCIN系统CF(E)0.2就认为是不可使用的。其目的是使专家数据经轻微扰动不影响最终结果。

2023/5/30福州大学计算机科学与技术系61可信度方法例：有以下规则R1:Ife1thenh(0.9)R2:Ife2thenh(0.7)R3:Ife3thenh(-0.8)R4:Ife4ande5thene1(0.7)R5:Ife6and(e7ore8)thene2(1)设系统在问题求解过程中已经获得CF(e3)=0.3,CF(e4)=0.9,CF(e5)=0.6,CF(e6)=0.7,CF(e7)=-0.3,CF(e8)=0.8求CF(H)=?e1e2e3e4e5e6e7e8h0.90.7-0.8

r1r2r3

0.710.3

r4r50.90.60.7

-0.30.82023/5/30福州大学计算机科学与技术系62可信度方法评论可信度方法的宗旨不是理论上的严密性，而是处理实际问题的可用性。不可一成不变地用于任何领域，甚至也不能适用于所有科学领域。推广至一个新领域时必须根据情况修改。2023/5/30福州大学计算机科学与技术系63可信度方法

尽管确定性方法使MYCIN和其它一些专家系统能简单有效地实现不确定性推理，但仍存在不少问题。现归纳如下：

（1）如何将人表示可信度的术语转变为数字化的CFs。例如，人的经验规则常涉及"很可能"、"不大可能"等术语，应对应到多大的CF值。

（2）如何规范化人们对可信度的估计，不同人所作的估计往往相差较大。

2023/5/30福州大学计算机科学与技术系64可信度方法

（3）为防止积累误差，需指定门槛值，但多大合适呢？太小固然不行，但太大也不好，因为可信度的传递需要累计较小的变化。

（4）为改进可信度的精确性，需提供从系统的实际执行反馈的信息，并基于反馈信息调整可信度。这实际上是一种机器学习问题，尚未较好地加以解决。

正因为这些问题的存在，限制了MYCIN提出的确定性方法只能用于对不确定推理的精度要求不高的场合。2023/5/30福州大学计算机科学与技术系65第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论2023/5/30福州大学计算机科学与技术系66第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论2023/5/30福州大学计算机科学与技术系67证据理论(EvidentTheory)概述证据的不确定性应用模型推理计算2023/5/30福州大学计算机科学与技术系68证据理论(EvidentTheory)概述由Dempster首先提出，并由他的学生Shafer发展起来，也称D-S理论。在专家系统的不精确推理中已得到广泛的应用。（也用在模式识别中）证据理论中引入了信任函数，它满足概率论弱公理。在概率论中，当先验概率很难获得，但又要被迫给出时，用证据理论能区分不确定性和不知道的差别。所以它比概率论更合适于专家系统推理方法。当概率值已知时，证据理论就成了概率论。因此，概率论是证据理论的一个特例，有时也称证据论为广义概率论。2023/5/30福州大学计算机科学与技术系69证据理论(EvidentTheory)概述证据的不确定性应用模型推理计算2023/5/30福州大学计算机科学与技术系70证据理论(EvidentTheory)概述证据的不确定性应用模型推理计算2023/5/30福州大学计算机科学与技术系71证据理论(证据的不确定性)证据：用集合D来表示：如D中的每个元素代表一种疾病。讨论一组疾病A发生的可能性时，A变成了单元（某些假设）的集合。D内元素Ai间是互斥的，但Ai中元素间是不互斥的。2023/5/30福州大学计算机科学与技术系72证据理论(证据的不确定性)基本概率分配函数：

M：２D→［0,1］ （在D的幂集２D上定义，取值[0,1］）

M(A)表示了证据对D的子集A成立的一种信任度

有：空集为零

意义 若AD，且AD，表示对A的精确信任度 若A=D，表示这个数不知如何分配2023/5/30福州大学计算机科学与技术系73证据理论(证据的不确定性)基本概率分配函数：例，某个体的颜色只可能为红、兰、绿，则建立相应论域D={红，兰，绿}。可以给D的所有子集分配基本概率，如：M({红，兰，绿},{红，兰},{红，绿},{兰，绿},{红},{兰},{绿},Φ)=(0.2，0.2，0.2，0，0.3，0，0.1，0)。则M({红,兰})=0.2意指该个体颜色为红或兰的信任程度是0.2。0.2不是分配给红就是给兰。注意，M是2D上而非D上的概率分布，所以基本概率M(A)不必等于概率P(A)，而且M(A)≠1。

2023/5/30福州大学计算机科学与技术系74证据理论(证据的不确定性)信任函数Bel：２D→［0,1］。（在D的幂集２D上定义，取值［0,1］）

Bel(A)=有:Bel(Φ)=M(Φ)=0, Bel(D)==1

Bel类似于概率密度函数，表示A中所有子集的基本概率分配数值的和，用来表示对A的总信任度。

2023/5/30福州大学计算机科学与技术系75证据理论(证据的不确定性)信任函数在上例中，D={红，兰，绿}，M({红，兰，绿},{红，兰},{红，绿},{兰，绿},{红},{兰},{绿},Φ)

=(0.2，0.2，0.2，0，0.3，0，0.1，0)。则

Bel({兰，绿})=M({兰})+M({绿})+M({兰，绿})=0+0.1+0=0.1。

Pl({红,绿})=1-Bel({兰})=1-0=12023/5/30福州大学计算机科学与技术系76证据理论(证据的不确定性)似然函数（不可驳斥函数）Pl：２D→［0,1］。 （在D的幂集２D上定义，取值［0,1］）

Pl(A)=1-Bel(A)=

性质：

0≤Bel(A)≤Pl(A)≤1(Bel是Pl的一部分)

称Bel(A)和Pl(A)是A的下限不确定性值和上限不确定性值。2023/5/30福州大学计算机科学与技术系77证据理论(证据的不确定性)设函数g[Bel(A),Pl(A)]

，则有如下特殊值：

g[0,1]：表示对A一无所知

g[1,1]：表示A为真

g[0,0]：表示A为假g[a,1]：表示对A的部分信任,0<a<1g[0,b]：表示对A的部分信任,0<b<1g[a,b]：表示同时对A和A的部分信任

2023/5/30福州大学计算机科学与技术系78证据理论(证据的不确定性)似然函数（不可驳斥函数）在上例中，D={红，兰，绿}，M({红，兰，绿},{红，兰},{红，绿},{兰，绿},{红},{兰},{绿},Φ)

=(0.2，0.2，0.2，0，0.3，0，0.1，0)。Bel({兰，绿})=0.1则Pl({红})=1-Bel({兰，绿})=1-0.1=0.9。又

Bel({红})=0.3所以{红}[0.3,0.9]表示{红}的精确信任为0.3，不可驳斥部分为0.9，即肯定不是{红}为1-0.9=0.1。

2023/5/30福州大学计算机科学与技术系79证据理论(推理计算)综合概率分配函数（正交和）（对于同样的证据，由于来源不同，得到二个概率分配函数M1,M2

）定义：M=

M1⊙M2

规定：M(Φ)=0

，

M(A)=

其中K＝1－且K

0。若K＝0，认为M1，M2矛盾，没有联合基本概率分配函数。2023/5/30福州大学计算机科学与技术系80证据理论(推理计算)综合概率分配函数（正交和）举例：设：D={p,q}M1({p},{q},{p,q},{})=(0.4,0.4,0.2,0)M2({p},{q},{p,q},{})=(0.5,0.4,0.1,0)k=1-(M1({p})M2({q})+M1({q})M2({p}))=1-0.4*0.4-0.4*0.5=0.64M({p})=[M1({p})M2({p})+M1({p})M2({p,q})+M1({p,q})M2({p})]/k=(0.4*0.5+0.4*0.1+0.2*0.5)/0.64=0.53125M({q})=0.4375M({p,q})=0.03125则M({p},{q},{p,q},{})=(0.53,0.44,0.03,0)2023/5/30福州大学计算机科学与技术系81证据理论概述证据的不确定性应用模型推理计算2023/5/30福州大学计算机科学与技术系82证据理论概述证据的不确定性应用模型推理计算2023/5/30福州大学计算机科学与技术系83证据理论(应用模型)针对一个特殊的概率分配函数讨论一种具体的不精确推理模型：设：D={s1,s2,…,sn},在D上定义的概率分配函数M满足

1）M({si})≥0对任何si∈D2)∑M({si})≤13)M(D)=1-∑M({si})4）M(A)=0，当AD且|A|>1或|A|=0时

这里定义了基本理论的一个特殊情况，仅单个元素组成的子集的概率分配数大于等于0；由一个以上元素组成的子集概率分配数均为0。2023/5/30福州大学计算机科学与技术系84证据理论(应用模型)则：

1）Bel(A)=∑M({si})对任何si∈A2)Bel(D)=M({si})+M(D)=13)Pl(A)=1-Bel(┒A)=1-∑M({si})对任何si∈┒A=1-[1-M(D)-Bel(A)]=M(D)+Bel(A)4）Pl(D)=1-Bel(┒D)=1-Bel(Φ)=12023/5/30福州大学计算机科学与技术系85证据理论(证据的不确定性)定义：命题A的类概率函数

其中|A|、|D|为集合内元素个数。性质：对于AD

∑f(si)=1，i=1,2,…,nBel(A)≤f(A)≤Pl(A)f(┒A)=1-f(A)f(Φ)=0，

f(D)=1，

0≤f(A)≤12023/5/30福州大学计算机科学与技术系86证据理论(规则的不确定性)推理形式：设子集合E、A，其中E={e1,e2,…,el}, A={a1,a2,…,ak}，用相应的向量(c1,c2,…,ck)描述

规则E→A，

其中：ci≥0,1≤i≤k,且∑cj≤1，

1≤j≤k

用于指示前提E成立时假设ai成立的可信度。已知事件E，由f

(E)求M(ak),M(ak)=f

(E)ck

2023/5/30福州大学计算机科学与技术系87证据理论(证据的不确定性)

设规则EA

={a1，a2，…，am},CF

其中CF={C1，C2，…，Cm}

证据E的不确定性可以用类概率函数f(E)表示，原始证据的f(E)应由用户给定，作为中间结果的证据则由下面的不确定性传递算法确定。

2023/5/30福州大学计算机科学与技术系88证据理论(证据的不确定性)

命题的确定性CER定义设A是规则条件部分的命题，E’是外部输入的证据和已证实的命题，命题A与E’的匹配程度MD(A|E’)为若A的所有元素出现在E’里，则MD(A|E’)=1，否则MD(A|E’)=0

则CER(A)=MD(A|E’)*f(A)称为命题A的确定性。可以证明0≤CER(A)≤12023/5/30福州大学计算机科学与技术系89证据理论(不确定性传递算法)

对于上述具有不确定性的规则，定义

(i=1,2,…,m)

或缩简记为

规定，则对于U的所有其它子集H，均有

m(H)＝0；

所以当A为U的真子集时，有

进一步可以计算Pl(A)和f(A)。2023/5/30福州大学计算机科学与技术系90证据理论概述证据的不确定性规则的不确定性推理计算2023/5/30福州大学计算机科学与技术系91证据理论概述证据的不确定性规则的不确定性推理计算2023/5/30福州大学计算机科学与技术系92证据理论(推理计算)f(E1∧E2)=min{f

(E1),f

(E2)}

f

(E1∨E2)=max{f

(E1),f

(E2)}

已知:f

(E)，E→A，(c1,c2,…,ck)。求:f

(A)

规定：M({a1},{a2},…,{ak})= (f

(E)c1,f

(E)c2,…,f

(E)ck)

M(D)=1–2023/5/30福州大学计算机科学与技术系93证据理论(推理计算)证据的组合：M1,M2在D上的合成（对于同样的证据，由于来源不同，得到二个概率分配函数M1,M2

）定义：M=

M1⊙M2

规定：M(Φ)=0

，

M({si})=其中K＝M1(D)M2(D)+2023/5/30福州大学计算机科学与技术系94证据理论(举例)设有如下推理规则：

2023/5/30福州大学计算机科学与技术系95证据理论(举例)

Ei（i=1,2,…,6）是原始证据，用户在系统运行时已给定它们的类概率如下：

设定|U|＝10，求假设A的确定性。

这些规则形成与或形推理树（如图）。2023/5/30福州大学计算机科学与技术系96证据理论(举例)0.50.70.90.90.80.72023/5/30福州大学计算机科学与技术系97证据理论(优缺点)

优点：直观地表示了不了解的部分。

缺点：推理（如辨别框的划分）较困难，缺乏实践检验。2023/5/30福州大学计算机科学与技术系98第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论贝叶斯网络2023/5/30福州大学计算机科学与技术系99第五章不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论贝叶斯网络2023/5/30福州大学计算机科学与技术系100贝叶斯网络举例:道路交通问题假设你在道路上驾驶，因为交通拥挤，你在慢慢减速。你开始寻找减速的原因。莫非前方道路施工？或者出现交通事故？不过，能确定的是你在不断的减速。假设有三个参数：S表示交通缓慢（减速）；C表示道路施工；A表示交通事故。有关于该道路的交通统计数据：2023/5/30福州大学计算机科学与技术系101贝叶斯网络根据统计，有交通缓慢S，道路施工C，交通事故A的联合概率分布，如右表。可以计算当交通不拥堵但前方有道路施工的概率为0.01+0.05=0.06等交通数据处理问题。

SCApTTT0.01TTF0.03TFT0.16TFF0.12FTT0.01FTF0.05FFT0.01FFF0.612023/5/30福州大学计算机科学与技术系102贝叶斯网络当你还在寻找减速原因的时候，你发现在隔离墩上摆放有橙色桶开始切断外车道的交通，此时，你能判定是因为前方道路施工导致交通缓慢，而不是交通事故原因。2023/5/30福州大学计算机科学与技术系103贝叶斯网络类似地，如果你已经在前方看到闪光灯，可能是警车或救护车发出，在得到新证据后，你能判定出现交通事故了。不过，我们说某个假设是基本可以排除的，并不意味着该假设就完全不可能。确切地说，在发现新证据的背景下，此假设的可能性减少了。

2023/5/30福州大学计算机科学与技术系104贝叶斯网络所以，道路施工（C）与橙色桶（B）和交通缓慢（T）是有关系的。同样，交通事故（A）与闪光灯（L）和交通缓慢是相关的，如右图。通过分析，构造C和T的联合概率分布表，如右表。如右表，如果道路不施工，那么出现交通缓慢的可能性相对较小（0.1），反之就较大。CATBLCTpTT0.3TF0.2FT0.1FF0.4道路施工交通事故闪光灯交通缓慢橙色桶2023/5/30福州大学计算机科学与技术系105贝叶斯网络考虑，如果交通缓慢，那么是由道路施工引起的概率有多少？即P(C|T)=?P(C|T)=P(C=t,T=t)/(P(C=t,T=t)+P(C=f,T=t))=0.3/(0.3+0.1)=0.75该道路出现施工的先验概率为0.5。如果知道出现交通缓慢，该道路施工的概率将上升为0.75。由于橙色桶的出现，基本排除交通事故的假设。CATBLCTpTT0.3TF0.2FT0.1FF0.4道路施工交通事故闪光灯交通缓慢橙色桶2023/5/30福州大学计算机科学与技术系106贝叶斯网络二十世纪八十年代贝叶斯网络成功地应用于专家系统，成为表示不确定性专家知识和推理的一种流行的方法。基于贝叶斯方法的贝叶斯网络是一种适应性很广的手段和工具，具有坚实的数学理论基础。在综合先验信息（领域知识）和数据样本信息的前提下，还可避免只使用先验信息可能带来的主观偏见。虽然很多贝叶斯网络涉及的学习问题是NP难解的。但是，由于已经有了一些成熟的近似解法，加上一些限制后计算可大为简化，很多问题可以利用近似解法求解。2023/5/30福州大学计算机科学与技术系107贝叶斯网络贝叶斯网络方法的不确定性表示基本上是保持了概率的表示方式，可信度计算也是概率计算方法，只是在实现时，各具体系统根据应用背景的需要采用各种各样的近似计算方法。推理过程称为概率推理。因此，贝叶斯网络没有其它确定性推理方法拥有的确定性表示、计算、语义解释等问题。本节只介绍贝叶斯网络的基本概念和简单的推理方法。2023/5/30福州大学计算机科学与技术系108贝叶斯网络（基本概念）贝叶斯网络（BayesianNetworks）也被称为信念网络（BelifNetworks）或者因果网络（CausalNetworks），又叫概率网络（ProbabilityNetwork），是描述数据变量之间依赖关系的一种图形模式，是一种用来进行推理的模型。贝叶斯网络为人们提供了一种方便的框架结构来表示因果关系，这使得不确定性推理变得在逻辑上更为清晰、可理解性强。2023/5/30福州大学计算机科学与技术系109贝叶斯网络（基本概念）一个贝叶斯网由节点和节点之间的弧组成。每个节点对应一个随机变量Ｘ，并且具有一个对应该随机变量的概率值Ｐ（Ｘ）。如果存在一条从节点Ｘ到节点Ｙ的有向弧，则表明Ｘ对Ｙ有直接影响。该影响被条件概率Ｐ（Ｙ|Ｘ）所指定。网络是一个有向无环图（DAG,directedacyclicgraph），即图中没有环。节点和节点之间的弧定义了网络的结构，而条件概率是给定结构的参数。

贝叶斯网络示例Burglary盗贼Earthquake地震Li_CallsZhang_CallsAlarm警报BEP(A)tttfftff0.950.940.290.001AP(Z)tf0.900.05AP(L)tf0.700.01P(B)0.001P(E)0.0022023/5/30福州大学计算机科学与技术系111贝叶斯网络的语义贝叶斯网络的两种含义对联合概率分布的表示—构造网络对条件依赖性语句集合的编码—设计推理过程贝叶斯网络的语义P(x1,...,xn)=P(x1|parent(x1))...P(xn|parent(xn))2023/5/30福州大学计算机科学与技术系112贝叶斯网络的语义公式计算示例：

试计算：报警器响了，但既没有盗贼闯入，也没有发生地震，同时Zhang和Li都给你打电话的概率。解：

P(Z,L,A,~B,~E)=P(Z|A)P(L|A)P(A|~B,~E)P(~B)P(~E)=0.9*0.7*0.001*0.999*0.998=0.00062=0.062%2023/5/30福州大学计算机科学与技术系113贝叶斯网络（基本概念）对于贝叶斯网络，我们可以用两种方法来看待它：首先贝叶斯网表达了各个节点间的条件独立关系，我们可以直观的从贝叶斯网当中得出属性间的条件独立以及依赖关系；另外可以认为贝叶斯网用另一种形式表示出了事件的联合概率分布，根据贝叶斯网的网络结构以及条件概率表（CPT）我们可以快速得到每个基本事件（所有属性值的一个组合）的概率。2023/5/30福州大学计算机科学与技术系114贝叶斯网络（基本概念）贝叶斯学习理论利用先验知识和样本数据来获得对未知样本的估计，而概率（包括联合概率和条件概率）是先验信息和样本数据信息在贝叶斯学习理论当中的表现形式。2023/5/30福州大学计算机科学与技术系115贝叶斯网络（事件的独立性）独立：如果X与Y相互独立，则

P(X,Y)=P(X)P(Y)P(X|Y)=P(X)条件独立：如果在给定Z的条件下，X与Y相互独立，则

P(X|Y,Z)=P(X|Z)实际中，条件独立比完全独立更重要2023/5/30福州大学计算机科学与技术系116贝叶斯网络（联合概率）联合概率：P(X1,X2,…,XN)二值，则有2N可能的值，其中2N-1个独立。如果相互独立：

P(X1,X2,…,XN)=P(X1)P(X2)…P(XN)一般来说，有n个命题X1,X2,…,XN之间相互关系的一般知识可以用联合概率分布来描述，但这样处理使得问题过于复杂。人类在推理过程中，知识并不是以联合概率分布形表现的，而是以变量之间的相关性和条件相关性表现的，即可以用条件概率表示：2023/5/30福州大学计算机科学与技术系117贝叶斯网络（联合概率）条件概率：

P(X1,X2,…,XN)=P(X1|X2,…,XN)P(X2,…,XN)迭代表示(乘法公式)：P(X1,X2,…,XN)=P(X1)P(X2|X1)P(X3|X2X1)…P(XN|XN-1,…,X1)=P(XN)P(XN-1|XN)P(XN-2|XN-1XN)…P(X1|X2,…,XN)

2023/5/30福州大学计算机科学与技术系118贝叶斯网络以道路交通为例，考虑所有参数的联合概率的计算：P(C,A,B,T,L)=P(C)P(A|C)P(B|C,A)P(T|C,A,B)P(L|C,A,B,T)

构造一个联合概率表的代价是与其所涉及的参数数目成指数比的，该例需要一个大小为32（25）的表。如果有30个参数，将达到100万个元素。实际应用中就是利用条件独立性的性质简化网络复杂性的。CATBL道路施工交通事故闪光灯交通缓慢橙色桶2023/5/30福州大学计算机科学与技术系119贝叶斯网络联合概率的计算：P(C,A,B,T,L)=P(C)P(A|C)P(B|C,A)P(T|C,A,B)P(L|C,A,B,T)简化为P(C,A,B,T,L)=P(C)P(A)P(B|C)P(T|C,A)P(L|A)

比如P(B|C,A)简化为P(B|C)，基于道路施工不是交通事故的原因。类似，橙色桶的出现不是交通缓慢的原因，但道路施工和交通事故是交通缓慢的起因等。概率分布只有20个参数，而不是32个。

CATBL道路施工交通事故闪光灯交通缓慢橙色桶2023/5/30福州大学计算机科学与技术系120贝叶斯网络（基本概念）贝叶斯网络：一系列变量的联合概率分布的图形表示。一个表示变量之间的相互依赖关系的数据结构；图论与概率论的结合。2023/5/30福州大学计算机科学与技术系121贝叶斯网络（因果关系网络）假设：命题S(smoker)：该患者是一个吸烟者命题C(coalMiner)：该患者是一个煤矿矿井工人命题L(lungCancer)：他患了肺癌命题E(emphysema)：他患了肺气肿由专家给定的假设可知，命题S对命题L和命题E有因果影响，而C对E也有因果影响。2023/5/30福州大学计算机科学与技术系122贝叶斯网络（因果关系图例）命题之间的关系可以描绘成因果关系网。每一个节点代表一个证据，每一条弧代表一条规则（假设），连接结点的弧表达了由规则给出的，节点间的直接因果关系。SCEL

因果关系图例:其中，节点S，C是节点L和E的父节点或称双亲节点，同时，L，E也称为是S和C的子节点或称后代节点。

吸烟者矿井工人肺癌肺气肿2023/5/30福州大学计算机科学与技术系123贝叶斯网络（贝叶斯网络）贝叶斯网就是一个在弧的连接关系上加入连接强度的因果关系网络

(CausalNetwork)

。如果A是B的父结点，P(B|A)就是这两个结点的连接强度；如果C也是

B的一个双亲结点，则用联合概率P(B|AC)来描述。当结点没有父结点时，称为顶点。贝叶斯网必须指定顶点的先验概率。2023/5/30福州大学计算机科学与技术系124贝叶斯网络（图例）

BADEFCG贝叶斯网络图例无环图和指定概率值P(A),P(C),P(B|AC),P(E|B),P(B|D),P(F|E),P(G|DEF)

2023/5/30福州大学计算机科学与技术系125贝叶斯网络（图例）贝叶斯网是一个有向无环图。如果结点间有反馈回路，从各个方向就可以得到不同的连接权值，而使得最后难以确定。右图是一个有环的网络，不是贝叶斯网。BADCEGF非贝叶斯网络图例2023/5/30福州大学计算机科学与技术系126贝叶斯网络（定义）两个部分贝叶斯网络结构图，这是一个有向无环图（DAG:DirectedAcyclicGraph），其中图中的每个节点代表相应的变量。当有向弧由节点A指向节点B时，则称：A是B的父节点；B是A的子节点。节点和节点之间的条件概率表（ConditionalProbabilityTable,CPT），也就是一系列的概率值，表示了局部条件概率分布。P(node|parents)。目的：由证据得出原因发生的概率。

即观察到P(Y)，求P(X|Y)2023/5/30福州大学计算机科学与技术系127贝叶斯网络（如何构造）选择变量，生成节点从左至右（从上到下），排列节点填充网络连接弧，表示节点之间的关系得到条件概率关系表2023/5/30福州大学计算机科学与技术系128贝叶斯网络（计算）有向非循环图是各个节点变量关系传递的合理表达形式。条件概率的引入使得计算较之全连接网络有了大大的简化。条件概率表（CPT）相对比较容易得到。有时可以用某种概率分布表示，需要做的指示计算表示的参数。2023/5/30福州大学计算机科学与技术系129贝叶斯网络（计算续）简单的联合概率可以直接从网络关系上得到如：P(X,Y)=P(X)P(Y|X)又如：P(X,Y,Z)=P(X)P(Y)P(Z|X,Y)XYP(X)P(Y|X)XZYP(X)P(Z|Y,X)P(Y)2023/5/30福州大学计算机科学与技术系130贝叶斯网络（例）条件概率表（CPT）为：P(S)=0.4P(C)=0.3(E|S,C)=0.9P(E|S,~C)=0.3P(E|~S,C)=0.5P(E|~S,~C)=0.1贝叶斯网络实例图

SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9吸烟者矿井工人肺癌肺气肿y>>>z>>>2023/5/30福州大学计算机科学与技术系131贝叶斯网络（例续）上图例中的联合概率密度为由图可知：E与L在S条件下独立，所以P(E|S,C,L)＝P(E|S,C)

L与C在S,E条件下独立，所以P(L|S,C)=P(L|S)

C与S在E条件下独立，所以P(C|S)=P(C)

SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9吸烟者矿井工人肺癌肺气肿2023/5/30福州大学计算机科学与技术系132贝叶斯网络（例续）以上三条等式的正确性，可以从贝叶斯网的条件独立属性：每个变量与它在图中的非继承节点在概率上是独立的推出。同样，从后面给出的D分离的定义的特性中也可以得到相同的结论。简化后的联合概率密度为，

显然，简化后的公式比原始的数学公式更加简单明了，计算复杂度低很多。如果原贝叶斯网中的条件独立语义数量较多，这种减少更加明显。2023/5/30福州大学计算机科学与技术系133贝叶斯网络（独立）独立P(X,Y)=P(X)P(Y)P(X|Y)=P(X)P(Y|X)=P(Y)独立时求解可以直接在网络图上求2023/5/30福州大学计算机科学与技术系134贝叶斯网络（条件独立）对于X,Y,E:X与Y在给定E的条件下独立P(X|Y,E)=P(X|E)P(Y|X,E)=P(Y|E)多个变量组：d分离（d-separate）P(X1,X2,…,Xn|Y1,Y2,…,Ym,E1,E2,…,Ep)=P(X1,X2,…,Xn|E1,E2,…,Ep)如果一组节点X在给定E的条件下，从Xi到Yj的每一条通路都Ekd分离，则称X独立于另一组节点Y(节点组Ed分离X与Y)2023/5/30福州大学计算机科学与技术系135贝叶斯网络（D分离）图中有三个节点S，L，EL（结果）影响S（起因），S影响E（另一个结果）。如果给定原因S后，L并不能告诉我们有关E的更多事情。即对于S，L和E是相对独立的，那么在计算S和L的关系时就不用过多地考虑E，将会大大减少计算复杂度。称S能D分离L和E。D分离是一种寻找条件独立的有效方法，可以简化推理计算。

SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9吸烟者矿井工人肺癌肺气肿2023/5/30福州大学计算机科学与技术系136贝叶斯网络（D分离-串行连接）Linear

串行连接中，事件X通过事件Z影响事件Y，反之事件Y也是通过事件Z影响事件X。但是，如果原因证据Z是给定的，X并不能给Y更多的东西，或者说，从X那里得到更多的信息。此时称，如果Z是已知的，那么通道就被阻塞，X和Y就是独立的了。则称X和Y是被Z节点D分离的。例：X(用旧活塞)，Y(很低的油量)，Z(油的过量消耗)，Z被实例化后，X，Y相互独立。

XZY2023/5/30福州大学计算机科学与技术系137贝叶斯网络