第五章人工智能蔡自兴

第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论1第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论2概述不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。很多原因导致同一结果推理所需的信息不完备背景知识不足信息描述模糊信息中含有噪声规划是模糊的推理能力不足解题方案不唯一在人类的知识和思维行为中，精确性只是相对的，不精确性才是绝对的。知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法。3概述-表示的3方面问题不确定问题的数学模型表示的3方面问题表示问题： 表达要清楚。表示方法规则不仅仅是数，还要有语义描述。计算问题： 不确定性的传播和更新。也是获取新信息的过程。4不确定性推理例子例如，对于如下的推理过程：R1：A1∧A2→B1R2：A2∨A3→B2R3：B1→BR4：B2→B 在描述这些规则时 采用的都是不确定性知识表示方式5推理树结果图6概述-表示的3方面问题语义问题：将各个公式解释清楚。语义问题：如何解释表示和计算的含义，目前多用概率方法。如：f（B，A）可理解为当前提A为真时结论B为真的一种影响程度，C（A）可理解为A为真的程度。特别关心的是f（B，A）的值：(T：True，F：False) 1）A(T)→B(T),f（B，A）=? 2）A(T)→B(F),f（B，A）=? 3）B独立于A，f（B，A）=?对C（A）关心的是： 1）A为TRUE，C（A）＝？ 2）A为FALSE,C（A）＝？7概述-分类（1）不确定性推理方法可分为形式化方法和非形式化方法。形式化方法有逻辑法、新计算法和新概率法。逻辑法是非数值方法，采用多值逻辑和非单调逻辑来处理不确定性。传统的有基于概率理论的贝叶斯网络等。新计算法认为概率法不足以描述不确定性，从而出现了证据理论（也叫Dempster－Shafter，D-S方法），确定性方法（CF法）以及模糊逻辑方法。新概率法试图在传统的概率论框架内，采用新的计算方法以适应不确定性描述。8概述-分类（1）不确定性推理方法可分为形式化方法和非形式化方法。非形式化方法是指启发性方法，对不确定性没有给出明确的概念。

9概述-分类（2）不确定推理方法：工程方法、控制方法和并行确定性法。工程法是将问题简化为忽略哪些不确定性因素。控制法是利用控制策略来消除不确定性的影响，如启发式的搜索方法。并行确定性法是把不确定性的推理分解为两个相对独立的过程：一个过程不计不确定性采用标准逻辑进行推理；另一过程是对第一个过程的结论加以不确定性的度量。前一过程决定信任什么，后一过程决定对它的信任程度。

10第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论11第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论12概率论基础概率论是研究随机现象中数量规律的科学。所谓随机现象是指在相同的条件下重复进行某种实验时，所得实验结果不一定完全相同且不可预知的现象.众所周知的是掷硬币的实验。人工智能所讨论的不确定性现象，虽然不完全是随机的过程，但是实践证明，采用概率论的思想方法考虑能够得到较好的结果。在这节中我们简单给出概率论的基本概念和贝叶斯定理。

13概率论基础（随机事件）随机实验：随机实验是一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果。

样本空间：样本空间是一个随机实验的全部可能出现的结果的集合，通常记作Ω，Ω中的点（即一个可能出现的实验结果）成为样本点，通常记作ω。随机事件：随机事件是一个随机实验的一些可能结果的集合，是样本空间的一个子集。常用大写字母A,B,C,…表示。

14概率论基础（事件间的关系与运算）两个事件A与B可能有以下几种特殊关系：包含：若事件B发生则事件A也发生，称“A包含B”，或“B含于A”，记作或。等价：若且，即A与B同时发生或同时不发生，则称A与B等价，记作A=B。互斥：若A与B不能同时发生，则称A与B互斥，记作AB=φ对立：若A与B互斥，且必有一个发生，则称A与B对立，记作或，又称A为B的余事件，或B为A的余事件。任意两个事件不一定会是上述几种关系中的一种。

15概率论基础（事件间的关系与运算）设A，B，A1，A2，…An为一些事件，它们有下述的运算：交：记C=“A与B同时发生”，称为事件A与B的交，C={ω|ω∈A且ω∈B}，记作C=A∩B或C=AB。类似地用表示事件“n个事件A1,A2,…An同时发生”。16概率论基础（事件间的关系与运算）设A，B，A1，A2，…An为一些事件，它们有下述的运算：并：记C=“A与B中至少有一个发生”，称为事件A与B的并，C={ω|ω∈A或ω∈B}，记作C=A∪B。类似地用表示事件“n个事件A1,A2,…An中至少有一个发生”。17概率论基础（事件间的关系与运算）设A，B，A1，A2，…An为一些事件，它们有下述的运算：差：记C=“A发生而B不发生”，称为事件A与B的差，C={ω|ω∈A但}，记作C=A\B或C=A-B。求余：18概率论基础（运算的性质）事件的运算有以下几种性质：交换率：

结合律：分配律：摩根率：事件计算的优先顺序为：求余，交，差和并。

19概率论基础（概率定义）定义：设Ω为一个随机实验的样本空间，对Ω上的任意事件A，规定一个实数与之对应，记为P(A)，满足以下三条基本性质，称为事件A发生的概率：①②③若二事件A和B互斥，即，则

以上三条基本规定是符合常识的。

，

20概率论基础（概率性质）定义：设{An,n=1,2,…}为一组有限或可列无穷多个事件，两两不相交，且，则称事件族{An,n=1,2,…}为样本空间Ω的一个完备事件族，又若对任意事件B有BAn=An或φ,n=1,2,…，则称{An,n=1,2,…}为基本事件族。，

21概率论基础（概率性质）完备事件族与基本事件族有如下的性质：

定理：若{An,n=1,2,…}为一完备事件族，则，且对于一事件B有又若{An,n=1,2,…}为一基本事件族，则，

22概率论基础（统计概率性质）对任意事件A，有必然事件Ω的概率P(Ω)=1，不可能事件φ的概率P(φ)=0对任意事件A，有设事件A1，A2，…An（k≤n）是两两互不相容的事件，即有，则设A，B是两事件，则23概率论基础（条件概率）定义：设A，B为事件且P(A)>0，称

为事件A已发生的条件下，事件B的条件概率，P(A)在概率推理中称为边缘概率。

简称P(B|A)为给定A时B发生的概率。

P(AB)称为A与B的联合概率。有联合概率公式：24概率论基础（条件概率性质）

,若,则乘法公式：

全概率公式：设A1，A2，…An互不相交，，且，则对于任意事件A有25概率论基础（事件独立性）定义：设A,B为两个事件，满足P(AB)=P(A)P(B),则称事件A与事件B是相互独立的，简称A与B独立。事件独立性的性质有：

①若P(A)=0或1，则A与任一事件独立；②若A与B独立，且P(B)>0,则P(A|B)=P(A);

③若A与B独立，则A与～B，～A与B，～A与～B都是相互独立的事件对；26概率论基础（事件独立性）定义：设A1,A2,…An为n个事件，满足下述条件：P(AiAj)=P(Ai)P(Aj)1≤i<j≤nP(AiAjAk)=P(Ai)P(Aj)P(Ak)1≤i<j<k≤n……P(AiAj…An)=P(Ai)P(Aj)…P(An)则称事件A1,A2,…An相互独立。N个事件相互独立的性质有：①若n个事件A1,A2,…An相互独立，则对于m<n,其中任意m个事件也是相互独立的。②若n个事件A1,A2,…An相互独立，则对于0≤m≤

n,其中任意m个事件与其余n-m个事件的对立事件构成n个相互独立的事件。27概率论基础（贝叶斯定理）设A，B1，B2，…，Bn为一些事件，P(A)>0，B1，B2，…，Bn互不相交，P(Bi)>0,i=1,2,…,n，且，则对于k=1,2,…,n，有：

贝叶斯公式容易由条件概率的定义、乘法公式和全概率公式得到。在贝叶斯公式中，P(Bi),i=1,2,…,n称为先验概率，而P(Bi|A)i=1,2,…,n称为后验概率也是条件概率。

28概率论基础（贝叶斯定理），

贝叶斯原理的含义可解释如下：B1，B2，…，Bn为n个互不相容的“原因”，而A为“结果”，在实际问题中，“原因”发生的概率(P(A|Bi))(也是条件概率)都是可以事先估计的,则可以用贝叶斯反过来计算已知“结果”的某一“原因”产生的条件概率(P(Bk|A)).当某个P(Bk|A)比较大时，则一观察到A就首先考虑到是由Bk引起的；另一方面，即使P(Bk|A)的值不大，但它与P(Bk)相比大大增加了，这现象说明Bk与A有很紧密的联系，因而需要加以充分的重视。29第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论30第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论31贝叶斯网络二十世纪八十年代贝叶斯网络（BayesNetwork）成功地应用于专家系统，成为表示不确定性专家知识和推理的一种流行的方法。基于贝叶斯方法的贝叶斯网络是一种适应性很广的手段和工具，具有坚实的数学理论基础。在综合先验信息（领域知识）和数据样本信息的前提下，还可避免只使用先验信息可能带来的主观偏见。虽然很多贝叶斯网络涉及的学习问题是NP难解的。但是，由于已经有了一些成熟的近似解法，加上一些限制后计算可大为简化，很多问题可以利用近似解法求解。

贝叶斯网络方法的不确定性表示基本上是保持了概率的表示方式，可信度计算也是概率计算方法，只是在实现时，各具体系统根据应用背景的需要采用各种各样的近似计算方法。推理过程称为概率推理。因此，贝叶斯网络没有其它确定性推理方法拥有的确定性表示、计算、语义解释等问题。本节只介绍贝叶斯网络的基本概念和简单的推理方法。32贝叶斯网络（事件的独立性）独立：如果X与Y相互独立，则P(X,Y)=P(X)P(Y)P(X|Y)=P(X)条件独立：如果在给定Z的条件下，X与Y相互独立，则P(X|Y,Z)=P(X|Z)实际中，条件独立比完全独立更重要33贝叶斯网络（联合概率）联合概率：P(X1,X2,…,XN)如果相互独立：P(X1,X2,…,XN)=P(X1)P(X2)…P(XN)条件概率：P(X1,X2,…,XN)=P(X1|X2,…,XN)P(X2,…,XN)迭代表示：P(X1,X2,…,XN)=P(X1)P(X2|X1)P(X3|X2X1)…P(XN|XN-1,…,X1)=P(XN)P(XN-1|XN)P(XN-2|XN-1XN)…P(X1|X2,…,XN)实际应用中就是利用条件独立性的性质简化网络复杂性的。34贝叶斯网络（基本概念）贝叶斯网络：一系列变量的联合概率分布的图形表示。一个表示变量之间的相互依赖关系的数据结构；图论与概率论的结合。35贝叶斯网络（因果关系网络）假设：命题S(smoker)：该患者是一个吸烟者命题C(coalMiner)：该患者是一个煤矿矿井工人命题L(lungCancer)：他患了肺癌命题E(emphysema)：他患了肺气肿由专家给定的假设可知，命题S对命题L和命题E有因果影响，而C对E也有因果影响。命题之间的关系可以描绘成因果关系网。每一个节点代表一个证据，每一条弧代表一条规则（假设），连接结点的弧表达了由规则给出的、节点间的直接因果关系。其中，节点S，C是节点L和E的父节点或称双亲节点，同时，L，E也称为是S和C的子节点或称后代节点。

36贝叶斯网络（因果关系图例）其中，节点S，C是节点L和E的父节点或称双亲节点，同时，L，E也称为是S和C的子节点或称后代节点。

SCEL因果关系图例

37贝叶斯网络（贝叶斯网络）贝叶斯网就是一个在弧的连接关系上加入连接强度的因果关系网络。38贝叶斯网络（图例）

BADEFCG贝叶斯网络图例无环图和指定概率值P(A),P(B),P(B|AC),

P(E|C),P(D|C),P(F|E),P(G|DEF)39贝叶斯网络（图例）非贝叶斯网络图例

BADCEGF40贝叶斯网络（定义）两个部分贝叶斯网络结构图，这是一个有向无环图（DAG:DirectedAcyclicGraph），其中图中的每个节点代表相应的变量。当有向弧由节点A指向节点B时，则称：A是B的父节点；B是A的子节点。节点和节点之间的条件概率表（ConditionalProbabilityTable,CPT），也就是一系列的概率值，表示了局部条件概率分布。P(node|parents)。目的：由证据得出原因发生的概率。

即观察到P(Y)，求P(X|Y)41贝叶斯网络（如何构造）选择变量，生成节点从左至右（从上到下），排列节点填充网络连接弧，表示节点之间的关系得到条件概率关系表条件概率表示的概率网络有时叫“BeliefNets”42贝叶斯网络（计算）有向非循环图是各个节点变量关系传递的合理表达形式。条件概率的引入使得计算较之全连接网络有了大大的简化。CPT表相对比较容易得到。有时可以用某种概率分布表示，需要做的指示计算表示的参数。43贝叶斯网络（计算续）简单的联合概率可以直接从网络关系上得到如：P(X,Y)=P(X)P(Y|X)又如：P(X,Y,Z)=P(X)P(Y)P(Z|X,Y)XYP(X)P(Y|X)XZYP(X)P(Z|Y,X)P(Y)44贝叶斯网络（例）CPT表为：P(S)=0.4P(C)=0.3(E|S,C)=0.9P(E|S,~C)=0.3P(E|~S,C)=0.5贝叶斯网络实例图P(E|~S,~C)=0.1。

SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.945贝叶斯网络（例续）上图例中的联合概率密度为由图可知：E与L在S条件下独立，所以P(E|S,C,L)＝P(E|S,C),L与C在S,E条件下独立，所以P(L|S,C)=P(L|S)C与S在E条件下独立，所以P(C|S)=P(C)以上三条等式的正确性，可以从贝叶斯网的条件独立属性：每个变量与它在图中的非继承节点在概率上是独立的推出。同样，从后面给出的D分离的定义的特性中也可以得到相同的结论。简化后的联合概率密度为，

显然，简化后的公式比原始的数学公式更加简单明了，计算复杂度低很多。如果原贝叶斯网中的条件独立语义数量较多，这种减少更加明显。46贝叶斯网络（独立）独立P(X,Y)=P(X)P(Y)P(X|Y)=P(X)P(Y|X)=P(Y)独立时求解可以直接在网络图上求47贝叶斯网络（条件独立）对于X,Y,E:X与Y在给定E的条件下独立P(X|Y,E)=P(X|E)P(Y|X,E)=P(Y|E)多个变量组：d分离（d-separate）P(X1,X2,…,Xn|Y1,Y2,…,Ym,E1,E2,…,Ep)=P(X1,X2,…,Xn|E1,E2,…,Ep)如果一组节点X在给定E的条件下，从Xi到Yj的每一条通路都被d分离(即Ek)，则称X独立于另一组节点Y(节点组Ed分离X与Y)48贝叶斯网络（D分离）图中有三个节点S，L，EL（结果）影响S（起因），S影响E（另一个结果）。如果给定原因S后，L并不能告诉我们有关E的更多事情。即对于S，L和E是相对独立的，那么在计算S和L的关系时就不用过多地考虑E，将会大大减少计算复杂度。称S能D分离L和E。D分离是一种寻找条件独立的有效方法。

SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.949贝叶斯网络（D分离-串行）串行连接Linear串行连接中，事件X通过事件Z影响事件Y，反之事件Y也是通过事件Z影响事件X。但是，如果原因证据Z是给定的，X并不能给Y更多的东西，或者说，从X那里得到更多的信息。此时称，如果Z是已知的，那么通道就被阻塞，X和Y就是独立的了。则称X和Y是被Z节点D分离的。

XZY50贝叶斯网络（D分离(分叉连接)）Diverging如果，父节点Z是已知的，没有更多的信息能够通过Z影响到所有子节点。同理，父节点Z是已知时，子节点X,…,N是相互独立的。称子节点X,…,N是被Z节点D分离的。

NYXZ。。。51贝叶斯网络（D分离(汇集连接)）汇集(Converging)略有不同如果不从父节点得到推断，子节点Z就一无所知，那么，父节点是相互独立的，它们之间没有相互影响。如果，某事件影响了Z，那么，各个父节点就不是相互独立的了。该事件可以直接影响Z，也可以通过它的后代节点影响Z。这种现象称作条件依存。总之，如果子节点有了变化，或子节点的后代节点发生变化，信息是可以通过汇集连接传播的。

ZNYX。。。52贝叶斯网络（D分离(条件依存)）事件e直接影响节点Z事件e影响节点Z的后代节点

ZNYX。。。eZNYX。。。LMe53贝叶斯网络（D分离(定义)）对于给定的结点集ε，如果对贝叶斯网中的结点Vi和Vj之间的每个无向路径（即不考虑DAG图中弧的方向性的路径），在路径上都有某个结点Vb，如果有属性：Vb在ε中，且路径上的两条弧都以Vb为尾（即弧在Vb处开始（出发），分叉连接）Vb在ε中，路径上的一条弧以Vb为头，一条以Vb为尾（串行连接）Vb和它的任何后继都不在ε中，路径上的两条弧都以Vb为头（即弧在Vb处结束，汇集连接，但没有后代节点）则称Vi和Vj

被Vb结点阻塞。54贝叶斯网络（D分离(图示)）

55贝叶斯网络（D分离(定义)）结论：如果Vi和Vj被证据集合ε中的任意结点阻塞，则称Vi和Vj是被ε集合D分离，结点Vi和Vj条件独立于给定的证据集合ε，可形式化表示为：，

或

56贝叶斯网络（定义）由此给出条件独立、阻塞、D分离的明确定义：条件独立：如具有以上三个属性之一，就说结点Vi和Vj条件独立于给定的结点集ε。阻塞：给定证据集合ε，当上述条件中的任何一个满足时，就说Vb阻塞相应的那条路径。D分离：如果Vi和Vj之间所有的路径被阻塞，就叫证据集合ε可以D分离Vi和Vj57贝叶斯网络（D分离(例1)）

ZXYZX、Y独立X、Y条件独立YesYesXYZX、Y独立X、Y条件独立YesNoXYZX、Y独立X、Y条件独立YesNoXYZX、Y独立X、Y条件独立NoYesXYX、Y独立X、Y条件独立NoNo58贝叶斯网络（D分离(例2)）

ZXYX—草湿Y—彩虹Z—下雨P(X,Y)≠P(X)P(Y)P(X|Y,Z)=P(X,Z)ZXYX—下雨Y—洒水Z—草湿P(X,Y）=P(X)P(Y)P(X|Y,Z))≠P(X,Z)59贝叶斯网络（D分离(例3)）

XZWX—草湿Y—洒水者Z—彩虹W—长虫P(X,Y)=P(X)P(Y)P(X|Y,Z)=P(X|Z)YXZWX—草湿Y—洒水者Z—彩虹W—长虫P(X,Y)≠P(X)P(Y)P(X|Y,Z)≠P(X|Z)Y60贝叶斯网络（D分离(例4）RadioandIgnition,givenBattery?YesRadioandStart,givenIgnition?YesGasandRadio,givenBattery?YesGasandRadio,givenStart?NoGasandBattery,givenMoves?No

BatteryRadioIgnitionGasMovesStart61贝叶斯网络（推理）建立贝叶斯网络的目的有了网络，可以提出问题：P(问题|证据)，如：P(吸烟|肺癌）进行概率推理与谓词逻辑有相似之处。如：患病（吸烟，肺癌）在某些场合下有有效的推理方法，有一些工具包。一般情况下是很困难的，原因不是所有的CPT表都能够得到网络结构大且复杂NP-hard推理我们要做的是，将问题正确的表示为合理的网络形式，选用适合的算法。62贝叶斯网络（推理续）贝叶斯网络通常使用因果或诊断规则与推理因果规则：XCauseYwithsomeprobability诊断规则：YisevidenceofXwithsomeprobability因果推理：GivencauseC,determineP(Query|C)诊断推理：GivenevidenceE,determineP(Query|E)63贝叶斯网络（推理续）推理需求：P(X|Y)诊断推理是从效果到起因证据是一些征兆：X是起因，Y是征兆因果推理是从起因到效果证据是一些起因：X是征兆，Y是起因解释历史X和Y是起因，Z是两个起因的征兆。这时可以用一个起因Y解释另一个起因X。64贝叶斯网络（推理例）下雨、草湿、洒水P(X)P(Y)下雨草湿Query:P(X|Y)P(X)P(Y)草湿下雨Query:P(X|Y)P(X)P(Z|X,Y)下雨草湿Query:P(X|Y,Z)andP(X|Z)P(Y)洒水65贝叶斯网络（推理例续）条件：下雨草湿出现虫子求：P(Raining|WormSighting)P(Y|X)下雨草湿Query:P(X|Z)P(X)出现虫子P(Z|Y)66贝叶斯网络（因果推理例）给定患者是一个吸烟者（S），计算他患肺气肿（E）的概率P(E|S)。S称作推理的证据，E叫询问结点。首先，E的另一个父结点（C），P(E|S)=P(E,C|S)+P(E,~C|S);右边的第一项， P(E,C|S)＝P(E,C,S)/P(S)＝P(E|C,S)*P(C,S)/P(S)＝P(E|C,S)*P(C|S） 同理可得公式的右边的第二项为：P(E,~C|S)=P(E|~C,S)*P(~C)。67贝叶斯网络（因果推理例）由此可得：P(E|S)=P(E|C,S)*P(C)+P(E|~C,S)*P(~C)如果采用概述中的例题数据，有P(~C)=1-P(C)，则有，P(E|S)＝0.9*0.3+0.3*(1-0.3)=0.48主要操作：按照给定证据的V和它的所有双亲的联合概率，重新表达给定证据的询问结点的所求条件概率。直到所有的概率值可从CPT表中得到，推理完成。68贝叶斯网络（推理自学）《ArtificialIntelligence:ANewSynthesis》Nils.J.Nilsson,机械工业出版社，1999

ProbabilisticInferenceinPolytrees(p.332)69第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论70第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论71主观贝叶斯方法(概述）在Prospector的探矿系统的研究过程中提出的。 原有贝叶斯公式只考虑A出现对B的影响，没有考虑A不出现的影响。贝叶斯规则：当B为n个互不相容事件的集合时，贝叶斯公式可写为：72主观贝叶斯方法(概述）思路先定好应该怎么办，再凑公式。主要是避开P(A|B)的计算。73主观贝叶斯方法(概述）规则的不确定性定义：

表示A为真时，对B的影响。（规则成立的充分性）表示A为假时，对B的影响。（规则成立的必要性）（确定性理论中没有考虑这点）74主观贝叶斯方法（规则的不确定性）

几率函数O(X)O(X)称为先验几率。表示证据X的出现概率和不出现的概率之比，显然O(X)是P(X)的增函数，且有：当 P(X)＝0，有O(X)＝0当 P(X)＝0.5，有O(X)＝1当 P(X)＝1，有O(X)＝∞由此可见，几率函数实际上表示了证据X的不确定性。相应有， 称为后验几率．

75主观贝叶斯方法（规则的不确定性）O(X)的性质P(X)=0时,O(X)=0 假P(X)=0.5时,O(X)=1P(X)=1时,O(X)=∞ 真O(X)与LN，LS的关系O(B|A)=LS•O(B)O(B|~A)=LN•O(B)76主观贝叶斯方法（规则的不确定性），且必须满足：77主观贝叶斯方法（规则的不确定性）LS、LN≥０，不独立。LS,LN不能同时＞１或＜１LS,LN可同时＝178主观贝叶斯方法（证据A的不确定性）P(A)或O(A)表示证据A的不确定性79主观贝叶斯方法（推理计算1）A必出现时：O(B|A)=LS•O(B)O(B|~A)=LN•O(B)

若需要概率时：80主观贝叶斯方法（推理计算2）A不确定时：即P(A)1向前看一步A’，A’为与A有关的所有观察P(B|A’)=P(B|A)P(A|A’)+P(B|～A)P(～A|A’)P(A|A’)=1时，证据A必然出现

P(A|A’)=0时，LN代替上式的LS，公式P(A|A’)=P(A)时，(A’对A无影响)，由上式 P(B|A’)=P(B)81主观贝叶斯方法（推理计算2）P(A|A’)与P(B|A’)坐标系上的三点：

总之是找一些P(A|A’)与P(B|A’)的相关值，两点也可以做曲线（或折线、直线）。由差值法从线上得到其它点的结果。82主观贝叶斯方法（推理计算2）插值计算公式83线性插值图

84主观贝叶斯方法（推理计算3）两个证据时：

85主观贝叶斯方法（推理计算2）互相独立证据导出同一假设86例题（1）已知：P(A)=1,P(B1)=0.04,P(B2)=0.02 R1:A→B1LS=20LN=1 R2:B1→B2LS=300LN=0.001计算：P(B2|A)。分析：当使用规则R2时，证据B1并不是确定的发生了，即P(B1)≠1，因此要采用插值方法。解：先依照A必然发生，由定义和R1得： O(B1)=P(B1)/(1-P(B1)=0.04/(1-0.04)=0.0417 O(B1|A)=LS*O(B1)=0.83 P(B1|A)=O(B1|A)/(1+O(B1|A)=0.83/(1+0.83)=0.454然后假设P(B1|A)=1,计算：O(B2)=P(B2)/(1-P(B2)=0.02P(B2|B1)=LS*O(B2)/(1+LS*O(B2))=300*0.02/(300*0.02+1)=0.857最后进行插值：P(B1|A)>P(B1),P(B2)=0.02，P(B1)=0.04（已知）, P(B2|A)=0.02+(0.857-0.02)(0.454-0.04)/(1-0.04)=0.3887例题（2）已知：证据A1，A2必然发生，且P（B1）＝0.03规则如下：R1：A1→B1LS=20LN=1;

R2：A2→B1LS=300 LN=1求B1的更新值。解： 依R1，P（B1）＝0.03 O（B1）＝0.03/(1-0.03)=0.030927 O(B1|A1)=LS×O(B1)=20×0.030927=0.61855 P(B1|A1)=0.61855/(1+0.61855)=0.382 使用规则R1后，B1的概率从0.03上升到0.382

依R2：O(B1|A1A2)=300×O(B1|A1)=185.565 P(B1|A1A2)=185.565/(1+185.565)=0.99464 使用规则R2后，B1的概率从0.382上升到0.9946488主观贝叶斯方法主观Bayes方法的评价优点：计算方法直观、明了。缺点：要求Bj相互无关（实际不可能）。P(A|B’)与P(Bi)很难计算。应用困难。89第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论90第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论91确定性方法（可信度方法）MYCIN系统研制过程中产生的不确定推理方法,第一个采用了不确定推理逻辑，70年代很有名。提出该方法时应遵循的原则不采用严格的统计理论。使用的是一种接近统计理论的近似方法。用专家的经验估计代替统计数据尽量减少需要专家提供的经验数据，尽量使少量数据包含多种信息。新方法应适用于证据为增量式地增加的情况。专家数据的轻微扰动不影响最终的推理结论。92理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。确定性方法93理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。确定性方法94规则(规则的不确定性度量）规则A→B，可信度表示为CF(B,A)。95规则(规则的不确定性度量）CF(B,A)表示的意义证据为真时相对于P(～B)=1-P(B)来说，A对B为真的支持程度。即A发生更支持B发生。此时CF(B,A)≥0。或，相对于P(B)来说，A对B为真的不支持程度。即A发生不支持B发生。此时CF(B,A)<0。结论-1≤CF(B,A)≤196规则(规则的不确定性度量）CF(B,A)的特殊值：CF(B,A)=1， 前提真，结论必真CF(B,A)=-1，前提真，结论必假CF(B,A)=0，前提真假与结论无关实际应用中CF(B,A)的值由专家确定，并不是由P(B|A),P(B)计算得到的。97规则(推理计算1）“与”的计算： A1

∧A2

→B CF(A1

∧A2)=min{CF(A1),CF(A2)}“或”的计算： A1

∨A2

→B CF(A1

∨A2)=max{CF(A1),CF(A2)}“非”的计算： CF(～A

)=～CF(A

)由A，

A→B，求B： CF(B)=CF(A

)·CF(B,A

) (CF(A

)＜0时可以不算即为“0”)98规则(推理计算2）合成，由两条规则求出再合并：由CF１(B)、CF２(B)，求CF(B)

99规则(推理计算3）更新，由CF(A)、A→B、CF(B,A

)、CF(B)，求

B：当A必然发生，CF(A)=1时：100规则(推理计算4）当A不必然发生，CF(A)<1时：0<CF(A)<1，

用CF(A)CF(B,A)代替CF(A)=1时的CF(B,A)即可。CF(A)<0， 规则AB不可使用，即此计算不必进行。 （如MYCIN系统CF(A)0.2就认为是不可使用的。其目的是使专家数据经轻微扰动不影响最终结果。）101规则(推理计算－改进）注意：以上公式不满足组合交换性。解决方法：异号时从定义上改进102例题已知：R1：A1→B1 CF（B1，A1）＝0.8 R2：A2→B1 CF（B1，A2）＝0.5 R3：B1∧A3→B2 CF（B2，B1∧A3）＝0.8 CF（A1）＝CF（A2）＝CF（A3）＝1；CF（B1）=CF（B2）=0；计算CF（B1）、CF（B2）本题可图示为103解：依规则R1，CF（B1|A1）＝CF（B1）＋CF（B1，A1）（1－CF（B1））＝0.8，即更新后CF（B1）＝0.8依规则R2：CF（B1|A2）＝CF（B1）＋CF（B1，A2）（1－CF（B1））＝0.9更新后CF（B1）＝0.9依R3，先计算 CF（B1∧A3）＝min（CF（A3），CF（B1））＝0.9 由于CF（B1∧A3）<1，CF（B2|B1∧A3）=CF（B2）+CF（B1∧A3）×CF(B2，B1∧A3)×（1-CF（B2））=0+0.9×0.8(1-0)=0.72答：更新后的可信度分别是：CF（B1）＝0.9，CF（B2）＝0.72104规则(推理计算）评论可信度方法的宗旨不是理论上的严密性，而是处理实际问题的可用性。不可一成不变地用于任何领域，甚至也不能适用于所有科学领域。推广至一个新领域时必须根据情况修改。105第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论106证据理论(EvidentTheory)概述证据的不确定性规则的不确定性推理计算107证据理论(EvidentTheory)概述由Dempster首先提出，并由他的学生Shafer发展起来，也称D-S理论。在专家系统的不精确推理中已得到广泛的应用。（也用在模式识别中）证据理论中引入了信任函数，它满足概率论弱公理。在概率论中，当先验概率很难获得，但又要被迫给出时，用证据理论能区分不确定性和不知道的差别。所以它比概率论更合适于专家系统推理方法。当概率值已知时，证据理论就成了概率论。因此，概率论是证据理论的一个特例，有时也称证据沦为广义概率论。108证据理论(预备知识)集合论 朴素集合论体系 公理集合论体系表示： A,B,C集合；a,b,c集合中的元素 aA:a为A中元素，a属于A aA:a不是A中元素，a不属于A 列举法：A={a,b,c}; 描述法：C={x|P(x)}，具有性质P的集和109证据理论(预备知识（性质）)集合中的元素是各不相同的集合中的元素不规定顺序集合的两种表示方法有时可以相互转换 如：A={2,4,6,…} A={x|x>0且x为偶数}110证据理论(预备知识（定义）)子集定义：若B中的每个元素都是A中的元素，则称B是A的子集。也称A包含B或B含于A，记作BA，其符号化形式为 BAx(xBxA) 若B不是A的子集，则记作BA，其符号化形式为 BAx(xBxA)相等定义：若A包含B且B包含A，则称A与B相等,记作A=B，即 A=Bx(xBxA)真命题：AA若AB且AB，则BA若AB且BC，则AC111证据理论(预备知识（定义）)真子集定义：若A为B的子集，且AB，则称A为B的真子集，或B真包含A，记作AB。即 ABABAB真包含定义：若A为B的子集，且AB，则称A为B的真子集，或B真包含A，记作AB。即 ABABAB全集定义：如果限定所讨论的集合都是某一集合的子集，则称该集合为全集。常记作E112证据理论(预备知识（定义）)空集定义：不拥有任何元素的集合称为空集合，简称空集，记作。定理：空集是一切集合的子集。推论：空集是唯一的。113证据理论(预备知识（定义）)幂集定义：称由A的所有子集组成的集合为A的幂集。记作2A求幂集：设A={a,b,c} 0元子集为： 1元子集为：{a},{b},{c} 2元子集为：{a,b},{a,c,},{b,c} 3元子集为：{a,b,c}=A A的幂集={,{a},{b},{c},{a,b},{a,c,},{b,c},{a,b,c}}定理：A的元素个数|A|=n（n为自然数），则|2A|=n。114证据理论(预备知识（运算）)并集定义：称A与B的所有元素组成的集合为A与B的并集。记作AB，称为并运算符。AB的描述表示 AB={x|xA

∨

xB} A1,A2,…An为n个集合， A1

A2…An={x|i(1inxAi}, 简记为

115证据理论(预备知识（运算）)交集定义：称A与B的公共元素组成的集合为A与B的交集。记作AB，称为交运算符。AB的描述表示 AB={x|xAxB} A1,A2,…An为n个集合， A1

A2…An={x|i(1inxAi}, 简记为

116证据理论(预备知识（运算）)互不相交定义：若AB=，称A，B是不交的，设A1,A2,…可数个集合，若对任意ij，均有Ai

Aj=，则称A1,A2,…是互不相交的。 117证据理论(预备知识（恒等式）)等幂率：AA=A;AA=A交换率：AB=BA;AB=BA结合率：(AB)C=A(BC); (AB)C=A(BC)分配率：A(BC)=(AB)(BC) A(BC)=(AB)(BC)摩根率：～(AB)=～A～B ～(AB)=～A～B

118证据理论(预备知识（恒等式）)吸收率：A(AB)=A;A(AB)=A零率：AE=E;A=同一率：A=A；A=排中率：A～A=E矛盾率：A～A=全补率：～=E;～E=双重否定率：～（～A）=A 119证据理论(EvidentTheory)概述证据的不确定性规则的不确定性推理计算120证据理论(EvidentTheory)概述证据的不确定性规则的不确定性推理计算121证据理论(EvidentTheory)证据理论中，一个样本空间称为一个识别框架U，U由一系列对象构成，对象之间两两互斥，且包含当前要识别的全体对象。证据理论的基本问题是，已知识别框架U，判明U中一个先验的未定元素属于U中某个子集A的程度。122证据理论(证据的不确定性)证据：用集合U来表示：如U中的每个元素代表一种疾病。讨论一组疾病A发生的可能性时，A变成了单元（某些假设）的集合。Ai中元素间是互斥的，但U内元素Ai间不是互斥的。123据理论集合空间分布示意图

124证据理论(证据的不确定性)基本概率分配函数：

m：２Ｕ→［0,1］ （在U的幂集２Ｕ上定义，取值[0,1］） m(A)表示了证据对Ｕ的子集A成立的一种信任度有：空集为零

意义 若A属于Ｕ，且不等于Ｕ，表示对A的精确信任度 若A等于Ｕ，表示这个数不知如何分配125证据理论(证据的不确定性)信任函数２Ｕ→［0,1］。（在Ｕ的幂集２Ｕ上定义，取值［0,1］） Bel(A)=有:Bel(Φ)=m(Φ)=0, Bel(Ｕ)==1

Bel类似于概率密度函数，表示A中所有子集的基本概率分配数值的和，用来表示对A的总信任度。

126证据理论(证据的不确定性)似然函数Pl：２Ｕ→［0,1］。 （在Ｕ的幂集２Ｕ上定义，取值［0,1］） Pl(A)=1-Bel(～A)=

性质：

0≤Bel(A)≤Pl(A)≤1(Bel是Pl的一部分)

称Bel(A)和Pl(A)是A的下限不确定性值和上限不确定性值。127证据理论(证据的不确定性)设函数f(Bel(A),Pl(A))，则有如下特殊值： f(１,１)：表示A为真 f(０,０)：表示A为假f(０,１)：表示对A一无所知 f(１,０)：不可能成立128证据理论(证据的不确定性)定义：

其中|A|、|U|为集合内元素个数。性质：对于AU

f1(Φ)=0，f1(Ｕ)=1，0≤f1(A)≤1129证据理论概述证据的不确定性规则的不确定性推理计算130证据理论(规则的不确定性)推理形式：设子集合A、B，其中A={a1,a2,…,al},