湘潭大学 人工智能课件 非经典推理 part 2.ppt

1、Artificial Intelligence (AI)人工智能,第三章：非经典推理,内容提要,第三章：非经典推理,1.经典推理和非经典推理,2.不确定性推理,3.概率推理,4.主观贝叶斯方法,5.可信度方法,6.证据理论,主观贝叶斯方法,使用概率推理方法求结论Hi在存在证据E时的条件概率P(Hi|E) ，需要给出结论Hi的先验概率P(Hi)及证据E的条件概率 P(E|Hi)。这对于实际应用是不容易做到的。 Duda 和 Hart 等人在贝叶斯公式的基础上，于1976年提出主观贝叶斯方法，建立了不精确推理的模型，并把它成功地应用于PROSPECTOR专家系统（PROSPECTOR是国际上著名的

2、一个用于勘察固体矿的专家系统）。,主观贝叶斯方法,主观贝叶斯方法 1. 知识不确定性的表示 2. 证据不确定性的表示 3. 组合证据不确定性的计算 4. 不确定性的更新 5. 主观贝叶斯方法的推理过程,主观贝叶斯方法,主观贝叶斯方法 1. 知识不确定性的表示 2. 证据不确定性的表示 3. 组合证据不确定性的计算 4. 不确定性的更新 5. 主观贝叶斯方法的推理过程,知识不确定性的表示,在主观Bayes方法中，知识是用产生式表示的，其形式为： IF E THEN (LS, LN) H E表示规则前提条件，它既可以是一个简单条件，也可以是用AND或OR把多个简单条件连接起来的复合条件。 H是结论

3、，用P(H)表示H的先验概率，它指出没有任何专门证据的情况下结论H为真的概率，其值由领域专家根据以往的实践经验给出。,主观贝叶斯方法,LS是规则的充分性度量。用于指出E对H的支持程度，取值范围为0,+)，其定义为： LN是规则的必要性度量。用于指出E对H为真的必要程度，即E对对H的支持程度。取值范围为0,+)，其定义为：,主观贝叶斯方法,讨论LS和LN的含义 由本Bayes公式可知： 两式相除得：,LS,主观贝叶斯方法,讨论LS和LN的含义 为讨论方便，下面引入几率函数 ： 可见，X的几率等于X出现的概率与X不出现的概率之比， O(X) 与P(X)的变化一致，且有： 即把取值为0,1的P(X)

4、放大为取值为0,+)的O(X),主观贝叶斯方法,讨论LS和LN的含义 因此得到关于LS的公式： E对H的支持程度 同理得到关于LN的公式： E对H的支持程度,主观贝叶斯方法,LS的含义： 当LS1时，O(H|E)O(H)，说明E支持H。 LS越大，E对H的支持越充分。 当LS=1时，O(H|E)=O(H)，说明E对H没有影响。 当LS1时，O(H|E)O(H)，说明E不支持H。 当LS=0时，O(H|E)=0，说明E的存在使H为假。,主观贝叶斯方法,LN的含义： 当LN1时，O(H|E)O(H)，说明E支持H。LN越大，E对H为真的支持就越强。 当LN=1时，O(H|E)=O(H)，说明E对H

5、没有影响。 当LN1时，O(H|E)O(H)，说明E不支持H，即由于E不存在，将反对H为真。 LN越小，E的不出现就越反对H为真，这说明H越需要E的出现。 当LN=0时，O(H|E)=0，说明E不存在将导致H为假。,主观贝叶斯方法,LS和LN的关系 由于E和E不会同时支持或同时排斥H，因此只有下述三种情况存在： LS1且LN1 LS=LN=1 证明： LS1 P(E|H)/P(E|H)1 P(E|H) P(E|H) 1-P(E|H) 1-P(E|H) P(E|H) P(E|H) P(E|H) /P(E|H) 1 LN 1 同理可证明、 ，证明略,主观贝叶斯方法,主观贝叶斯方法 1. 知识不确定

6、性的表示 2. 证据不确定性的表示 3. 组合证据不确定性的计算 4. 不确定性的更新 5. 主观贝叶斯方法的推理过程,证据不确定性的表示,在主观Bayes方法中，证据E的不精确性是用其概率或几率来表示的。概率与几率之间的关系为： 在实际应用中，若证据E是不可以直接观测的，则需要由用户根据观察S给出P(E|S)，即动态强度。用P(E|S)描述证据E的不确定性 。 由于主观给定P(E|S)有所困难，所以实际中可以用可信度C(E|S)代替P(E|S)。,证据不确定性的表示,在PROSPECTOR中C(E|S)取整数：-5,.,5 C(E|S)=-5表示在观测S下证据E肯定不存在P(E|S)=0 C

7、(E|S)= 5表示在观测S下证据E肯定存在P(E|S)=1 C(E|S)= 0表示S与E无关,即:P(E|S)= P(E) C(E|S)与P(E|S)的对应关系如下（分段线性插值）：,主观贝叶斯方法,主观贝叶斯方法 1. 知识不确定性的表示 2. 证据不确定性的表示 3. 组合证据不确定性的计算 4. 不确定性的更新 5. 主观贝叶斯方法的推理过程,组合证据不确定性的计算,证据的基本组合方式包括合取和析取两种 合取：当组合证据是多个单一证据的合取： E = E1 AND E2 AND AND En 则：P(E|S)=min P(E1|S), P(E2|S), ,P(En|S) 析取：当组合证

8、据是多个单一证据的析取： E = E1 OR E2 OR OR En 则：P(E|S)=maxP(E1|S),P(E2|S),P(En|S),主观贝叶斯方法,主观贝叶斯方法 1. 知识不确定性的表示 2. 证据不确定性的表示 3. 组合证据不确定性的计算 4. 不确定性的更新 5. 主观贝叶斯方法的推理过程,不确定性的更新,不确定性的更新过程：根据证据E在观察S下的条件概率P(E|S) 以及LS和LN的值，把H的先验几率O(H)或先验概率P(H)更新为后验几率O(H| S)或后验概率P(H| S) 。 当证据不确定时，需要使用Duda等给出的公式计算后验概率： P(H|S) = P(H|E)P

9、(E|S)+P(H|E)P(E|S),不确定性的更新,对上述公式分以下3种情况讨论： 1. 证据E肯定为真： P(E|S)=1， P(E|S)=0， P(H|S) = P(H|E) 2. 证据E肯定为假： P(E|S)=0， P(E|S)=1， P(H|S) = P(H|E) 3. 证据E既非为真又非为假： 0P(E|S)1 当 P(E|S)=P(E)，P(H|S) = P(H) 当 P(E|S)为其他值,P(H|S) = P(H|E)P(E|S)+P(H|E)P(E|S),不确定性的更新,当 P(E|S) P(E)时，表示E与S相关。 上面已经得到了P(E|S)的3个特殊值：0，P(E)，1

10、； 它们分别对应的3个值为P(H|E)，P(H)，P(H|E)。 由此构造的分段线性插值函数为：,不确定性的更新,分段线性插值函数的解析式为（点斜式）： 该公式称为EH公式。 用C(E|S) 代替EH公式中的P(E|S)，可得到等价的CP公式,主观贝叶斯方法,主观贝叶斯方法 1. 知识不确定性的表示 2. 证据不确定性的表示 3. 组合证据不确定性的计算 4. 不确定性的更新 5.主观贝叶斯方法的推理过程,主观贝叶斯方法的推理过程,主观贝叶斯方法的推理过程 当采用初始证据进行推理时，用户提供C(E|S) ，通过CP公式就可以求出P(H|S) 当采用推理过程中得到的中间结论作为证据进行推理时，通

11、过EH公式就可以求出P(H|S) 结论不确定性的合成：如果有n条知识都支持同一结论H，且每条知识的前提条件分别是n个相互独立的证据E1,E2,En，这些证据分别与观察S1,S2,Sn相对应。如何计算O(H| S1,S2,Sn)？,主观贝叶斯方法的推理过程,首先对每条知识分别求出H的后验几率O(H|Si)，然后利用这些后验几率并按下述公式求出在所有观察下H的后验几率： 上述公式的推导过程如下：,主观贝叶斯方法的推理过程,公式推导过程,主观贝叶斯方法的推理过程,主观贝叶斯方法的推理过程示例 设有规则 r1: IF E1 THEN (2, 0.0001) H1 r2: IF E1 AND E2 TH

12、EN (100, 0.001) H1 r3: IF H1 THEN (200, 0.01) H2 已知： P(E1) = P(E2) = 0.6，P(H1) = 0.091，P(H2) = 0.01 用户回答: P(E1|S1) = 0.76， P(E2|S2) = 0.68 求：P(H2|S1,S2) = ?,主观贝叶斯方法的推理过程,解：由已知知识得到的推理网络如下图所示。,主观贝叶斯方法的推理过程,由推理网络可知，求解过程如下：,(1) 计算P (H1 | S1) (2) 计算P (H1 | (S1 AND S2) (3) 计算P (H1 | S1, S2) (4) 计算P (H2 |

13、S1,S2),主观贝叶斯方法的推理过程,(1) 计算P(H1 | S1)：由EH公式,由于P(E1|S1)=0.76， P(E1)=0.6，此时P(E1|S1) P(E1)，使用EH式的后半部分，得P(H1|S1)为：,主观贝叶斯方法的推理过程,计算P (H1 | (S1 AND S2) 由于r2的前件是E1、E2的合取关系，且已 P(E1|S1)=0.76，P(E2|S2)=0.68 则: P(E2|S2)P(E2)，还使用EH公式的后半部分，得P(H1|S2)为：,主观贝叶斯方法的推理过程,(3) 计算P (H1 | S1, S2) 要计算P(H1 | S1, S2)需要先根据如下公式计算

14、O(H1 | S1, S2) 其中, O(H1 | S1), O(H1 | S2)和O(H1)可以分别根据P(H1 | S1), P(H1 | S2)和P(H1)计算得到：,主观贝叶斯方法的推理过程,(3) 计算P (H1 | S1, S2) 最后根据O(H1 | S1, S2)的值计算P(H1 | S1, S2),主观贝叶斯方法的推理过程,(4) 计算P(H2|S1,S2) 对于规则r3 ，H1相当于已知事实，H2为结论。将H2的先验概率P(H2)更新为在H1下的后验概率P(H2|H1): 由于P(H1|S1,S2) =0.321 P(H1)，使用EH式的后半部分，得到在当前观察S1、S2下H2的后验概率P(H2|S1,S2):,P(H2) = 0.01, 后验概率提高了16倍多！,主观贝叶斯方法的推理过程,主观贝叶斯方法的