湘潭大学 人工智能课件 非经典推理 part 2

1、Artificial Intelligence (AI)人工智能人工智能第三章：非经第三章：非经典推理典推理内容提要1.1.经典推理和非经典推理经典推理和非经典推理2.2.不确定性推理不确定性推理3.3.概率推理概率推理4.4.主观贝叶斯方法主观贝叶斯方法5.5.可信度方法可信度方法主观贝叶斯方法v使用概率推理方法求结论使用概率推理方法求结论Hi在存在证据在存在证据E时的条件时的条件概率概率P(Hi|E) ，需要给出结论，需要给出结论Hi的先验概率的先验概率P(Hi)及及证据证据E的条件概率的条件概率 P(E|Hi)。这对于实际应用是不这对于实际应用是不容易做到的容易做到的。vDuda 和和

2、Hart 等人在贝叶斯公式的基础上，于等人在贝叶斯公式的基础上，于1976年提出主观贝叶斯方法，建立了不精确推理年提出主观贝叶斯方法，建立了不精确推理的模型，并把它成功地应用于的模型，并把它成功地应用于PROSPECTOR专专家系统（家系统（PROSPECTOR是国际上著名的一个用是国际上著名的一个用于勘察固体矿的专家系统）。于勘察固体矿的专家系统）。主观贝叶斯方法1. 知识不确定性的表示知识不确定性的表示2. 证据不确定性的表示证据不确定性的表示3. 组合证据不确定性的计算组合证据不确定性的计算4. 不确定性的更新不确定性的更新5. 主观贝叶斯方法的推理过程主观贝叶斯方法的推理过程主观贝叶斯

3、方法1. 知识不确定性的表示知识不确定性的表示2. 证据不确定性的表示证据不确定性的表示3. 组合证据不确定性的计算组合证据不确定性的计算4. 不确定性的更新不确定性的更新5. 主观贝叶斯方法的推理过程主观贝叶斯方法的推理过程知识不确定性的表示v在主观在主观Bayes方法中，知识是用产生式表示的，其方法中，知识是用产生式表示的，其形式为：形式为： IF E THEN (LS, LN) H E表示规则前提条件，它既可以是一个简单条表示规则前提条件，它既可以是一个简单条件，也可以是用件，也可以是用AND或或OR把多个简单条件连把多个简单条件连接起来的复合条件。接起来的复合条件。H是结论，用是结论，

4、用P(H)表示表示H的的先验概率先验概率，它指出没，它指出没有任何专门证据的情况下结论有任何专门证据的情况下结论H为真的概率，为真的概率，其值由领域专家根据以往的实践经验给出。其值由领域专家根据以往的实践经验给出。主观贝叶斯方法LS是规则的充分性度量。是规则的充分性度量。用于指出用于指出E对对H的支的支持程度，取值范围为持程度，取值范围为0,+)，其定义为：，其定义为：LN是规则的必要性度量。是规则的必要性度量。用于指出用于指出E对对H为真为真的必要程度，即的必要程度，即E对对对对H的支持程度。取值范的支持程度。取值范围为围为0,+)，其定义为：，其定义为：(|)(|)P E HLSP EH(

5、|)1(|)(|)1(|)PE HP E HLNPEHP EH主观贝叶斯方法由本由本Bayes公式可知：公式可知：两式相除得：两式相除得：(|)()(|)( )(|)()(|)( )P E HP HP H EP EP EHPHPH EP E( |)( |)(| )(| )( )()P E HPPHPHPHH EHEPELS主观贝叶斯方法为讨论方便，下面引入为讨论方便，下面引入几率函数几率函数 ：可见，可见，X的几率等于的几率等于X出现的概率与出现的概率与X不出现的概率之不出现的概率之比，比， O(X) 与与P(X)的变化一致的变化一致，且有：，且有：即把取值为即把取值为0,1的的P(X)放大为

6、取值为放大为取值为0,+)的的O(X)(1)()()()()(XPXPXOXPXPXO或1)( if0)( if0)(XPXPXO主观贝叶斯方法因此得到关于因此得到关于LS的公式：的公式： E对对H的支持程度的支持程度同理得到关于同理得到关于LN的公式：的公式： E对对H的支持程度的支持程度(|)()()(|)(|)=(|(|)()P E HLSPP HEO HEPHEP HO HPHEH(|()(|)(|)(|)()()|)PE HPLNPEHO HP HEPHHO HEPHE主观贝叶斯方法当当LS1时，时，O(H|E)O(H)，说明，说明E支持支持H。 LS越大，越大，E对对H的支持越充分

7、。的支持越充分。 当当LS=1时，时，O(H|E)=O(H)，说明，说明E对对H没有影响。没有影响。 当当LS1时，时，O(H|E)1时，时，O(H|E)O(H)，说明，说明E支持支持H。LN越大，越大，E对对H为真的支持就越强。为真的支持就越强。 当当LN=1时，时，O(H|E)=O(H)，说明，说明E对对H没有影响。没有影响。 当当LN1时，时，O(H|E)1且且LN1 p LS1 p LS=LN=1 证明：证明： LS1 P(E|H)/P(E|H)1 P(E|H) P(E|H) 1-P(E|H) 1-P(E|H) P(E|H) P(E|H) P(E|H) /P(E|H) 1 LN 1同理

8、可证明、同理可证明、 ，证明略，证明略主观贝叶斯方法1. 知识不确定性的表示知识不确定性的表示2. 证据不确定性的表示证据不确定性的表示3. 组合证据不确定性的计算组合证据不确定性的计算4. 不确定性的更新不确定性的更新5. 主观贝叶斯方法的推理过程主观贝叶斯方法的推理过程证据不确定性的表示v在主观在主观Bayes方法中，证据方法中，证据E的不精确性是用其的不精确性是用其概率概率或或几率几率来表示的。概率与几率之间的关系为：来表示的。概率与几率之间的关系为： v在实际应用中，若证据在实际应用中，若证据E是不可以直接观测的，则需是不可以直接观测的，则需要由用户根据观察要由用户根据观察S给出给出P

9、(E|S)，即，即动态强度动态强度。用。用P(E|S)描述证据描述证据E的不确定性的不确定性 。v由于主观给定由于主观给定P(E|S)有所困难，所以实际中可以用有所困难，所以实际中可以用可可信度信度C(E|S)代替代替P(E|S)。0 ( )( ) 1( )(0,)EP EO EEP EE当 为假当 为真当 非真也非假( )( )1( )O EP EO E证据不确定性的表示v在在PROSPECTOR中中C(E|S)取整数：取整数：-5,.,5C(E|S)=-5表示在观测表示在观测S下证据下证据E肯定不存在肯定不存在P(E|S)=0C(E|S)= 5表示在观测表示在观测S下证据下证据E肯定存在肯

10、定存在P(E|S)=1C(E|S)= 0表示表示S与与E无关无关,即即:P(E|S)= P(E) C(E|S)与与P(E|S)的对应关系如下（分段线性插值）：的对应关系如下（分段线性插值）：( | )( ) (5( | )0( | ) 55(| )( ) (5( | )5( | ) 05C E SP EC E SC E SP E SP EC E SC E S 55 ( | )( ) ( )( | ) 11( )(| )( | )( )0( | )( )( )P E SP EP EP E SP EC E SP E SP EP E SP EP E主观贝叶斯方法1. 知识不确定性的表示知识不确定性的

11、表示2. 证据不确定性的表示证据不确定性的表示3. 组合证据不确定性的计算组合证据不确定性的计算4. 不确定性的更新不确定性的更新5. 主观贝叶斯方法的推理过程主观贝叶斯方法的推理过程组合证据不确定性的计算v证据的基本组合方式包括证据的基本组合方式包括合取合取和和析取析取两种两种合取：合取：当组合证据是多个单一证据的合取：当组合证据是多个单一证据的合取：E = E1 AND E2 AND AND En则：则：P(E|S)=min P(E1|S), P(E2|S), ,P(En|S)析取：析取：当组合证据是多个单一证据的析取：当组合证据是多个单一证据的析取： E = E1 OR E2 OR OR

12、 En 则：则：P(E|S)=maxP(E1|S),P(E2|S),P(En|S)主观贝叶斯方法1. 知识不确定性的表示知识不确定性的表示2. 证据不确定性的表示证据不确定性的表示3. 组合证据不确定性的计算组合证据不确定性的计算4. 不确定性的更新不确定性的更新5. 主观贝叶斯方法的推理过程主观贝叶斯方法的推理过程不确定性的更新根据证据根据证据E在观察在观察S下的条下的条件概率件概率P(E|S) 以及以及LS和和LN的值，把的值，把H的的先验几率先验几率O(H)或或先验概率先验概率P(H)更新为更新为后验几率后验几率O(H| S)或或后后验概率验概率P(H| S) 。v当证据不确定时，需要当

13、证据不确定时，需要使用使用Duda等给出的公式等给出的公式计计算后验概率算后验概率： P(H|S) = P(H|E)P(E|S)+P(H|E)P(E|S)不确定性的更新1. 证据证据E肯定为真：肯定为真： p P(E|S)=1， P(E|S)=0， P(H|S) = P(H|E)2. 证据证据E肯定为假：肯定为假：p P(E|S)=0， P(E|S)=1， P(H|S) = P(H|E)3. 证据证据E既非为真又非为假：既非为真又非为假： 0P(E|S)P(E1)，使，使用用EH式的后半部分，得式的后半部分，得P(H1|S1)为：为：1111111111()()( (|)()1()(0.167

14、0.091)0.091(0.760.6)1 0.60(.1 1(|2|)P HP HP ESP EP EHPEPHS111111()(|)(1)() 12 0.0910.167(2 1) 0.091 1LSP HP HELSP H主观贝叶斯方法的推理过程v 计算计算P (H1 | (S1 AND S2) 由于由于r2的前件是的前件是E1、E2的合取关系，且已的合取关系，且已 P(E1|S1)=0.76，P(E2|S2)=0.68 则则: P(E2|S2)P(E2)，还使用，还使用EH公式的后半部分，公式的后半部分，得得P(H1|S2)为：为：1211222212()()( (|)()1()(0

15、.9090.091)0.091(0.680.6)0.2551 0.6)(|)(|P HP HP ESP EP EHPEPHS211221()(|)(1)() 1100 0.0910.909(100 1) 0.091 1LSP HP HELSP H主观贝叶斯方法的推理过程v (3) 计算计算P (H1 | S1, S2) 要计算要计算P(H1 | S1, S2)需要先根据如下公式计算需要先根据如下公式计算O(H1 | S1, S2) 其中其中, O(H1 | S1), O(H1 | S2)和和O(H1)可以分别根据可以分别根据P(H1 | S1), P(H1 | S2)和和P(H1)计算得到：计

16、算得到：1111211112(|)(|,)0.1380.3420.10.()()(4720.10.1()|)O HO HO HO HO HSOS SHS111111(|)0.121(|)0.1381(|)1 0.121P HSO HSP HS主观贝叶斯方法的推理过程v (3) 计算计算P (H1 | S1, S2) 最后根据最后根据O(H1 | S1, S2)的值计算的值计算P(H1 | S1, S2)111()0.091()0.11()1 0.091P HO HP H121212(|)0.255(|)0.3421(|)1 0.255P HSO HSP HS112112112(|,)0.472

17、(|,)0.3211(|,)10.472O HS SP HS SO HS S主观贝叶斯方法的推理过程v (4) 计算计算P(H2|S1,S2) 对于规则对于规则r3 ，H1相当于已知事实，相当于已知事实，H2为结论。将为结论。将H2的先验的先验概率概率P(H2)更新为在更新为在H1下的后验概率下的后验概率P(H2|H1): 由于由于P(H1|S1,S2) =0.321 P(H1)，使用，使用EH式的后半部分，得式的后半部分，得到在当前观察到在当前观察S1、S2下下H2的后验概率的后验概率P(H2|S1,S2):322132()200 0.01(|)0.669(1)() 1(200 1) 0.01 1LSP HP HHLSP H212212221211(|)()(|,)() (|,)()1()0.6690.010.01(0.321 0.091)0.1771 0.091P HHP HP HS SP HP HS SP HP H将将S1,S2看做观看做观察察S，将，将H1看看做证据做证据EP(H2) = 0.01, 后验概率提高了后验概率提高了16倍多！倍多！主观贝叶斯方法的推理过程p 主观主观Bayes方法中的计算公式大多是在概率论的基础上推导出来方法中的计算公式大多是在概率论的基础上推导出来的，具有较坚实的理论基础。的，具有较坚实的理论基础。p 知识的静态强度知识的静态强度LS及及L