第4章 不确定性知识表示与推理技术

1、2021-10-171第第4章章 不确定性知识的表示与推理技术不确定性知识的表示与推理技术2021-10-172内容内容4.1 不确定性知识表示与推理概述不确定性知识表示与推理概述4.2 确定性理论确定性理论4.3 主观贝叶斯方法主观贝叶斯方法4.4 证据理论证据理论4.5 基于贝叶斯网络的推理基于贝叶斯网络的推理4.6 模糊推理模糊推理4.7 不确定性推理的应用不确定性推理的应用2021-10-1734.1不确定性知识表示与推理概述不确定性知识表示与推理概述n一般的（确定性）推理过程：一般的（确定性）推理过程：运用已有的知识由已知事实推出结论运用已有的知识由已知事实推出结论.如已知如已知:事

2、实事实 A，B知识知识 A BC可以推出结论可以推出结论C。 此时，只要求事实与知识的前件进行匹配。此时，只要求事实与知识的前件进行匹配。问题：如果问题：如果A可能为真，可能为真，B比较真，知识比较真，知识A BC只在一定只在一定程度上为真，结论如何？程度上为真，结论如何？2021-10-1744.1不确定性知识表示与推理概述不确定性知识表示与推理概述n通过几个例子认识不确定性：通过几个例子认识不确定性：n今天有可能下雨今天有可能下雨n如果乌云密布并且电闪雷鸣，则很可能要下暴雨。如果乌云密布并且电闪雷鸣，则很可能要下暴雨。n张三是个秃子张三是个秃子n“秃子悖论秃子悖论”2021-10-1754

3、.1不确定性知识表示与推理概述不确定性知识表示与推理概述4.1.1 4.1.1 不确定性及其类型不确定性及其类型4.1.2 4.1.2 不确定性推理概述不确定性推理概述2021-10-1764.1.1 不确定性及其类型不确定性及其类型(1)不确定性：不确定性： 知识和信息中含有的不肯定、不可靠、不准确、不精知识和信息中含有的不肯定、不可靠、不准确、不精确、不严格、不严密、不完全甚至不一致的成分。确、不严格、不严密、不完全甚至不一致的成分。按性质、产生的原因及表现形式分类：按性质、产生的原因及表现形式分类：1.随机不确定性随机不确定性2.模糊不确定性模糊不确定性3.不完全性不完全性4.不一致性不

4、一致性2021-10-1774.1.1 不确定性及其类型不确定性及其类型(2)1.随机不确定性随机不确定性 随机不确定性是基于概率的一种衡量，即已知一个事件发生有多随机不确定性是基于概率的一种衡量，即已知一个事件发生有多个可能的结果。虽然在该事件发生之前，无法确定哪个结果会出现，个可能的结果。虽然在该事件发生之前，无法确定哪个结果会出现，但是，可以预先知道每个结果发生的可能性。但是，可以预先知道每个结果发生的可能性。例如：例如： “这场球赛甲队可能取胜这场球赛甲队可能取胜”“如果头疼发烧，则大概是患了感冒。如果头疼发烧，则大概是患了感冒。”2.模糊不确定性模糊不确定性 模糊不确定性就是一个命题

5、中所出现的某些言词其涵义不够确切，模糊不确定性就是一个命题中所出现的某些言词其涵义不够确切，从概念角度讲，就是其代表的概念的内涵没有硬性的标准或条件，其从概念角度讲，就是其代表的概念的内涵没有硬性的标准或条件，其外延没有硬性的边界。外延没有硬性的边界。例如：例如：“小王是高个子。小王是高个子。”“张三和李四是好朋友。张三和李四是好朋友。”把涵义不确切的言词所代表的概念称为软概念。把涵义不确切的言词所代表的概念称为软概念。2021-10-1784.1.1 不确定性及其类型不确定性及其类型(3)3.不完全性不完全性 对某事物了解得不完全或认识不够完整、不充分。对某事物了解得不完全或认识不够完整、不

6、充分。如，刑侦过程的某些阶段往往要针对不完全的证据进行推理。如，刑侦过程的某些阶段往往要针对不完全的证据进行推理。4.不一致性不一致性 随着时间或空间的推移，得到了前后不相容或不一致的结论。随着时间或空间的推移，得到了前后不相容或不一致的结论。如，人们对太空的认识等。如，人们对太空的认识等。2021-10-1794.1.2 不确定性推理（不确定性推理（1）1.不确定性推理方法的分类不确定性推理方法的分类控制方法模型方法非数值方法数值方法模糊推理基于概率纯概率可信度方法证据理论主观Bayes通过识别领域内引起不确定性的某些特征通过识别领域内引起不确定性的某些特征及相应的控制策略来限制或减少不确及

7、相应的控制策略来限制或减少不确定性对系统产生的影响。定性对系统产生的影响。贝叶斯网络对确定性推理从推理一级上扩展，建立关对确定性推理从推理一级上扩展，建立关于不确定性的表示、度量、计算、传于不确定性的表示、度量、计算、传播、合成的标准与方法，构成相应的播、合成的标准与方法，构成相应的不确定性推理模型。不确定性推理模型。2021-10-17104.1.2 不确定性推理概述（不确定性推理概述（2）对比一下不确定性推理与通常的确定性推理的差别：对比一下不确定性推理与通常的确定性推理的差别：(1) (1) 不确定性推理中规则的前件能否与不确定性推理中规则的前件能否与证据事实证据事实匹配成功匹配成功，不

8、但要求，不但要求两者的两者的符号模式符号模式能够能够匹配匹配（合一），而且要求（合一），而且要求证据事实所含证据事实所含的的信信度度必须必须达达“标标”，即必须达到一定的限度。这个限度一般称为，即必须达到一定的限度。这个限度一般称为“阈值阈值”。(2) (2) 不确定性推理中一个不确定性推理中一个规则规则的触发，不仅要求其前提能匹配成功，的触发，不仅要求其前提能匹配成功，而且而且前提条件前提条件的的总信度总信度还必须至少还必须至少达到阈值达到阈值。(3) (3) 不确定性推理中所推得的不确定性推理中所推得的结论结论是否是否有效有效，也取决于其，也取决于其信度信度是否是否达达到阈值。到阈值。(4

9、) (4) 不确定性推理还要求有一套关于不确定性推理还要求有一套关于信度信度的的计算方法计算方法，包括，包括“与与”关关系的信度计算、系的信度计算、 “ “或或”关系的信度计算、关系的信度计算、“非非”关系的信度计关系的信度计算和推理结果信度的计算等等。算和推理结果信度的计算等等。2021-10-17114.1.2 不确定性推理概述（不确定性推理概述（2）2.不确定性推理需要解决的问题不确定性推理需要解决的问题1）不确定性的表示与度量）不确定性的表示与度量n证据的不确定性证据的不确定性n规则（知识）的不确定性规则（知识）的不确定性n结论的不确定性结论的不确定性2）不确定性的匹配算法）不确定性的

10、匹配算法3）不确定性的计算与传播）不确定性的计算与传播n组合证据的不确定性计算组合证据的不确定性计算n最大最小方法最大最小方法n概率方法概率方法n有界方法有界方法n证据和知识的不确定性的传递证据和知识的不确定性的传递n不同证据支持同一结论时其不确定性的合成不同证据支持同一结论时其不确定性的合成因此，不确定性推理的一般模式也可以简单地表示为：因此，不确定性推理的一般模式也可以简单地表示为： 不确定性推理不确定性推理=符号推演符号推演+不确定性计算不确定性计算4.2 4.2 概率方法概率方法概率论基础（条件概率论基础（条件概率概率 ）n定义定义：设：设A，B为事件且为事件且P(A)0，称，称为事件

11、为事件A已发生的条件下，事件已发生的条件下，事件B的的条件概率条件概率，P(A)在概率推理中称为在概率推理中称为边缘概率边缘概率。简称简称P(B|A)为给定为给定A时时B发生的概率。发生的概率。P(AB)称为称为A与与B的联合概率。的联合概率。有联合概率公式：有联合概率公式：)()()|(APABPABP)()|()(APABPABP 设有如下产生式规则：设有如下产生式规则： IF IF E E THEN THEN H H其中，其中，E E为前提条件，为前提条件，H H为结论，具有随机性。为结论，具有随机性。 根据概率论中条件概率的含义，我们可以用条件概根据概率论中条件概率的含义，我们可以用条

12、件概率率P(H|E) P(H|E) 表示上述产生式规则的不确定性程度，即表表示上述产生式规则的不确定性程度，即表示为在证据示为在证据E E出现的条件下，结论出现的条件下，结论H H 成立的确定性程度。成立的确定性程度。 对于复合条件对于复合条件 E E = = E E1 1 ANDAND E E2 2 ANDAND AND AND EnEn可以用条件概率可以用条件概率P(H|E1,E2,En)作为在证据出现时结论作为在证据出现时结论的确定程度。的确定程度。4.2 4.2 概率方法概率方法4.2.1 4.2.1 经典概率方法经典概率方法4.2 4.2 概率方法概率方法4.2.2 4.2.2 Ba

13、yesBayes定理定理 设设 为一些事件，为一些事件， 互不互不相交，相交，P P( (BiBi)0)0，i i=1,2,=1,2, ,n n，且，且 则对于则对于 有，有， (4.3.1) (4.3.1)() (|)(|)() (|)kkkiiiP B P A BP BAP B P A B12,nA B BB12( )0,nP AB BBiiBP)1( Bayes Bayes公式容易由条件概率的定义、乘法公式和全公式容易由条件概率的定义、乘法公式和全概率公式得到。在概率公式得到。在BayesBayes公式中，公式中， P P( (B Bi i) )称为先验概率，称为先验概率，而而P(BP(

14、Bi i|A)|A)称为后验概率，也就是条件概率。称为后验概率，也就是条件概率。1,2,kn4.3 4.3 概率方法概率方法 如果用产生式规则如果用产生式规则 IF IF E E THEN THEN H Hi i i i 1, 2, , 1, 2, , n n其中前提条件其中前提条件E E 代替代替BayesBayes公式中公式中B B，用，用H Hi i 代替公式中的代替公式中的A Ai i 就可得到就可得到 i i1,2, ,1,2, ,n n (4.3.2)(4.3.2) 这就是说，当已知结论这就是说，当已知结论HiHi 的先验概率，并且已知结论的先验概率，并且已知结论Hi(i=1,2,

15、Hi(i=1,2,）成立时前提条件成立时前提条件E E 所对应的证据出现的条件概率所对应的证据出现的条件概率P(E|Hi)P(E|Hi)，就可以用上，就可以用上式 求 出 相 应 证 据 出 现 时 结 论式 求 出 相 应 证 据 出 现 时 结 论H iH i 的 条 件 概 率的 条 件 概 率P ( H i | E )P ( H i | E )。4.2.3 4.2.3 逆概率方法的基本思想逆概率方法的基本思想1 1单个证据的情况单个证据的情况1(|) ()(|)(|) ()iiinjjjP E H P HP HEP E HP H4.2 4.2 概率方法概率方法0009. 01 . 00

16、001. 09 . 0)()()|(咳嗽肺炎肺炎咳嗽PPP例子例子: :求求P(P(肺炎肺炎| |咳嗽咳嗽) )可能比较困难，但统计可能比较困难，但统计P(P(咳嗽咳嗽| |肺炎肺炎) )可能可能比较容易比较容易( (因为要上医院因为要上医院) )假设假设P(P(肺炎肺炎)=1|10000)=1|10000，而，而P(P(咳嗽咳嗽)=1|10)=1|10，90%90%的肺炎患者的肺炎患者都咳嗽，都咳嗽， P(P(咳嗽咳嗽| |肺炎肺炎)=0.9, )=0.9, 则则P(P(肺炎肺炎| |咳嗽咳嗽)=)= 4.2 4.2 概率方法概率方法)()()|()|(HPEPHEPEHP修正因子修正因子(

17、1)(1)可以将前面的逆概率公式写成可以将前面的逆概率公式写成这说明先验概率这说明先验概率P(H)P(H)可以通过方括号部分可以通过方括号部分( (作为修正因作为修正因子子) )修正为后验概率修正为后验概率P(H|E) (P(H|E) (证据证据E E为真时为真时H H的后验概率的后验概率) )在上面的例子中，医生认为一个人得肺炎的可能性为在上面的例子中，医生认为一个人得肺炎的可能性为万分之一，一旦发现患者咳嗽，就将调整为万分之九万分之一，一旦发现患者咳嗽，就将调整为万分之九4.2 4.2 概率方法概率方法)()()|()|(HPEPHEPEHP修正因子修正因子(2)(2)将将E E看作证据，

18、先验概率看作证据，先验概率P(E)P(E)越小，且越小，且H H为真时为真时E E的条件的条件概率概率P(E|H)P(E|H)越大，则修正因子所起作用越大越大，则修正因子所起作用越大在上例中，如果在上例中，如果P(P(咳嗽咳嗽)=0.0001 | P()=0.0001 | P(咳嗽咳嗽| |肺炎肺炎)=0.9999 | )=0.9999 | P(P(肺肺炎炎) )不变不变则则P(P(肺炎肺炎| |咳嗽咳嗽)=0.9999)=0.9999，远远超过原来的万分之九，远远超过原来的万分之九4.2 4.2 概率方法概率方法 对于有多个证据对于有多个证据 和多个结论和多个结论 并且每个证据都以一定程度支

19、持结论的情况，上面的并且每个证据都以一定程度支持结论的情况，上面的式子可进一步扩充为式子可进一步扩充为 (4.3.3)(4.3.3) 2 2多个证据的情况多个证据的情况12,mE EE12,nHHH1212121(/) (/)(/) ()(/)(/) (/)(/) ()iimiiimnjjmjjjP E H P EHP EH P HP HEEEP E H P EHP EH P H例例n已知：已知：1 . 0)|(, 9 . 0)|(, 7 . 0)|(3 . 0)|(, 6 . 0)|(, 5 . 0)|(3 . 0)(, 3 . 0)(, 4 . 0)(322212312111321HEPH

20、EPHEPHEPHEPHEPHPHPHP45. 0)()|()|()()|()|()()|()|()()|()|()|(33231222211121111211211HPHEPHEPHPHEPHEPHPHEPHEPHPHEPHEPEEHP求：求：P(H1|E1E2）， P(H2|E1E2）， P(H3|E1E2）解：同理可得：同理可得： P(H2|E1E2）=0.52， P(H3|E1E2）=0.03 逆概率公式的逆概率公式的优点优点是它有较强的理论背景和良好是它有较强的理论背景和良好的数学特征，当证据及结论彼此独立时计算的复杂度的数学特征，当证据及结论彼此独立时计算的复杂度比较低比较低。其。

21、其缺点缺点是要求给出结论是要求给出结论 的先验概率的先验概率 及及证据证据 的条件概率的条件概率 ，尽管有些时候，尽管有些时候 比比 相对容易得到，但总的来说，要想得到这相对容易得到，但总的来说，要想得到这些数据仍然是一件相当困难的工作。另外，些数据仍然是一件相当困难的工作。另外，BayesBayes公式公式的应用条件是很严格的，它要求各事件互相独立等，的应用条件是很严格的，它要求各事件互相独立等，如若证据间存在依赖关系，就不能直接使用这个方法。如若证据间存在依赖关系，就不能直接使用这个方法。4.2 4.2 概率方法概率方法()iP H(/)jiP EHjE4.2.4 4.2.4 逆概率方法的

22、优缺点逆概率方法的优缺点iH(/)jiP EH(/)ijPHE2021-10-17224.34.3主观贝叶斯方法（主观贝叶斯方法（1 1）n简介简介 主观贝叶斯方法是主观贝叶斯方法是R.O.DudaR.O.Duda等人等人19761976年提出的一种年提出的一种不确定性推理模型，并成功地应用于地质勘探专家系统不确定性推理模型，并成功地应用于地质勘探专家系统PROSPECTORPROSPECTOR。其核心思想是：其核心思想是： 根据：根据：.证据的不确定性（概率）证据的不确定性（概率）P(E);P(E); . .规则的不确定性（规则的不确定性（LSLS，LNLN）；）； LS LS：E E 的出

23、现对的出现对 H H 的支持程度，的支持程度， LN LN：E E 的出现对的出现对 H H 的不支持程度。的不支持程度。把结论把结论 H H 的先验概率更新为后验概率的先验概率更新为后验概率 P(H|E)P(H|E)；2021-10-17234.34.3主观贝叶斯方法（主观贝叶斯方法（2 2）4.3.1 4.3.1 知识的不确定性表示知识的不确定性表示4.3.2 4.3.2 证据的不确定性表示证据的不确定性表示4.3.3 4.3.3 不确定性的传播与计算不确定性的传播与计算4.3.4 4.3.4 主观贝叶斯方法的特点主观贝叶斯方法的特点2021-10-17244.3.1 知识的不确定性表示（

24、知识的不确定性表示（1） 知识是用规则表示的，具体形式为：知识是用规则表示的，具体形式为： if E then (LS, LN) H ( P(H) )或：或： 其中其中 E 是该条知识的前提条件，它既可以是一个简单条是该条知识的前提条件，它既可以是一个简单条件，件， 也可以是用也可以是用and 、or 把多个条件连接起来的把多个条件连接起来的复条件。复条件。 H 是结论，是结论，P(H) 是是 H 的先验概率，它指出在没有任的先验概率，它指出在没有任何专门证据的情况下，结论为真的概率，何专门证据的情况下，结论为真的概率，其值由领其值由领域专家根据以往的实践及经验给出。域专家根据以往的实践及经验

25、给出。)(),(HPHELNLS2021-10-17254.3.1 知识的不确定性表示知识的不确定性表示(2) LS 称为充分性量度，用于指出称为充分性量度，用于指出 E 对对 H 的支持程度，取值范围的支持程度，取值范围 为为 0， ），其定义为：），其定义为： LS = LS 的值由领域专家给出，具体情况在下面论述。的值由领域专家给出，具体情况在下面论述。 LN 称为必要性量度，用于指出称为必要性量度，用于指出 E 对对 H 的支持程度，取值范的支持程度，取值范 围为围为 0， ），其定义为：），其定义为： LN = = LN 的值也由领域专家给出，具体情况在下面论述。的值也由领域专家给出

26、，具体情况在下面论述。 LS, LN 相当于知识的静态强度。相当于知识的静态强度。P(E|H)P(E| H)P( E|H)P( E| H)1 P(E|H)1 P(E| H)2021-10-1726n在贝叶斯方法中，在贝叶斯方法中，引入引入几率函数几率函数o(x) ，它与概率的关系，它与概率的关系为为:n几率函数与概率函数有相同的单调性，但取值为几率函数与概率函数有相同的单调性，但取值为0， n下面讨论下面讨论LS、LN定义的由来定义的由来O(x) = P(x)1P(x)2021-10-17274.3.1 知识的不确定性表示知识的不确定性表示(3)1) 对于对于LS: 由由 Bayes 公式得：

27、公式得： P(H|E) = P(E|H) P(H) / P(E) 同理有：同理有： P( H|E) = P(E| H) P( H) / P(E) 除以除以，得：，得： P(H|E) P(E|H) P(H) P( H|E) P(E| H) P( H) LS= O(H)O(H|E)2021-10-17284.3.1 知识的不确定性表示知识的不确定性表示(4)使用几率函数，使用几率函数， 式可以表示为式可以表示为: O(H|E)=LSO(H)对于上式，证据对于上式，证据E肯定存在时，即肯定存在时，即P(E) = P(E|S) = 1，考虑，考虑P(H|E)。 由由 式式 及及 “非非”运算运算 ：P

28、( H|E) = 1 P(H|E) 、 P( H) = 1 P(H), 得：得： LS将将H的先验概率更新为后验概率的先验概率更新为后验概率P(H|E) = LS P(H)(LS 1) P(H) + 12021-10-17294.3.1 知识的不确定性表示知识的不确定性表示(5)LS的定义还可以表示为：的定义还可以表示为： LS= O(H|E)/ O(H) 可以看出，可以看出，P(H|E) 就越大，就越大，O(H|E)越大，则越大，则LS 越越大，表明大，表明E 对对 H 为真的支持越强。当为真的支持越强。当 LS ，P(H|E) 1，E 的存在对的存在对 H 为真是充分的，故称为真是充分的，

29、故称 LS 为充分性为充分性量度。量度。 2021-10-17304.3.1 知识的不确定性表示知识的不确定性表示(6)2)对于对于LN: 由由 Bayes 公式得：公式得： P(H| E) = P( E| H) P(H) / P( E) 同理有：同理有： P( H| E) = P( E| H) P( H) / P( E) 除以除以，得：，得： P(H| E) P( E|H) P(H) P( H| E) P( E| H) P( H) = LN O(H)O(H| E)2021-10-17314.3.1 知识的不确定性表示知识的不确定性表示(7)LN的定义还可以表示为：的定义还可以表示为： O(H

30、| E)=LNO(H)由由 式式 及及 “非非”运算运算 P( H|E) = 1 P(H|E) 、 P( H) = 1 P(H), 得：得：LN将将H的先验概率更新为后验概率的先验概率更新为后验概率P(H| E) =LN P(H)(LN 1) P(H) + 12021-10-17324.3.1 知识的不确定性表示知识的不确定性表示(8)由由 式式 可得：可得： LN=O(H| E) /O(H) 可以看出，可以看出，P(H| E ) 就越大，就越大，O(H| E)越大，则越大，则LN越大，表明越大，表明 E 对对 H 为真的支持越强。当为真的支持越强。当 LN = 0 0 ，P(H| E) =

31、0，E 的不存在导致的不存在导致 H 为假，说明为假，说明E对对H是必要的，是必要的，故称故称 LN 为必要性量度。为必要性量度。2021-10-17334.3.1 知识的不确定性表示知识的不确定性表示(8)n可以证明：可以证明：LS、LN0,它们是不独立的，且有如下约它们是不独立的，且有如下约束关系：束关系：n当当LS1时，时，LN1；n当当LS1；n当当LS=1时，时，LN=1；实际系统中，实际系统中，LS、LN值是有专家给出的。值是有专家给出的。2021-10-1734 4.3.2 证据的不确定性表示（证据的不确定性表示（1） 证据的不确定性也是用概率表示的。证据的不确定性也是用概率表示

32、的。 对于初始证据对于初始证据 E ，由用户根据观察由用户根据观察 S 给出给出 P(E/S)，它相当于它相当于动态动态强度。强度。 具体应用中采用变通的方法，在具体应用中采用变通的方法，在 PROSPECTOR 中引进了可中引进了可信度的概念，用信度的概念，用C(E/S)刻画证据的不确定性。刻画证据的不确定性。 让用户在让用户在 5 至至 5 之间的之间的 11 个整数中选一个数作为初始证据的可信度个整数中选一个数作为初始证据的可信度C(E/S) 。 初始初始可信度可信度 C(E/S) 与与 概率概率 P(E/S) 的对应关系如下：的对应关系如下： lC(E/S)= -5 ，表示在观察表示在

33、观察 S 下证据下证据 E 肯定不存在，即肯定不存在，即 P(E/S)=0；lC(E/S)= 0 ， 表示表示 S 与与 E 无关，即无关，即 P(E/S) =P(E) ；lC(E/S)= +5 ，表示在观察表示在观察 S 下证据下证据 E 肯定存在，即肯定存在，即 P(E/S)=1；2021-10-17354.3.2 证据的不确定性表示（证据的不确定性表示（2）lC(E/S) = 其它数值时，与其它数值时，与 P(E/S) 的对应关系可通过对上述三点进的对应关系可通过对上述三点进行分段线性行分段线性 插值得到，如下图。插值得到，如下图。P(E/S)1P(E)C(E/S)-5 -4 -3 -2

34、 -1 0 1 2 3 4 5由上图可得到由上图可得到 C(E/S) 与与 P(E/S) 的关系式，即由的关系式，即由C(E/S) 计算计算 P(E/S)： P(E/S) =若若 0 C(E/S) 5若若 5 C(E/S) 0C(E/S) + P(E) ( 5 C(E/S)55P(E) ( C(E/S) + 5 )2021-10-17364.3.3不确定性的传播与计算不确定性的传播与计算 在主观在主观 Bayes 方法的知识表示中，方法的知识表示中，P(H) 是专家对结论是专家对结论 H 给给出的先验概率，出的先验概率， 它是在没有考虑任何证据的情况下根据经验给出它是在没有考虑任何证据的情况下

35、根据经验给出的。的。 随着新证据的获得，对随着新证据的获得，对 H 的信任程度应该有所改变。的信任程度应该有所改变。主观主观 Bayes 方法推理的任务方法推理的任务就是根据证据就是根据证据 E 的概率的概率 P(E)及及 LS , LN 的的值，把值，把 H的先验概率的先验概率 P(H) 更新更新为后验概率为后验概率 P(H/E) 或或 P(H/ E)。 即：即： P(H) P(H/E) 或或 P(H/ E) P(E)LS, LN2021-10-17374.3.3不确定性的传播与计算不确定性的传播与计算(1) 在现实中，证据肯定存在或肯定不存在的极端情况是不多的，在现实中，证据肯定存在或肯定

36、不存在的极端情况是不多的， 更多的是介于两者之间的不确定情况。更多的是介于两者之间的不确定情况。 现在要在现在要在 0 P(E/S) 1 的情况下确定的情况下确定 H 的后验概率的后验概率 P(H/S) 。 在证据不确定的情况下，不能再用上面的公式计算后验概率，在证据不确定的情况下，不能再用上面的公式计算后验概率，而需使用而需使用 R.O.Doda 等人等人1976年证明的如下公式：年证明的如下公式： P(H/S) = P(H/E) P(E/S) + P(H/ E) P( E/S) 2021-10-17384.3.3不确定性的传播与计算不确定性的传播与计算(2)下面分四种情况讨论：下面分四种情

37、况讨论： 1) P(E|S) = 1 当当 P(E|S) = 1 时，时， P( E|S) = 0，此时公式此时公式 变为：变为： P(H|S) = P(H|E) = 这是证据肯定存在的情况。这是证据肯定存在的情况。 2) P(E|S) = 0 当当 P(E|S) = 0 时，时， P( E|S) = 1，此时公式此时公式 变为：变为： P(H|S) = P(H| E) = 这是证据肯定不存在的情况。这是证据肯定不存在的情况。 LS P(H)(LS 1) P(H) +1 LN P(H)(LN 1) P(H) +1 P(H/S) = P(H/E) P(E/S) + P(H/ E) P( E/S)

38、 2021-10-17394.3.3不确定性的传播与计算不确定性的传播与计算(3)3) P(E|S) = P(E) 当当 P(E|S) = P(E) 时，此时公式时，此时公式 变为：变为： P(H|S) = P(H|E) P(E) + P(H| E) P( E) = P(H) 表示表示 H 与与 S 无关。无关。 4) 当当 P(E|S) = 其它值时其它值时，通过分段线性插值可得到计，通过分段线性插值可得到计算算P(H|S)的公式。的公式。全概率公式全概率公式2021-10-17404.3.3不确定性的传播与计算不确定性的传播与计算(4)0 P(E) 1 P(E/S) P(H|E) P(H)

39、P(H| E)P(H|S) P(H| E) + P(E|S) 若若 0 P(E|S) P(E) P(H) + P(E|S) P(E) 若若 P(E) P(E|S) 1P(H) P(H| E) P(E)P(H|E) P(H) 1 P(E) P(H|S) =该公式称为该公式称为EH公式公式。2021-10-17414.3.3不确定性的传播与计算不确定性的传播与计算(5)n由前面可知由前面可知P(E|S)、P(H|S)的计算公式分别为：的计算公式分别为：P(E|S) =若若 0 C(E|S) 5若若 5 C(E|S) 0C(E|S) + P(E) ( 5 C(E|S)55P(E) ( C(E|S)

40、+ 5 ) P(H| E) + P(E|S) 若若 0 P(E|S) 01515P(H|S) =2021-10-17434.3.3不确定性的传播与计算不确定性的传播与计算(7)相同结论的后验概率合成：相同结论的后验概率合成： 若有若有n条知识都支持相同的结论条知识都支持相同的结论H，而且每条知识的前，而且每条知识的前提条件所对应的证据提条件所对应的证据Ei（i =1,2,n）都有相应的观察都有相应的观察Si 与之对应与之对应, 此时只要先求出每条知识的此时只要先求出每条知识的O(H/Si)，然后运用然后运用下述公式求出下述公式求出 O(H/S1,S2,Sn)。O(H|S1) O(H)O(H|S

41、2) O(H)O(H|Sn) O(H)O(H|S1,S2,Sn) = O(H)最后，再利用最后，再利用P(H|SP(H|S1 1,S,S2 2,S,Sn n) )与与O(H|SO(H|S1 1,S,S2 2,S,Sn n) )的关系：的关系： P(H|SP(H|S1 1,S,S2 2,S,Sn n)=O(H|S)=O(H|S1 1,S,S2 2,S,Sn n)/(1+ O(H|S)/(1+ O(H|S1 1,S,S2,2,S,Sn n)计算计算P(H|SP(H|S1 1,S,S2 2,S,Sn n) ) 。2021-10-17444.3.3不确定性的传播与计算不确定性的传播与计算(8)例例4.

42、2 设有如下规则：设有如下规则： r1: IF E1 THEN (65, 0.01) H1 r2: IF E2 THEN (300, 0.001) H1 r3: IF H1 THEN (200, 0.002) H2已知：已知： P(E1)=0.1 ，P(E2)=0.03， P(H1)=0. 1 ，P(H2)=0.05，用户提供，用户提供证据：证据：C(E1|S1)=2，C(E2|S2)=1，计算，计算P(H2|S1，S2)。2021-10-17454.3.3不确定性的传播与计算不确定性的传播与计算(9)分析：分析：自下而上计算：自下而上计算：n根据根据LSLS值，将值，将H H的先验概率转换为

43、后验概率，计算的先验概率转换为后验概率，计算P(HP(H1 1|E|E1 1) )、P(HP(H1 1|E|E2 2) ) n使用使用CPCP公式公式计算计算P(HP(H1 1|S|S1 1) )、P(HP(H1 1|S|S2 2) ) ，n计算计算O(HO(H1 1|S|S1 1) )、O(HO(H1 1|S|S2 2) )n对对H H1 1合成。计算合成。计算 O(HO(H1 1|S|S1 1,S,S2 2) )、P(P(H H1 1|S|S1 1,S,S2 2) ) 。n根据根据LSLS值，将值，将H H2 2的的先验概率转换为后验概率，计算先验概率转换为后验概率，计算P(HP(H2 2

44、|H|H1 1) ) n使用使用EHEH公式计算公式计算P P( (H H2 2| |S S1 1，S S2 2) )(1)(1)计算计算 P(HP(H1 1|E|E1 1) ) 、P(HP(H1 1|S|S1 1) ) 和和 O(HO(H1 1|S|S2 2) )111111()(|)(1)()1650.10.8784(651)0.1 1LSP HP HELSP H2021-10-17464.3.3不确定性的传播与计算不确定性的传播与计算(10)对于初始证据，使用对于初始证据，使用CPCP公式：公式： 111111111(/)() (/)()(/)510.10.87840.1250.4114

45、P HSP HP HEP HC ES111111(/)0.4114(/)0.69891(/)10.4114P HSO HSP HSP(H/ E) + P(H) P(H/ E) C(E/S) + 1， 若若C(E/S) 0P(H) + P(H/E) P(H) C(E/S)， 若若C(E/S) 01515P(H/S) = C(E1/S1)=2 0 C(E1/S1)=2 0 使用使用CPCP公式的后半部。公式的后半部。2021-10-17474.3.3不确定性的传播与计算不确定性的传播与计算(11) 300300 0.10.1( (300-1)300-1) 0.01+10.01+1P(HP(H1 1

46、/E/E2 2)= )= LSLS2 2 P(HP(H1 1) )(LS(LS2 2-1)-1) P(HP(H1 1)+1)+1= = 0.9709(2) (2) 计算计算P(HP(H1 1/E/E2 2) )、 P(HP(H1 1/S/S2 2) ) 、( ( O(H(H1 1/S/S2 2) ) )对于初始证据，使用对于初始证据，使用CPCP公式，公式， C(EC(E2 2/S/S2 2)=1 0 )=1 0 使用使用CPCP公式的后半部。公式的后半部。P(HP(H1 1)+P(H)+P(H1 1/E/E2 2) )P(HP(H1 1) C(E C(E2 2/S/S2 2) )1 15 5

47、P(HP(H1 1/S/S2 2)=)= 0.1+0.9709-0.09= 0.1+0.9709-0.09 1 1 1/51/5= 0.= 0.27422742O(H(H1 1/S/S2 2)=)= P(H1/S2)1-P(H1/S2) 0.2 0.27427421-0.21-0.2742742= 0.3778= 2021-10-17484.3.3不确定性的传播与计算不确定性的传播与计算(12)(3) (3) 计算计算 P(P(H H1 1/S/S1 1,S,S2 2) ) 、O(H(H1 1/S/S1 1,S,S2 2) ) 111()0.1()0.11111()10.1P HO HP H1

48、112112111(/)(/)(/,)()()()0.69890.37780.11112.37640.11110.1111O HSO HSO HS SO HO HO H112112112(/,)2.3764(/,)0.70381(/,)12.3764O HS SP HS SO HS S2021-10-17494.3.3不确定性的传播与计算不确定性的传播与计算(13)(4) (4) 计算计算 P(HP(H2 2/S/S1 1,S,S2 2) ) ( ( O(H(H2 2/S/S1 1,S,S2 2) ) )使用使用EHEH公式公式 P(P(H H1 1/S/S1 1,S,S2 2) P(H) P

49、(H1 1) ) 使用使用EHEH公式的后半部。公式的后半部。 200 200 0.050.05(200-1)(200-1) 0.05+10.05+1P(HP(H2 2/H/H1 1)= )= LSLS3 3 P(HP(H2 2) )(LS(LS3 31)1) P(HP(H2 2)+1)+1= = 0.9132P(HP(H1 1/S/S1 1,S,S2 2) ) P(H P(H1 1) ) 1 1 P(H P(H1 1) ) P(HP(H2 2/S/S1 1,S,S2 2)=)=P(HP(H2 2)+)+ P(HP(H2 2/H/H1 1) ) P(H P(H2 2)= 0.0= 0.05+(

50、0.9132-0.05)/(1-0. 1)5+(0.9132-0.05)/(1-0. 1) (0.7038-0.01)(0.7038-0.01)= 0.6291= 0.6291H2的先验概率为的先验概率为0.05，而最后算出的后验概率为，而最后算出的后验概率为0.6291 P(H/ E) + P(E/S) 若若 0 P(E/S) P(E) P(H) + P(E/S) P(E) 若若 P(E) P(E/S) 1P(H) P(H/ E) P(E)P(H/E) P(H) 1 P(E) P(H/S) =2021-10-17504.3.4 主观贝叶斯方法的特点主观贝叶斯方法的特点主要优点主要优点： 其计

51、算公式大多是在概率论的基础上推导出来的，具有其计算公式大多是在概率论的基础上推导出来的，具有 较坚实理论基础；较坚实理论基础； 知识的静态强度知识的静态强度LSLS、LN LN 由领域专家根据实际经验得由领域专家根据实际经验得 到，避免了大量的数据统计工作；到，避免了大量的数据统计工作； 给出了在证据不确定情况下更新先验概率为后验概率的给出了在证据不确定情况下更新先验概率为后验概率的 方法，且从推理过程中看，确实是实现了不确定性的传方法，且从推理过程中看，确实是实现了不确定性的传 递递. .主要缺点主要缺点： 它要求领域专家在给出知识时，同时给出它要求领域专家在给出知识时，同时给出 H H 的

52、先验概的先验概 率，这是比较困难的。率，这是比较困难的。 BayesBayes定理中要求事件间相互独立，限制了该方法的应定理中要求事件间相互独立，限制了该方法的应 用用。2021-10-17514.4 基于贝叶斯网络的推理基于贝叶斯网络的推理4.4.1 什么是贝叶斯网络什么是贝叶斯网络4.4.2 贝叶斯网络推理贝叶斯网络推理2021-10-17524.4.1 什么是贝叶斯网络（什么是贝叶斯网络（1）n贝叶斯网络是一种以随机变量为节点，以条件概率为节贝叶斯网络是一种以随机变量为节点，以条件概率为节点间关系强度的有向无环图（点间关系强度的有向无环图（Directed Acyclic Graph，D

53、AG）。）。n设设V1，V2，Vk是贝叶斯网络中的节点，满足贝叶斯是贝叶斯网络中的节点，满足贝叶斯网络的条件独立性假设，则网络中所有节点的联合概率网络的条件独立性假设，则网络中所有节点的联合概率为：为： n贝叶斯网络中的节点一般代表事件、对象、属性或状态；贝叶斯网络中的节点一般代表事件、对象、属性或状态；有向边一般表示节点间的因果关系。有向边一般表示节点间的因果关系。n贝叶斯网络也称因果网络、信念网络、概率网络、知识贝叶斯网络也称因果网络、信念网络、概率网络、知识图等，是描述事物之间因果关系或依赖关系的一种直观图等，是描述事物之间因果关系或依赖关系的一种直观图形。图形。12121312k121

54、211(,)() (/) (/,)(/, ,) =(/, ,)kkkiiiP V VVP V P VV P VV VP VV VVP VV VV,贝叶斯网络：贝叶斯网络：报报警网警网BurglaryBurglaryEarthqkEarthqkAlarmAlarmJohn John callscallsMary Mary callscallsBP(B)+b0.001b0.999EP(E)+e0.002e0.998BEAP(A|B,E)+b+e+a0.95+b+ea0.05+be+a0.94+bea0.06b+e+a0.29b+ea0.71be+a0.001bea0.999AJP(J|A)+a+j

55、0.9+aj0.1a+j0.05aj0.95AMP(M|A)+a+m0.7+am0.3a+m0.01am0.992021-10-17544.4.1 什么是贝叶斯网络（什么是贝叶斯网络（2）n机器人举积木问题。首先考虑第一个原因，机器人举积木问题。首先考虑第一个原因，即即“电池被充电电池被充电”（B）和和“积木是可举起来的积木是可举起来的”（L）相对应的变量。）相对应的变量。B和和L对对“手臂移动手臂移动”（M）有一个因果影响，）有一个因果影响，B对对G（“仪表指示电池被充电了仪表指示电池被充电了”）也）也有因果关系有因果关系， B BL LM MG G节点表示随机变量节点表示随机变量边表示相关

56、节边表示相关节点或变量之间点或变量之间某种依赖关系某种依赖关系每个节点有一个每个节点有一个条条件概率表（件概率表（CPTCPT）因节点因节点果节点果节点P（G/B）=0.95P（G/B）=0.1P（M/B,L）=0.9P（M/B, L）=0.05P（M/B, L）=0.05P（M/B, L）=0.0P（B）=0.95P（L）=0.755条件概率表条件概率表n每个节点旁的条件概率表每个节点旁的条件概率表( (简称简称CPT)CPT)中的值对应一个条中的值对应一个条件事件的概率件事件的概率n如如P(A)=0.94=P(A|Burglary Earthquake)n条件事件是父节点取值的一个可能组合

57、条件事件是父节点取值的一个可能组合n每行的概率之和应该为每行的概率之和应该为1(表中只给出了为真的情况，表中只给出了为真的情况，为假的概率应为为假的概率应为1-p)n一个具有一个具有k个布尔父节点的布尔变量的条件概率表个布尔父节点的布尔变量的条件概率表中有中有2k个独立的可指定的概率个独立的可指定的概率(注意概率值是独立的注意概率值是独立的)n没有父节点的节点的概率只有没有父节点的节点的概率只有1行行 / 为先验概率为先验概率56n贝叶斯网络给出了关于相关事件的完整描述，通过计贝叶斯网络给出了关于相关事件的完整描述，通过计算全联合概率分布求取算全联合概率分布求取n n就是条件概率表中适当元素的

58、乘积就是条件概率表中适当元素的乘积n niiinnXparentxPxnxPxXxXP111)(|(),.1(),.,(57n贝叶斯网络中节点相互独立贝叶斯网络中节点相互独立( (下面两个定义等价下面两个定义等价) )：(1)(1)给定父节点，一个节点与它的非后代节点是条件给定父节点，一个节点与它的非后代节点是条件独立的独立的(2)(2)给定一个节点的父节点、子节点以及子节点的父给定一个节点的父节点、子节点以及子节点的父节点节点(Markov blanket)(Markov blanket)，这个节点对于其它节点都，这个节点对于其它节点都是条件独立的是条件独立的 nd-分离（分离（d-sepa

59、ration)58X XY YZ Z给给定定y时时， ，x和和z条件独立条件独立( | , )( | )P z x yP z yX XY YZ Z给给定定y时时， ，x和和z条件独立条件独立( | , )( | )P z x yP z yX XY YZ Z给给定定y时时， ，x和和z不条件独立不条件独立( , )( ) ( )P x zP x P zBurglaryBurglaryEarthquakeEarthquakeAlarmAlarmJohn John callscallsMary Mary callscalls例：例：报报警网警网需要的参数个数：需要的参数个数：BurglaryBurg

60、laryEarthqkEarthqkAlarmAlarmJohn John callscallsMary Mary callscalls1 11 14 42 22 21010BP(B)+b0.001b0.999EP(E)+e0.002e0.998BEAP(A|B,E)+b+e+a0.95+b+ea0.05+be+a0.94+bea0.06b+e+a0.29b+ea0.71be+a0.001bea0.999AJP(J|A)+a+j0.9+aj0.1a+j0.05aj0.95AMP(M|A)+a+m0.7+am0.3a+m0.01am0.992021-10-17614.4.2 贝叶斯网络推理（贝叶