人工智能第四章非经典推理

人工智能第四章非经典推理第一页，共八十二页，2022年，8月28日不确定性推理的定义不确定性推理，就是从不确定性的初始证据（即已知事实）出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或近乎合理的结论的思维过程。4.1.2造成知识不精确性的主要原因（1）很多原因导致同一结果。如医学上导致低烧的病因就很多，医生只能作出猜测性判断。（2）信息的不完备性。如战场态势估计、股市波动预测等。（3）背景知识的不充分性。如人类目前对癌症机理还不了解。（4）信息描述的模糊性。如“今天天气比较好”。第二页，共八十二页，2022年，8月28日（5）推理规则的模糊性。如“若物价上涨过快，就要紧缩信贷”等模糊规则。（6）推理能力的局限性。如天气预报，气象专家只能满足于时间不太长、精度尽可能好的预测算法。（7）解题方案的不唯一性。无论是政治、经济、文化，还是军事领域中的很多问题，一般都有多种可选方案，在无法绝对地判断各方案优劣的情况下，只好选择主观上认为相对较优的方案，这又是一种不精确推理。不确定性推理的基本问题除了必须解决经典推理方法中同样存在的推理方向、推理方法、控制策略等基本问题外，一般还需要着重解决不确定性的表示与度量、不确定性匹配、不确定性的传递算法，以及不确定性的合成等问题。第三页，共八十二页，2022年，8月28日（1）不确定性的表示与度量选择不确定性表示方法时应考虑的因素：根据领域问题的特征将其不确定性比较准确地描述出来，以满足问题求解的需要；便于推理过程中对不确定性的推算。知识的不确定性表示静态强度：表示相应知识的不确定性程度的某个数值。它可以是相应知识在应用中成功的概率，也可以是该条知识的可信程度等，其值范围因其意义与使用方法的不同而不同。证据的不确定性表示推理中证据的来源：用户在求解问题时提供的初始证据及推理中得到的中间结果。第四页，共八十二页，2022年，8月28日动态强度：表示相应证据的不确定性程度的数值。初始证据的动态强度由用户给出；推理过程中所得到的中间结论（或中间结果）的动态强度由不确定性传递算法计算得到。不确定性的度量：对于不同的知识及不同的证据，其不确定性的程度一般是不相同的，需要用不同的数据表示其不确定性程度，还需事先规定其取值范围，只有这样每个数据才会有确定的意义。例如，在专家系统MYCIN中，可信度：表示知识及证据的不确定性；取值范围：[-1,1]；当可信度>0时，其值越大表示相应的知识或证据越接近于“真”；当可信度<0时，其值越小表示相应的知识或证据越接近于“假”。第五页，共八十二页，2022年，8月28日（2）不确定性的匹配 对于不确定性推理，由于知识和证据都具有不确定性，而且知识所要求的不确定性程度与证据实际具有的不确定性程度不一定相同，因而就出现了“怎样才算匹配成功？”的问题。常用的解决办法：设计一个算法用以计算匹配双方的相似程度（简称相似度）；指定一个相似的“限定”（即阈值），用以衡量匹配双方的相似度是否落在指定的限度内。若相似度在阈值范围内，则表明是匹配的，相应知识可被应用；否则，反之。第六页，共八十二页，2022年，8月28日（3）组合证据不确定性的算法在基于产生式规则的系统中，根据知识的前提条件是简单条件还是复合条件，可分为：单一证据：是指知识的前提条件仅为一个简单条件的情况；复合证据：是指知识的前提条件用AND（与）或OR（或）把多个简单条件连接起来构成复合条件的情况，即一个复合条件对应于一组证据。在不确定性推理中，由于结论的不确定性通常是通过对证据及知识的不确定性进行某种运算得到的，因而需要有合适的算法来计算组合证据的不确定性。主要方法：最大最小方法、概率方法、有界方法等。第七页，共八十二页，2022年，8月28日（4）不确定性的传递算法包括两个子问题：1）在每一步推理中，如何把证据及知识的不确定性传递给结论；一般做法：按照某种算法由证据和知识的不确定性计算出结论的不确定性。2）在多步推理中，如何把初始证据的不确定性传递给最终结论。一般做法：把当前推出的结论及其不确定性作为证据放入综合数据库，供以后推理使用。（5）结论不确定性的合成用不同知识进行推理得到了相同结论，但不确定性的程度却不相同，此时，需要用合适的算法对它们进行合成。而且在不同的不确定性推理方法中，所采用的合成方法也就各不相同。第八页，共八十二页，2022年，8月28日4.1.4不确定性推理方法的分类常用的方法有数值法和非数值法。数值法以概率方法、确定因子法、D—S证据理论和可能性理论为代表；非数值法则以批注理论和非单调逻辑为代表。数值法是对不确定性的一种定量表示和处理方法，便于计算、比较，非数值法是指除数值方法外的其它各种处理不确定性的方法，便于定性分析。第九页，共八十二页，2022年，8月28日4.2概率推理4.2.1概率论基础1.样本空间与随机事件（1）样本空间在概率论中，把试验中每一个可能出现的结果称为试验的一个样本点，由全体样本点构成的集合称为样本空间。用D表示样本空间，d表示样本点。如：D={d1，d2}（2）随机事件在概率论中，把由样本点构成的集合称为随机事件。对两个事件A与B，如果事件表达的是“事件A与事件B至少有一个发生”，称该事件为A与B的并事件，记：AUB如果事件表达的是“事件A与事件B同时发生”，称该事件为A与B的交事件，记：A∩

B

如果事件A与B之间满足“A∩

B=Φ，AUB=D”，则称A与B为互逆事件。第十页，共八十二页，2022年，8月28日2.事件的概率（1）统计概率在同一组条件下进行大量重复试验时，如果事件A出现的频率fn（A）总是在区间[0，1]上的一个确定常数p附近摆动，且稳定于p，则称p为事件A的统计概率。

P（A）=p

其中：fn（A）=m/nn：试验总次数m：试验中A发生次数统计概率的性质：对任一事件A，有0≤P（A）≤1必然事件D的概率P(D)=1，不可能事件Φ的概率P(Φ)=0对任一事件A，有P(A)=1-P(A)第十一页，共八十二页，2022年，8月28日设事件A1，A2，…Ak（k≤n）是两两互不相容的事件，Ai∩Aj=Φ（i≠j），则

设A、B是两个事件，则

P(AUB)=P(A)+P(B)-P(A∩

B)(2)条件概率

设A与B是某个随机试验中的两个事件，如果在事件B发生的条件下考虑事件A发生的概率，就称它为事件A的条件概率，记为P(A/B)。定义：设A、B是两个事件，P(B)>0，称为事件B已发生条件下，事件A发生的条件概率第十二页，共八十二页，2022年，8月28日3.全概率公式与Bayes公式（1）全概率公式设事件A1，A2，……，An满足：(1)任意两个事件都互不相容，即当i≠j时，有Ai∩Aj=Φ(i=1，2，……，n；j=1，2，……，n)；(2)P(Ai)>0(i=1，2，……，n)；(3)

对任何事件B有：

第十三页，共八十二页，2022年，8月28日例：A1={取红桃牌}

A2={取方块牌}

A3={取黑桃牌}

A4={取梅花牌}

A5={取王牌}

B={取花脸牌}解:P(B)=P(A1)×P(B|A1)+P(A2)×P(B|A2)+P(A3)×P(B|A3)+P(A4)×P(B|A4)+P(A5)×P(B|A5)=(13/54×3/13)×4+2/54×0=12/54第十四页，共八十二页，2022年，8月28日（2）Bayes公式设事件A1，A2，……，An两两互不相容，且它们构成全部样本空间，则对任何事件B有： 称这个公式为Bayes公式，同时称P(Ai)，P(B|Ai)的值为先验概率；P(Ai|B)的值为后验概率。Bayes公式就是从先验概率推导出后验概率的公式。【注意】：贝叶斯公式与全概率公式的区别。（1）全概率公式是由原因到结果的计算公式；（2）贝叶斯公式是在已知某种结果发生的情况下，寻求使这个结果发生的原因。贝叶斯公式在实际问题中有着十分重要的应用。第十五页，共八十二页，2022年，8月28日4.3确定性理论（可信度方法）1、可信度的概念可信度是指人们根据以往经验对某个事物或现象为真的程度的一个判断，即人们对某个事物或现象为真的相信程度。在确定性理论中不确定性是用可信度表示的。2、C-F模型（1）知识的不确定性在C-F模型中，知识是用产生式规则表示的。

IFETHENH（CF(H,E))E是知识的前提条件（证据），可以是一个简单条件，也可以是由合取和析取构成的复合条件。H是知识的结论，可以是一个或多个结论。第十六页，共八十二页，2022年，8月28日CF(H,E)是知识的可信度。CF(H,E)的具体值由领域专家给出，其取值范围为[一1，1]。CF(H,E)＞0表示证据存在，增加结论为真的确定性程度，CF(H,E)越大结论越真，CF(H,E)＝1表示证据存在结论为真。相反，CF(H,E)＜0表示证据存在，增加结论为假的确定性程度，CF(H,E)越小结论越假，CF(H,E)＝一1表示证据存在结论为假。CF(H,E)＝0时，则表示证据与结论无关。例如：

IF发烧AND流鼻涕THEN感冒(0.8)第十七页，共八十二页，2022年，8月28日（2）可信度的定义CF(H,E)=MB(H,E)-MD(H,E)MB(H,E):信任增长度，表示证据E的出现，使结论H为真的信任增长度。若P（H）=1

否则

MD(H,E)：不信任增长度，表示证据E的出现，对结论H的不信任增长度。若P（H）=0

否则

P（H）为H的先验概率，P（H|E）为H的条件概率第十八页，共八十二页，2022年，8月28日MB（H，E）>0表示因证据E的出现增加对结论H为真的信任增长度，即P（H|E）>P（H）MD（H，E）>0表示因证据E的出现增加对结论H为真的不信任增长度，即P（H|E）<P（H）

CF(H,E)的计算公式：若P(H|E)>P(H)若P(H|E)=P(H)若P(H|E)<P(H)基本性质：MB和MD的互斥性当MB（H，E）>0时，MD(H,E)=0当MD（H，E）>0时，MB(H,E)=0第十九页，共八十二页，2022年，8月28日值域0≤MB(H,E)≤1

0≤MD(H,E)≤1-1≤CF(H,E)≤1典型值-1则P（H|E）=0CF(H/E)=0则P（H|E）=P（H）1则P（H|E）=1对H的信任增长度等于对非H的不信任增长度

MD(H,E)=MB(H,E)CF不同于概率P

对于概率有：P(H)+P(H)=1且0≤P(H),P(H)≤1

而

CF(H|E)+CF(H|E)=0

即：对H的可信度与对非H的可信度之和等于0第二十页，共八十二页，2022年，8月28日对同一前提E，若支持若干个不同的结论Hi，则（3）证据的不确定性 证据的不确定性是用证据的确定性因子CF(E)表示的。原始证据的确定性因子由用户主观地给出，非原始证据的确定性因子由不确定性推理获得。值域当证据E以某种程度为真时，有0＜CF(E)≤l。当证据E以某种程度为假时，有-1≤CF(E)＜0。当证据E一无所知时，有CF(E)＝0。典型值当证据E肯定为真时，有CF(E)＝l。

当证据E肯定为假时，有CF(E)＝-1。

当证据E一无所知时，有CF(E)＝0。第二十一页，共八十二页，2022年，8月28日（4）不确定性推理算法E肯定存在

在证据E肯定存在时有CF(E)＝1，那么结论H的确定性因子为规则的确定性因子，即

CF(H)＝CF(H，E)E不是肯定存在

在客观的现实世界中，对证据的观察往往也是不确定的。除此之外，证据E可能还是另一条规则的结论，这时也常常是不确定的。在这种情况下，结论H的确定性因子CF(H)不仅取决于规则的确定性因子CF(H，E)，而且还取决于证据E的确定性因子CF(E)。计算公式为

CF(H)＝CF(H，E)×max{0，CF(E)}第二十二页，共八十二页，2022年，8月28日证据是多个条件的逻辑组合证据是合取连接

即E=E1ANDE2AND．．．ANDEn

则CF(E)＝CF(E1ANDE2AND...ANDEn)＝min{CF(E1)，CF(E2)，...，CF(En)}证据是析取连接这时，E＝E1ORE2OR...OREn，有

CF(E)＝CF(E1ORE20R...OREn)＝max{CF(E1)，CF(E2)，...，CF(En)}第二十三页，共八十二页，2022年，8月28日（5）结论不确定性的合成当多条知识推出相同结论，且这些知识的前提相互独立，结论的可信度又不相同，则可用不确定性的合成算法求出该结论的综合可信度。若有两条规则分别是

IFE1THENH(CF(H，E1))IFE2THENH(CF(H，E2))那末首先分别计算出CF1(H)和CF2(H)：CF1(H)＝CF(H，E1)×max{0，CF(E1)}CF2(H)＝CF(H，E2)×max{0，CF(E2)}第二十四页，共八十二页，2022年，8月28日然后用公式CF1(H)十CF2(H)-CF1(H)×CF2(H)若CF1(H)≥0且CF2(H)≥0CF12(H)＝CF1(H)十CF2(H)十CF1(H)×CF2(H)； 若CF1(H)＜0且CF2(H)＜0(CF1(H)十CF2(H))/(1-min{|CF1(H)|,|CF2(H)|})；其他计算出由E1和E2组合而导出的确定性因子CF12(H)。第二十五页，共八十二页，2022年，8月28日举例有如下的推理规则：

Rulel：IFE1THENH(0.9)Rule2：IFE2THENH(0.7)Rule3：IFE3THENH(-0.8)Rule4：IFE4ANDE5THENE1(0.7)Rule5：IFE6AND(E70RE8)THENE2(1.0)HE1E2E6E4E5ORAND0.9-0.80.71.0R1R3R4R5E3E7E80.7R2AND第二十六页，共八十二页，2022年，8月28日在图中，E3、E4、E5、E6、E7和E8为原始证据，其确定性因子由用户给出，假定它们的值为：CF(E3)＝0.3，CF(E4)＝0.9，CF(E5)＝0.6，CF(E6)＝0.7，CF(E7)＝-0.3，CF(E8)＝0.8。求CF(H)=？解：先求出CF(E1)、CF(E2)和CF(E3)。CF(E1)＝0．7×max{0，CF(E4ANDE5)}＝0．7×max{0，min{CF(E4)，CF(E5)}}＝0．7×max{0，min{0．9，0．6}}＝0．7×max{0，0．6}＝o．7×0．6＝0.42第二十七页，共八十二页，2022年，8月28日CF(E2)＝1×max{0，CF(E6AND(E7ORE8))}＝1×max(0，min{CF(E6)，max{CF(E7)，CF(E8)}}}＝1×max{0，min{CF(E6)，max{-0.3，0.8}}}＝1×max{0，min{0.7，0.8}}＝1×max{0，0.7}＝1×0.7＝0.7CF(E3)＝0.3CF1(H)＝0．9×max{0，CF(E1)}＝0．9×max{0，0．42}＝0．9×0．42＝0．38第二十八页，共八十二页，2022年，8月28日CF2(H)＝0．7×max{0，CF(E2)}＝0．7×max{0，0．7}＝0．7×0．7＝0．49CF3(H)＝－0．8×CF(E3)＝－0．8×0．3＝－0．24∵CF1(H)>0且CF2(H)>0CF12(H)＝CF1(H)十CF2(H)－CF1(H)×CF2(H)＝0．38十0．49－0．38×0.49＝0．6838∵CF12(H)>0且CF3(H)<0CF(H)＝CF123(H)＝(CF12(H)十CF3(H))/(1－min{|CF12(H)|,|CF3(H)|})＝(0．6838－0．24)/(1－0.24)＝0．5839第二十九页，共八十二页，2022年，8月28日CF模型的优点是：简单、直观。主要表现在组合假设和证据的不确定性的计算十分简单，而且不需要把信任和不信任的判断知识表示成概率的形式。把某个值指派给一个假设的确定性因子要比把一个概率直接指派给一个假设要容易得多。计算仅有线性的信息和时间的复杂度，而且推理的近似效果也比较理想。推理的结果与证据提供的顺序无关。推理过程中的阈值推理所得到的结论中有的可信度很低，可以设定一个阈值，在推理过程中去掉那些可信度低于阈值的结论。一般阈值定为0.2，当CF＜0.2时，置CF＝0，当CF≥0.2时，CF有意义。第三十页，共八十二页，2022年，8月28日3.带加权因子的可信度推理（1）知识不确定性的表示

IFE1(ω1)ANDE2(ω2)AND．．．ANDEn(ωn)

THENHCF(H,E)ωi为加权因子，取值范围[0，1]，由领域专家给出。加权因子取值原则：条件的独立性越强，对结论的重要程度越高，则该条件的加权因子越大。且满足归一条件（2）组合证据不确定性的计算对于E=E1(ω1)ANDE2(ω2)AND．．．ANDEn(ωn)可信度为：第三十一页，共八十二页，2022年，8月28日如果不满足归一条件，则可信度为：（3）不确定性的更新

CF(H)=CF(H,E)×CF(E)

“×”可以是乘运算，也可以是其他合适的运算。第三十二页，共八十二页，2022年，8月28日例：设有如下知识：

r1：IFE1(0.6)ANDE2(0.4)THENE5(0.8)r2：IFE3(0.5)ANDE4(0.3)ANDE5(0.2)THENH(0.9)已知：CF(E1)=0.9,CF(E2)=0.8,CF(E3)=0.7,CF(E4)=0.6求：CF(H)解：CF(E1(0.6)ANDE2(0.4))=ω1×CF(E1)+ω2×CF(E2)=0.6×0.9+0.4×0.8=0.86CF(E5)=0.8×0.86=0.69CF(E3(0.5)ANDE4(0.3)ANDE5(0.2))=0.5×0.7+0.3×0.6+0.2×0.69=0.67CF(H)=0.9×0.67=0.70第三十三页，共八十二页，2022年，8月28日主观Bayes方法的基本思想由于证据E的出现，使得P(H)变为P(H|E)主观Bayes方法,就是研究利用证据E，将先验概率P(H)更新为后验概率P(H|E)4.4主观Bayes方法第三十四页，共八十二页，2022年，8月28日1.知识不确定性的表示

知识表示IFETHEN（LS，LN）H几率函数O(x)

几率函数定义为O(x)＝P(x)/(1-P(x))。它表示x出现的概率与不出现概率之比，随着P(x)的增大，O(x)也增大。当P(x)＝0时，有O(x)＝0当P(x)＝1时，有O(x)＝∞这样，取值为[0，1]的P(x)被放大为取值为[0,∞]的O(x)。充分性度量LS：LS＝P(E|H)/P(E|H)必要性度量LN：LN＝P(E|H)/P(E|H)LS、LN的取值范围[0,∞]第三十五页，共八十二页，2022年，8月28日根据Bayes公式有

P(H|E)＝P(E|H)P(H)/P(E)(1)P(H|E)＝P(E|H)P(H)|P(E)(2)将上述两式相除，得P(H|E)/P(H/E)=[P(E|H)/P(E|H)]×[P(H)/P(H)]再利用几率函数和LS，上式可表示为

O(H|E)＝LS×O(H)当LS>1时，O(H|E)>O(H)，说明E支持H，LS越大，O(H|E)就越大，即P(H|E)越大，说明E对H的支持越强。当LS→∞时，O(H|E)→∞，从而有P(H|E)→1，说明E的存在导致H为真。当LS=1时，O(H|E)＝O(H)，说明E对H没有影响当LS<1时，O(H|E)<O(H)，说明E不支持H当LS=0时，O(H|E)=0，说明E的存在使H为假因此，LS反映E的出现对H为真的影响程度，称LS为充分性度量。第三十六页，共八十二页，2022年，8月28日同理，将前面(1)(2)中的E换为E，可以得到

O(H|E)=LN×O(H)当LN>1时，O(H|E)>O(H)，说明E支持H，LN越大，O(H|E)就越大，即P(H|E)越大，说明E对H的支持越强。当LN→∞时，O(H|E)→∞，从而有P(H|E)→1，说明E的存在导致H为真。当LN=1时，O(H|E)＝O(H)，说明E对H没有影响当LN<1时，O(H|E)<O(H)，说明E不支持H当LN=0时，O(H|E)=0，说明E的存在使H为假LN反映了E不出现对H为真的影响程度。因此，称LN为必要性度量。LS与LN的关系E与E不应同时支持或同时排斥H，只有下述三种情况存在：LS>1且LN<1；LS<1且LN>1LS=LN=1第三十七页，共八十二页，2022年，8月28日在主观Bayes方法中，一条规则变成了如下的形式：IFETHEN(LS，LN)H其中参数LS，LN和先验几率O(H)要由领域专家主观给出。2.证据不确定性的描述在主观Bayes方法中，证据E的不确定性采用概率P的等价形式——几率来描述。

P(E)0当E为假时

O(E)=————=∞当E为真时1-P(E)（0，+∞）当E非真也非假时3.组合证据不确定性的计算证据合取情况：E=E1ANDE2AND．．．ANDEn设在观察S之下，证据E1，E2，…，En的概率为P(E1|S)、P(E2|S)、…、P(En|S)，那么有

P(E|S)＝Min{P(E1|S)，P(E2|S)，...，P(En|S)}第三十八页，共八十二页，2022年，8月28日4.不确定性的更新

根据证据E的概率P（E）及LS，LN的值，把H的先验概率P（H）或先验几率O（H）更新为后验概率或后验几率（1）当证据E肯定为真时(P(E)＝1)可直接使用公式

O(H|E)＝LS×O(H)以求得使用规则E→H后，O(H)的更新值O(H|E)。证据析取情况

E=E1ORE20R…OREn设在观察S之下，证据E1，E2，...，En的概率为P(E1|S)、P(E2|S)、...、P(En|S)，那么有P(E|S)＝max{P(E1|S)，P(E2|S)，…，P(En|S)}第三十九页，共八十二页，2022年，8月28日若需要以概率的形式表示，则对上式反复应用公式

P(E)=O(E)/(1+O(E))计算出P(H|E)=(LS×P(H))/((LS-1)×P(H)+1)（2）当证据E肯定为假时(P(E)＝1)可直接使用公式

O(H|E)＝LN×O(H)以求得使用规则E→H后，O(H)的更新值O(H|E)。若以概率的形式表示P(H|E)=(LN×P(H))/((LN-1)×P(H)+1)第四十页，共八十二页，2022年，8月28日(3)当证据E不确定时(P(E)≠1)设S是与E有关的所有观察，对规则E→H来说有公式 P(H|S)＝P(H|E)×P(E|S)十P(H|E)×P(E|S)当P(E|S)＝1时，P(E|S)=0,证据E必然出现，有

P(H|S)＝P(H|E)＝LS×P(H)/((LS-1)×P(H)+1)当P(E|S)＝0时，P(E|S)=1,证据E必然不出现有P(H|S)=P(H|E)=LN×P(H)/((LN-1)×P(H)+1)当P(E|S)＝P(E)时，即观察S对E无影响有P(H|S)=P(H|E)×P(E)+P(H|E)×P(E)=P(H)当P(E|S)为其他值时可以从P(E|S)分别为0，P(E)和1这3个特殊点采用分段线性插值的方法，确定与其相应的P(H|S)值。第四十一页，共八十二页，2022年，8月28日称为EH公式P(E)P(E|S)01P(H|S)P(H|E)P(H)P(H|E)

P(H/E)+P(E/S)若0P(E/S)<

P(E)P(H)+[P(E/S)–P(E)]

若P(E)P(E/S)1P(H)–P(H/E)

P(E)P(H/E)–P(H)1–P(E)

P(H/S)=第四十二页，共八十二页，2022年，8月28日由用户根据观察S给出P(E|S)相当困难引入可信度的概念（为用户回答方便，采用-5到5这11个整数之一作为证据的可信度，用户可以根据实际情况从中选择）可信度C(E|S)和概率P(E|S)的对应关系如下：C(E|S)=-5，即在观察S下证据E肯定不存在，P(E|S)=0C(E|S)=0，表示S与E无关，即P(E|S)=P(E)C(E|S)=5，即在观察S下证据E肯定存在，P(E|S)=1C(E|S)为其它数时，可通过对上述三点进行分段线性插值得到——CP公式

第四十三页，共八十二页，2022年，8月28日-5-4-3-2-1012345P(E|S)=1P(E|S)=0P(E|S)P(E)C(E/S)第四十四页，共八十二页，2022年，8月28日5.结论不确定性的合成设一组相互独立的证据E1、E2…En的观察分别为S1、S2…Sn，且有规则E1→H，E2→H，…，En→H。假定由这些规则得到的结论H的后验几率分别是O(H|S1)、O(H|S2)…O(H|Sn)，那么由这些独立证据的组合相应得到的结论H的后验几率为O(H|S1,S2…,Sn)=O(H|S1)XO(H|S2)X…O(H|Sn)X0（H）

O(H)O(H)O(H)第四十五页，共八十二页，2022年，8月28日例1设有如下规则：规则1:IFE1THEN(2,0.001)H规则2:IFE2THEN(100,0.001)H且O(H)=0.1,C(E1|S1)=2,C(E2|S2)=1计算O(H|S1,S2)HE1S1E2S2第四十六页，共八十二页，2022年，8月28日第四十七页，共八十二页，2022年，8月28日第四十八页，共八十二页，2022年，8月28日例2PROSPECTOR专家系统中的部分推理网络如图所示。图中各结点的先验概率标在结点的右上方，规则的LS和LN值标在该规则连线的一侧。用户给出的各原始证据在各自的观察之下概率为：

P(E1|S1)＝0.7，P(E2|S2)＝0.6，P(E3|S3)＝0.02。现要求计算结论H2的后验概率P(H2|S1,S2,S3)。H2H1E3E1E265,0.01300,0.00012,0.000001100,0.0000010.010.030.10.40.2第四十九页，共八十二页，2022年，8月28日即有如下规则：R1:IFE1THEN(2,0.000001)H1R2:IFE2THEN(100,0.000001)H1R3:IFH1THEN(65,0.01)H2R4:IFE3THEN(300,0.0001)H2和专家给出的先验概率：P(E1)=0.2,P(E2)=0.4,P(E3)=0.03,P(H1)=0.1,P(H2)=0.01用户给出的在观察S下证据E的概率：P(E1|S1)=0.7,P(E2|S2)=0.6,P(E3|S3)=0.02第五十页，共八十二页，2022年，8月28日解1．根据P(E1|Sl)计算P(H1|Sl)

由于P(E1|S1)＝0.7＞0.2＝P(E1)，所以P(H1|E1)＝LS×P(H1) (LS-1)×P(H1)十1＝2×0.1＝0.1818 (2-1)×0.1十1P(H1|S1)＝P(H1)十P(H1|E1)-P(H1) 1-P(E1)×[P(E1|S1)-P(E1)]＝0.1十

×(0.7-0.2)

1-0.2＝0.151125P(H|S)P(H1|E1)P(H1)P(H|E)P(E1)P(E|S)01P(E1|S1)P(H1|S1)P(H/S)=P(H|

E)+(P(H)-P(H|

E))/P(E)×P(E|S)0≤P(E|S)＜P(E)P(H/S)=P(H)+(P(H/E)-P(H))/(1-P(E))×(P(E/S)-P(E))P(E)≤P(E|S)≤1第五十一页，共八十二页，2022年，8月28日2．根据P(E2|S2)计算P(H1|S2)。由于P(E2|S2)＝0.8＞0.4＝P(E2)，所以P(H1|E2)＝LS×P(H2)

(LS-1)×P(H2)+1 ＝100×0.1＝0.9174311 99×0.1+1 P(H1|S2)＝P(H1)+P(H1|E2)-P(H1) 1-P(E2)×[P(E2|S2)-P(E2)] ＝0.1+×(0.6-0.4) 1-0.4 ＝0.372477P(H|S)P(H1|E2)P(H1)P(H|E)P(E2)01P(E2|S2)P(H1|S2)第五十二页，共八十二页，2022年，8月28日3.根据独立证据E1和E2计算P(H1|S1,S2)。

先计算后验几率O(H1|S1,S2)，由于

O(H1)＝P(H1)＝0.1＝0.11111111-P(H1)1-0.1O(H1|S1)＝＿P(H1|S1)＝＿0.1511251-P(H1|S1)1-0.151125 ＝0.1780297O(H1|S2)＝＿P(H1|S2)＝＿0.372477

1-P(H1|S2)1-0.372477 ＝0.593567

由此得：O(H1|S1,S2)＝O(H1|S1)×

O(H1|S2)×O(H1)O(H1)O(H1)＝0.1780297×

0.593567×0.111111＝0.95105320.1111110.111111然后计算后验概率P(H1|Sl,S2)，得P(H1|S1,S2)＝O(H1|S1,S2)＝0.9520532

1+O(H1|S1,S2)1.9510532＝0.4874563第五十三页，共八十二页，2022年，8月28日4．根据P(H1|Sl,S2)计算P(H2|S1,S2)由于P(H1|S1,S2)＝0.4874563＞0.1＝P(H1)，所以P(H2|H1)＝LS×P(H2)＝65×0.01

(LS-1)×P(H2)+164×0.01+1 ＝0.3963414P(H2|S1,S2)＝P(H2)×P(H2|H1)-P(H2)

1-P(H1) ×[P(H1|Sl,S2)-P(H1)] ＝0.01十×(0.4874563-0.1) 1-0.1＝0.1763226P(H|S)P(H2|Hl)P(H2)P(H|E)P(H1)01P(H1|S1,

S2)P(H2|

S1,S2)第五十四页，共八十二页，2022年，8月28日5．根据P(E3|S3)计算P(H2|S3)。由于P(E3|S3)＝0.02＜0.03，所以P(H2|E3)＝LN×P(H2)

(LN-1)×P(H2)+1＝0.0001×0.01＝0.000001-0.9999×0.1+1P(H2|S3)＝P(H2|E3)+P(H2)-P(H2|E3)×P(E3|S3)P(E3)＝0.000001十×0.02 0.03 ＝0.006667＜P(H2)P(H|S)P(H2|E3)P(H2)P(H2|E3)P(E3)01P(E3|S3)P(H2|S3)第五十五页，共八十二页，2022年，8月28日6．根据独立证据H1和E3计算P(H2|S1,S2,S3)

先计算后验几率O(H2|Sl,S2,S3)，由于

O(H2)＝P(H2)＝0.01＝0.010l0l1-P(H2)1-0.01O(H2|S1,S2)＝P(H2|S1,S2)

1-P(H2|S1,S2) ＝0.1763226＝0.2140675 0.8236774O(H2|S3)＝P(H2|S3)

1-P(H2|S3) ＝0.006667＝0.00671174 0.993333第五十六页，共八十二页，2022年，8月28日因此得O(H2|S1,S2,S3)＝O(H2|S1,S2)

×

O(H2|S3)

×O(H2)O(H2)O(H2) ＝0.2140675×0.00671174×0.0101010.0101010.010101＝0.142239最后得到后验概率

P(H2|S1,S2,S3)＝O(H2|S1,S2,S3) 1+O(H2|S1,S2,S3) ＝0.142239＝0.12451+0.142239以上计算表明，经推理后假设H2的概率已从先验概率0.01增大到后验概率0.1245。第五十七页，共八十二页，2022年，8月28日主观Bayes方法的优点是：1．基于Bayes规则的计算方法具有理论基础和易于理解的数学性质，它提供了两个规则强度，恰当地处理了证据存在和不存在两种情况对假设的影响，以及分段线性插值方法较好地处理了主观概率的数学不一致性.2．该方法的计算工作量适中。第五十八页，共八十二页，2022年，8月28日主观Bayes方法的缺点是：1．要求大量的先验概率（各种假设和推理过程中各级的证据的概率），专家不易给出。另外，由于概率的分派具有主观性，所以在一个系统中很难保证由领域专家给出的概率具有前后的一致性。2．要求所有假设的概率都是独立的，这在一个大型的专家系统中，要求把解空间分解为相互排斥的子集可能是不实际的。3．在系统中增加或删除一个假设时，要对事件的概率进行修改。为了保证系统的相关性和一致性，还必须重新计算所有的概率。4．系统中的先验概率高度地依赖于上下文。例如，某种疾病的发生概率要依赖于地域位置和时间的变化，这给系统的处理带来困难。第五十九页，共八十二页，2022年，8月28日4.5证据理论1.D-S理论的基本概念 D-S证据理论是由Dempster提出，由他的学生Shafer发展起来的。该理论将概率论中的单点赋值扩展为集合赋值，引进了信任函数，可以满足比概率函数的公理还要弱的公理，因而可以用来处理由“不知道”所引起的不确定性。（1）概率分配函数设Ω为变量x的所有可能取值的有限集合，且Ω中的每个元素都相互独立，则由Ω的所有子集构成的幂集记为2Ω。当Ω中的元素个数为N时，则其幂集2Ω的元素个数为2N，且其中的每一个元素都对应于一个关于x取值情况的命题。第六十页，共八十二页，2022年，8月28日例：设Ω={红，黄，白}，求Ω的幂集2Ω解：

A0=φ，A1={红}，A2={黄}，A3={白}，A4={红，黄}，A5={红，白}，A6={黄，白}，A7={红，黄，白}子集个数：2N=23=8定义：设函数m：2Ω→[0，1]，且满足

m(φ)=0

则称m是2Ω上的概率分配函数，m(A)为A的基本概率数。

m（{}，{红}，{黄}，{白}，{红，黄}，{红，白}，{黄，白}，{红，黄，白}）=（0，0.3，0，0.1，0.2，0.2，0，0.2）为概率分配函数。第六十一页，共八十二页，2022年，8月28日说明：1）概率分配函数的作用是把Ω的任意一个子集都映射为[0，1]上的一个数m(A)。当AΩ，且A由单个元素组成时，m(A)表示对A的精确信任度；当AΩ、A≠Ω，且A由多个元素组成时，m(A)也表示对A的精确信任度，但不知道信任度该分给A中哪些元素；当A=Ω时，则m(A)也表示不知道该如何分配。2）概率分配率不是概率。（2）信任函数信任函数Bel定义为Bel：2Ω→[0，1]且对所有的AΩ即命题A的信任函数的值是A的所有子集的概率分配函数m(B)(BA)的数值和，用信任函数Bel(A)表示对A的总信任度。第六十二页，共八十二页，2022年，8月28日

根据定义有：

Bel(φ)=0Bel(Ω)=1例：

Bel({红})=m({红})=0.3Bel({红，白})=m({红})+m({白})+m({红，白})=0.3+0.1+0.2=0.6（3）似然函数似然函数Pl定义为

Pl：2Ω→[0，1]且

Pl(A)=1-Bel(A)对所有的AΩ其中A=Ω-A

Pl(A)表示对A为非假的信任度。

Pl({红})=1-Bel({红})=1-Bel({黄，白})=1-(m({黄}）+m({白}）+m({黄，白}))=1-(0+0.1+0)=0.9第六十三页，共八十二页，2022年，8月28日Pl(A)是所有与A相交子集的概率分配函数m(B)(B∩A≠Φ)的数值和。Pl({红})=m({红})+m({红,黄})+m({红，白})+m({红，黄，白})=0.3+0.2+0.2+0.2=0.9（4）信任函数与似然函数的关系Pl(A)≥Bel(A)

Bel(A)为对A的信任度的下限，

Pl(A)为对A的信任度的上限，可表示为

A[Bel(A),Pl(A)]

如{红}[0.3,0.9]

第六十四页，共八十二页，2022年，8月28日

关于信任度的典型值

A[0,1]：说明对A一无所知。Bel（A)=0,说明对A不信任；Bel(A)=1-Pl(A)=0，说明对A也不信任。A[0,0]：说明A为假。Bel（A)=0,说明对A不信任；Bel(A)=1-Pl(A)=1，说明对A信任。A[1,1]：说明A为真。Bel（A)=1,说明对A信任；Bel(A)=1-Pl(A)=0，说明对A不信任。A[0.6,1]：说明对A部分信任。Bel（A)=0.6,说明对A有一定程度的信任；Bel(A)=1-Pl(A)=0，说明对A不信任。A[0,0.4]：说明对A部分信任。Bel（A)=0,说明对A不信任；Bel(A)=1-0.4=0.6，说明对A有一定程度的信任。A[0.3,0.9]：说明对A和A都有部分信任。Bel(A)=0.3,说明对A部分信任；Bel(A)=1-Pl(A)=0.1，说明对A也部分信任。第六十五页，共八十二页，2022年，8月28日（5）概率分配函数的正交和

设m1和m2是两个不同的概率分配函数，则其正交和m=m1⊕m2满足

m(Φ）＝0其中：

K≠0，则正交和m是一个概率分配函数

K＝0，则不存在正交和m，m1与m2矛盾第六十六页，共八十二页，2022年，8月28日例：设Ω＝｛a，b｝，且从不同知识源得到的概率分配函数分别为：m1（｛｝,｛a},｛b},{a,b}）＝（0，0.3，0.5，0.2）m2（｛｝,｛a},｛b},{a,b}）＝（0，0.6，0.3，0.1）求正交和m=m1⊕m2解：＝1-(m1({a})×m2({b})+m1({b})×m2({a}))=1-(0.3×0.3+0.3×0.6)=0.61m({a})=1/0.61×(m1({a})×m2({a})+m1({a})×m2({a,b})+m1({a,b})×m2({a}))=1/0.61×(0.3×0.6+0.3×0.1+0.2×0.6)=0.54同理：m({b})=0.43m({a,b})=0.03所以：m({},{a},{b},{a,b})={0,0.54,0.43,0.03}第六十七页，共八十二页，2022年，8月28日2.D-S理论的推理模型（1）特殊的概率分配函数设Ω＝｛s1，s1，…sn},m为定义在2Ω上的概率分配函数，且m满足（1)m({si})≥0对任何si∈Ω（2）（3）（4）当AΩ且|A|＞1或|A|=0时，m(A)=0其中，|A|表示命题A所对应的集合中的元素个数。只有单元素集的基本概率分配函数值才有可能大于0,由一个以上元素组成的子集的基本概率分配函数值均为0.第六十八页，共八十二页，2022年，8月28日特殊的概率分配函数的信任函数、似然函数、正交和对任何命题AΩ，其信任函数为

对任何命题AΩ，其似然函数为Pl(A)=1-Bel(A)＝＝1-[1-m（Ω）－Bel(A）〕＝m(Ω)+Bel(A)Pl(Ω)=1-Bel(Ω)=1-Bel(Φ)=1对任何命题AΩ和BΩ均有

Pl(A)-Bel(A)=Pl(B)-Bel(B)=m(Ω)表示对A（或B）不知道的程度。第六十九页，共八十二页，2022年，8月28日设m1和m2是2Ω上的基本概率分配函数，其正交和为其中例：设Ω={红，黄，白}，有如下概率分配函数m（{}，{红}，{黄}，{白}，{红，黄，白}）=（0，0.6，0.2，0.1，0.1）A＝｛红，黄｝，求m(Ω）、Bel（A)和Pl(A)的值。

m(Ω)=1-[m({红｝)+m({黄｝)+m({白｝)〕＝1-（0.6+0.2+0.1）＝0.1

Bel({红，黄})＝m({红})+m({黄})＝0.6+0.2＝0.8

Pl({红，黄})=m(Ω)+Bel({红，黄})=0.1+0.8=0.9或Pl({红，黄})=1-Bel({红，黄})=1-Bel({白})=1-0.1=0.9第七十页，共八十二页，2022年，8月28日（2）类概率函数设Ω为有限域，对任何命题AΩ，命题A的类概率函数为

f(A)=Bel(A)+|A|/|Ω|×[Pl(A)-Bel(A)]其中，|A|和|Ω|分别是A及Ω中元素的个数。类概率函数f(A)具有如下性质

2)对任何AΩ，有Bel(A)≤f(A)≤Pl(A)3)对任何AΩ，有f(A)=1-f(A)推论：1）f(Φ）=02）f(Ω)=13)对任何AΩ,有0≤f(A)≤1第七十一页，共八十二页，2022年，8月28日例：设Ω={红，黄，白}，概率分配函数m（{}，{红}，{黄}，{白}，{红，黄，白}）=（0，0.6，0.2，0.1，0.1）若A＝｛红，黄｝，求f(A)的值

f(A)=Bel(A)+|A|/|Ω|×[Pl(A)-Bel(A)]＝m({红})+m({黄｝)＋2/3×m({红，黄，白｝)＝0.6+0.2+2/3×0.1＝0.87（3)知识不确定性的表示

IFETHENH={h1,h2,…,hn}CF={c1,c2,…,cn}

其中：E是前提H是结论

CF是可信度因子（4)证据不确定性的表示在证据理论中，所有输入的已知数据，规则前提条件及结论部分的命题都称为证据。第七十二页，共八十二页，2022年，8月28日设A是规则条件部分的命题，E’是外部输入的证据和已证实的命题，在证据E’的条件下，命题A与证据E’的匹配程度为1如果A的所有元素都出现在E’中

MD(A/E’)=0否则条件部分命题A的确定性为

CER(A)=MD(A/E’)×f(A)CER(A)∈[0,1](5)组合证据非精确性的表示证据合取情况：E=E1ANDE2AND．．．ANDEn

CER(E)=min{CER(E1),CER(E2),…CER(En)}证据析取情况:

E=E1ORE20R…OREnCER(E)=max{CER(E1),CER(E2),…CER(En)}第七十三页，共八十二页，2022年，8月28日(6)不确定性的更新设有知识

IFETHENH={h1,h2,…,hn}CF={c1,c2,…,cn}则求结论H 确定性CER(H)的方法如下：1)求H的概率分配函数

m({h1},{h2},…,{hn})=(CER(E)×c1,CER(E)×c2,…CER(E)×cn)m(Ω)=1-

如有两条知识支持同一结论H

IFE1THENH={h1,h2,…,hn}CF1={c1,c2,…,cn}IFE2THENH={h1,h2,…,hn}CF2={c1,c2,…,cn}

则先求每一知识的概率分配函数：

m1=m({h1},{h2},…,{hn})m2=m({h1},{h2},…,{hn})再求H的概率分配函数：m=m1⊕m2第七十四页，共八十二页，2022年，8月28日如有多条知识支持同一结论H则用公式:m=m1⊕m2⊕…⊕mn求H的概率分配函数2)求Bel(H),Pl(H)及f(H)Pl(H)=1-Bel(H)f(H)=Bel(H)+|H|/|Ω|×[Pl(H)-Bel(H)]=Bel(H)+|H|/|Ω|×m(Ω)3)求CER(H)

CER(H)=MD(H/E’)×f(H)第七十五页，共八十二页，2022年，8月28日例：设有如下规则

r1:IFE1ANDE2THENA={a1,a2}CF={0.3,0.5}r2:IFE3AND(E4ORE5)THENB={b1}CF={0.7}r3:IFA

THENH={h1,h2,h3}CF={0.1,0.5,0.3}r4:IFBTHENH={h1,h2,h3}CF={0.4,0.2,0.1}已知初始证据的确定性为：

CER(E1)=0.8CER(E2)=0.6CER(E3)=0.9CER(E4)=