第五章-不确定性推理-优质课件

1、基本概念概率方法主观Bayes方法可信度方法证据理论第五章 不确定性推理7/25/20221福州大学阳光学院计算机系第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论7/25/20222福州大学阳光学院计算机系基本概念不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。很多原因导致同一结果推理所需的信息不完备背景知识不足信息描述模糊信息中含有噪声规划是模糊的推理能力不足解题方案不唯一在人类的知识和思维行为中，精确性只是相对的，不精确性才是绝对的。知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法。7/25/20223福州大学阳光学院计算机系基本概

2、念什么是不确定性推理从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程。事实与结论之间存在着不确定的因果关系，且事实也是不确定的。7/25/20224福州大学阳光学院计算机系基本概念不确定推理的基本问题不确定性的表示和量度不确定性匹配算法及阈值的选择组合证据不确定的算法不确定性的传递算法结论不确定性的合成(表示问题 计算问题 语义问题)7/25/20225福州大学阳光学院计算机系基本概念不确定推理方法的基本问题 表示问题 ： 表达要清楚。表示不仅仅是数，还要有语义描述。通常有数值表示和非数值表示方法，两者都不够完善。数值表示便

3、于计算、比较，再考虑到定性的非数值描述才能较好的解决不确定问题。知识的不确定性描述（静态强度）通常是一数值，一般由领域专家给出。证据的不确定性描述（动态强度）也是一数值，除初始证据由用户给定外，一般通过传递算法计算得到。7/25/20226福州大学阳光学院计算机系基本概念不确定推理的基本问题计算问题： 不确定性的传播和更新算法。包括已知规则 E H 的强度f (H , E)和前提的不确定性C(E)，如何计算结论的不确定性 C(H) =g1(C(E),f(H,E)已知某命题H的不确定性C1(H)，又根据新的证据求得C2(H),如何计算新的C(H) = g2(C1(H),C2(H)定义算法g3，使

4、C(E1 E2) = g3(C(E1),C(E2)定义算法g4，使C(E1 E2) = g4(C(E1),C(E2)7/25/20227福州大学阳光学院计算机系基本概念不确定推理的基本问题语义问题将各个公式解释清楚。例如规则 E H 的强度f (H , E)有E为真，H为真，则f (H , E) = ？E为真，H为假，则f (H , E) = ？E对H没有影响，则f (H , E) = ？前提 E 的不确定性度量C (E)有E为真，则C ( E) = ？E为假，则C ( E) = ？对E 一无所知，则C ( E) = ？7/25/20228福州大学阳光学院计算机系基本概念不确定推理方法的分类模

5、型方法：把不确定的证据和不确定的知识分别与某种度量标准对应起来，并且给出更新结论的算法，从而构成了相应的不确定性推理模型。模型方法数值方法非数值方法基于概率的方法模糊推理控制方法：通过识别领域中引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统的影响，此类方法没有处理不确定性的统一模型，其效率极大地依赖于控制策略。7/25/20229福州大学阳光学院计算机系 第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论7/25/202210福州大学阳光学院计算机系第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论7/25/202211福州大学阳光

6、学院计算机系概率方法经典概率方法 E H用概率P(H|E)表示结论H的确定性程度。问题：实际情况P(H|E)不容易求。而 P(E|H)较易求。逆概率方法 E Hi 用概率P(Hi|E)表示结论Hi的确定性程度。 P(Hi|E) = i=1,2,3,n优点：理论背景强。缺点：求P(Hi) 、P(E|Hi)困难7/25/202212福州大学阳光学院计算机系第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论7/25/202213福州大学阳光学院计算机系第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论7/25/202214福州大学阳光学院计算机系主观贝叶斯

7、方法概述在Prospector的探矿系统的研究过程中提出的。 原有贝叶斯公式只考虑E出现对H的影响，没有考虑E不出现的影响。贝叶斯规则： IF E THEN (LS , LN) H (P(H)7/25/202215福州大学阳光学院计算机系主观贝叶斯方法IF E THEN (LS , LN) H (P(H)E: 知识的前提条件H: 结论P(H): H的先验概率LS: 充分性量度 (5.1) LN: 必要性量度 (5.2) 7/25/202216福州大学阳光学院计算机系主观贝叶斯方法证据的不确定性表示 P163图5-1 C(E/S)=-5 在观察S下证据E肯定不存在 C(E/S)=0 S与E无关

8、C(E/S)=5 在观察S下证据E肯定存在7/25/202217福州大学阳光学院计算机系主观贝叶斯方法组合证据的不确定性算法 当 E=E1 AND E2 AND AND En 时 P(E/S)= minP(E1/S),P(E2/S),P(En/S) 当 E=E1 OR E2 OR OR En 时 P(E/S)= maxP(E1/S),P(E2/S),P(En/S) “非”运算 P(E/S)=1-P(E/S) 7/25/202218福州大学阳光学院计算机系主观贝叶斯方法不确定性的传递算法 将先验概率传递给后验概率思路采用Bayes公式必须有较多的有效 样本集，且存在“关联数据”问题，即要知道在H

9、i下E存在的概率。实际应用中无法实现，需“修正”。7/25/202219福州大学阳光学院计算机系主观贝叶斯方法当H为n个互不相容事件的集合时，Bayes公式可写为：7/25/202220福州大学阳光学院计算机系主观贝叶斯方法修正的Bayes公式设只有一个证据E和一个结论H ，则 (5.3) (5.4)（1）（2）相除，得 (5.5) 7/25/202221福州大学阳光学院计算机系主观贝叶斯方法为了简洁起见,引入几率函数 (x)= P(x) / P(x) P(x)= (x)/(1+ (x) (5.6)(x)与 P(x)有相同的单调性. 由5.1,5.5和5.6可得 (H/E)=LS* (H) (

10、5.7) 转换为概率为 P(H/E)=LS*P(H)/(LS-1)*P(H)+1 (5.8)7/25/202222福州大学阳光学院计算机系主观贝叶斯方法(H)= P(H) / P(H)讨论 LS=1 (H/E)=(H) E与H无关 LS1 (H/E)1 (H/E)(H) E的存在，使H为 真的可能性上升 LS=0 (H/E)=0 E的存在，H为假 7/25/202223福州大学阳光学院计算机系主观贝叶斯方法证据不存在 将5.5中E换成E,结合5.2,5.6亦可得 (H/E)=LN* (H) P(H/E)=LN*P(H)/(LN-1)*P(H)+1 LN=1 (H/E)=(H) LN1 (H/E

11、)1 (H/E)(H) LN=0 (H/E)=0 7/25/202224福州大学阳光学院计算机系主观贝叶斯方法证据不确定时 EH公式:0 =P(E|E)= P(E)P(E) =P(E|E) 0，事实上如果MB0，则MD=0（E有利于H）； 如果MD0，则MB=0 （E不利于H） 。7/25/202238福州大学阳光学院计算机系规则 (规则的不确定性度量） 当p(H/E)p(H)时，表示证据E支持结论H，则有MB0，MD=0； 反之，当p(H/E)0； 当p(H/E)p(H)时，表示E对H无影响，则有MBMD0。 值得注意的是，可信度CF(H, E)(即MB, MD)的值通常并不是经由p(H/E

12、)和P(H)来计算的，而是在建立规则库时由领域专家凭经验主观确定的。 7/25/202239福州大学阳光学院计算机系规则 (规则的不确定性度量）规则可信度CF(H,E)有性质：1.因为0MB(H, E) 1,0 MD(H, E) 1,则-1 CF(H, E) 12.若E绝对肯定H，即P(H|E)=1，则MB(H, E) =1, MD(H, E) =0, CF(H, E) =1 .Dc13.若E绝对否定H，即P(H|E)=1，则MB(H, E) =0, MD(H, E) =1, CF(H, E) = -1 .Dc24.若E不能证实H或E、H独立，即P(H|E)=P(H)，则MB(H, E) =0

13、, MD(H, E) =0, CF(H, E) = 0 .Dc45.对同一个证据E，支持若干个互斥的结论Hi，则 CF(Hi, E)1 .Dc37/25/202240福州大学阳光学院计算机系规则 (规则的不确定性度量）规则 E H，可信度表示为CF(H,E)。7/25/202241福州大学阳光学院计算机系规则 (规则的不确定性度量）CF(H, E)表示的意义证据为真时相对于P(H) = 1 - P(H)来说，E对H为真的支持程度。即E发生更支持H发生。 此时 CF(H, E) 0。 或，相对于P(H)来说，E对H为真的不支持程度。即E发生不支持H发生。 此时 CF(H, E) 0。 结论 -1

14、 CF(H, E) 17/25/202242福州大学阳光学院计算机系可信度方法理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。7/25/202243福州大学阳光学院计算机系可信度方法理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。7/2

15、5/202244福州大学阳光学院计算机系规则 (证据的不确定性度量）证据E的可信度表示为CF( E )同样有：-1 CF( E ) 1特殊值：CF( E ) = 1， 前提肯定真 CF( E ) = -1， 前提肯定假CF( E ) = 0，对前提一无所知CF( E ) 0， 表示E以CF( E )程度为真CF( E ) 0， 表示E以CF( E )程度为假7/25/202245福州大学阳光学院计算机系可信度方法理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则规则的不确

16、定性度量证据（前提）的不确定性度量。推理计算。7/25/202246福州大学阳光学院计算机系可信度方法理论基础以定量法为工具，比较法为原则的相对确认理论。采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则规则的不确定性度量证据（前提）的不确定性度量。推理计算。7/25/202247福州大学阳光学院计算机系规则 (推理计算 1）“与”的计算： E1 E2 HCF(E1 E2 ) = min CF(E1), CF(E2 )“或”的计算：E1 E2 HCF(E1 E2 ) = max CF(E1), CF(E2 ) “非”的计算

17、：CF(E ) = - CF(E ) 由E， E H，求 H： CF(H) = CF(H,E ) max 0, CF(E) (CF(E) 0 时可以不算即为“0”)7/25/202248福州大学阳光学院计算机系规则 (推理计算 2）更新，由两条规则求出再合并： 由CF(H)、 CF(H)，求 CF(H) 7/25/202249福州大学阳光学院计算机系可信度方法例：有以下规则R1: If e1 then h (0.9) R2: If e2 then h (0.7)R3: If e3 then h (-0.8)R4: If e4 and e5 then e1 (0.7)R5: If e6 and

18、e7 or e8 then e2 (1)设系统在问题求解过程中已经获得 CF(e3)=0.3,CF(e4)=0.9,CF(e5)=0.6,CF(e6)=0.7,CF(e7)=-0.3,CF(e8)=0.8求 CF(H)=?e1 e2 e3e4 e5 e6 e7 e 8h0.9 0.7 -0.8 r1 r2 r3 0.7 1 0.3 r4 r5 0.9 0.6 0.7 -0.3 0.8 7/25/202250福州大学阳光学院计算机系可信度方法评论可信度方法的宗旨不是理论上的严密性，而是处理实际问题的可用性。 不可一成不变地用于任何领域，甚至也不能适用于所有科学领域。推广至一个新领域时必须根据情况

19、修改。 7/25/202251福州大学阳光学院计算机系可信度方法 尽管确定性方法使MYCIN和其它一些专家系统能简单有效地实现不确定性推理，但仍存在不少问题。现归纳如下： （1）如何将人表示可信度的术语转变为数字化的CFs。例如，人的经验规则常涉及很可能、不大可能等术语，应对应到多大的CF值。 （2）如何规范化人们对可信度的估计，不同人所作的估计往往相差较大。7/25/202252福州大学阳光学院计算机系可信度方法 （3）为防止积累误差，需指定门槛值，但多大合适呢？太小固然不行，但太大也不好，因为可信度的传递需要累计较小的变化。 （4）为改进可信度的精确性，需提供从系统的实际执行反馈的信息，并

20、基于反馈信息调整可信度。这实际上是一种机器学习问题，尚未较好地加以解决。 正因为这些问题的存在，限制了MYCIN提出的确定性方法只能用于对不确定推理的精度要求不高的场合。 7/25/202253福州大学阳光学院计算机系第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论7/25/202254福州大学阳光学院计算机系第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论7/25/202255福州大学阳光学院计算机系证据理论 (Evident Theory)概述证据的不确定性应用模型推理计算7/25/202256福州大学阳光学院计算机系证据理论 (Eviden

21、t Theory)概述由Dempster首先提出，并由他的学生Shafer发展起来，也称D-S理论。在专家系统的不精确推理中已得到广泛的应用。 （也用在模式识别中）证据理论中引入了信任函数，它满足概率论弱公理。在概率论中，当先验概率很难获得，但又要被迫给出时，用证据理论能区分不确定性和不知道的差别。所以它比概率论更合适于专家系统推理方法。当概率值已知时，证据理论就成了概率论。因此，概率论是证据理论的一个特例，有时也称证据论为广义概率论。7/25/202257福州大学阳光学院计算机系证据理论 (Evident Theory)概述证据的不确定性应用模型推理计算7/25/202258福州大学阳光学院

22、计算机系证据理论 (Evident Theory)概述证据的不确定性应用模型推理计算7/25/202259福州大学阳光学院计算机系证据理论 (证据的不确定性)证据： 用集合D来表示：如D中的每个元素代表一种疾病。讨论一组疾病A发生的可能性时，A变成了单元（某些假设）的集合。D内元素Ai间是互斥的，但Ai中元素间是不互斥的。7/25/202260福州大学阳光学院计算机系证据理论 (证据的不确定性)基本概率分配函数： M：D0,1（在D的幂集D上定义，取值0,1）M(A)表示了证据对D的子集A成立的一种信任度有： 空集为零 意义若A D，且A D，表示对A的精确信任度若A = D，表示这个数不知如

23、何分配7/25/202261福州大学阳光学院计算机系证据理论 (证据的不确定性)基本概率分配函数：例，某个体的颜色只可能为红、兰、绿，则建立相应论域D = 红，兰，绿。可以给D的所有子集分配基本概率，如：M(红，兰，绿,红，兰, 红，绿, 兰，绿, 红, 兰, 绿, ) =( 0.2， 0.2， 0.2， 0， 0.3， 0， 0.1， 0)。则M(红,兰) = 0.2意指该个体颜色为红或兰的信任程度是0.2。0.2不是分配给红就是给兰。注意，M是2 D上而非 D上的概率分布，所以基本概率 M(A)不必等于概率P(A)，而且M(A) 1。 7/25/202262福州大学阳光学院计算机系证据理论

24、 (证据的不确定性)信任函数D0,1。（在D的幂集D上定义，取值0,1）Bel(A) = 有: Bel() = M() = 0 , Bel(D) = = 1 Bel类似于概率密度函数，表示A中所有子集的基本概率分配数值的和，用来表示对A的总信任度。 D7/25/202263福州大学阳光学院计算机系证据理论 (证据的不确定性)信任函数在上例中， D = 红，兰，绿，M(红，兰，绿,红，兰, 红，绿, 兰，绿, 红, 兰, 绿, ) =( 0.2， 0.2， 0.2， 0， 0.3，0， 0.1， 0)。 则 Bel(兰，绿) = M(兰) + M(绿) + M(兰，绿) = 0 + 0.1 +

25、0 = 0.1。 7/25/202264福州大学阳光学院计算机系证据理论 (证据的不确定性)似然函数（不可驳斥函数）Pl：D0,1。（在D的幂集D上定义，取值0,1）Pl(A) = 1 - Bel(A) = Pl(红,绿) = 1- Bel(兰) = 1- 0 = 1性质：0 Bel(A) Pl(A) 1 ( Bel是Pl的一部分) 称Bel(A)和Pl(A)是A的下限不确定性值和上限不确定性值。7/25/202265福州大学阳光学院计算机系证据理论 (证据的不确定性)设函数ABel(A), Pl(A) ，则有如下特殊值： A0,1：表示对A一无所知 A1,1：表示A为真 A0,0：表示A为假Aa,1：表示对A的部分信任, 0a1A0,b：表示对A的部分信任, 0b1 或 |A|=07/25/202272福州大学阳光学院计算机系证据理论 (应用模型)则： 1）Bel(A)= M(si) 对任何si A 2) Bel(D)=M(si) + M(D)=1 3) P