人工智能导论第四章课件

第四章非经典推理4.1概述4.2不确定性推理4.3非单调推理4.4概率方法4.5主观贝叶斯方法4.6贝叶斯网络4.7可信度方法4.8证据理论2022/12/9人工智能导论-刘珊1第四章非经典推理4.1概述2022/12/7人工智能导基本框架2022/12/9人工智能导论-刘珊2基本框架2022/12/7人工智能导论-刘珊2贝叶斯网络全联合概率分布贝叶斯网络的定义独立和条件独立贝叶斯网络的构造贝叶斯网络的应用精确推理近似推理2022/12/9人工智能导论-刘珊34.6贝叶斯网络贝叶斯网络全联合概率分布2022/12/7人工智能导论-全联合概率分布定义设X={X1,X2,…,Xn}为任何随机变量集，其全联合概率分布是指当对每个变量取特定值时xi（i=1,2,…,n）时的合取概率，即P(X1=x1∧X2=x2∧…∧Xn=xn)，其简化表示形式为P(x1,x2,…,xn)。重复使用乘法法则2022/12/9人工智能导论-刘珊4得到如下全联合概率分布表示4.6贝叶斯网络全联合概率分布定义2022/12/7人工智能导论-刘珊4贝叶斯网络基本概念一系列变量的联合概率分布的图形表示一个表示变量之间的相互依赖关系的数据结构定义是一个有向无环图随机变量集X={X1,X2,…,Xn}组成网络节点，变量可离散或连续连接节点对的有向边组成边集合每节点Xi都有一个条件概率分布表：P(Xi|par(Xi))，量化其父节点对该节点的影响2022/12/9人工智能导论-刘珊54.6贝叶斯网络贝叶斯网络基本概念2022/12/7人工智能导论-刘珊5示例例1、假设学生在碰见难题和遇到干扰时会产生焦虑，而焦虑又可导致思维迟缓和情绪波动。请用贝叶斯网络描述这一问题。解：在该贝叶斯网络中，大写英文字母A、D、I、C和E分别表示节点“产生焦虑”、“碰见难题”、“遇到干扰”、“认知迟缓”和“情绪波动”，并将各节点的条件概率表置于相应节点的右侧。所有随机变量取布尔变量，因此可以分别用小写英文字母a、d、i、c和e来表示布尔变量A、D、I、C和E取逻辑值为“True”，用﹁a、﹁d、﹁i、﹁c和﹁e来表示布尔变量A、D、I、C和E取逻辑值为“False”。2022/12/9人工智能导论-刘珊64.6贝叶斯网络示例例1、假设学生在碰见难题和遇到干扰时会产生焦虑，而焦虑又示例右图贝叶斯网络中每个节点的概率表就是该节点与其父节点之间的一个局部条件概率分布。由于节点D和I无父节点，故它们的条件概率表由其先验概率来填充2022/12/9人工智能导论-刘珊7碰见难题产生焦虑遇到干扰思维迟缓情绪波动ADIECAP(C)T0.8AP(E)T0.9

P(D)0.15P(I)0.05DIP(A)TT0.8TF0.4FT0.5FF0.14.6贝叶斯网络示例右图贝叶斯网络中每个节点的概率表就是该节点与其父节点之间联合概率分布表示贝叶斯网络的联合概率分布表示用par(Xi)表示Xi的所有父节点的相应取值，P(Xi|par(Xi))是节点Xi的一个条件概率分布函数，则对X的所有节点，有如下联合概率分布：2022/12/9人工智能导论-刘珊8局部化特征每个节点只受到整个节点集中少数别的节点的直接影响，而不受这些节点外的其它节点的直接影响。贝叶斯网络的语义4.6贝叶斯网络联合概率分布表示贝叶斯网络的联合概率分布表示2022/12/独立和条件独立Weather和其它3个变量相互独立。给定Cavity后，Toothache和Catch条件独立2022/12/9人工智能导论-刘珊9WeatherCavityCatchToothache贝叶斯网络能实现简化计算的最根本基础-----条件独立性。两个判别准则1）给定父节点，一个节点与非其后代的节点之间是条件独立的。2）给定一个节点，该节点与其父节点、子节点和子节点的父节点一起构成了一个马尔科夫覆盖，则该节点与马尔科夫覆盖以外的所有节点之间都是条件独立的。4.6贝叶斯网络独立和条件独立Weather和其它3个变量相互独立。2022条件独立2022/12/9人工智能导论-刘珊10U1UmXZ1jZnjY1Yn【说明】：给定节点X的父节点U1...Um，节点X与它的非后代节点（即Zij）是条件独立的。4.6贝叶斯网络……条件独立2022/12/7人工智能导论-刘珊10U1Um条件独立2022/12/9人工智能导论-刘珊11【说明】：给定马尔可夫覆盖（两圆圈之间的区域），节点X和马尔可夫覆盖中所有其它节点都是条件独立的。U1UmXZ1jZnjY1Yn4.6贝叶斯网络条件独立2022/12/7人工智能导论-刘珊11【说明】贝叶斯网络的构造构造过程(1)首先建立不依赖于其它节点的根节点，并且根节点可以不止一个。(2)加入受根节点影响的节点，并将这些节点作为根节点的子节点。此时，根节点已成为父节点。(3)进一步建立依赖于已建节点的子节点。重复这一过程直到叶节点为止。(4)对每个根节点，给出其先验概率；对每个中间节点和叶节点，给出其条件概率表。主要原则忽略过于微弱的依赖关系利用变量间的因果关系2022/12/9人工智能导论-刘珊124.6贝叶斯网络贝叶斯网络的构造构造过程2022/12/7人工智能导论-贝叶斯网络的简单应用例2、对例1所示的贝叶斯网络，若假设某学生已经产生了焦虑情绪，但实际上并未碰见难题，也未遇到干扰，请计算思维迟缓和情绪波动的概率。解：令相应变量的取值分别为：a,﹁d,﹁i,c,e，

P(c∧e∧a∧﹁d∧﹁i)=P(c|a)P(e|a)P(a|﹁d∧﹁i)P(﹁d)P(﹁i)=0.8×0.9×0.1×0.85×0.95=0.05814即所求的概率为0.058142022/12/9人工智能导论-刘珊134.6贝叶斯网络贝叶斯网络的简单应用例2、对例1所示的贝叶斯网络，若假设某学贝叶斯网络推理概念在给定一组证据变量观察值的情况下，利用贝叶斯网络计算一组查询变量的后验概率分布。变量分类查询变量X证据变量集E={E1,E2,…,En}观察到的特定事件s非证据变量集Y={y1,y2,…,ym}全部变量的集合V={x}EY其推理就是要查询后验概率P(X|s)。2022/12/9人工智能导论-刘珊144.6贝叶斯网络贝叶斯网络推理概念2022/12/7人工智能导论-刘珊1贝叶斯网络推理步骤首先确定各相邻节点之间的初始条件概率分布；然后对各证据节点取值；接着选择适当推理算法对各节点的条件概率分布进行更新；最终得到推理结果。分类精确推理：一种可以精确地计算查询变量的后验概率的推理方法，适用于单连通贝叶斯网络。近似推理：在不影响推理正确性的前提下，通过适当降低推理精确度来提高推理效率的一类方法。2022/12/9人工智能导论-刘珊154.6贝叶斯网络贝叶斯网络推理步骤2022/12/7人工智能导论-刘珊1贝叶斯网络精确推理主要方法基于枚举的算法基于变量消元的算法基于团树传播的算法等基于枚举的算法利用全联合概率分布去推断查询变量的后验概率2022/12/9人工智能导论-刘珊164.6贝叶斯网络贝叶斯网络精确推理主要方法2022/12/7人工智能导论-示例例3、以例1所示的贝叶斯网络为例，假设目前观察到的一个事件s={c,e}，求在该事件的前提下碰见难题的概率P(D|c,e)是多少？解：按照精确推理算法，该询问可表示为：2022/12/9人工智能导论-刘珊17先对D的不同取值d和﹁d分别进行处理，当D取值d时，有4.6贝叶斯网络示例例3、以例1所示的贝叶斯网络为例，假设目前观察到的一个事示例2022/12/9人工智能导论-刘珊18当D取值﹁d时，有取α=1/(0.0519+0.0901)=1/0.142。因此有

P(D|c,e)=α(0.0519,0.0901)=(0.3655,0.6345)即在思维迟缓和情绪波动都发生时，碰见难题的概率是P(d|c,e)=0.3655,没有碰见难题的概率是P(﹁d|c,e)=0.63454.6贝叶斯网络示例2022/12/7人工智能导论-刘珊18当D取值﹁d贝叶斯网络近似推理马尔可夫链蒙特卡罗（MCMC）算法是目前使用较广的一类贝叶斯网络推理方法。它通过对前一个事件状态作随机改变来生成下一个问题状态，通过对某个隐变量进行随机采样来实现对随机变量的改变。MCMC方法可视为：在状态空间中的随机走动，但是证据变量的值固定不变。2022/12/9人工智能导论-刘珊194.6贝叶斯网络贝叶斯网络近似推理马尔可夫链蒙特卡罗（MCMC）算法是目前使示例例4、学习情绪会影响学习效果。假设有一个知识点，考虑学生在愉快学习状态下对该知识点的识记、理解、运用的情况，得到了如右图所示的贝叶斯网络。如果目前观察到一个学生不但记住了该知识，并且还可以运用该知识，询问这位学生是否理解了该知识。2022/12/9人工智能导论-刘珊20愉快学习知识识记知识理解知识运用EUMAEP(M)T0.9F0.4P(E)0.75MUP(A)TT0.95TF0.5FT0.65FF0.1EP(U)T0.85F0.34.6贝叶斯网络示例例4、学习情绪会影响学习效果。假设有一个知识点，考虑学生示例解：要求的是P(U|m,a)。应用MCMC算法的推理步骤如下：(1)将“知识识记”节点M和“知识运用”节点A作为证据变量，并保持它们的观察值不变；(2)隐变量“愉快学习”节点E和查询变量“知识理解”节点U进行随机初始化。假设，取值分别为e和﹁u，问题的初始状态为{e,m,﹁u,a}；(3)反复执行如下步骤，①对隐变量E进行采样，由于E的马尔科夫覆盖（其父节点、子节点和子节点的父节点）仅包含节点M和U，可以按照变量M和U的当前值进行采样，若采样得到﹁e，则生成下一状态{﹁e,m,﹁u,a}；②对查询变量U进行采样，由于U的马尔科夫覆盖包含节点E、M和A，可以按照变量E、M和A的当前值进行采样，若采样得到u，则生成下一状态{﹁e,m,u,a}。(4)重复以上步骤直到所要求的访问次数N。若为true和false的次数分别为n1,、n2，则查询解为Normalize(<n1,n2>)=<n1/N,n2/N>2022/12/9人工智能导论-刘珊214.6贝叶斯网络示例解：要求的是P(U|m,a)。应用MCMC算法的示例解：在上述采样过程中，每次采样都需要两步。以对隐变量E的采样为例，每次采样步骤如下：1、先依据该隐变量的马尔科夫覆盖所包含的变量的当前值，计算该状态转移概率p；2、确定状态是否需要改变。其基本方法是，生成一个随机数r∈[0,1]，将其与第一步得到的转移概率p进行比较，若r<p，则E取﹁e，转移到下一状态；否则，还处在原状态不变。在初始状态下，对变量E进行采样，第一步计算P(E|m,﹁u)，以此判断是否转移到下一状态{﹁e,m,﹁u,a}。

P(e|m,﹁u)=P(e,m,﹁u)/P(m,﹁u)=P(e)P(m|e)P(﹁u|e)/[P(e)P(m|e)P(﹁u|e)+P(﹁e)P(m|﹁e)P(﹁u|﹁e)]=(0.75×0.9×0.3)/[0.75×0.9×0.3+0.25×0.4×0.3]=0.2025/0.2325=0.8710第二步，假设产生的随机数r=0.46，有0.46<0.871，则E取﹁e，转移到下一状态{﹁e,m,﹁u,a}2022/12/9人工智能导论-刘珊224.6贝叶斯网络示例解：在上述采样过程中，每次采样都需要两步。以对隐变量E第四章非经典推理4.1概述4.2不确定性推理4.3非单调推理4.4概率方法4.5主观贝叶斯方法4.6贝叶斯网络4.7可信度方法4.8证据理论2022/12/9人工智能导论-刘珊23第四章非经典推理4.1概述2022/12/7人工智能导基本概念可信度：根据经验对一个事物或现象为真的相信程度。C－F模型：基于可信度表示的不确定性推理的基本方法。主要内容1、C-F模型中规则的不确定性表示2、C-F模型中证据的不确定性表示3、C-F模型中组合证据不确定性的计算4、C-F模型中不确定性的更新5、C-F模型中结论的不确定性合成6、带加权因子的可信度推理2022/12/9人工智能导论-刘珊244.7可信度方法基本概念可信度：根据经验对一个事物或现象为真的相信程度。201、规则不确定性的表示产生式规则表示IFETHENH(CF(H,E))CF(H,E)：可信度因子，反映前提条件与结论的联系强度。CF(H，E)的取值范围：[-1,1]。若由于相应证据的出现增加结论H为真的可信度，则CF(H，E)>0，证据的出现越是支持H为真，就使CF(H，E)的值越大。反之，CF(H，E)<0，证据的出现越是支持H为假，CF(H，E)的值就越小。若证据的出现与否与H无关，则CF(H，E)=02022/12/9人工智能导论-刘珊254.7可信度方法1、规则不确定性的表示产生式规则表示2022/12/7人工智2、证据不确定性的表示证据E的可信度取值范围：[-1，1]。对于初始证据，若所有观察S能肯定它为真，则CF(E)=1；若肯定它为假，则CF(E)=–1。若以某种程度为真，则0<CF(E)<1。若以某种程度为假，则－1<CF(E)<0。若未获得任何相关的观察，则CF(E)=0。静态强度CF(H，E)：知识的强度，即当所对应的证据E为真时对H的影响程度。动态强度CF(E)：证据E当前的不确定性程度2022/12/9人工智能导论-刘珊264.7可信度方法2、证据不确定性的表示证据E的可信度取值范围：[-1，1]3、组合证据不确定性的算法组合证据：多个单一证据的合取E=E1

AND

E2AND…ANDEn则CF(E)=min{CF(E1),CF(E1),…,CF(En)}组合证据：多个单一证据的析取E=E1ORE2

OR…

OREn

则CF(E)=max{CF(E1),CF(E1),…,CF(En)}2022/12/9人工智能导论-刘珊274.7可信度方法3、组合证据不确定性的算法组合证据：多个单一证据的合取2024、不确定性的传递算法C-F模型中的不确定性推理：从不确定的初始证据出发，通过运用相关的不确定性知识，最终推出结论并求出结论的可信度值。结论H的可信度由下式计算:2022/12/9人工智能导论-刘珊28CF(E)<0时，CF(H)=0;CF(E)=1时，CF(H)=CF(H,E)4.7可信度方法4、不确定性的传递算法C-F模型中的不确定性推理：从不确定的5、结论不确定性的合成算法设知识：IFE1THENH(CF(H,E1))IFE2THENH(CF(H,E2))（1）分别对每一条知识求出CF(H)：CF1(H)=CF(H,E1)×max{0,CF(E1)}CF2(H)=CF(H,E2)×max{0,CF(E2)}(2)用如下公式求E1与E2对H的综合可信度2022/12/9人工智能导论-刘珊294.7可信度方法5、结论不确定性的合成算法设知识：2022/12/7人工智能6、带加权因子的可信度推理当知识的前提条件为多个子条件组合，且这些子条件对结论的重要程度不同时，在前提条件中加入加权因子，以说明每个前提的重要程度。知识的不确定性表示ifE1(w1)andE2(w2)and…andEn(wn)thenHCF(H,E)

其中w1,w2,…,wn为加权因子，一般满足归一条件即w1+w2+…+wn=12022/12/9人工智能导论-刘珊304.7可信度方法6、带加权因子的可信度推理当知识的前提条件为多个子条件组合，带加权因子的可信度推理组合证据不确定性的计算若E=E1(w1)andE2(w2)and…andEn(wn)则E的可信度因子可以按如下方式计算CF(E)=∑wi*CF(Ei)不确定性的更新直观的方法为：CF(H)=CF(H，E)*CF(E)2022/12/9人工智能导论-刘珊314.7可信度方法带加权因子的可信度推理组合证据不确定性的计算2022/12/示例例1、已知规则r1:ifE1(0.6)andE2(0.4)thenE5(0.8)r2:ifE3(0.5)andE4(0.3)andE5(0.2)thenH(0.9)以及CF(E1)=0.9,CF(E2)=0.8,CF(E3)=0.7,CF(E4)=0.6求CF(H)？2022/12/9人工智能导论-刘珊324.7可信度方法示例例1、已知规则2022/12/7人工智能导论-刘珊3示例解：CF(E5)=CF(E5,E)*CF(E)=0.8*0.86=0.69CF(E3(0.5)andE4(0.3)andE5(0.2))=0.67CF(H)=0.9*0.67=0.6032022/12/9人工智能导论-刘珊334.7可信度方法示例解：2022/12/7人工智能导论-刘珊334.7第四章非经典推理4.1概述4.2不确定性推理4.3非单调推理4.4概率方法4.5主观贝叶斯方法4.6贝叶斯网络4.7可信度方法4.8证据理论2022/12/9人工智能导论-刘珊34第四章非经典推理4.1概述2022/12/7人工智能导证据理论又称D－S理论在证据理论的基础上已经发展了多种不确定性推理模型主要内容概率分配函数信任函数似然函数信任函数与似然函数的关系概率分配函数的正交和（证据的组合）基于证据理论的推理2022/12/9人工智能导论-刘珊354.8证据理论证据理论又称D－S理论2022/12/7人工智能导论-刘基本概念证据理论假设有一个不变的两两相斥的完备元素集合U，如右图所示，其中2022/12/9人工智能导论-刘珊36证据理论说明图4.8证据理论例如,U={三轮车，汽车，火车}U={赤，橙，黄，绿，青，蓝，紫}U={马，牛，羊，鸡，狗，兔}基本概念证据理论假设有一个不变的两两相斥的完备元素集合U，如基本概念证据理论用集合表示命题。设D是变量x所有可能取值的集合，且D中的元素是互斥的，在任一时刻x都取D中的某一个元素为值，称D为x的样本空间。在证据理论中，D的任何一个子集A都对应于一个关于x的命题，称该命题为“x的值在A中”。设x：所看到的颜色，D={红，黄，蓝}，则A={红}：“x是红色”；

A={红，蓝}：“x或者是红色，或者是蓝色”。为了描述和处理不确定性，引入了概率分配函数、信任函数及似然函数等概念。2022/12/9人工智能导论-刘珊374.8证据理论基本概念证据理论用集合表示命题。2022/12/7人工智能导概率分配函数设D为样本空间，领域内的命题都用D的子集表示。定义：设函数M：,且满足2022/12/9人工智能导论-刘珊384.8证据理论则称M是上的概率分配函数，M(A)称为A的基本概率函数。对样本空间D的任一子集都分配一个概率值。概率分配函数设D为样本空间，领域内的命题都用D的子集表示。2概率分配函数2022/12/9人工智能导论-刘珊39几点说明：（1）样本空间D中有n个元素，则D中子集的个数为2n个。

2D：D的所有子集。（2）概率分配函数：把D的任意一个子集A都映射为[0,1]上的一个数M（A）。

AD，AD时，M（A）：对相应命题A的精确信任度。（3）概率分配函数与概率不同。

例如，设

A={红}，

M（A）=0.3：命题“x是红色”的信任度是0.3。

设D={红，黄，蓝}M（{红}）=0.3，

M（{黄}）=0，

M（{蓝}）=0.1，

M（{红，黄}）=0.2，M（{红，蓝}）=0.2，M（{黄，蓝}）=0.1，M（{红，黄，蓝}）=0.1，M（Φ）=0但：M（{红}）+M（{黄}）+M（{蓝}）=0.4设D={红，黄，蓝}则其子集个数23＝8，具体为：A={红}，

A={黄}，

A={蓝}，

A={红，黄}，A={红，蓝}，

A={黄，蓝}，A={红，黄，蓝}，A={}4.8证据理论概率分配函数2022/12/7人工智能导论-刘珊39几点信任函数

2022/12/9人工智能导论-刘珊40

设D={红，黄，蓝}M（{红}）=0.3，

M（{黄}）=0，M（{红，黄}）=0.2,由信任函数及概率分配函数的定义推出：4.8证据理论信任函数

2022/12/7人工智能导论-刘珊40设似然函数似然函数定义为Pl：2D[0,1]且pl(A)=1-Bel(A)，AD2022/12/9人工智能导论-刘珊41

设D={红，黄，蓝}M({红})=0.3，M({黄})=0，M({红，黄})=0.2，Bel({红,黄})=M({红})+M({黄})+M({红,黄})=0.5Pl({蓝})=1-Bel({蓝})=1-Bel({红,黄})=1-0.5=0.5

4.8证据理论似然函数似然函数定义为Pl：2D[0,1]且pl(A)=信任函数与似然函数的关系Pl(A)Bel(A)Bel(A)：对A为真的信任程度。Pl(A)：对A为非假的信任程度。A(Bel(A),Pl(A))：对A信任程度的下限与上限。例如{红}：[0.3,0.9]表示{红}的精确信任度为0.3，不可驳斥部分为0.9典型值A[0,1]：对A一无所知A[0,0]：说明A为假A[1,1]：说明A为真2022/12/9人工智能导论-刘珊424.8证据理论信任函数与似然函数的关系Pl(A)Bel(A)2022/概率分配函数的正交和2022/12/9人工智能导论-刘珊43如果K0，则正交和M也是一个概率分配函数；如果K=0，则不存在正交和M，即没有可能存在概率函数，称M1与M2矛盾。4.8证据理论设M1和M2是两个概率分配函数，则其正交和定义为概率分配函数的正交和2022/12/7人工智能导论-刘珊概率分配函数的正交和设M1,M2,…,

Mn是n个概率分配函数，则其正交和M=M1

M2

…

Mn为M()=0,2022/12/9人工智能导论-刘珊44其中：4.8证据理论概率分配函数的正交和设M1,M2,…,Mn是n个概率分配函实例设D={黑，白}，且2022/12/9人工智能导论-刘珊45则，4.8证据理论实例设D={黑，白}，且2022/12/7人工智能导论-实例同理可得：2022/12/9人工智能导论-刘珊46组合后得到的概率分配函数：4.8证据理论实例同理可得：2022/12/7人工智能导论-刘珊46组一类特殊的概率分配函数设D={s1,s2,…,sn}，M为定义在2D上的概率分配函数，且M满足：M({si})≥0,对任给si

∊D∑i=1nM({si})≤1M(D)=1-∑i=1nM({si})当A⊆D，且A的元素多于1个或没有元素，M(A)=0。2022/12/9人工智能导论-刘珊474.8证据理论一类特殊的概率分配函数设D={s1,s2,…,sn}，M为定一类特殊的概率分配函数对这类概率分配函数，其信任函数和似然函数的性质为：Bel(A)=∑si∊AM({si})Bel(D)

=

∑si∊DM({si})+M(D)=1Pl(A)=1-Bel(¬A)=1-∑si∊¬AM({si})=1-∑si∊DM({si})+∑si∊AM({si})=M(D)+Bel(A)Pl(D)=1-Bel(¬D)=12022/12/9人工智能导论-刘珊484.8证据理论一类特殊的概率分配函数对这类概率分配函数，其信任函数和似然函类概率函数设D为有限域，对任何命题A⊆D，其类概率函数定义为f(A)=Bel(A)+|A|/|D|

[Pl(A)-Bel(A)]其中|A|和|D|表示A和D中的元素个数。类概率函数的性质∑si∊Df({si})=1对任何A⊆D，有Bel(A)≤f(A)≤Pl(A)对任何A⊆D，有f(¬A)=1-f(A)则，f(Φ)=0；f(D)=1；对任何A⊆D，0≤f(A)≤12022/12/9人工智能导论-刘珊494.8证据理论类概率函数设D为有限域，对任何命题A⊆D，其类概率函数定义为规则不确定性的表示D-S理论中，不确定性规则的表示形式为ifEthenH={h1,h2,…,hn}CF={c1,c2,…,cn}其中：E为前提条件，可以是简单条件，也可以是复合条件；H是结论，用样本空间的子集表示，h1,h2,…,hn是该子集的元素；CF是可信度因子，用集合的方式表示。c1,c2,…,cn用来表示h1,h2,…,hn的可信度。2022/12/9人工智能导论-刘珊504.8证据理论规则不确定性的表示D-S理论中，不确定性规则的表示形式为20证据不确定性的表示证据E的不确定性由证据的类概率函数给出：

CER(E)=f(E)2022/12/9人工智能导论-刘珊514.8证据理论证据不确定性的表示证据E的不确定性由证据的类概率函数给出：2不确定性的更新设有知识ifEthenH={h1,h2,…,hn}CF={c1,c2,…,cn}根据证据E的不确定性为CER(E)，确定结论H的不确定性描述CER(H)，方法如下：1）求H的概率分配函数：M({h1},{h2},,…,{hn})=(c1CER(E),c2CER(E),…,cnCER(E))；M(D)=1-∑i=1nM({hi})2）求Bel(H)，Pl(H)及f(H)：Bel(H)=∑i=1nM({hi})；Pl(H)=1-Bel(¬H)；f(H)=Bel(H)+|H|/|D|M(D)3）CER(H)=f(H)2022/12/9人工智能导论-刘珊524.8证据理论不确定性的更新设有知识2022/12/7人工智能导论-刘结论不确定性的合成如果有两条知识支持同一结论ifE1thenH={h1,h2,…,hn}CF={c1,c2,…,cn}ifE2thenH={h1,h2,…,hn}CF={e1,e2,…,en}先求出每条知识的概率分配函数M1，M2，然后求出两个概率分配函数的正交和M1⊕M2；以正交和作为H的概率分配函数。2022/12/9人工智能导论-刘珊534.8证据理论结论不确定性的合成如果有两条知识支持同一结论2022/12/推理步骤：（1）建立问题的样本空间D。（2）由经验给出，或者由随机性规则和事实的可信度计算基本概率分配函数。（3）计算所关心的子集的信任函数值、似然函数值。（4）由信任函数值、似然函数值得出结论。2022/12/9人工智能导论-刘珊544.8证据理论推理步骤：2022/12/7人工智能导论-刘珊544.8实例例1、设有规则：（1）如果流鼻涕，则感冒但非过敏性鼻炎（0.9）或过敏性鼻炎但非感冒（0.1）；（2）如果眼发炎，则感冒但非过敏性鼻炎（0.8）或过敏性鼻炎但非感冒（0.05）。有事实：（1）小王流鼻涕（0.9）；（2）小王发眼炎（0.4）。问：小王患的什么病？2022/12/9人工智能导论-刘珊554.8证据理论实例例1、设有规则：2022/12/7人工智能导论-刘珊实例解：取样本空间D={h1,h2,h3}，h1表示“感冒但非过敏性鼻炎”，h2表示“过敏性鼻炎但非感冒”，h3表示“同时得了两种病”。计算概率分配函数：2022/12/9人工智能导论-刘珊564.8证据理论实例解：取样本空间D={h1,h2,h3}，h1表示“感冒但2022/12/9人工智能导论-刘珊57将两个概率分配函数组合：

4.8证据理论2022/12/7人工智能导论-刘珊57将两个概率分配函2022/12/9人工智能导论-刘珊58似然函数：

结论：小王可能是感冒了。

信任函数：

4.8证据理论2022/12/7人工智能导论-刘珊58似然函数：结论小结贝叶斯网络定义、构造简单应用精确推理近似推理可信度方法可信度C-F模型证据理论信任函数似然函数推理2022/12/9人工智能导论-刘珊59小结贝叶斯网络2022/12/7人工智能导论-刘珊59第四章非经典推理4.1概述4.2不确定性推理4.3非单调推理4.4概率方法4.5主观贝叶斯方法4.6贝叶斯网络4.7可信度方法4.8证据理论2022/12/9人工智能导论-刘珊60第四章非经典推理4.1概述2022/12/7人工智能导基本框架2022/12/9人工智能导论-刘珊61基本框架2022/12/7人工智能导论-刘珊2贝叶斯网络全联合概率分布贝叶斯网络的定义独立和条件独立贝叶斯网络的构造贝叶斯网络的应用精确推理近似推理2022/12/9人工智能导论-刘珊624.6贝叶斯网络贝叶斯网络全联合概率分布2022/12/7人工智能导论-全联合概率分布定义设X={X1,X2,…,Xn}为任何随机变量集，其全联合概率分布是指当对每个变量取特定值时xi（i=1,2,…,n）时的合取概率，即P(X1=x1∧X2=x2∧…∧Xn=xn)，其简化表示形式为P(x1,x2,…,xn)。重复使用乘法法则2022/12/9人工智能导论-刘珊63得到如下全联合概率分布表示4.6贝叶斯网络全联合概率分布定义2022/12/7人工智能导论-刘珊4贝叶斯网络基本概念一系列变量的联合概率分布的图形表示一个表示变量之间的相互依赖关系的数据结构定义是一个有向无环图随机变量集X={X1,X2,…,Xn}组成网络节点，变量可离散或连续连接节点对的有向边组成边集合每节点Xi都有一个条件概率分布表：P(Xi|par(Xi))，量化其父节点对该节点的影响2022/12/9人工智能导论-刘珊644.6贝叶斯网络贝叶斯网络基本概念2022/12/7人工智能导论-刘珊5示例例1、假设学生在碰见难题和遇到干扰时会产生焦虑，而焦虑又可导致思维迟缓和情绪波动。请用贝叶斯网络描述这一问题。解：在该贝叶斯网络中，大写英文字母A、D、I、C和E分别表示节点“产生焦虑”、“碰见难题”、“遇到干扰”、“认知迟缓”和“情绪波动”，并将各节点的条件概率表置于相应节点的右侧。所有随机变量取布尔变量，因此可以分别用小写英文字母a、d、i、c和e来表示布尔变量A、D、I、C和E取逻辑值为“True”，用﹁a、﹁d、﹁i、﹁c和﹁e来表示布尔变量A、D、I、C和E取逻辑值为“False”。2022/12/9人工智能导论-刘珊654.6贝叶斯网络示例例1、假设学生在碰见难题和遇到干扰时会产生焦虑，而焦虑又示例右图贝叶斯网络中每个节点的概率表就是该节点与其父节点之间的一个局部条件概率分布。由于节点D和I无父节点，故它们的条件概率表由其先验概率来填充2022/12/9人工智能导论-刘珊66碰见难题产生焦虑遇到干扰思维迟缓情绪波动ADIECAP(C)T0.8AP(E)T0.9

P(D)0.15P(I)0.05DIP(A)TT0.8TF0.4FT0.5FF0.14.6贝叶斯网络示例右图贝叶斯网络中每个节点的概率表就是该节点与其父节点之间联合概率分布表示贝叶斯网络的联合概率分布表示用par(Xi)表示Xi的所有父节点的相应取值，P(Xi|par(Xi))是节点Xi的一个条件概率分布函数，则对X的所有节点，有如下联合概率分布：2022/12/9人工智能导论-刘珊67局部化特征每个节点只受到整个节点集中少数别的节点的直接影响，而不受这些节点外的其它节点的直接影响。贝叶斯网络的语义4.6贝叶斯网络联合概率分布表示贝叶斯网络的联合概率分布表示2022/12/独立和条件独立Weather和其它3个变量相互独立。给定Cavity后，Toothache和Catch条件独立2022/12/9人工智能导论-刘珊68WeatherCavityCatchToothache贝叶斯网络能实现简化计算的最根本基础-----条件独立性。两个判别准则1）给定父节点，一个节点与非其后代的节点之间是条件独立的。2）给定一个节点，该节点与其父节点、子节点和子节点的父节点一起构成了一个马尔科夫覆盖，则该节点与马尔科夫覆盖以外的所有节点之间都是条件独立的。4.6贝叶斯网络独立和条件独立Weather和其它3个变量相互独立。2022条件独立2022/12/9人工智能导论-刘珊69U1UmXZ1jZnjY1Yn【说明】：给定节点X的父节点U1...Um，节点X与它的非后代节点（即Zij）是条件独立的。4.6贝叶斯网络……条件独立2022/12/7人工智能导论-刘珊10U1Um条件独立2022/12/9人工智能导论-刘珊70【说明】：给定马尔可夫覆盖（两圆圈之间的区域），节点X和马尔可夫覆盖中所有其它节点都是条件独立的。U1UmXZ1jZnjY1Yn4.6贝叶斯网络条件独立2022/12/7人工智能导论-刘珊11【说明】贝叶斯网络的构造构造过程(1)首先建立不依赖于其它节点的根节点，并且根节点可以不止一个。(2)加入受根节点影响的节点，并将这些节点作为根节点的子节点。此时，根节点已成为父节点。(3)进一步建立依赖于已建节点的子节点。重复这一过程直到叶节点为止。(4)对每个根节点，给出其先验概率；对每个中间节点和叶节点，给出其条件概率表。主要原则忽略过于微弱的依赖关系利用变量间的因果关系2022/12/9人工智能导论-刘珊714.6贝叶斯网络贝叶斯网络的构造构造过程2022/12/7人工智能导论-贝叶斯网络的简单应用例2、对例1所示的贝叶斯网络，若假设某学生已经产生了焦虑情绪，但实际上并未碰见难题，也未遇到干扰，请计算思维迟缓和情绪波动的概率。解：令相应变量的取值分别为：a,﹁d,﹁i,c,e，

P(c∧e∧a∧﹁d∧﹁i)=P(c|a)P(e|a)P(a|﹁d∧﹁i)P(﹁d)P(﹁i)=0.8×0.9×0.1×0.85×0.95=0.05814即所求的概率为0.058142022/12/9人工智能导论-刘珊724.6贝叶斯网络贝叶斯网络的简单应用例2、对例1所示的贝叶斯网络，若假设某学贝叶斯网络推理概念在给定一组证据变量观察值的情况下，利用贝叶斯网络计算一组查询变量的后验概率分布。变量分类查询变量X证据变量集E={E1,E2,…,En}观察到的特定事件s非证据变量集Y={y1,y2,…,ym}全部变量的集合V={x}EY其推理就是要查询后验概率P(X|s)。2022/12/9人工智能导论-刘珊734.6贝叶斯网络贝叶斯网络推理概念2022/12/7人工智能导论-刘珊1贝叶斯网络推理步骤首先确定各相邻节点之间的初始条件概率分布；然后对各证据节点取值；接着选择适当推理算法对各节点的条件概率分布进行更新；最终得到推理结果。分类精确推理：一种可以精确地计算查询变量的后验概率的推理方法，适用于单连通贝叶斯网络。近似推理：在不影响推理正确性的前提下，通过适当降低推理精确度来提高推理效率的一类方法。2022/12/9人工智能导论-刘珊744.6贝叶斯网络贝叶斯网络推理步骤2022/12/7人工智能导论-刘珊1贝叶斯网络精确推理主要方法基于枚举的算法基于变量消元的算法基于团树传播的算法等基于枚举的算法利用全联合概率分布去推断查询变量的后验概率2022/12/9人工智能导论-刘珊754.6贝叶斯网络贝叶斯网络精确推理主要方法2022/12/7人工智能导论-示例例3、以例1所示的贝叶斯网络为例，假设目前观察到的一个事件s={c,e}，求在该事件的前提下碰见难题的概率P(D|c,e)是多少？解：按照精确推理算法，该询问可表示为：2022/12/9人工智能导论-刘珊76先对D的不同取值d和﹁d分别进行处理，当D取值d时，有4.6贝叶斯网络示例例3、以例1所示的贝叶斯网络为例，假设目前观察到的一个事示例2022/12/9人工智能导论-刘珊77当D取值﹁d时，有取α=1/(0.0519+0.0901)=1/0.142。因此有

P(D|c,e)=α(0.0519,0.0901)=(0.3655,0.6345)即在思维迟缓和情绪波动都发生时，碰见难题的概率是P(d|c,e)=0.3655,没有碰见难题的概率是P(﹁d|c,e)=0.63454.6贝叶斯网络示例2022/12/7人工智能导论-刘珊18当D取值﹁d贝叶斯网络近似推理马尔可夫链蒙特卡罗（MCMC）算法是目前使用较广的一类贝叶斯网络推理方法。它通过对前一个事件状态作随机改变来生成下一个问题状态，通过对某个隐变量进行随机采样来实现对随机变量的改变。MCMC方法可视为：在状态空间中的随机走动，但是证据变量的值固定不变。2022/12/9人工智能导论-刘珊784.6贝叶斯网络贝叶斯网络近似推理马尔可夫链蒙特卡罗（MCMC）算法是目前使示例例4、学习情绪会影响学习效果。假设有一个知识点，考虑学生在愉快学习状态下对该知识点的识记、理解、运用的情况，得到了如右图所示的贝叶斯网络。如果目前观察到一个学生不但记住了该知识，并且还可以运用该知识，询问这位学生是否理解了该知识。2022/12/9人工智能导论-刘珊79愉快学习知识识记知识理解知识运用EUMAEP(M)T0.9F0.4P(E)0.75MUP(A)TT0.95TF0.5FT0.65FF0.1EP(U)T0.85F0.34.6贝叶斯网络示例例4、学习情绪会影响学习效果。假设有一个知识点，考虑学生示例解：要求的是P(U|m,a)。应用MCMC算法的推理步骤如下：(1)将“知识识记”节点M和“知识运用”节点A作为证据变量，并保持它们的观察值不变；(2)隐变量“愉快学习”节点E和查询变量“知识理解”节点U进行随机初始化。假设，取值分别为e和﹁u，问题的初始状态为{e,m,﹁u,a}；(3)反复执行如下步骤，①对隐变量E进行采样，由于E的马尔科夫覆盖（其父节点、子节点和子节点的父节点）仅包含节点M和U，可以按照变量M和U的当前值进行采样，若采样得到﹁e，则生成下一状态{﹁e,m,﹁u,a}；②对查询变量U进行采样，由于U的马尔科夫覆盖包含节点E、M和A，可以按照变量E、M和A的当前值进行采样，若采样得到u，则生成下一状态{﹁e,m,u,a}。(4)重复以上步骤直到所要求的访问次数N。若为true和false的次数分别为n1,、n2，则查询解为Normalize(<n1,n2>)=<n1/N,n2/N>2022/12/9人工智能导论-刘珊804.6贝叶斯网络示例解：要求的是P(U|m,a)。应用MCMC算法的示例解：在上述采样过程中，每次采样都需要两步。以对隐变量E的采样为例，每次采样步骤如下：1、先依据该隐变量的马尔科夫覆盖所包含的变量的当前值，计算该状态转移概率p；2、确定状态是否需要改变。其基本方法是，生成一个随机数r∈[0,1]，将其与第一步得到的转移概率p进行比较，若r<p，则E取﹁e，转移到下一状态；否则，还处在原状态不变。在初始状态下，对变量E进行采样，第一步计算P(E|m,﹁u)，以此判断是否转移到下一状态{﹁e,m,﹁u,a}。

P(e|m,﹁u)=P(e,m,﹁u)/P(m,﹁u)=P(e)P(m|e)P(﹁u|e)/[P(e)P(m|e)P(﹁u|e)+P(﹁e)P(m|﹁e)P(﹁u|﹁e)]=(0.75×0.9×0.3)/[0.75×0.9×0.3+0.25×0.4×0.3]=0.2025/0.2325=0.8710第二步，假设产生的随机数r=0.46，有0.46<0.871，则E取﹁e，转移到下一状态{﹁e,m,﹁u,a}2022/12/9人工智能导论-刘珊814.6贝叶斯网络示例解：在上述采样过程中，每次采样都需要两步。以对隐变量E第四章非经典推理4.1概述4.2不确定性推理4.3非单调推理4.4概率方法4.5主观贝叶斯方法4.6贝叶斯网络4.7可信度方法4.8证据理论2022/12/9人工智能导论-刘珊82第四章非经典推理4.1概述2022/12/7人工智能导基本概念可信度：根据经验对一个事物或现象为真的相信程度。C－F模型：基于可信度表示的不确定性推理的基本方法。主要内容1、C-F模型中规则的不确定性表示2、C-F模型中证据的不确定性表示3、C-F模型中组合证据不确定性的计算4、C-F模型中不确定性的更新5、C-F模型中结论的不确定性合成6、带加权因子的可信度推理2022/12/9人工智能导论-刘珊834.7可信度方法基本概念可信度：根据经验对一个事物或现象为真的相信程度。201、规则不确定性的表示产生式规则表示IFETHENH(CF(H,E))CF(H,E)：可信度因子，反映前提条件与结论的联系强度。CF(H，E)的取值范围：[-1,1]。若由于相应证据的出现增加结论H为真的可信度，则CF(H，E)>0，证据的出现越是支持H为真，就使CF(H，E)的值越大。反之，CF(H，E)<0，证据的出现越是支持H为假，CF(H，E)的值就越小。若证据的出现与否与H无关，则CF(H，E)=02022/12/9人工智能导论-刘珊844.7可信度方法1、规则不确定性的表示产生式规则表示2022/12/7人工智2、证据不确定性的表示证据E的可信度取值范围：[-1，1]。对于初始证据，若所有观察S能肯定它为真，则CF(E)=1；若肯定它为假，则CF(E)=–1。若以某种程度为真，则0<CF(E)<1。若以某种程度为假，则－1<CF(E)<0。若未获得任何相关的观察，则CF(E)=0。静态强度CF(H，E)：知识的强度，即当所对应的证据E为真时对H的影响程度。动态强度CF(E)：证据E当前的不确定性程度2022/12/9人工智能导论-刘珊854.7可信度方法2、证据不确定性的表示证据E的可信度取值范围：[-1，1]3、组合证据不确定性的算法组合证据：多个单一证据的合取E=E1

AND

E2AND…ANDEn则CF(E)=min{CF(E1),CF(E1),…,CF(En)}组合证据：多个单一证据的析取E=E1ORE2

OR…

OREn

则CF(E)=max{CF(E1),CF(E1),…,CF(En)}2022/12/9人工智能导论-刘珊864.7可信度方法3、组合证据不确定性的算法组合证据：多个单一证据的合取2024、不确定性的传递算法C-F模型中的不确定性推理：从不确定的初始证据出发，通过运用相关的不确定性知识，最终推出结论并求出结论的可信度值。结论H的可信度由下式计算:2022/12/9人工智能导论-刘珊87CF(E)<0时，CF(H)=0;CF(E)=1时，CF(H)=CF(H,E)4.7可信度方法4、不确定性的传递算法C-F模型中的不确定性推理：从不确定的5、结论不确定性的合成算法设知识：IFE1THENH(CF(H,E1))IFE2THENH(CF(H,E2))（1）分别对每一条知识求出CF(H)：CF1(H)=CF(H,E1)×max{0,CF(E1)}CF2(H)=CF(H,E2)×max{0,CF(E2)}(2)用如下公式求E1与E2对H的综合可信度2022/12/9人工智能导论-刘珊884.7可信度方法5、结论不确定性的合成算法设知识：2022/12/7人工智能6、带加权因子的可信度推理当知识的前提条件为多个子条件组合，且这些子条件对结论的重要程度不同时，在前提条件中加入加权因子，以说明每个前提的重要程度。知识的不确定性表示ifE1(w1)andE2(w2)and…andEn(wn)thenHCF(H,E)

其中w1,w2,…,wn为加权因子，一般满足归一条件即w1+w2+…+wn=12022/12/9人工智能导论-刘珊894.7可信度方法6、带加权因子的可信度推理当知识的前提条件为多个子条件组合，带加权因子的可信度推理组合证据不确定性的计算若E=E1(w1)andE2(w2)and…andEn(wn)则E的可信度因子可以按如下方式计算CF(E)=∑wi*CF(Ei)不确定性的更新直观的方法为：CF(H)=CF(H，E)*CF(E)2022/12/9人工智能导论-刘珊904.7可信度方法带加权因子的可信度推理组合证据不确定性的计算2022/12/示例例1、已知规则r1:ifE1(0.6)andE2(0.4)thenE5(0.8)r2:ifE3(0.5)andE4(0.3)andE5(0.2)thenH(0.9)以及CF(E1)=0.9,CF(E2)=0.8,CF(E3)=0.7,CF(E4)=0.6求CF(H)？2022/12/9人工智能导论-刘珊914.7可信度方法示例例1、已知规则2022/12/7人工智能导论-刘珊3示例解：CF(E5)=CF(E5,E)*CF(E)=0.8*0.86=0.69CF(E3(0.5)andE4(0.3)andE5(0.2))=0.67CF(H)=0.9*0.67=0.6032022/12/9人工智能导论-刘珊924.7可信度方法示例解：2022/12/7人工智能导论-刘珊334.7第四章非经典推理4.1概述4.2不确定性推理4.3非单调推理4.4概率方法4.5主观贝叶斯方法4.6贝叶斯网络4.7可信度方法4.8证据理论2022/12/9人工智能导论-刘珊93第四章非经典推理4.1概述2022/12/7人工智能导证据理论又称D－S理论在证据理论的基础上已经发展了多种不确定性推理模型主要内容概率分配函数信任函数似然函数信任函数与似然函数的关系概率分配函数的正交和（证据的组合）基于证据理论的推理2022/12/9人工智能导论-刘珊944.8证据理论证据理论又称D－S理论2022/12/7人工智能导论-刘基本概念证据理论假设有一个不变的两两相斥的完备元素集合U，如右图所示，其中2022/12/9人工智能导论-刘珊95证据理论说明图4.8证据理论例如,U={三轮车，汽车，火车}U={赤，橙，黄，绿，青，蓝，紫}U={马，牛，羊，鸡，狗，兔}基本概念证据理论假设有一个不变的两两相斥的完备元素集合U，如基本概念证据理论用集合表示命题。设D是变量x所有可能取值的集合，且D中的元素是互斥的，在任一时刻x都取D中的某一个元素为值，称D为x的样本空间。在证据理论中，D的任何一个子集A都对应于一个关于x的命题，称该命题为“x的值在A中”。设x：所看到的颜色，D={红，黄，蓝}，则A={红}：“x是红色”；

A={红，蓝}：“x或者是红色，或者是蓝色”。为了描述和处理不确定性，引入了概率分配函数、信任函数及似然函数等概念。2022/12/9人工智能导论-刘珊964.8证据理论基本概念证据理论用集合表示命题。2022/12/7人工智能导概率分配函数设D为样本空间，领域内的命题都用D的子集表示。定义：设函数M：,且满足2022/12/9人工智能导论-刘珊974.8证据理论则称M是上的概率分配函数，M(A)称为A的基本概率函数。对样本空间D的任一子集都分配一个概率值。概率分配函数设D为样本空间，领域内的命题都用D的子集表示。2概率分配函数2022/12/9人工智能导论-刘珊98几点说明：（1）样本空间D中有n个元素，则D中子集的个数为2n个。

2D：D的所有子集。（2）概率分配函数：把D的任意一个子集A都映射为[0,1]上的一个数M（A）。

AD，AD时，M（A）：对相应命题A的精确信任度。（3）概率分配函数与概率不同。

例如，设

A={红}，

M（A）=0.3：命题“x是红色”的信任度是0.3。

设D={红，黄，蓝}M（{红}）=0.3，

M（{黄}）=0，

M（{蓝}）=0.1，

M（{红，黄}）=0.2，M（{红，蓝}）=0.2，M（{黄，蓝}）=0.1，M（{红，黄，蓝}）=0.1，M（Φ）=0但：M（{红}）+M（{黄}）+M（{蓝}）=0.4设D={红，黄，蓝}则其子集个数23＝8，具体为：A={红}，

A={黄}，

A={蓝}，

A={红，黄}，A={红，蓝}，

A={黄，蓝}，A={红，黄，蓝}，A={}4.8证据理论概率分配函数2022/12/7人工智能导论-刘珊39几点信任函数

2022/12/9人工智能导论-刘珊99

设D={红，黄，蓝}M（{红}）=0.3，

M（{黄}）=0，M（{红，黄}）=0.2,由信任函数及概率分配函数的定义推出：4.8证据理论信任函数

2022/12/7人工智能导论-刘珊40设似然函数似然函数定义为Pl：2D[0,1]且pl(A)=1-Bel(A)，AD2022/12/9人工智能导论-刘珊100

设D={红，黄，蓝}M({红})=0.3，M({黄})=0，M({红，黄})=0.2，Bel({红,黄})=M({红})+M({黄})+M({红,黄})=0.5Pl({蓝})=1-Bel({蓝})=1-Bel({红,黄})=1-0.5=0.5

4.8证据理论似然函数似然函数定义为Pl：2D[0,1]且pl(A)=信任函数与似然函数的关系Pl(A)Bel(A)