贝叶斯信念网络课件

1BayesClassifier

贝叶斯分类2023/1/21BayesClassifier

贝叶斯分类2022/1122023/1/2一、何谓贝叶斯分类？数据挖掘中以贝叶斯定理为基础，用于分类的技术有朴素贝叶斯分类和贝叶斯信念网络两种。朴素贝叶斯分类假定一个属性值对给定类的影响独立于其他属性的值，即在属性间不存在依赖关系，也因此称为“朴素的”。贝叶斯信念网络也可以用于分类，它是图形模型。它优于朴素贝叶斯，它能够处理属性子集间有依赖关系的分类。它采用监督式的学习方式。22022/12/18一、何谓贝叶斯分类？数据挖掘中以贝叶斯2二、基本知识32023/1/21、事件概率联合概率(jointprobability)

表示A事件和B事件同时发生的概率，

P(A∩B)。边际概率(marginalprobability)

在A和B的样本空间中，只看A或B的概率，称之边际概率。条件概率(conditionalprobability)

在发生A的条件下，发生B的概率，称为P(B|A)。二、基本知识32022/12/181、事件概率3赞成(B1)反对(B2)合计男性(A1)40120160女性(A2)103040合计501502004联合概率：P(男性，赞成)=P(A1∩B1)=40/200=0.2边际概率:P(赞成)=P(B1)=P(A1∩B1)+P(A2∩B1)=0.25条件概率:P(赞成|男性)=P(B1|A1)=P(A1∩B1)/P(A1)=0.252023/1/2举例：赞成(B1)反对(B2)合计男性(A1)40120160女性42、乘法法则(Multiplicativerule)52023/1/23、独立事件设事件Ａ和事件Ｂ满足以下条件：则称Ａ与Ｂ为『独立事件』。2、乘法法则(Multiplicativerule)5205三、贝叶斯定理6

表示先验概率(Priorprobability)。表示后验概率(Posterioriprobability)，先验概率是由以往的数据分析得到的。根据样本数据得到更多的信息后，对其重新修正，即是后验概率。2023/1/2三、贝叶斯定理6表示先验概率67例：旅客搭乘飞机必须经电子仪器检查是否身上携带金属物品。如果携带金属，仪器会发出声音的概率是97%，但身上无金属物品仪器会发出声音的概率是5%。已知一般乘客身上带有金属物品的概率是30%，若某旅客经过仪器检查时发出声音，请问他身上有金属物品的概率是多少？

2023/1/2解：设C1=“有金属物”，X=“仪器会发声”，则7例：旅客搭乘飞机必须经电子仪器检查是否身上携带金属物品。27四、朴素贝叶斯分类的工作过程2023/1/28四、朴素贝叶斯分类的工作过程2022/12/18882023/1/292022/12/18992023/1/2102022/12/1810102023/1/2112022/12/1811112023/1/2122022/12/181212五、朴素贝氏分类的实例办信用卡意愿：项目性别年龄学生身分收入办卡1男>45否高会2女31~45否高会3女20~30是低会4男<20是低不会5女20~30是中不会6女20~30否中会7女31~45否高会8男31~45是中不会9男31~45否中会10女<20是低会132023/1/2类属性五、朴素贝氏分类的实例办信用卡意愿：项目性别年龄学生身分收入1314解：首先根据训练样本计算各属性相对于不同分类结果的条件概率：P(办卡)=7/10

P(不办卡)=3/10P(女性|办卡)=5/7

P(女性|不办卡)=1/3P(年龄=31~45|办卡)=3/7

P(年龄=31~45|不办卡)=1/3P(学生=否|办卡)=5/7

P(学生=否|不办卡)=0/3P(收入=中|办卡)=2/7

P(收入=中|不办卡)=2/32023/1/2判断：X=(女性，年龄介于31~45之间，不具学生身份，收入中等)会不会办理信用卡。14解：首先根据训练样本计算各属性相对于不同分类结果的条件概14

其次，再应用朴素贝氏分类器进行类别预测：计算P(办卡)P(女性|办卡)P(年龄31~45|办卡)P(不是学生|办卡)P(收入中|办卡)=15/343≈0.044P(不办卡)P(女性|不办卡)P(年龄31~45|不办卡)P(不是学生|不办卡)P(收入中等|不办卡)=00.044>0152023/1/2其次，再应用朴素贝氏分类器进行类别预测：152022/1215162023/1/2训练样本中对于(女性，年龄介于31~45之间，不具学生身份，收入中等)的个人，按照朴素贝叶斯分类会将其分到办信用卡一类中。办卡的概率是(0.044)/(0.044+0)=1(正规化分类的结果P(会)/(P(会)+P(不会))。162022/12/18训练样本中对于(女性，年龄介于31~16贝叶斯分类的优缺点：优点：计算速度最快的演算法；规则清楚易懂；独立事件的假设，大多数问题上不至于发生太大偏误；缺点：仅适用于类别变量；仅能应用于分类问题；假设变量间为独立互不影响，因此使用时需要谨慎分析变量间的相关性。2023/1/217贝叶斯分类的优缺点：优点：2022/12/181717六、贝叶斯信念网络朴素贝叶斯分类假定类条件独立，即给定样本的类标号，属性的值相互条件独立。但在实践中，变量之间的依赖可能存在。贝叶斯信念网络说明联合条件概率分布，它允许在变量的子集间定义类条件独立性。它提供一种因果关系的图形。2023/1/218六、贝叶斯信念网络朴素贝叶斯分类假定类条件独立，即给定样本的18例如，得肺癌受其家族肺癌史的影响，也受是否吸烟的影响。2023/1/219有向无环图条件概率图概率依赖双亲或直接前驱后继非后继独立节点：随机变量例如，得肺癌受其家族肺癌史的影响，也受是否吸烟的影响。20219一个简单的例子由左图给出，它对下雨(R)引起草地变湿(W)建模。天下雨的可能性为４０％，并且下雨时草地变湿的可能性为９０％；也许１０％的时间雨下得不长，不足以让我们真正认为草地被淋湿了。在这个例子中，随机变量是二元的：真或假。存在２０％的可能性草地变湿而实际上并没有下雨，例如，使用喷水器时。2023/1/220一个简单的例子由左图给出，它对下雨(R)引起草地变湿(W)建202023/1/221可以看到三个值就可以完全指定P(R,W)的联合分布。如果P(R)=0.4，则P(~R)=0.6。类似地，

，而

这是一个因果图，解释草地变湿的主要原因是下雨。我们可以颠倒因果关系并且做出诊断。例如，已知草地是湿的，则下过雨的概率可以计算如下：2022/12/1821可以看到三个值就可以完全指定P(R,212023/1/2222022/12/182222现在，假设我们想把喷水器（Ｓ）作为草地变湿的另一个原因，如下图所示。

节点Ｗ有两个父节点Ｒ和Ｓ，因此它的概率是这两个值上的条件概率。我们可以计算喷水器开着草地会湿的概率。这是一个因果（预测）推理：2023/1/223现在，假设我们想把喷水器（Ｓ）作为草地变湿的另一个原因，如下232023/1/224=0.12022/12/1824=0.124给定草地是湿的，我们能够计算喷水器开着的概率。这是一个诊断推理。2023/1/225给定草地是湿的，我们能够计算喷水器开着的概率。这是一个诊断推25知道草是湿的增加了喷水器开着的可能。现在让我们假设下过雨，我们有：注意，这个值比小。这叫作解释远离explainingaway;给定已知下过雨，则喷水器导致湿草地的可能性降低了。已知草地是湿的，下雨和喷水器成为相互依赖的。2023/1/226知道草是湿的增加了喷水器开着的可能。现在让我们假设下过雨，我262023/1/227某水文站内装有一个小型的警报系统，与该警报是否拉响相关的因素有：洪水到来、地震发生，同时该系统还肩负着安全警报的功能，当水文站发生入室盗窃时，警报同样也会拉响。而洪水的到来与降雨情况有关，地震的发生会反映在地震监测仪的报告中。同时，入室盗窃也会带来地震监测仪的扰动。在水文站以往的数据库中，关于以上这些因素都能找到详细的记录。那么如何从这些数据中挖掘出有用的信息，来帮助工作人员进行决策呢？七、贝叶斯信念网络应用实例

：警报分析（马克威分析系统）2022/12/1827某水文站内装有一个小型的警报系统，与272023/1/2281、有向无环图2022/12/18281、有向无环图282、条件概率表2023/1/229先验概率2、条件概率表2022/12/1829先验29条件概率表2023/1/230条件概率表2022/12/1830303、推理（1）当“警报拉响＋降雨→地震、入室盗窃、洪水”：假设某时刻警报突然拉响了，且此时正在下雨，值班人员要判断此时发生地震、盗窃和洪水的概率分别是多少，以便采取相应的措施加以应对。首先，设置警报和降雨为已知节点，观察值分别为拉响和降雨；并且指定地震、入室盗窃和洪水为目标节点。然后计算各种情况发生的后验概率。2023/1/2313、推理（1）当“警报拉响＋降雨→地震、入室盗窃、洪水”：312023/1/232节点名称降雨警报状态取值降雨拉响已知变量的状态观察值状态取值不发生发生概率值×10084.8015.20地震状态取值不发生发生概率值×10012.0088.0入室盗窃状态取值不发生发生概率值×10088.8011.2洪水2022/12/1832节点名称降雨警报状态取值降雨拉响已知32（2）当“警报拉响＋降雨＋地震监测仪信号弱→

地震、入室盗窃、洪水”：假设，同样在下雨天，警报突然拉响，如果此时值班人员还注意到了地震监测仪的状态处于弱信号的范围，那么到底地震、入室盗窃、洪水中哪个发生呢？解决的办法是设定：降雨节点处于降雨状态，警报节点处于拉响状态，地震监测仪处于弱状态；目标节点仍旧是地震、入室盗窃和洪水。然后，计算后验概率。2023/1/233（2）当“警报拉响＋降雨＋地震监测仪信号弱→地震、入室盗332023/1/234节点名称降雨警报地震监测仪状态取值降雨拉响弱已知变量的状态观察值状态取值不发生发生概率值×100100.000.00地震状态取值不发生发生概率值×1008.3391.67洪水状态取值不发生发生概率值×10091.678.33入室盗窃2022/12/1834节点名称降雨警报地震监测仪状态取值降34贝叶斯分类的优缺点：优点：在某些领域的应用上，其分类效果优于类神经网络和判定树。用于大型数据库，可以得出准确高且有效率的分类结果。缺点：一般而言，贝叶斯分类中的属性可以出现两种以上不同的值，而目标值则多半为两元的相对状态，如“是/否”，”好/坏”，”对/错”，”上/下”，“发生/不发生”等。2023/1/235贝叶斯分类的优缺点：优点：2022/12/1835352023/1/2362022/12/18363637BayesClassifier

贝叶斯分类2023/1/21BayesClassifier

贝叶斯分类2022/137382023/1/2一、何谓贝叶斯分类？数据挖掘中以贝叶斯定理为基础，用于分类的技术有朴素贝叶斯分类和贝叶斯信念网络两种。朴素贝叶斯分类假定一个属性值对给定类的影响独立于其他属性的值，即在属性间不存在依赖关系，也因此称为“朴素的”。贝叶斯信念网络也可以用于分类，它是图形模型。它优于朴素贝叶斯，它能够处理属性子集间有依赖关系的分类。它采用监督式的学习方式。22022/12/18一、何谓贝叶斯分类？数据挖掘中以贝叶斯38二、基本知识392023/1/21、事件概率联合概率(jointprobability)

表示A事件和B事件同时发生的概率，

P(A∩B)。边际概率(marginalprobability)

在A和B的样本空间中，只看A或B的概率，称之边际概率。条件概率(conditionalprobability)

在发生A的条件下，发生B的概率，称为P(B|A)。二、基本知识32022/12/181、事件概率39赞成(B1)反对(B2)合计男性(A1)40120160女性(A2)103040合计5015020040联合概率：P(男性，赞成)=P(A1∩B1)=40/200=0.2边际概率:P(赞成)=P(B1)=P(A1∩B1)+P(A2∩B1)=0.25条件概率:P(赞成|男性)=P(B1|A1)=P(A1∩B1)/P(A1)=0.252023/1/2举例：赞成(B1)反对(B2)合计男性(A1)40120160女性402、乘法法则(Multiplicativerule)412023/1/23、独立事件设事件Ａ和事件Ｂ满足以下条件：则称Ａ与Ｂ为『独立事件』。2、乘法法则(Multiplicativerule)52041三、贝叶斯定理42

表示先验概率(Priorprobability)。表示后验概率(Posterioriprobability)，先验概率是由以往的数据分析得到的。根据样本数据得到更多的信息后，对其重新修正，即是后验概率。2023/1/2三、贝叶斯定理6表示先验概率4243例：旅客搭乘飞机必须经电子仪器检查是否身上携带金属物品。如果携带金属，仪器会发出声音的概率是97%，但身上无金属物品仪器会发出声音的概率是5%。已知一般乘客身上带有金属物品的概率是30%，若某旅客经过仪器检查时发出声音，请问他身上有金属物品的概率是多少？

2023/1/2解：设C1=“有金属物”，X=“仪器会发声”，则7例：旅客搭乘飞机必须经电子仪器检查是否身上携带金属物品。243四、朴素贝叶斯分类的工作过程2023/1/244四、朴素贝叶斯分类的工作过程2022/12/188442023/1/2452022/12/189452023/1/2462022/12/1810462023/1/2472022/12/1811472023/1/2482022/12/181248五、朴素贝氏分类的实例办信用卡意愿：项目性别年龄学生身分收入办卡1男>45否高会2女31~45否高会3女20~30是低会4男<20是低不会5女20~30是中不会6女20~30否中会7女31~45否高会8男31~45是中不会9男31~45否中会10女<20是低会492023/1/2类属性五、朴素贝氏分类的实例办信用卡意愿：项目性别年龄学生身分收入4950解：首先根据训练样本计算各属性相对于不同分类结果的条件概率：P(办卡)=7/10

P(不办卡)=3/10P(女性|办卡)=5/7

P(女性|不办卡)=1/3P(年龄=31~45|办卡)=3/7

P(年龄=31~45|不办卡)=1/3P(学生=否|办卡)=5/7

P(学生=否|不办卡)=0/3P(收入=中|办卡)=2/7

P(收入=中|不办卡)=2/32023/1/2判断：X=(女性，年龄介于31~45之间，不具学生身份，收入中等)会不会办理信用卡。14解：首先根据训练样本计算各属性相对于不同分类结果的条件概50

其次，再应用朴素贝氏分类器进行类别预测：计算P(办卡)P(女性|办卡)P(年龄31~45|办卡)P(不是学生|办卡)P(收入中|办卡)=15/343≈0.044P(不办卡)P(女性|不办卡)P(年龄31~45|不办卡)P(不是学生|不办卡)P(收入中等|不办卡)=00.044>0512023/1/2其次，再应用朴素贝氏分类器进行类别预测：152022/1251522023/1/2训练样本中对于(女性，年龄介于31~45之间，不具学生身份，收入中等)的个人，按照朴素贝叶斯分类会将其分到办信用卡一类中。办卡的概率是(0.044)/(0.044+0)=1(正规化分类的结果P(会)/(P(会)+P(不会))。162022/12/18训练样本中对于(女性，年龄介于31~52贝叶斯分类的优缺点：优点：计算速度最快的演算法；规则清楚易懂；独立事件的假设，大多数问题上不至于发生太大偏误；缺点：仅适用于类别变量；仅能应用于分类问题；假设变量间为独立互不影响，因此使用时需要谨慎分析变量间的相关性。2023/1/253贝叶斯分类的优缺点：优点：2022/12/181753六、贝叶斯信念网络朴素贝叶斯分类假定类条件独立，即给定样本的类标号，属性的值相互条件独立。但在实践中，变量之间的依赖可能存在。贝叶斯信念网络说明联合条件概率分布，它允许在变量的子集间定义类条件独立性。它提供一种因果关系的图形。2023/1/254六、贝叶斯信念网络朴素贝叶斯分类假定类条件独立，即给定样本的54例如，得肺癌受其家族肺癌史的影响，也受是否吸烟的影响。2023/1/255有向无环图条件概率图概率依赖双亲或直接前驱后继非后继独立节点：随机变量例如，得肺癌受其家族肺癌史的影响，也受是否吸烟的影响。20255一个简单的例子由左图给出，它对下雨(R)引起草地变湿(W)建模。天下雨的可能性为４０％，并且下雨时草地变湿的可能性为９０％；也许１０％的时间雨下得不长，不足以让我们真正认为草地被淋湿了。在这个例子中，随机变量是二元的：真或假。存在２０％的可能性草地变湿而实际上并没有下雨，例如，使用喷水器时。2023/1/256一个简单的例子由左图给出，它对下雨(R)引起草地变湿(W)建562023/1/257可以看到三个值就可以完全指定P(R,W)的联合分布。如果P(R)=0.4，则P(~R)=0.6。类似地，

，而

这是一个因果图，解释草地变湿的主要原因是下雨。我们可以颠倒因果关系并且做出诊断。例如，已知草地是湿的，则下过雨的概率可以计算如下：2022/12/1821可以看到三个值就可以完全指定P(R,572023/1/2582022/12/182258现在，假设我们想把喷水器（Ｓ）作为草地变湿的另一个原因，如下图所示。

节点Ｗ有两个父节点Ｒ和Ｓ，因此它的概率是这两个值上的条件概率。我们可以计算喷水器开着草地会湿的概率。这是一个因果（预测）推理：2023/1/259现在，假设我们想把喷水器（Ｓ）作为草地变湿的另一个原因，如下592023/1/260=0.12022/12/1824=0.160给定草地是湿的，我们能够计算喷水器开着的概率。这是一个诊断推理。2023/1/261给定草地是湿的，我们能够计算喷水器开着的概率。这是一个诊断推61知道草是湿的增加了喷水器开着的可能。现在让我们假设下过雨，我们有：注意，这个值比小。这叫作解释远离explainingaway;给定已知下过雨，则喷水器导致湿草地的可能性降低了。已知草地是湿的，下雨和喷水器成为相互依赖的。2023/1/262知道草是湿的增加了喷水器开着的可能。现在让我们假设下过雨，我622023/1/263某水文站内装有一个小型的警报系统，与该警报是否拉响相关的因素有：洪水到来、地震发生，同时该系统还肩负着安全警报的功能，当水文站发生入室盗窃时，警报同样也会拉响。而洪水的到来与降雨情况有关，地震的发生会反映在地震监测仪的报告中。同时，入室盗窃也会带来地震监测仪的扰动。在水文站以往的数据库中，关于以上这些因素都能找到详细的记录。那么如何从这些数据中挖掘出有用的信息，来帮助工作人员进行决策呢？七、贝叶斯信念网络应用实例

：警报分析（马克威分析系统）2022/12/1827某水文站内装有一个小型的警报系统，与632023/1/2641、有向无环图2022/12/18281、有向无环图642、条件概率表202