小数据集贝叶斯网络学习

小数据集贝叶斯网络学习第一页，共72页。研究内容21研究背景及意义研究方法及实验结果34第二页，共72页。研究背景及意义

贝叶斯网络(BayesianNetworks，BN)于1986被JudeaPearl教授首次完整提出，JudeaPearl因其在贝叶斯网络概率推理和因果发现方面的先驱性工作而被授予2011年美国计算机学会图灵奖。

《science》和《Nature》多次刊登了贝叶斯网络的相关研究论文，斯坦福大学、卡内基梅隆大学、UCBerkeley、MIT等世界著名高校纷纷开设了贝叶斯网络相关课程，并组建了专门的研究团队。

贝叶斯网络也成功应用于基因分析、医疗诊断、模式分类等研究领域。人工智能领域的一系列顶级期刊(ArtificialIntelligence、JournalofMachineLearningReasearch等)和顶级会议(IJCAI、ICML、UAI等)中有关贝叶斯网络论文的数量也常年维持着较高的水平。贝叶斯网络是人工智能领域的一个研究热点第三页，共72页。

通过对近10年贝叶斯相关文献的分析发现，大部分研究集中在应用领域，而贝叶斯网络的理论研究稍显不足。在BN发展初期，BN模型主要由专家根据经验进行构建。而后，随着统计学方法大规模介入机器学习和人工智能领域，从数据中构造模型逐渐成为主流。贝叶斯网络学习是贝叶斯网络研究领域的一个热点问题研究背景及意义第四页，共72页。

在实际建模问题中，数据不充分是经常会面临的问题。一方面，某些领域可获得的数据量比较少或者数据的代价比较昂贵，例如，地质灾害预测、罕见疾病诊断、装备故障诊断以及作战指挥决策等。另一方面，数据量的增加是一个逐渐积累的过程，数据量的积累是一个由小变大、由少变多的过程，所以数据量必然会经历不充分的阶段。再者，在某些特定场合不得不在数据不充分的条件下完成决策。例如，在一些作战过程中，为了达到“先敌决策、先敌打击”的战术目的，不得不在数据尚不充分的条件下尽早做出较为正确的判断。研究背景及意义数据不充分条件下的建模是一个亟待解决的问题第五页，共72页。问题的引出：基于小数据集的BN学习及其在威胁评估中的仿真应用第六页，共72页。研究内容21研究背景及意义研究方法及实验结果34第七页，共72页。研究内容小数据集条件下基于连接概率分布的BN结构学习小数据集条件下基于先验约束的BN参数学习基于小数据集BN学习的UAV威胁评估第八页，共72页。研究内容“基于连接概率分布结构学习”的引出

在小数据集条件下，数据中所包含的信息难以准确描述数据中各个变量之间的独立性关系，从而使得贝叶斯网络模型出现错误。基于数据扩展的方法基于先验约束的方法优点：所采用的Bootstrap抽样算法是一种经典的抽样算法，且易于实现。获得扩展数据便能够结合现有的一些充分数据的结构学习方法缺点：数据包含的有效信息难以得到增加，故扩展后数据的质量难以保证。基于等价样本量的方法基于定性约束的方法等价样本量的大小十分敏感，在样本数据较小时这一趋势尤为明显。基于等价样本量的方法其优点在于计算简单。其缺点在于无法灵活的融入各种形式的专家知识，因为对于领域专家来说，往往更倾向于给出定性知识而非精确的具体的数值。现有定性约束方法未考虑节点之间不存在的边和存在反向边的概率，并且约束总被认为是正确的。第九页，共72页。

在小数据集条件下，提出连接概率分布模型表示专家经验，通过对BD评分函数和BIC评分函数进行改进，将其引入到贝叶斯网络结构学习中，结合粒子群优化算法和K2算法解决小数据集条件下的贝叶斯网络结构学习的问题。“基于连接概率分布的BN结构学习”的具体内容第十页，共72页。研究内容“基于先验约束的BN参数学习”的引出

基本思路大多都是将专家知识表示为等式或不等式约束，进而将问题转化为似然函数或者熵函数的约束优化问题。具体的约束形式有区间约束、定性影响约束、定性协同等，主要的方法有凸优化、保序回归等。而现有的不等式约束中只考虑了子节点相同父节点不同的这一类参数之间的大小关系。而对父节点相同而子节点不同这一类参数之间的关系很少提及，同时，现有文献涉及的约束主要是针对单父节点条件下的网络参数，对多父节点协同条件下的约束研究较少。第十一页，共72页。“基于先验约束的BN参数学习”的具体内容提出一种单调性约束模型，给出基于此约束的参数学习方法；结合定性影响约束，给出一种基于双重约束的参数学习方法；结合加性协同约束，给出基于保序回归的参数学习方法；第十二页，共72页。“小数据集条件下基于BN威胁评估建模”的研究内容

首先，以不确定战场环境下UAV威胁评估为想定背景，分别根据不同威胁因素构建两个不同的任务想定，根据约束复杂度的不同分别利用K2算法和PSO算法构建UAV战场威胁评估网络。其次，应用提出的基于单调性的参数学习算法对威胁评估网络模型进行参数学习。最后，通过推理结果验证小数据集条件下的BN学习在复杂战场环境下UAV威胁评估中的有效性和可行性第十三页，共72页。研究内容21研究背景及意义研究方法及实验结果3第十四页，共72页。基于改进BD评分的BPSO算法基于改进BD评分的粒子群优化算法输入:数据D，专家经验E，BPSO算法相关参数输出:新种群的全局最优结构G1、初始化m个粒子组成的初始种群Q(t)，进化代数t=0；2、对粒子进行无效结构处理；3、根据专家经验E，计算Jc和Nc；4、whilet<设定进化代数

do5、计算每个粒子的I-BD评分；6、更新局部最优和全局最优；7、根据局部最优和全局最优计算粒子速度；8、通过粒子速度来更新粒子的位置，进而得到新的粒子；9、对粒子进行无效结构处理,进而获得新的种群；10、

t=t+1；11、endwhile；12、return(G)第十五页，共72页。连接变量的概率分布示意图基于连接概率分布的结构约束第十六页，共72页。基于改进结构先验分布的评分函数第一个等号由贝叶斯定理可以得到，第二个等号成立是因为当给定

时，

与数据D是条件独立的，当专家约束的网络数据给定时，

就是一个常数，所以，要使得整个网络的评分最高，只需要使得分子取最大即可。其中

为网络空间中某一网络所对应的约束连接变量，

的取值由网络结构

唯一确定，其分布由专家经验确定。由于

的取值由

唯一确定，所以第一个等号成立。根据贝叶斯定理和链式规则可得到第二个等号成立。当约束所对应的连接变量取值已知时，网络结构

和连接变量的分布条件独立，则第三个等号成立。当

已知条件下，某一网络结构

的存在概率实际上就是某一网络结构包含这一特定网络子结构的概率，如果能够得到在整个网络空间中含有这一特定子结构的网络个数

，那么可以得到：第十七页，共72页。第十八页，共72页。计算

和第十九页，共72页。粒子的表示及运算第二十页，共72页。无效结构的处理方法包含自循环的BN结构及其关系矩阵包含双向箭头的BN结构及其关系矩阵包含内循环的BN结构及其关系矩阵第二十一页，共72页。实验结果及分析

第二十二页，共72页。一次实验的仿真结果第二十三页，共72页。多次仿真平均后的实验结果第二十四页，共72页。基于改进BIC评分的K2算法结构学习基于改进BIC评分的K2算法输入：变量顺序ρ（设它与变量下标一致）；变量父节点个数的上界μ；专家约束e；数据D输出：贝叶斯网络结构G；1、G←由节点组成的无边图；2、forj=1ton3、

πj←；4、

Vold←BIC((Xj,πj)|D)；5、while(True)6、

7、

Vnew←BIC((Xj,πj{Xi})|D)8、

if(Vold<Vnewand|πj|<μ)9、

Vold←Vnew；10、；11、在G中加边Xj←Xi；12、

else13、

break；14、

endif15、endwhile16、endfor17、return(G)；第二十五页，共72页。定义变量

的家族BIC评分为评分的可分解性为样本数据量，为专家经验对应的边的存在概率，为调节参数，用于调节专家经验对评分的影响程度。第二十六页，共72页。实验结果及分析约束完全正确时第二十七页，共72页。实验结果及分析多次仿真平均后的结果第二十八页，共72页。约束不完全正确时第二十九页，共72页。多次仿真平均后的结果第三十页，共72页。约束完全错误时第三十一页，共72页。多次仿真平均后的结果第三十二页，共72页。基于单调性约束的BN参数学习步骤1：根据领域知识或专家经验建立参数的单调性约束模型；步骤2：结合参数规范性和单调性约束模型得到参数的约束区间；步骤3：将约束区间内的均匀分布转化为贝塔（Beta）分布，并获取虚拟样本信息；步骤4：将虚拟样本信息加入贝叶斯估计的模型，得到参数估计模型：步骤5：将获得的参数作为下一个待求参数的下界，返回步骤1，重复步骤1-5，直到得到所有参数。第三十三页，共72页。单调性约束模型第三十四页，共72页。先验分布中参数的确定方法第三十五页，共72页。实验结果及分析第三十六页，共72页。算法精度分析图1图2图3图4图5图6第三十七页，共72页。算法稳定性分析图1图2图3图4图5第三十八页，共72页。算法实时性分析图1图2图3图4第三十九页，共72页。精度和时效性的综合指标第四十页，共72页。基于加性协同约束的BN参数学习第四十一页，共72页。加性协同约束模型第四十二页，共72页。方法二第四十三页，共72页。第四十四页，共72页。实验结果及分析图1图2图3第四十五页，共72页。基于双重约束的BN参数学习第四十六页，共72页。基于MLS的保序回归算法第四十七页，共72页。实验结果及分析图3图2图1图4第四十八页，共72页。时效性分析第四十九页，共72页。基于改进BD评分的BPSO算法的威胁评估仿真任务想定第五十页，共72页。第五十一页，共72页。第五十二页，共72页。第五十三页，共72页。实验结果及分析样本为50时BPSO算法所得结构样本为50时本文算法所得结构样本1200时BPSO算法所得结构第五十四页，共72页。参数学习第五十五页，共72页。第五十六页，共72页。推理精度第五十七页，共72页。基于改进BIC评分的K2算法的威胁评估仿真任务想定我方侦察UAV对相应区域执行侦察任务。想定中威胁空间仅考虑警戒雷达、高炮阵地和导弹阵地。其中高炮阵地和导弹阵地对UAV能够造成威胁性的发射杀伤，具有杀伤威胁。UAV在前往战场的飞行途中，实时接收来自指挥控制台的相关决策信息（目标威胁程度、UAV攻击或规避决策），想定中只考虑目标威胁程度信息。同时UAV实时应用机载传感器对周围环境不断探测，融合各传感器获得的战场数据信息，将观测数据进行离散化处理。第五十八页，共72页。第五十九页，共72页。实验结果及分析样本为10时K2算法所得结构样本为10时本文算法所得结构样本1000时传统K2算法所得结构第六十页，共72页。