第19章多传感器信息融合技术

第19章多传感器信息融合技术第一页，共70页。概述多传感器问题的引入非关联测试项目测量不同目标或对同一目标的不同参数进行独立测量。多传感器测试系统关联的测试项目利用多个传感器对同一目标的相同或不同项目进行测量，综合测量结果用于分析目标特性。第二页，共70页。当检测对象为多目标或快速机动目标时，单一传感器测量困难。复杂的电磁环境使检测的目标信号淹没在大量噪声及不相关信号与杂波中。当单一传感器失效或传感器的可靠性有待提高时采用多传感器系统。环境复杂目标复杂可靠性为什么要采用多个传感器测量同一目标参数？概述第三页，共70页。概述传感器数据融合的定义：对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有用的成分，最终实现信息的优化。它为智能信息处理技术的研究提供了新的观念。经过融合后的传感器信息具有以下特征：信息冗余性、信息互补性、信息实时性、信息获取的低成本性。第四页，共70页。19.1传感器信息融合分类和结构19.1.1传感器信息融合分类可分为以下四类：组合、综合、融合和相关。组合:由多个传感器组合成平行或互补方式来获得多组数据输出的一种处理方法，是一种最基本的方式，涉及的问题有输出方式的协调、综合以及传感器的选择。在硬件这一级上应用。综合:信息优化处理中的一种获得明确信息的有效方法。例如使用两个分开设置的摄像机同时拍摄到一个物体的不同侧面的两幅图像，综合这两幅图像可以复原出一个准确的有立体感的物体的图像。第五页，共70页。19.1传感器信息融合分类和结构融合:当将传感器数据组之间进行相关或将传感器数据与系统内部的知识模型进行相关，而产生信息的一个新的表达式。相关:通过处理传感器信息获得某些结果，不仅需要单项信息处理，而且需要通过相关来进行处理，获悉传感器数据组之间的关系，从而得到正确信息，剔除无用和错误的信息。相关处理的目的：对识别、预测、学习和记忆等过程的信息进行综合和优化。第六页，共70页。19.1传感器信息融合分类和结构19.1.2信息融合的结构

传感器1传感器2传感器1输入传感器1输出传感器2输入传感器2输出…传感器N传感器N输入最终结果串行融合方式图19-1多传感器信息融合的结构形式信息融合的结构分为串联、并联，如图19-1所示。串行融合时，当前传感器要接收前一级传感器的输出结果，每个传感器既有接收处理信息的功能，又有信息融合的功能，各个传感器的处理同前一级传感器输出的信息形式有很大关系。最后一个传感器综合了所有前级传感器数出的信息，得到的输出为串联融合系统的结论。第七页，共70页。19.1传感器信息融合分类和结构并行融合时，各个传感器直接将各自的输出信息传输到传感器融合中心，传感器之间没有影响，融合中心对各信息按适当的方法综合处理后，输出最终结果。还可将串行融合和并行融合方式结合组成混合融合方式，或总体串行局部并行，或总体并行局部串行。传感器1传感器1输入传感器2传感器2输入传感器3传感器3输入…信息融合中心最终结果b)并行融合方式图19-1多传感器信息融合的结构形式第八页，共70页。19.1传感器信息融合分类和结构19.1.3信息融合的关键技术包括数据转换、数据相关、数据库和融合推理的减少融合损失。1）数据转换：多传感器输出的数据形式、环境描述等都不一样，信息融合中心处理这些不同信息的关键即是把这些数据转换成相同形式，然后进行相关处理。2）数据相关：数据相关的核心问题是克服传感器测量的不精确性，保持数据的一致性。因此，应控制和降低相关计算的复杂性，开发相关处理、融合处理和系统模拟的算法和模型。第九页，共70页。19.1传感器信息融合分类和结构3）态势数据库：态势数据库可分为实时数据库和非实时数据库。实时数据库的作用是把当前各传感器的观测结果及时提供给信息融合中心，同时也存储融合处理的最终态势/决策分析结果和中间结果。非实时数据库存储各传感器的历史数据、相关目标和环境的辅助信息以及融合计算的历史信息。态势数据库要求容量大、搜索快、开放互连性好，具有良好的用户接口。4）融合计算：涉及到以下问题，对多传感器的相关观测结果进行验证、分析、补充、取舍、修改和状态跟踪估计；对新发现的不相关观测结果进行分析和综合；生成综合态势，并实时地根据对传感器观测结果通过数据融合计算，对综合态势进行修改；态势决策分析。第十页，共70页。19.2.1数据融合处理的一般过程19.2传感器信息融合的一般方法第十一页，共70页。1目标状态估计集中式数据融合结构分布式数据融合结构综合式数据融合结构2目标身份估计数据级数据融合结构特征级数据融合结构决策级数据融合结构19.2传感器信息融合的一般方法第十二页，共70页。目标状态估计集中式数据融合结构19.2传感器信息融合的一般方法第十三页，共70页。目标状态估计分布式数据融合结构19.2传感器信息融合的一般方法第十四页，共70页。目标身份估计数据级数据融合结构19.2传感器信息融合的一般方法第十五页，共70页。目标身份估计特征级数据融合结构19.2传感器信息融合的一般方法第十六页，共70页。目标身份估计决策级数据融合结构19.2传感器信息融合的一般方法第十七页，共70页。人工智能假设检验法Bayes估计法聚类分析模式识别数据融合算法按技术原理分类滤波跟踪

19.2.2信息融合方法19.2传感器信息融合的一般方法第十八页，共70页。传感器信息的不确定性传感器输出不可能包含被测量全部、完整的信息噪声破坏可靠度精度目标因素19.2传感器信息融合的一般方法第十九页，共70页。19.2传感器信息融合的一般方法最常用的信息融合方法有三类：嵌入约束法、证据组合法和人工神经网络法。1嵌入约束法由多种传感器所获得的被测对象的多组数据按照某种映射关系形成的像，信息融合就是通过像求解原像，即对客观环境加以了解。第二十页，共70页。19.2传感器信息融合的一般方法用数学语言描述就是，所有传感器的全部信息，也只能描述环境的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一的环境(即上述映射为一一映射)，就必须对映射的原像和映射本身加约束条件，使问题能有惟一的解。嵌入约束法最基本的方法有Bayes估计和卡尔曼滤波。第二十一页，共70页。Bayes统计理论在考虑可靠度情况下传感器测量需要解决的一个关键问题：真值和测量值。考察一个随机试验，在该试验中n个互不相容的事件A1，A2，…，An必然会发生一个，且只能发生一个，用P（Ai）表示Ai发生的概率，则有：设利用一传感器对A事件的发生进行检测，检测结果为B，则Ai为真值，B为测量值。19.2传感器信息融合的一般方法第二十二页，共70页。先验知识：P(A1)、P(A2)、…、P(An)表示事件A1，A2，…，An发生的概率，这是试验前的知识称为“先验知识”。Bayes统计理论认为，人们在检验前后对某事件的发生情况的估计是不同，而且一次检验结果不同对人们的最终估计的影响是不同的。19.2传感器信息融合的一般方法第二十三页，共70页。后验知识：由于一次检验结果B的出现，改变了人们对事件A1，A2，…，An发生情况的认识，这是试验后的知识称为“后验知识”。检验后事件A1，A2，…，An发生的概率表现为条件概率：显然有：19.2传感器信息融合的一般方法第二十四页，共70页。Bayes估计是检验过程中对先验知识向后验知识的不断修正。条件概率公式：或全概率概率公式：其中Ai为对样本空间的一个划分，即Ai为互斥事件且19.2传感器信息融合的一般方法第二十五页，共70页。Bayes公式：对一组互斥事件Ai，i=1，2，…，n，在一次测量结果为B时，Ai发生的概率为：利用Bayes统计理论进行测量数据融合：充分利用了测量对象的先验信息。是根据一次测量结果对先验概率到后验概率的修正。19.2传感器信息融合的一般方法第二十六页，共70页。基于Bayes估计的身份识别方法假设由n个传感器对一未知目标参数进行测量，每一传感器根据测量结果利用一定算法给出一个关于目标的身份说明。设A1，A2，…，An为n个互斥的穷举目标，Bi为第j个传感器给出的目标身份说明，且Ai满足：则：19.2传感器信息融合的一般方法第二十七页，共70页。基于Bayes统计的目标识别融合模型19.2传感器信息融合的一般方法第二十八页，共70页。基于Bayes统计的目标识别融合的一般步骤：获得每个传感器单元输出的目标身份说明B1，B2，…，Bn；计算每个传感器单元对不同目标的身份说明的不确定性即；i=1,2,…,n19.2传感器信息融合的一般方法第二十九页，共70页。计算目标身份的融合概率：如果B1，B2，…，Bn相互独立，则：目标识别决策（判据），寻找极大似然估计19.2传感器信息融合的一般方法第三十页，共70页。举例计算某医院采用以下两种设备检验某种疾病，设备1对该疾病的漏诊率为0.1，误诊率为0.25；设备2对该疾病的漏诊率为0.2，误诊率为0.1。已知人群中该疾病的发病率为0.05。分析分别利用两台设备和同时使用两台设备时检验结果的概率。19.2传感器信息融合的一般方法第三十一页，共70页。方法思路传感器A传感器C传感器B融合结果融合算法关系矩阵置信距离矩阵最佳融合数数据选择19.2传感器信息融合的一般方法第三十二页，共70页。基本理论和方法—置信距离和置信距离矩阵利用多个传感器测量某参数的过程中有两个随机变量，一是被测参数μ，二是每个传感器的输出Xi，i=1，2，…，m。一般认为它们服从正态分布，用xi表示第i个测量值的一次测量输出，它是随机变量Xi的一次取样。设：19.2传感器信息融合的一般方法第三十三页，共70页。为对传感器输出数据进行选择，必须对其可靠性进行估计，为此定义各数据间的置信距离。用Xi、Xj表示第i个和第j个传感器的输出，则其一次读数xi和xj之间的置信距离定义为：19.2传感器信息融合的一般方法第三十四页，共70页。若Xi、Xj服从正态分布，则上式中：故可知：当时，当时，19.2传感器信息融合的一般方法第三十五页，共70页。置信距离矩阵：对m个传感器的一次测量数据，利用上述方法可以分别计算任意两个传感器数据之间的置信距离 得到一个mXm矩阵。19.2传感器信息融合的一般方法第三十六页，共70页。根据具体问题选择合适的临界值由对数据的可靠性进行判定。由此得到一个二值矩阵，称为关系矩阵。19.2传感器信息融合的一般方法第三十七页，共70页。设被测参数，第k个传感器的测量数据，经过删选，选择l个数据作为最佳融合数。融合结果为：19.2传感器信息融合的一般方法第三十八页，共70页。基于Bayes估计的数据融合一般步骤计算m个传感器数据的置信距离矩阵，为简化计算，当测试数据服从正态分布时可利用误差函数计算置信距离。19.2传感器信息融合的一般方法第三十九页，共70页。选择合适的距离临界值，由置信距离矩阵产生关系矩阵。由关系矩阵对多传感器数据进行选择，产生最佳融合数。19.2传感器信息融合的一般方法第四十页，共70页。将、和最佳融合数对应的、代入Bayes融合估计公式求的参数估计值。19.2传感器信息融合的一般方法第四十一页，共70页。传感器编号12345678方差25.7323.8124.9525.7535.6521.3323.9422.96测量值848.1850.5851.9849.9854.6849.3848.0848.3利用8个传感器对一个恒温槽的温度进行测量，已知恒温槽温度满足正态分布， 其中=850.50℃，=4.50258个传感器的测量结果如下：举例计算19.2传感器信息融合的一般方法第四十二页，共70页。19.2传感器信息融合的一般方法卡尔曼滤波(KF)用于实时融合动态的低层次冗余传感器数据，该方法用测量模型的统计特性，递推决定统计意义下最优融合数据合计。KF的递推特性使系统数据处理不需大量的数据存储和计算。第四十三页，共70页。19.2传感器信息融合的一般方法KF分为分散卡尔曼滤波(DKF)和扩展卡尔曼滤波(EKF)。DKF可实现多传感器数据融合完全分散化，其优点为每个传感器节点失效不会导致整个系统失效。EKF的优点是可有效克服数据处理不稳定性或系统模型线性程度的误差对融合过程产生的影响。嵌入约束法传感器信息融合的最基本方法之一，但其缺点在于需要对多源数据的整体物理规律有较好的了解，才能准确地获得p(d|f)，但需要预知先验分布p(f)。第四十四页，共70页。19.2传感器信息融合的一般方法2证据组合法基本思想：完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策，而多传感器数据信息在一定程度上反映环境这方面的情况。因此，分析每一数据作为支持某种决策证据的支持程度，并将不同传感器数据的支持程度进行组合。并将分析得出现有组合证据支持程度最大的决策作为信息融合的结果。第四十五页，共70页。19.2传感器信息融合的一般方法证据组合法是对完成某一任务的需要而处理多种传感器的数据信息。完成某项智能任务，实际是做出某项行动决策。它先对单个传感器数据信息每种可能决策的支持程度给出度量(即数据信息作为证据对决策的支持程度)，再寻找一种证据组合方法或规则。在已知两个不同传感器数据(即证据)对决策的分别支持程度时，通过反复运用组合规则，最终得出全体数据信息的联合体对某决策总的支持程度。得到最大证据支持决策，即信息融合的结果。第四十六页，共70页。19.2传感器信息融合的一般方法利用证据组合进行数据融合的关键在于：选择合适的数学方法描述证据、决策和支持程度等概念；建立快速、可靠并且便于实现的通用证据组合算法结构。证据组合法较嵌入约束法有以下优点：(1)对多种传感器数据间的物理关系不必准确了解，即无须准确地建立多种传感器数据体的模型；(2)通用性好，可以建立一种独立于各类具体信息融合问题背景形式的证据组合方法，有利于设计通用的信息融合软、硬件产品；(3)人为的先验知识可以视同数据信息一样，赋予对决策的支持程度，参与证据组合运算。常用证据组合方法有概率统计方法和Dempster-Shafer证据推理。第四十七页，共70页。概率统计方法假设一组随机向量

分别表示n个不同传感器得到的数据信息，根据每一个数据

可对所完成的任务做出一决策

。

的概率分布为

，

为该分布函数中的未知参数，若参数已知时，则

的概率分布就完全确定。用非负函数

表示当分布参数确定为

时，第i个信息源采取决策

时所造成的损失函数。在实际问题中，

是未知的，因此当得到

时，并不能直接从损失函数中定出最优决策。19.2传感器信息融合的一般方法第四十八页，共70页。19.2传感器信息融合的一般方法先由

做出

的一个估计，记为，再由损失函数

决定出损失最小的决策。其中利用估计

的估计量有很多种方法。概率统计方法适用于分布式传感器目标识别和跟踪信息融合问题。Dempster-Shafer证据推理(简称D-S推理)D-S证据推理是Bayes推理的扩充，在多传感器目标识别、军事指挥和防御方向得到了广泛的应用。一个完整的推理系统需要用几个不同推理级来确保精确的可信度表示。第四十九页，共70页。19.2传感器信息融合的一般方法D-S推理的结构自上而下可分为三级：第一级为目标合成，其作用十八来自几个独立传感器的观测结果合成一个总的输出结果；第二级为推断，其作用是获取传感器的观测结果并进行推断，将传感器的观测结果扩展成为目标报告;第三级为更新，由于传感器存在随机误差，在时间上充分独立的来自同一传感器的一组连续报告，比任何单一报告都可靠，因此在进行推断和多传感器合成之前要更新传感器的观测信息。第五十页，共70页。19.2传感器信息融合的一般方法下面介绍一下D-S推理的原理。假设F为所有可能证据所构成的有限集，f为集合F中的某个元素即某个证据。首先引入信任函数∈[0，1]表示每个证据的信任程度：从上式可知，信任函数是概率概念的推广，因为从概率论的知识出发，上式应取等号。第五十一页，共70页。19.2传感器信息融合的一般方法进一步可得：

引入基础概率分配函数m(f)∈[0，1]

由基础概率分配函数定义与之相对应的信任函数：第五十二页，共70页。19.2传感器信息融合的一般方法当利用N个传感器检测环境M个特征时，每一个特征为F中的一个元素。第i个传感器在第k-1时刻所获得的包括k-1时刻前关于第j个特征的所有证据，用基础概率分配函数表示，其中

。第i个传感器在第k时刻所获得的关于第j个特征的新证据用基础概率分配函数表示。由和可获得第i个传感器在第k时刻关于第j个特征的联合证据。类似地，利用证据组合算法，由和可获得在k时刻关于第j个特征的第i个传感器和第i+1个传感器的联合证据。第五十三页，共70页。19.2传感器信息融合的一般方法如此递推下去，可获得所有N个传感器在k时刻对j特征的信任函数，信任度最大的即为信息融合过程最终判定的环境特征。D-S证据推理优点：算法确定后，无论是静态还是时变的动态证据组合，其具体的证据组合算法都有一共同的算法结构。缺点：当对象或环境的识别特征数增加时，证据组合的计算量会以指数速度增长。第五十四页，共70页。19.2传感器信息融合的一般方法人工神经网络法神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作用于信息处理技术。人工神经网络是利用多个简单计算模型有机构成一个计算网络用以实现一个复杂的规则。第五十五页，共70页。神经网络技术的主要用途？利用一定数据在一定误差下逼近一个解析式未知的函数。利用人工神经网络实现空间的线性或非线性划分，以此实现目标分类。神经网络的实现是基于数据的，最终的规则对用户是透明的。19.2传感器信息融合的一般方法第五十六页，共70页。19.2传感器信息融合的一般方法第五十七页，共70页。由上图可得：19.2传感器信息融合的一般方法第五十八页，共70页。19.2传感器信息融合的一般方法第五十九页，共70页。决定神经网络性能的几个因素：神经网络的网络结构：包括神经网络的层数、每层神经元数量；每层神经元的作用函数；神经网络训练的目标函数和学习算法；神经网络权值和阈值的初始值；神经网络的训练数据。19.2传感器信息融合的一般方法第六十页，共70页。神经网络的应用步骤：神经网络的设计，包括确定网络结构、作用函数和学习算法；神经网络初始化；利用实验方法获得神经网络的训练数据和测试数据；利用实验数据对网络进行训练和测试；利用训练后的网络处理相关的输入信息。19.2传感器信息融合的一般方法第六十一页，共70页。感知器神经网络特点：网络结构上可以为单层或多层的前向网络结构；作用函数为阶跃函数，因此输出为二值变量；利用输入和误差简单计算权值和阈值调整量，学习算法很简单；一般用于解决较为简单的线性分类问题。19.2传感器信息融合的一般方法第六十二页，共70页。19.2传感器信息融合的一般方法基于神经网络的传感器信息融合特点如下：●具有统一的内部知识表示形式，通过学习算法可将网络获得的传感器信息进行融合，获得相应网络的参数，并且可将知识规则转换成数字形式，便于建立知识库；●利用外部环境的信息，便于实现