第七章多传感器信息融合技术

第七章多传感器信息融合技术概述传感器信息融合的分类和结构

传感器信息融合的一般方法

传感器信息融合的实例

第一节概述传感器信息融合又称数据融合，是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。传感器信息融合技术从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有用的成分，最终实现信息的优化。它也为智能信息处理技术的研究提供了新的观念。定义：将经过集成处理的多传感器信息进行合成，形成一种对外部环境或被测对象某一特征的表达方式。单一传感器只能获得环境或被测对象的部分信息段，而多传感器信息经过融合后能够完善地、准确地反映环境的特征。经过融合后的传感器信息具有以下特征：信息冗余性、信息互补性、信息实时性、信息获取的低成本性。一、概念二、意义及应用信息融合技术的实现和发展以信息电子学的原理、方法、技术为基础。信息融合系统要采用多种传感器收集各种信息，包括声、光、电、运动、视觉、触觉、力觉以及语言文字等。信息融合技术中的分布式信息处理结构通过无线网络、有线网络，智能网络，宽带智能综合数字网络等汇集信息，传给融合中心进行融合。除了自然(物理)信息外，信息融合技术还融合社会类信息，以语言文字为代表，涉及到大规模汉语资料库、语言知识的获取理论与方法、机器翻译、自然语言解释与处理技术等，信息融合采用分形、混沌、模糊推理、人工神经网络等数学和物理的理论及方法。它的发展方向是对非线性、复杂环境因素的不同性质的信息进行综合、相关，从各个不同的角度去观察、探测世界。1、在信息电子学领域

2、在计算机科学领域在计算机科学中，目前正开展着并行数据库、主动数据库、多数据库的研究。信息融合要求系统能适应变化的外部世界，因此，空间、时间数据库的概念应运而生，为数据融合提供了保障。空间意味着不同种类的数据来自于不同的空间地点，时间意味着数据库能随时间的变化适应客观环境的相应变化。信息融合处理过程要求有相应的数据库原理和结构，以便融合随时间、空间变化了的数据。在信息融合的思想下，提出的空间、时间数据库，是计算机科学的一个重要的研究方向。3、在自动化领域以各种控制理论为基础，信息融合技术采用模糊控制、智能控制、进化计算等系统理论，结合生物、经济、社会、军事等领域的知识，进行定性、定量分析。按照人脑的功能和原理进行视觉、听觉、触觉、力觉、知觉、注意、记忆、学习和更高级的认识过程，将空间、时间的信息进行融合，对数据和信息进行自动解释，对环境和态势给予判定。目前的控制技术，已从程序控制进入了建立在信息融合基础上的智能控制。智能控制系统不仅用于军事，还应用于工厂企业的生产过程控制和产供销管理、城市建设规划、道路交通管理、商业管理、金融管理与预测、地质矿产资源管理、环境监测与保护、粮食作物生长监测、灾害性天气预报及防治等涉及宏观、微观和社会的各行各业。三、优点增加了系统的生存能力扩展了空间覆盖范围扩展了时间覆盖范围提高了可信度降低了信息的模糊度改善了探测性能提高了空间分辨率增加了测量空间的维数第二节传感器信息融合分类和结构1、组合：由多个传感器组合成平行或互补方式来获得多组数据输出的一种处理方法，是一种最基本的方式，涉及的问题有输出方式的协调、综合以及传感器的选择。在硬件这一级上应用。2、综合：信息优化处理中的一种获得明确信息的有效方法。例：在虚拟现实技术中，使用两个分开设置的摄像机同时拍摄到一个物体的不同侧面的两幅图像，综合这两幅图像可以复原出一个准确的有立体感的物体的图像。3、融合：当将传感器数据组之间进行相关或将传感器数据与系统内部的知识模型进行相关，而产生信息的一个新的表达式。4、相关：通过处理传感器信息获得某些结果，不仅需要单项信息处理，而且需要通过相关来进行处理，获悉传感器数据组之间的关系，从而得到正确信息，剔除无用和错误的信息。相关处理的目的：对识别、预测、学习和记忆等过程的信息进行综合和优化。一、传感器信息融合分类二、信息融合的结构信息融合的结构分为串联和并联两种SnS2S1Y1Y2YnC1C2CnYSC1C2Cn(a)串联(b)并联C1，C2，…，Cn表示n个传感器S1,S2,…，Sn表示来自各个传感器信息融合中心的数据y1，y2，…，yn表示融合中心。……三、信息融合系统结构的实例一种雷达测量的信息融合结构局部处理器局部处理器

外部逻辑中央处理器传感器信号传感器信号先验信息修正信息先验信息修正信息传感器故障检测系统第三节传感器信息融合的一般方法

由多种传感器所获得的客观环境(即被测对象)的多组数据就是客观环境按照某种映射关系形成的像，信息融合就是通过像求解原像，即对客观环境加以了解。用数学语言描述就是，所有传感器的全部信息，也只能描述环境的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一的环境(即上述映射为一一映射)，就必须对映射的原像和映射本身加约束条件，使问题能有惟一的解。嵌入约束法最基本的方法：Bayes估计和卡尔曼滤波嵌入约束法、证据组合法、人工神经网络法一、嵌入约束法1.Bayes估估计计是融合合静静态态环环境境中中多多传传感感器器低低层层数数据据的一一种种常常用用方方法法。。其其信信息息描描述述为为概概率率分分布布，，适适用用于于具具有有可加加高高斯斯噪噪声声的的不不确确定定性性信信息息。假假定定完完成成任任务务所所需需的的有有关关环环境境的的特特征征物物用用向向量量f表示示，，通通过过传传感感器器获获得得的的数数据据信信息息用用向向量量d来表表示示，，d和f都可可看看作作是是随随机机向向量量。。信信息息融融合合的的任任务务就就是是由由数数据据d推导导和和估估计计环环境境f。假假设设p(f，d)为随随机机向向量量f和d的联联合合概概率率分分布布密密度度函函数数，，则则p(f|d)表表示示在在已已知知d的条条件件下下，，f关于于d的条条件件概概率率密密度度函函数数p(f|d)表示示在在已已知知f的条条件件下下，，d关于于f的条条件件概概率率密密度度函函数数p(d)和和p(f)分分别别表表示示d和f的边边缘缘分分布布密密度度函函数数已知知d时，，要要推推断断f，，只须须掌掌握握p(f|d)即可可，，即即上式式为为概概率率论论中中的的Bayes公式式，，是是嵌嵌入入约约束束法法的的核核心心。。信息息融融合合通通过过数据据信信息息d做出出对对环环境境f的推推断断，，即即求求解解p(f|d)。。由由Bayes公式式知知，，只只须须知知道道p(f|d)和和p(f)即即可可。。因因为为p(d)可可看看作作是是使使p(f|d)•p(f)成为为概概率率密密度度函函数数的的归归一一化化常常数数，，p(d|f)是在在已已知知客客观观环环境境变变量量f的情情况况下下，，传传感感器器得得到到的的d关于于f的条条件件密密度度。。当当环环境境情情况况和和传传感感器器性性能能已已知知时时，，p(f|d)由由决决定定环环境境和和传传感感器器原原理理的的物物理理规规律律完完全全确确定定。。而而p(f)可可通通过过先验验知知识识的获获取取和和积积累累，，逐逐步步渐渐近近准准确确地地得得到到，，因因此此，，一一般般总总能能对对p(f)有有较较好好的的近近似似描描述述。。在嵌嵌入入约约束束法法中中，，反反映映客客观观环环境境和和传传感感器器性性能能与与原原理理的的各各种种约约束束条条件件主主要要体体现现在在p(f|d)中，，而而反反映映主主观观经经验验知知识识的的各各种种约约束束条条件件主主要要体体现现在在p(f)中中。。在传传感感器器信信息息融融合合的的实实际际应应用用过过程程中中，，通通常常的的情情况况是是在在某某一一时时刻刻从从多多种种传传感感器器得得到到一一组组数数据据信信息息d，由由这这一一组组数数据据给给出出当当前前环环境境的的一一个个估估计计f。因因此此,实实际际中中应应用用较较多多的的方方法法是是寻寻找找最最大大后后验验估估计计g，即即即最最大大后后验验估估计计是是在在已已知知数数据据为为d的条条件件下下，，使使后后验验概概率率密密度度p(f)取得得最最大大值值得得点点g，根根据据概概率率论论，，最最大大后后验验估估计计g满足足当p(f)为为均均匀匀分分布布时时，，最最大大后后验验估估计计g满足足此时时，，最大大后后验验概概率率也称为极极大似然然估计。。当传感器器组的观观测坐标标一致时时，可以以用直接接法对传传感器测测量数据据进行融融合。在在大多数数情况下下，多传传感器从从不同的的坐标框框架对环环境中同同一物体体进行描描述，这这时传感感器测量量数据要要以间接接的方式式采用Bayes估计进进行数据据融合。。间接法法要解决决的问题题是求出出与多个个传感器器读数相相一致的的旋转矩矩阵R和和平移矢矢量H。在传感器器数据进进行融合合之前，，必须确确保测量量数据代代表同一一实物，，即要对对传感器器测量进进行一致致性检验验。常用用以下距距离公式式来判断断传感器器测量信信息的一一致：式中x1和x2为两个传传感器测测量信号号，C为为与两个个传感器器相关联联的方差差阵，当当距离T小于某某个阈值值时，两两个传感感器测量量值具有有一致性性。这种种方法的的实质是是剔除处处于误差差状态的的传感器器信息而而保留““一致传传感器””数据计计算融合合值。2.卡尔尔曼滤波波(KF)用于实时融合合动态的的低层次次冗余传传感器数数据，该方法法用测量量模型的的统计特特性，递递推决定定统计意意义下最最优融合合数据合合计。如如果系统统具有线线性动力力学模型型，且系系统噪声声和传感感器噪声声可用高高斯分布布的白噪噪声模型型来表示示，KF为融合合数据提提供惟一一的统计计意义下下的最优优估计，，KF的的递推特特性使系系统数据据处理不不需大量量的数据据存储和和计算。。KF分分为分散卡尔曼曼滤波(DKF)和扩展卡尔尔曼滤波波(EKF)。DKF可可实现多多传感器器数据融融合完全全分散化化，其优点：每个传传感器节节点失效效不会导导致整个个系统失失效。而而EKF的优点：可有效效克服数数据处理理不稳定定性或系系统模型型线性程程度的误误差对融融合过程程产生的的影响。。嵌入约束束法传感感器信息息融合的的最基本本方法之之一，其缺点：需要对对多源数数据的整整体物理理规律有有较好的的了解，，才能准准确地获获得p(d|f)，但需需要预知知先验分分布p(f)。二、证据据组合法法证据组合合法认为为完成某某项智能能任务是是依据有有关环境境某方面面的信息息做出几种可能能的决策策，而多传传感器数数据信息息在一定定程度上上反映环环境这方方面的情情况。因因此，分分析每一一数据作作为支持持某种决决策证据据的支持持程度，，并将不不同传感感器数据据的支持持程度进进行组合合，即证证据组合合，分析析得出现现有组合合证据支支持程度度最大的的决策作作为信息息融合的的结果。。证据组合合法是对对完成某某一任务务的需要要而处理理多种传传感器的的数据信信息，完完成某项项智能任任务，实实际是做做出某项项行动决决策。它它先对单单个传感感器数据据信息每每种可能能决策的的支持程程度给出出度量(即数据据信息作作为证据据对决策策的支持持程度)，再寻寻找一种种证据组组合方法法或规则则，在已已知两个个不同传传感器数数据(即即证据)对决策策的分别别支持程程度时，，通过反反复运用用组合规规则，最最终得出出全体数数据信息息的联合合体对某某决策总总的支持持程度。。得到最最大证据据支持决决策，即即信息融融合的结结果。证据组合法法较嵌入约约束法优点点：

(1)对多种种传感器数数据间的物物理关系不不必准确了了解，即无无须准确地地建立多种种传感器数数据体的模模型；(2)通用用性好，可可以建立一一种独立于于各类具体体信息融合合问题背景景形式的证证据组合方方法，有利利于设计通通用的信息息融合软、、硬件产品品；

(3)人为的的先验知识识可以视同同数据信息息一样，赋赋予对决策策的支持程程度，参与与证据组合合运算。常用证据组组合方法：：概率统计方方法Dempster-Shafer证据据推理利用证据组组合进行数数据融合的的关键在于：选择合适的的数学方法法描述证据、决策和支持程度等概念建立快速、、可靠并且且便于实现现的通用证证据组合算法结构1.概率统统计方法假设一组随随机向量x1，x2，…，xn分别表示n个不同传传感器得到到的数据信信息，根据据每一个数数据xi可对所完成成的任务做做出一决策策di。xi的概率分布布为pai(xi)，ai为该分布函函数中的未未知参数，，若参数已已知时，则则xi的概率分布布就完全确确定了。用用非负函数数L(ai，di)表示当分布布参数确定定为ai时，第i个信息源采采取决策dj时所造成的的损失函数数。在实际际问题中，，ai是未知的，，因此，当当得到xi时，并不能能直接从损损失函数中中定出最优优决策。先由xi做出ai的一个估计计，记为ai(xi)，再由损损失函数L[ai(xi),di]决定出损损失最小的的决策。其其中利用xi估计ai的估计量ai(xi)有很多多种方法。。概率统计方方法适用于于分布式传感感器目标识识别和跟踪信息融融合问题2.Dempster-Shafer证据推理理(简称D-S推理理)假设F为所所有可能证证据所构成成的有限集集，为集合合F中的某某个元素即即某个证据据，首先引引入信任函函数B(f)∈[0，1]表示每每个证据的的信任程度度：从上式可知知，信任函函数是概率率概念的推推广，因为为从概率论论的知识出出发，上式式应取等号号。引入基础概概率分配函函数m(f)∈[0，，1]由基础概率率分配函数数定义与之之相对应的的信任函数数：当利用N个传感器检检测环境M个特征时，，每一个特特征为F中的—个元元素。第i个传感器在在第k-1时刻所获获得的包括括k—1时刻前关于于第j个特征的所所有证据，，用基础概概率分配函函数表示，，其中i=1，2，…，m。第i个传感器在在第k时刻所获得得的关于第第j个特征的新新证据用基基础概率分分配函数表表示。由和和可获得第第i个传感器在在第k时刻关于第第j个特征的联联合证据。。类似地，，利用证据据组合算法法，由和可可获得在k时刻关于第第j个特征的第第i个传感器和和第i+1个传感感器的联合合证据。如如此递推下下去，可获获得所有N个传感器在在k时刻对j特征的信任任函数，信信任度最大大的即为信信息融合过过程最终判判定的环境境特征。D-S证据据推理优点：算法确定定后，无论论是静态还还是时变的的动态证据据组合，其其具体的证证据组合算算法都有一一共同的算算法结构。。但其缺点：当对象或或环境的识识别特征数数增加时，，证据组合合的计算量量会以指数数速度增长长。三、人工神神经网络法法通过模仿人人脑的结构构和工作原原理，设计计和建立相相应的机器器和模型并并完成一定定的智能任务。神经网络根根据当前系系统所接收收到的样本本的相似性性，确定分分类标准。。这种确定定方法主要要表现在网络权值分布上，同同时可采用用神经网络络特定的学习算法来获取知识识，得到不不确定性推推理机制。。神经网络络多传感器器信息融合合的实现，，分三个重重要步骤：：根据智能系系统要求及及传感器信信息融合的的形式，选选择其拓扑扑结构；各传感器的的输入信息息综合处理理为一总体体输入函数数，并将此此函数映射射定义为相相关单元的的映射函数数,通过神神经网络与与环境的交交互作用把把环境的统统计规律反反映网络本本身结构；；对传感器输输出信息进进行学习、、理解，确确定权值的的分配，完完成知识获获取信息融融合，进而而对输入模模式做出解解释，将输输入数据向向量转换成成高层逻辑辑(符号)概念。基于神经网网络的传感感器信息融融合特点：：具有统一的的内部知识识表示形式式，通过学学习算法可可将网络获获得的传感感器信息进进行融合，，获得相应应网络的参参数，并且且可将知识识规则转换换成数字形形式，便于于建立知识识库；利用外部环环境的信息息，便于实实现知识自动获获取及并行联想推推理；能够将不确确定环境的的复杂关系系，经过学习推理，融合为系系统能理解解的准确信信号；由于神经网网络具有大大规模并行行处理信息息能力，使使得系统信信息处理速速度很快。。第四节传传感器信信息融合的的实例一.信信息息融融合合的的民民事事应应用用领领域域工业业过过程程监监视视及及工