多传感器数据融合技术及应用

1、现代信号处理技术及应用多传感器数据融合小波分析数据融合概述数据融合模型数据融合功能模型数据融合结构模型Agent模型分布式检测与数据融合Beyas融合规则Neyman-Pearson融合规则K/N融合规则串行结构融合规则异步传输融合规则带反馈并行融合规则模糊先验概率和代价融合规则融合系统的性能评估数据融合的数学基础数据融合的应用D-S理论Kalman滤波概率数据关联小波分析: Wavelet Analysis（20学时）预备知识连续小波变换离散小波变换小波框架多分辨率分析正交小波变换Mallat算法WA在信号处理中的应用 科学出版社：信息融合（2007） 电子工业出版社：多传感器信息融合及其应

2、用（2010） 清华大学出版社：多源信息融合（第二版）（2010） 相关论文 数据融合源于仿生学 人和动物：感官具有不同的度量特征，可测量出不同空间范围内发生的各种物理现象（自适应的复杂的自适应的复杂的），将各种信息转换为对环境有价值的解释 数据融合信息融合 定义1：（llinas & hall） 利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析、优化综合以完成所需要的决策和估计任务而进行的信息处理过程 相互关系分析： 多传感器基础 多源信息加工对象 协调优化和综合处理核心 定义2：（军事领域）是对来自多传感器的数据进行多级别、多方面、多层次的处理，从而产生新的

3、新的有意义的信息 定义3：（综合定义）指对来自不同知识源知识源和传感器采集的数据进行综合处理，从而得出更加准确、可靠更加准确、可靠的结论 融合被多领域频繁应用、滥用，由于所研究内容的广泛性和多样性造成了统一定义统一定义较为困难较为困难 思考：定义的作用？ 随着科学技术的发展，传感器的性能得到很大的提高，新型的传感器不断涌现，如 复合传感器、生物传感器、纳米传感器等 多传感器系统中信息表现形式 多源性 信息数量的海量 异构信息关系的复杂性 实时性 信息处理的要求远远超出了人脑的综合处理能力 军事需求：随着新型武器（精确制导、远程打击等）的出现战场范围扩大（五维空间）必须应用多传感器系统：微波、毫

4、米波、电视、红外、激光、电子支援措施（ESM），以及电子情报技术提供观测数据优化综合实现： 实时发现目标 获取目标状态估计 提供火力控制、精确制导、电子对 识别目标属性 抗、作战模式和辅助决策等作战信息 分析行为意图 态势评估 威胁分析 20世纪70年代末，多传感器数据融合迅速发展成为独立的学科学科，并在军事、民用领域得到了广泛的应用 具有代表性的工作： 美国的C3I系统（command, control, communication and intelligence） 目前已经发展至C4I系统（command, control, communication, computer and int

5、elligence） 和C4ISR(surveillance and recon)云时代和大数据 近年来，随着互联网、无线传感网络和物联网等技术的发展，形成了海量数据(massive data)-大数据(big data)，数据融合进入了新的发展阶段 大数据 通常用来形容所创造的大量非结构化和半结构化数据 大数据的特点（4V） 数据体量巨大(volume): 从TB跃升到PB级别 数据类型繁多(variety): 包括网络日志、视频、图片、地理位置 信息等 价值密度低(value): 以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒 处理速度快(velocity):1秒定律，与传统

6、的数据处理技术有本质的不同目标 基于各传感器分离观测信息分离观测信息，通过对信息的优化组合导出更多的有效信息本质目标 利用多传感器共同操作的优势，提高整个传感系统的有效性 冗余信息（增强了可靠性）、互补信息（扩展了单传感器的性能） 提高了系统的可靠性和鲁棒性扩展了时间或空间的观测范围增强了系统的可信度增强了系统的分辨能力本质上，关键在于数据融合所处理的多传关键在于数据融合所处理的多传感器信息具有更加复杂的形式，而且在不感器信息具有更加复杂的形式，而且在不同的信息层上出现，包括数据、特征和决同的信息层上出现，包括数据、特征和决策层策层 （一）、军事领域TMD：战区导弹防御系统（theater m

7、issile defense system） C4ISR 飞行目标跟踪 虚拟战场科索沃虚拟战场 战场监测 士兵机器人 惯性导航 惯性导航系统是利用惯性元件惯性元件来感测航行体的运动加速度，经过积分计算，从而解算出导航参数来确定航行体的位置。惯性导航系统可以连续给出载体的航向、姿态、速度、位置航向、姿态、速度、位置等导航参数。具有隐蔽性好、抗干扰性强、能全天候工作等优点，但其导航需要一段对准时间，存在“漂移”现象，误差随时间积累，长时间工作会产生较大的积累误差 星图导航 天文导航系统的航向精度在现有导航设备中是最高的，可为武器系统提供精确的位置、航向和姿态信息 1、机器人传感器包括：摄像机、声纳

8、、陀螺仪、激光测距仪等pioneer、月球车、六足机器人（俄罗斯）、火星探测车制造业机器人服务机器人导游机器人机械手Robotcup路径规划机器人舞蹈qiro机器人20个机器人Nao在上海世博会法国馆完美演出了长达10分钟的全自主集体舞蹈表演，创造了类人机器人历史性一幕，这也是世界上第一次大规模机器人同时跳“集体舞”。机器人Nao的表演分三个音乐片段，其中包括法国作曲家莫里斯拉威尔的著名交响作品Bolero，完美展示了Nao完成稳定、灵活并有节奏的动作的能力。这也是机器人史上第一次在艺术领域达到饱含情感并与观众产生共鸣的高度。由类人机器人领域的世界顶尖公司Aldebaran Robotics研

9、发星球车勇气号火星车好奇号火星车识别引起系统状况超出正常运行范围的故障条件触发报警器石油勘探火力发电（发电机组监控）转炉炼钢（温度和含碳量）核反应堆 主要对地面目标或实体进行监视、识别与定位，使用的传感器主要为合成孔径雷达，在多源图像进行融合时，要利用像素级配准 通过高空间分辨率全色图像高空间分辨率全色图像和低光谱分辨率图像的融合，得到高空间分辨率和高光谱分辨率的图像，融合多波段和多时段的遥感图像来提高分类的准确性。 采用合成孔径雷达、卫星遥感等对地面进行监视，以识别地貌、气象模式、矿产、植物生长（农作物种植面积和产量预测）、环境条件（省气象局-火灾）和威胁状况（原油泄漏、辐射泄漏等）对物理现

10、象、事件进行定位、识别和解释。毒品检测 气敏、红外、微波火灾监测 烟雾传感器、二氧化碳传感器 瓦斯监测远程医疗 X射线、核磁共振、超声波肿瘤定位智能材料 飞机机翼（有限元分析表面应力计算） 微机械手（压电陶瓷制备温度发生形变：温度控制） 刹车系统 环境污染现状 大气污染监测 环境水污染监测 检测指标 水质建模、水质综合评判 汽车尾气排放检测 空中交通：空中交通管制系统 在雷达网的监视、引导和管理下进行工作，多雷达融合，通过二次雷达识别各种类型的飞机、确定民航机航班号、飞行状态，且与一次雷达进行配对导航设备： 监视和控制设备：修正航线偏离、防止飞机相撞，并调度飞机流量；通信设备、调度人员 城市交

11、通：摄像、航拍、地感线圈、微波、雷达、地磁传感器、视频、FCD 轨道交通法国公司INRIA花费十年心血，于2009年5月研制出无人驾驶汽车Cycab自动驾驶（GPS定位误差小于1米）德国大众中国自主车大赛 7月14日首次完成了从长沙到武汉286公里的高速全程无人驾驶实验，创造了我国自主研制的无人车在复杂交通状况下自主驾驶的新纪录，标志着我国无人车在复杂环境识别、智能行为决策和控制等方面实现了新的技术突破，达到世界先进水平 实验中，无人车自主超车67次，途遇复杂天气，部分路段有雾，在咸宁还遭逢降雨 一辆高速行驶的汽车上，“司机”不扶方向盘还不时扭头跟车上其他人聊天，全然不看前方的路当这样一辆车从

12、你身边驶过，你肯定会大吃一惊，不敢相信自己眼睛。然而，这一幕7月14日从长沙到武汉的高速公路上已经真实上演 车路协同系统主要包含智能车辆、车车通信（Vehicle to Vehicle, V2V）、车路通信（Vehicle to Infrastructure, V2I）、车路协同控制和微观仿真等，它显著提高道路基础设施的使用效率道路，大大降低交通事故、延误和环境污染 CVIS展望图精准农业无土栽培 食品检测 农作物农药残留量检测 酶抑制法通过光谱分析确定有害物质 水产养殖 分拣系统8、其他 电子鼻(electronic nose) 电子舌(electronic tongue) 物联网（The

13、internet of things） 物联网是新一代信息技术的重要组成部分 是物物相连的互联网，其含义包括： 1. 物联网的核心和基础仍然是互联网，是在互联网基在互联网基础上的延伸和扩展础上的延伸和扩展的网络 2. 其用户端延伸和扩展到了任何物品与物品之间任何物品与物品之间，进行信息交换和通信 物联网的定义 是通过射频识别（RFID）、红外感应器、GPS、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络 信息融合是物联网的核心技术信息融合是物联网的核心技术体系结构 自20世纪70年代末以来，MSD

14、F受到了各国学术界、工业界和军届的广泛关注，成为研究热点（一）国外美国将MSDF技术列为90年代重点研发的二十项关键技术之一，A类，发展C4I系统，经费投资数亿美元学术方面：87年起，美三军每年召开一次数据融合学术会议 ，出版SPIE专集IEEE 94年首次举办智能系统多传感器融合与集成会议MFI94，MFI96，MFI99，MFI01（德国）IEEE系统和控制论会议IEEE航空航天与电子系统会议IEEE自动控制会议IEEE C3MIS会议 1998 在美国成立了国际信息融合学会国际信息融合学会ISIF，每年举行一次学术会议 专著LLINAS&HALL: multi-sensor da

15、ta fusionHALL: mathematical techniques in multi-sensor data fusion 学术期刊IEEE sensors journalIEEE system, man and cyberneticsInformation fusionInformation scienceSensor and actuator ASensor and actuator B（二）国内经典的理论方法 经典推理法、kalman滤波、Bayes推理、证据理论、聚类分析法、参数模板法、物理模型法、熵法、品质因数法、ES等人工智能法 Fuzzy Sets、Neural Net

16、work、 Rough Set、SVM和Wavelet Analysis等 多传感器数据融合尚缺乏一套成熟、完整的理论体系与方法多传感器数据融合尚无通用的体系框架和术语多元假设检验的数据融合算法及其数学基础 关键问题：在于如何对误差和不确定关键问题：在于如何对误差和不确定 进行建模进行建模 （ex，同一传感器在相同的条件下多次检测存在着差异） 误差与不确定建模具体包括：（1）融合过程的误差 误差的传播（2）传感信息的误差 通常可用Gauss白噪声表示，实际中，这种假设难以满足 传感过程中存在着错误的信息（3）系统运行的误差 假设多sensor的测量相互独立，而当sensor之间的耦合带来系统误

17、差时，系统无法处理这样的误差（一致性处理） sensor的标定已知环境下的标定：未知环境下的标定：建立知识库，实现自主标定 系统必须具备从sensor失效后恢复的能力未知环境下的传感器自校准方法多传感器数据融合基础理论研究 包括数据融合体系结构、框架和形式化分析等融合算法的改进以提高融合系统的性能 不同机器学习算法的有机结合起来是发展趋势如何利用有关的先验知识和数据提高数据融合的性能？ 多传感器数据融合的评估方法 数据融合系统的传感器优化布局 多源异构信息融合算法 大数据/海量数据融合的并行处理机制（包括软件与硬件）Waltz&Llinas提出了对数据融合的两点认识 （1）数据融合可广

18、泛用于对C3I有核心意义的基本人工处理（2）数据融合有公共的理论基础，它与具体应用无）数据融合有公共的理论基础，它与具体应用无关，所以自成体系关，所以自成体系他们为数据融合的研究者提供了一个公共的参考框架，包括：（1）开发数据融合一般处理模型及相应的分类（2）专用词汇数据融合模型的分类数据融合模型的分类功能模型功能模型结构模型结构模型数学模型数学模型 功能模型： 根据融合需求需求，定义数据融合系统的组成，数据融合时系统各主要功能部分之间的相相互作用互作用过程，以及数据融合系统的软、硬件组成 结构模型：描述数据融合的系统拓扑结构关系，以及数据流的定义 数学模型：数据融合算法的数学表示和综合逻辑

19、一、美国数据融合工作组面向军事领域应用提出 （Hall&Waltz） 信息源：包括传感器及相关数据（数据库和先验知识） 源数据预处理：进行数据的预筛选预筛选和数据分配数据分配，以减轻融合中心的计算负担，并为融合中心提供最重要的数据 目标评估：融合目标的位置、速度、身份等参数，以达到对这些参数的精确表达精确表达，主要包括数据配准、跟踪和数据关联、辨识（以航迹辨识为例） 态势评估：检测当前的环境推断出检测目标与事件之间的关系，以判断出检测目标的意图（ex：ATMS+D-S，意图逻辑） 威胁估计：结合当前的态势判断敌方的威胁和敌我双方的攻击能力等。（应该同时考虑当前的政治环境和对敌策略等因素

20、，较为困难） 人机接口、数据库 总过程评估 监视系统的性能，辨别改善性能所需要的数据，进行传感器资源的合理配置 该模型为我国学者研究数据融合的基本出发点： 一级：数据校准、关联（概率数据关联）、跟踪和识别（辨识） 二级：态势评估 三级：威胁估计 （1）检测判决融合 低级融合，经典信号处理的直接发展，适用于任何多传感器数据融合系统 （2）位置融合 （3）属性融合（目标识别） （4）态势评估 （5）威胁估计 （2）和（3）为多传感器数据融合的最重要两级；（4）和（5）为决策级融合，是C4ISR的核心，适用于军事领域（1）检测判决融合（一级处理） 是信号级信号级的数据融合，为一分布式检测问题 根据所

21、选择的检测准则形成最优门限，以产生最终检测输出 传感器向融合中心传送经过某种处理的检测和背景杂波统计量，后在融合中心直接进行分布式恒虚警检测 预滤波 根据时间和空间、以及传感器类型分选和归并数据分选和归并数据，控制进入第二级处理的信息量 采集管理采集管理 控制融合的数据收集，包括传感器的选择、任务分配（通过预测目标位置）、工作状态优选和监视Ex：计算传感器的指向角，规划观测等（2）位置融合（二级处理） 包括数据的校准、跟踪、预测、滤波和关联，综合传感器的位置信息，以获取目标的位置和速度获取目标的位置和速度（动态特性、属性信息），建立建立对象轨迹对象轨迹（航迹）（航迹）数据库数据库（3）属性融合

22、（三级处理） 组合来自多个传感器的属性信息，获取目标目标（身份）的联合估计的联合估计（4）态势的提取与评估（第四级）态势的提取：从不完整的数据建立一般化的态势态势表示表示（实现战场解释）评估：通过战场环境的正确分析和表达，进行背景分析、多级推理给出意图、告警、规划与结论，对前三级处理的结果予以合理解释（5）威胁估计（第五级） 估计敌方杀伤力和危险性，估计我方薄弱环节，并对敌方的意图进行提示和警告（6）辅助功能 DBM+人机接口与评估计算 分类（1）检测级融合的结构模型（2）位置级融合的结构模型（3）属性级融合的结构模型（4）基于MAS的融合结构模型（5）传感器自组织网络结构模型 向融合中心传输

23、检测以及背景杂波统计量（图）（1） 分散式：不需要全局推理，各传感器观测共同对象，在优化某种目标函数的同时获取局部判决（2）并行：（3）串行：（4）树状：信息传递流程是从叶结点根结点（5）带反馈并行 全局判决结果分别反馈到各局部传感器作为下一时刻局部决策的输入（先验信息），以改善局部判决的质量 获取目标的动态属性，建立对象的动态数据库 位置融合的结构模型分为： 集中式、分布式、混合式和多级式（1）集中式 将传感器数据融合中心，在融合中心进行数据对准、相关、互联、滤波、预测和综合 优点：信息损失量最小 缺点：数据互联较困难、系统需具备大容量、计算负担重（2）分布式（自主式或分级式） 多传感器先产

24、生其局部多目标跟踪航迹局部多目标跟踪航迹，然后在融合中心产生航迹关联与融合，形成全局估计 应用于C4ISR系统 不仅具有局部独立跟踪能力局部独立跟踪能力，而且还具有全局监视和评估特征的能力（3）混合式 同时传输数据和经局部节点处理后的航迹信息 （适用于不同类型传感器不同类型传感器的多传感器数据融合） 适用于机载多传感器数据融合系统（4）多级式：上述综合 各局部节点可以同时或者分别是集中式、分布式或者混合式的融合中心融合中心，接收和处理来自多个传感器的数据或来自多个跟踪器的航迹，而系统的系统的融合节点要再次融合节点要再次对各局部融合节点传来的航迹数据进行关联和融合 获得来自传感器的属性信息，实现

25、对检测对象的联合估计目标识别 分为：决策层、特征层和数据层结构模型（1）决策层融合结构 每个传感器为获得一个独立的属性判决要完成一个转换，Di：第i个传感器的属性判决结果基于联合特征向量联合特征向量作出属性判决说明： 每个传感器观测一个目标 为了产生来自每一个传感器的特征向量要完成特征提取，然后融合这些特征向量 关联：为了将特征向量化分为有意义的群组，必须应用关联过程 直接融合来自同类传感器的数据，然后进行特征提取和来自融合数据的属性判决 要求传感器为相同或同类的相同或同类的，保证被融合的数据来自相同的目标或对象 为保证被融合的数据对应于相同的目标或客体，关联要基于原始数据完成 注 位置与属性

26、融合是紧密相关的，常常是并行同步处理，可视其为同一级融合 普遍被学者所接受的为三层融合结构1、数据层 要求传感器是同质的（观测的是同一物理现象）；若为异质，只能在特征层、决策层进行融合2、特征层3、决策层 （融合精度） 对于多传感器数据融合系统的特定工程应用，综合考虑传感器的性能、系统的计算能力、通信带宽、期望的准确率，以及资金等因素，以确定哪种层次最优以确定哪种层次最优 注：可以在不同层次上融合 真正做到较为困难，因为：异质传感器数异质传感器数据建模问题、协同和解释据建模问题、协同和解释都是富有挑战性的工作！ 1、传感器类型、分辨率、准确率（选型） 2、传感器的分布形式 3、系统通信能力和计

27、算能力 4、系统设计目标 5、系统拓扑结构 多源异构信息融合的需求 传感器的智能化、网络化、分布式、可扩展性的特点与要求 需要解决的问题 什么是agent?它又有哪些特性? 又称为主体、智能体、代理、智能主体和智能agent agent定义 agent是一类在特定环境下能感知环境,并能自治地运行以代表其设计者或使用者实现一系列目标的计算实体 弱定义 最基本的特性应当包括: 反应性、自治性、面向目标性和针对环境性。每个agent首先应具备这4条最基本的特性 强定义 移动性、自适应性、通信能力(包括协商、协作等能力)、理性、生命周期（持续性或时间连续性）、自启动、自利等特性交互信息融合信息处理作用

28、交互环境 MAS (multi-agent system) 由两个或两个以上相对独立且又相互作用的agent所构成的系统 在MAS系统中，每一agent都是自主的行为实体，封装了状态和行为，相对独立 agent间存在着复杂关系 结构相关性：C/S、对等、小组、敌对、继承等关系 行为相关性：需要经常进行交互和通信，以相互 合作、竞争和协商，从而实现系统的 整体设计目标 MAS的协作求解问题的能力超过单个agent，这是MAS 产生的最直接的原因，以及求解那些数据、能力和控制具有分布特性的问题，提高系统的效率和鲁棒性等要求 MAS的特点 每个成员agent仅拥有不完全的信息和问题求解能力(因而其观

29、点是有限的)，不存在全局控制，数据是分散或分布的，计算过程是异步、并发或并行的 MAS（multi-agent system）结构 集中式/分布式/集中分布式 agent通信语言 是一种表达agent间交互信息的描述性语言，定义了交互信息的格式（语法）和内涵（语义），支持参与交互的agent对这些消息进行理解和分析，典型的agent语言-KQML语言 MAS的研究领域 多个agent的协作、协商、合作问题求解、合作学习和冲突消解 MAS为多传感器数据融合提供了新的、有效途径！ 无线传感网络 WSN: Wireless Sensor Network 动态拓扑、移动、自组网导致复杂的数据融合问题

30、传感器网络综合了： 传感器技术 嵌入式计算技术 分布式信息处理技术 无线通信技术 能够协作地实时监测、感知和采集各种环境或监测对象的信息，并对其进行处理，传送到这些信息的用户 随着通信技术、嵌入式计算技术和传感器技术的飞速发展和日益成熟，具有感知能力、计算能力和通信能力的微型传感器微型传感器开始在世界范围内出现（如图） （应用）传感器网络可以使人们在任何时间、地点和环境条件下获取大量详实而可靠的信息。因此，可以被广泛地应用于国防军事、国家安全、环境监测、交通管理、医疗卫生、制造业、反恐抗灾等领域 传感器网络是信息感知和采集的一场革命 美国自然科学基金委员会2003年制定了传感器网络研究计划，投资3千4百万美元,支持相关基础理论的研究 美国商务周刊和MIT技术评论，将WSN列为21世纪改变世界的十大技术之一 传感网络定义 传感器网络是由一组传感器以Ad Hoc方式构成的有线或无线网络，其目的是协作地感知、采集和处理网络覆盖的地理区域中感知对象的信息，并发布给观察者 解释（1）传感器、感知对象和观察者传感器、感知对象