多传感器数据融合

1、参考资料参考资料 科学出版社：信息融合（2007） 电子工业出版社：多传感器信息融合及其 应用（2010） 清华大学出版社：多源信息融合（第二版） （2010） 方崇智、萧德云编著，过程辨识，清 华大学出版社，北京，1988 相关论文 （Google Scholar） 第一章第一章 概述概述 多传感器问题的引入多传感器问题的引入1 数据融合的定义数据融合的定义2 数据融合的应用数据融合的应用3 数据融合技术发展数据融合技术发展4 多传感器数据融合研究现状多传感器数据融合研究现状 5 多传感器数据融合方法及研究方向多传感器数据融合方法及研究方向6 多传感器数据融合？一个例子多传感器数据融合？一个

2、例子 The sixth sense？ Makes decisions about her or his immediate present and near future actions！ 自然界其他动 物对客观事物 的认知过程 数据融合能 力不断演化 多传感器数据融合问题的引入多传感器数据融合问题的引入 4 4 人与传感器 5 非电信息非电信息电信号电信号 6 敏感元件 被测信息 转换元件信号调节电路 辅助电路 输出信息 7 8 9 电子警察电子警察 10 胶片式“电子警察” 、数码式“电子警察” 、视频式“电 子警察”；压力或磁电传感器，两个脉冲信号，触发拍照系 统进行拍照 11 12

3、鼠标:光电位移传感器摄象头:CCD传感器 响尾蛇捕食：响尾蛇捕食： visual and infrared (IR) information 红外制导武器红外制导武器(导弹的弹头感知敌武器的红外热源导弹的弹头感知敌武器的红外热源)： 喷气机的发动机尾喷口，高速飞行时飞机的机头与空气剧烈摩 擦产生的热空气团，海军舰艇的烟囱和陆军车辆的发动机 。 红外 线感 知 视 觉 感 知 多传感器问题的引入多传感器问题的引入 13.1 13.1 多传感器数据融合概述多传感器数据融合概述 应用简例应用简例 多传感器系统可以用多传感器系统可以用 于地球环境监测。主于地球环境监测。主 要应用于对地面的监要应用于对

4、地面的监 视、以便识别和监视视、以便识别和监视 地貌、气象模式、矿地貌、气象模式、矿 产资源，植物生长、产资源，植物生长、 环境条件和威胁情况环境条件和威胁情况 ( (如原油泄漏、辐射如原油泄漏、辐射 泄漏等泄漏等) ) 如右图所如右图所 示示 图源：D.L. Hall and J. Llinas, An introduction to multisensor data fusion 近几十年，科学工程技术领域：目标跟踪例子近几十年，科学工程技术领域：目标跟踪例子(视频监控视频监控) Sensor fusion means the combination of sensory data or

5、data derived from sensory data, such that the resulting information is better than it would be if these sensors were used individually 多传感器问题的引入多传感器问题的引入 多传感器问题的引入多传感器问题的引入 非关联测量项目非关联测量项目 测量不同目标或对同 一目标的不同参数进 行独立测量。 多传感器多传感器 融合系统融合系统 关联的测量项目关联的测量项目 利用多个传感器对同 一目标的相同或不同 项目进行测量，综合 测量结果用于分析目 标特性。 当检测对象为多

6、 目标或快速机动 目标时，单一传 感器测量困难。 复杂的电磁环境 使检测的目标信 号淹没在大量噪 声及不相关信号 与杂波中。 当单一传感器失 效或传感器的可 靠性有待提高时 采用多传感器系 统。 多传感器问题的引入多传感器问题的引入 环境复杂目标复杂可靠性 为什么要采用多个传感器测量同一目标参数？为什么要采用多个传感器测量同一目标参数？ 数据融合的定义数据融合的定义 v 数据融合技术，包括对各种信息源给出的有用信息的采集数据融合技术，包括对各种信息源给出的有用信息的采集 、传输、综合、传输、综合(integration)、过滤、相关、过滤、相关(data association)及合成及合成(

7、generation)，以便辅助人们进行态，以便辅助人们进行态 势势/环境判定、规划、探测、验证、诊断环境判定、规划、探测、验证、诊断 v 数据融合数据融合(信息融合信息融合)的基本原理是：充分利用传感器资源的基本原理是：充分利用传感器资源 通过对各种传感器及人工观测信息的合理支配与使用通过对各种传感器及人工观测信息的合理支配与使用 将各种传感器在空间和时间上的互补与冗余信息，依据某将各种传感器在空间和时间上的互补与冗余信息，依据某 种优化准则或算法组合，产生对观测对象的一致性解释和种优化准则或算法组合，产生对观测对象的一致性解释和 描述。其目标是基于各传感器检测信息分解人工观测信息描述。其目

8、标是基于各传感器检测信息分解人工观测信息 通过对信息的优化组合来导出更多的有效信息。通过对信息的优化组合来导出更多的有效信息。 多传感器数据融合的定义多传感器数据融合的定义 v功能定义：功能定义： 将来自多个传感器和信息源的数据和信息加以联合、 相关、组合，以获得对目标精确的位置估计、身份估 计、以及对战场情况和威胁及其重要程度进行适时的 完整评价。 v该定义的重点：该定义的重点： 该定义是军事应用方面的功能性定义； 多个传感器对同一目标进行测量； 重点是融合：联合、相关、组合； 目的：状态估计、身份估计、态势估计、威胁估计。 数据融合的定义数据融合的定义 v技术定义：技术定义： 充分利用不同

9、时间与空间的多传感器数据资源，采用 计算机技术按时间序列获得多传感器的观测数据，在 一定准则下进行分析、综合、支配和使用。获得对被 测对象的一致性解释与描述，进而实现相应的决策和 估计，使系统获得比它各组成部分更为充分的信息。 v该定义的重点：该定义的重点： 方法：分析、综合、支配、使用； 目的：一致性解释与描述、更为充分的信息。 数据融合技术的应用（军事应用）数据融合技术的应用（军事应用） v 军事上，数据融合技术为先进的作战管理系统提供了重要军事上，数据融合技术为先进的作战管理系统提供了重要 的数据处理技术基础。数据融合在多信息源、多平台和多的数据处理技术基础。数据融合在多信息源、多平台和

10、多 用户系统内起着重要的处理和协调作用，保证了数据处理用户系统内起着重要的处理和协调作用，保证了数据处理 系统各单元与汇集中心间的连通性与及时通信，而且使原系统各单元与汇集中心间的连通性与及时通信，而且使原 来由军事操作人员和情报分析人员完成的许多功能均由数来由军事操作人员和情报分析人员完成的许多功能均由数 据处理系统据处理系统快速、准确、有效快速、准确、有效地自动完成。地自动完成。 v 大量新的作战技术的发展迫切需要数据融合技术的应用和大量新的作战技术的发展迫切需要数据融合技术的应用和 支持。如现代作战原则强调纵深攻击和遮断能力，要求能支持。如现代作战原则强调纵深攻击和遮断能力，要求能 描述

11、目标位置、运动及其企图的信息，这已超过了使用的描述目标位置、运动及其企图的信息，这已超过了使用的 常规传感器的性能水平。常规传感器的性能水平。 v 不少数据融合技术的研究成果和实用系统已在不少数据融合技术的研究成果和实用系统已在1991年的年的 海湾战争中得到实战验证海湾战争中得到实战验证 数据融合技术的应用（民用）数据融合技术的应用（民用） v 在自动化领域，自动化制造过程中的实时过程控制、传感在自动化领域，自动化制造过程中的实时过程控制、传感 器控制元件、工作站以及机器人和操作装置控制等均离不器控制元件、工作站以及机器人和操作装置控制等均离不 开数据融合技术的应用。开数据融合技术的应用。

12、v 故障诊断系统中使用多传感器技术进行多种特征量的监测故障诊断系统中使用多传感器技术进行多种特征量的监测 (如振动、温度、压力、流量等如振动、温度、压力、流量等)，并对这些传感器的信息，并对这些传感器的信息 进行融合，以提高故障定位的准确性和可靠性。进行融合，以提高故障定位的准确性和可靠性。 v 对于来自无源电子支援测量、红外、声学、运动控测器、对于来自无源电子支援测量、红外、声学、运动控测器、 火与水探测器等各种信息源的数据融合，可以用于商店和火与水探测器等各种信息源的数据融合，可以用于商店和 家庭的防盗防火。军事应用领域开发的一些复杂的数据融家庭的防盗防火。军事应用领域开发的一些复杂的数据

13、融 合应用同样可以应用于民用部门的城市规划、资源管理、合应用同样可以应用于民用部门的城市规划、资源管理、 污染监测和分析以及气候、作物和地质分析，以保证在不污染监测和分析以及气候、作物和地质分析，以保证在不 同机关和部门之间实现有效的信息共享同机关和部门之间实现有效的信息共享 v 我国我国“八五八五”规划亦已把数据融合技术列为发展计算机技规划亦已把数据融合技术列为发展计算机技 术的关键技术之一术的关键技术之一 一些数据融合技术的应用例子一些数据融合技术的应用例子 1、军用系统: 航迹预测、导弹制导、无人机航迹预测、导弹制导、无人机/车侦察与攻击等车侦察与攻击等 2、非军事领域： 智能机器人、水

14、下物体探测、收割机械的自动化、工业装配线、智能机器人、水下物体探测、收割机械的自动化、工业装配线、 信息高速公路系统、多媒体技术和虚拟现实技术、辅助医疗检测信息高速公路系统、多媒体技术和虚拟现实技术、辅助医疗检测 和诊断等领域。和诊断等领域。 v 1）移动机器人：多传感器测量自身位姿、速度、障碍物位）移动机器人：多传感器测量自身位姿、速度、障碍物位 置、地面变化等。通过分布式融合方式，提高系统可靠性置、地面变化等。通过分布式融合方式，提高系统可靠性 和模块化。和模块化。 NASA火星车：火星表面建图与导航，岩石监测。火星车：火星表面建图与导航，岩石监测。5个激光雷达，个激光雷达， 2 个个CC

15、D(Charge-coupled device)相机检测岩石，加速度相机检测岩石，加速度 计等组成计等组成 v2）工业应用：）工业应用： v 基于神经网络的传感器融合方案估计、预测和控制在线表基于神经网络的传感器融合方案估计、预测和控制在线表 面抛光；面抛光； v 刀具磨损检测：融合声音、振动和电机电流传感器信息，刀具磨损检测：融合声音、振动和电机电流传感器信息， 将磨损数据分成无将磨损数据分成无-低低-中中-高磨损，模糊逻辑规则高磨损，模糊逻辑规则+最小近最小近 邻算法邻算法-决策决策 v 混凝土结构的无损探伤：结合超声波和冲击回波测试混凝土结构的无损探伤：结合超声波和冲击回波测试 v3）其

16、他方面：身份验证、燃气轮机动力装置、）其他方面：身份验证、燃气轮机动力装置、 风洞流量测量、矿产探测、军事方面等风洞流量测量、矿产探测、军事方面等 数据融合技术发展数据融合技术发展 目前 1995年 海湾战争海湾战争 20世纪世纪 70年代年代 在无人驾驶汽车上的应用在无人驾驶汽车上的应用 Car manufacturers: GM(通用汽车公司) Ford VW-Audi Volvo Nissan Toyota Daimler AG(戴姆勒股份公司) Tesla SAIC Motors (Shanghai Auto. Ind. Corp.)上汽集团上汽集团 Technological and

17、 Idea Innovators: Google Amazon Uber Apple Alibaba/Baidu Components manufacturers: Components manufacturers: Bosch Bosch 博世博世 Continental Continental 德国大陆集团德国大陆集团 Delphi Delphi 德尔菲法德尔菲法 Carnegie Mellon and Cadillac SRX (Pittsburgh, PA) SAIC and Alibaba (China) NASA and Nissan (CA) Ford/State Farm/Un

18、iversity of Michigan Partnerships: Google driver-free cars GOOGLE SELF-DRIVING CARS HOW DOES IT WORK? Ultra-precise GPS fixes Scanner Google translate Lane departure warning Lane keep assist Blind spot detection Autonomous Vehicles Defined Vehicle that get from one point to another point without hum

19、an interaction. Implement a number of well placed sensors that detect different things such as other vehicles, people, traffic lights, and movement of other vehicles The Technology of the Car Anti-Lock Brakes Electronic Stability control Adaptive cruise control Lane-departure warning system Self par

20、king Automated guided vehicle systems Lidar-Systems(with google cars) or Cruise Automated Systems(Audi) Infrared cameras. Types of Algorithms The combination of: 3-D imaging with multiple 1064 nm lasers. Edge-Detection Algorithm Motion-Detection algorithm Tracking algorithm Singapore ASTAR WHAT IS A

21、N AUTONOMOUS VEHICLE? Car that drives itself. Perceives the environment and moves where safe and desirable. “Robots.” No human supervision required. Everyone in AV is a passenger, or it can travel with no occupants at all. Goal: ubiquitous, safe and hacker proof. 45 Conventional Nissan taxis above;

22、Nissan and NASA are collaborating to develop a fleet of electric autonomous cabs. 46 2/9/15, “Netherlands First to Operate a Self-Driving Shuttle in Public Traffic?,” . 48 49 Interior Seats 7 Adults HOW WILL AVs BE USED? Nissan/NASA developing fleet of electric autonomous cabs. Nissans “Taxi of Tomo

23、rrow” is planned to replace NYCs traditional Ford Crown Victoria cabs. Nissans all-electric AV taxi is already on sale in Europe. Pros Safety: 90% of 5.5 million crashes in U.S. caused by driver error. Auto crash deaths are 8th leading cause of death in the world. 1.2 million people per year world-

24、wide; 33,000 in U.S. equivalent of 5 Boeing jets crashing every week. Productivity/Personal Savings: 50 minutes per person per day = economic value of $100 billion to $1 trillion. Decline in Car Ownership: Cars now cost drivers 18% of annual income for an asset they use only 5% of the time. Pros (co

25、nt.) Reduced Traffic Congestion 25% of congestion due to accidents averted by AVs. AVs will respond better to traffic conditions. Networked AVs communicate, eliminating need to anticipate actions of other cars. Environmental Benefits Goal is for AVs to be electric or hybrid. Cars account for 20% of

26、all greenhouse gas emissions and 60% of petroleum use. Fuel efficiency will improve by 10% to 40%. Pros (cont.) oNew trillion-dollar industry will provide countless opportunities for entrepreneurs to develop new technologies and services. Cons oJob loss in traditional industries: Trucking (3.5 milli

27、on) Taxis Couriers oLoss of Revenue to Municipal Budgets: From speeding or parking tickets Less need for law enforcement to monitor roadways and accidents Reduced use of public transportation oDisruption to Current Land Use People may move to suburbs from cities since they can be productive during c

28、ommute. 多传感器数据融合？一个例子多传感器数据融合？一个例子 多传感器数据融合研究现状多传感器数据融合研究现状 自20世纪70年代末以来，MSDF受到了各国学术界、工业界和军届的广 泛关注，成为研究热点 美国将MSDF技术列为90年代重点研发的二十项关键技术之一，A类， 发展C4I系统，经费投资数亿美元 学术方面： 87年起，美三军每年召开一次数据融合学术会议 ，出版SPIE专集 IEEE 94年首次举办智能系统多传感器融合与集成会议MFI94，MFI96， MFI99，MFI01（德国） IEEE系统和控制论会议 IEEE航空航天与电子系统会议 IEEE自动控制会议 IEEE C3M

29、IS会议 多传感器数据融合？一个例子多传感器数据融合？一个例子 多传感器数据融合研究现状多传感器数据融合研究现状 1998 在美国成立了国际信息融合学会国际信息融合学会ISIF，每年举行一 次学术会议 专著 LLINAS&HALL: multi-sensor data fusion HALL: mathematical techniques in multi-sensor data fusion 学术期刊 IEEE sensors journal IEEE system, man and cybernetics Information fusion Information science Sensor and actuator A Sensor and actuator B 多传感器数据融合？一个例子多传感器数据融合？一个例子 多传感器数据融合方法及研究方向多传感器数据融合方法及研究方向 经典的理论方法 经典推理法、kalman滤波、Bayes推理、 证据理论、聚类分析法、参数模板法、 物理模型法、熵法、品质因数法、ES等 人工智能法 Fuzzy