多传感器数据融合最新版本

1、参考资料参考资料 科学出版社：信息融合（2007） 电子工业出版社：多传感器信息融合及其应用（2010） 清华大学出版社：多源信息融合（第二版）（2010） 方崇智、萧德云编著，过程辨识，清华大学出版社，北京，1988 相关论文 （Google Scholar）第一章第一章 概述概述多传感器问题的引入多传感器问题的引入1数据融合的定义数据融合的定义2数据融合的应用数据融合的应用3数据融合技术发展数据融合技术发展4 多传感器数据融合研究现状多传感器数据融合研究现状 5多传感器数据融合方法及研究方向多传感器数据融合方法及研究方向6多传感器数据融合？一个例子多传感器数据融合？一个例子The sixt

2、h sense？Makes decisions about her or his immediate present and near future actions！自然界其他动物对客观事物的认知过程数据融合能力不断演化多传感器数据融合问题的引入多传感器数据融合问题的引入44人与传感器5非电信息非电信息电信号电信号6 敏感元件被测信息转换元件信号调节电路辅助电路输出信息7 89电子警察电子警察10胶片式“电子警察” 、数码式“电子警察” 、视频式“电子警察”；压力或磁电传感器，两个脉冲信号，触发拍照系统进行拍照1112鼠标:光电位移传感器摄象头:CCD传感器响尾蛇捕食：响尾蛇捕食： visua

3、l and infrared (IR) information红外制导武器红外制导武器(导弹的弹头感知敌武器的红外热源导弹的弹头感知敌武器的红外热源)：喷气机的发动机尾喷口，高速飞行时飞机的机头与空气剧烈摩擦产生的热空气团，海军舰艇的烟囱和陆军车辆的发动机。红外线感知视觉感知多传感器问题的引入多传感器问题的引入13.1 13.1 多传感器数据融合概述多传感器数据融合概述应用简例应用简例多传感器系统可以用多传感器系统可以用于地球环境监测。主于地球环境监测。主要应用于对地面的监要应用于对地面的监视、以便识别和监视视、以便识别和监视地貌、气象模式、矿地貌、气象模式、矿产资源，植物生长、产资源，植物生

4、长、环境条件和威胁情况环境条件和威胁情况( (如原油泄漏、辐射如原油泄漏、辐射泄漏等泄漏等) ) 如右图所示如右图所示 图源：D.L. Hall and J. Llinas, An introduction to multisensor data fusion 近几十年，科学工程技术领域：目标跟踪例子近几十年，科学工程技术领域：目标跟踪例子(视频监控视频监控)Sensor fusion means the combination of sensory data or data derived from sensory data, such that the resulting informat

5、ion is better than it would be if these sensors were used individually多传感器问题的引入多传感器问题的引入多传感器问题的引入多传感器问题的引入非关联测量项目非关联测量项目测量不同目标或对同一目标的不同参数进行独立测量。多传感器多传感器融合系统融合系统关联的测量项目关联的测量项目利用多个传感器对同一目标的相同或不同项目进行测量，综合测量结果用于分析目标特性。当检测对象为多目标或快速机动目标时，单一传感器测量困难。复杂的电磁环境使检测的目标信号淹没在大量噪声及不相关信号与杂波中。当单一传感器失效或传感器的可靠性有待提高时采用多传

6、感器系统。多传感器问题的引入多传感器问题的引入环境复杂目标复杂可靠性为什么要采用多个传感器测量同一目标参数？为什么要采用多个传感器测量同一目标参数？数据融合的定义数据融合的定义v 数据融合技术，包括对各种信息源给出的有用信息的采集数据融合技术，包括对各种信息源给出的有用信息的采集、传输、综合、传输、综合(integration)、过滤、相关、过滤、相关(data association)及合成及合成(generation)，以便辅助人们进行态，以便辅助人们进行态势势/环境判定、规划、探测、验证、诊断环境判定、规划、探测、验证、诊断v 数据融合数据融合(信息融合信息融合)的基本原理是：充分利用传

7、感器资源的基本原理是：充分利用传感器资源通过对各种传感器及人工观测信息的合理支配与使用通过对各种传感器及人工观测信息的合理支配与使用将各种传感器在空间和时间上的互补与冗余信息，依据某将各种传感器在空间和时间上的互补与冗余信息，依据某种优化准则或算法组合，产生对观测对象的一致性解释和种优化准则或算法组合，产生对观测对象的一致性解释和描述。其目标是基于各传感器检测信息分解人工观测信息描述。其目标是基于各传感器检测信息分解人工观测信息通过对信息的优化组合来导出更多的有效信息。通过对信息的优化组合来导出更多的有效信息。多传感器数据融合的定义多传感器数据融合的定义v功能定义：功能定义： 将来自多个传感器

8、和信息源的数据和信息加以联合、相关、组合，以获得对目标精确的位置估计、身份估计、以及对战场情况和威胁及其重要程度进行适时的完整评价。v该定义的重点：该定义的重点：该定义是军事应用方面的功能性定义；多个传感器对同一目标进行测量；重点是融合：联合、相关、组合；目的：状态估计、身份估计、态势估计、威胁估计。 数据融合的定义数据融合的定义v技术定义：技术定义： 充分利用不同时间与空间的多传感器数据资源，采用计算机技术按时间序列获得多传感器的观测数据，在一定准则下进行分析、综合、支配和使用。获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它各组成部分更为充分的信息。v该定义的重点

9、：该定义的重点：方法：分析、综合、支配、使用；目的：一致性解释与描述、更为充分的信息。 数据融合技术的应用（军事应用）数据融合技术的应用（军事应用）v 军事上，数据融合技术为先进的作战管理系统提供了重要军事上，数据融合技术为先进的作战管理系统提供了重要的数据处理技术基础。数据融合在多信息源、多平台和多的数据处理技术基础。数据融合在多信息源、多平台和多用户系统内起着重要的处理和协调作用，保证了数据处理用户系统内起着重要的处理和协调作用，保证了数据处理系统各单元与汇集中心间的连通性与及时通信，而且使原系统各单元与汇集中心间的连通性与及时通信，而且使原来由军事操作人员和情报分析人员完成的许多功能均由

10、数来由军事操作人员和情报分析人员完成的许多功能均由数据处理系统据处理系统快速、准确、有效快速、准确、有效地自动完成。地自动完成。v 大量新的作战技术的发展迫切需要数据融合技术的应用和大量新的作战技术的发展迫切需要数据融合技术的应用和支持。如现代作战原则强调纵深攻击和遮断能力，要求能支持。如现代作战原则强调纵深攻击和遮断能力，要求能描述目标位置、运动及其企图的信息，这已超过了使用的描述目标位置、运动及其企图的信息，这已超过了使用的常规传感器的性能水平。常规传感器的性能水平。v 不少数据融合技术的研究成果和实用系统已在不少数据融合技术的研究成果和实用系统已在1991年的海年的海湾战争中得到实战验证

11、湾战争中得到实战验证数据融合技术的应用（民用）数据融合技术的应用（民用）v 在自动化领域，自动化制造过程中的实时过程控制、传感在自动化领域，自动化制造过程中的实时过程控制、传感器控制元件、工作站以及机器人和操作装置控制等均离不器控制元件、工作站以及机器人和操作装置控制等均离不开数据融合技术的应用。开数据融合技术的应用。v 故障诊断系统中使用多传感器技术进行多种特征量的监测故障诊断系统中使用多传感器技术进行多种特征量的监测(如振动、温度、压力、流量等如振动、温度、压力、流量等)，并对这些传感器的信息，并对这些传感器的信息进行融合，以提高故障定位的准确性和可靠性。进行融合，以提高故障定位的准确性和

12、可靠性。v 对于来自无源电子支援测量、红外、声学、运动控测器、对于来自无源电子支援测量、红外、声学、运动控测器、火与水探测器等各种信息源的数据融合，可以用于商店和火与水探测器等各种信息源的数据融合，可以用于商店和家庭的防盗防火。军事应用领域开发的一些复杂的数据融家庭的防盗防火。军事应用领域开发的一些复杂的数据融合应用同样可以应用于民用部门的城市规划、资源管理、合应用同样可以应用于民用部门的城市规划、资源管理、污染监测和分析以及气候、作物和地质分析，以保证在不污染监测和分析以及气候、作物和地质分析，以保证在不同机关和部门之间实现有效的信息共享同机关和部门之间实现有效的信息共享v 我国我国“八五八

13、五”规划亦已把数据融合技术列为发展计算机技规划亦已把数据融合技术列为发展计算机技术的关键技术之一术的关键技术之一一些数据融合技术的应用例子一些数据融合技术的应用例子1、军用系统: 航迹预测、导弹制导、无人机航迹预测、导弹制导、无人机/车侦察与攻击等车侦察与攻击等2、非军事领域： 智能机器人、水下物体探测、收割机械的自动化、工业装配线、智能机器人、水下物体探测、收割机械的自动化、工业装配线、信息高速公路系统、多媒体技术和虚拟现实技术、辅助医疗检测信息高速公路系统、多媒体技术和虚拟现实技术、辅助医疗检测和诊断等领域。和诊断等领域。v 1）移动机器人：多传感器测量自身位姿、速度、障碍物位）移动机器人

14、：多传感器测量自身位姿、速度、障碍物位置、地面变化等。通过分布式融合方式，提高系统可靠性置、地面变化等。通过分布式融合方式，提高系统可靠性和模块化。和模块化。 NASA火星车：火星表面建图与导航，岩石监测。火星车：火星表面建图与导航，岩石监测。5个激光雷达，个激光雷达， 2 个个CCD(Charge-coupled device)相机检测岩石，加速度相机检测岩石，加速度 计等组成计等组成v2）工业应用：）工业应用：v 基于神经网络的传感器融合方案估计、预测和控制在线表基于神经网络的传感器融合方案估计、预测和控制在线表面抛光；面抛光；v 刀具磨损检测：融合声音、振动和电机电流传感器信息，刀具磨损

15、检测：融合声音、振动和电机电流传感器信息，将磨损数据分成无将磨损数据分成无-低低-中中-高磨损，模糊逻辑规则高磨损，模糊逻辑规则+最小近最小近邻算法邻算法-决策决策v 混凝土结构的无损探伤：结合超声波和冲击回波测试混凝土结构的无损探伤：结合超声波和冲击回波测试v3）其他方面：身份验证、燃气轮机动力装置、风）其他方面：身份验证、燃气轮机动力装置、风洞流量测量、矿产探测、军事方面等洞流量测量、矿产探测、军事方面等数据融合技术发展数据融合技术发展目前1995年海湾战争海湾战争20世纪世纪70年代年代在无人驾驶汽车上的应用在无人驾驶汽车上的应用精选ppt28Car manufacturers: GM(

16、通用汽车公司)FordVW-Audi Volvo Nissan ToyotaDaimler AG(戴姆勒股份公司)TeslaSAIC Motors (Shanghai Auto.Ind. Corp.)上汽集团上汽集团精选ppt29Technological and Idea Innovators: Google Amazon Uber Apple Alibaba/Baidu精选ppt30Components manufacturers: Components manufacturers: Bosch Bosch 博世博世Continental Continental 德国大陆集团德国大陆集团D

17、elphi Delphi 德尔菲法德尔菲法精选ppt31Carnegie Mellon and Cadillac SRX (Pittsburgh, PA)SAIC and Alibaba (China)NASA and Nissan (CA)Ford/State Farm/University ofMichiganPartnerships:Google driver-free carsGOOGLE SELF-DRIVING CARS精选pptHOW DOES IT WORK?Ultra-precise GPS fixesScannerGoogle translateLane departure

18、 warningLane keep assistBlind spot detection精选pptAutonomous Vehicles DefinedVehicle that get from one point to another point without human interaction.Implement a number of well placed sensors that detect different things such as other vehicles, people, traffic lights, and movement of other vehicles

19、精选pptThe Technology of the CarAnti-Lock BrakesElectronic Stability controlAdaptive cruise controlLane-departure warning systemSelf parkingAutomated guided vehicle systemsLidar-Systems(with google cars) or Cruise Automated Systems(Audi)Infrared cameras.精选pptTypes of AlgorithmsThe combination of:3-D i

20、maging with multiple 1064 nm lasers.Edge-Detection AlgorithmMotion-Detection algorithmTracking algorithmSingapore ASTAR精选ppt38WHAT IS AN AUTONOMOUS VEHICLE? Car that drives itself. Perceives the environment and moves where safe and desirable. “Robots.”No human supervision required. Everyone in AV is

21、 a passenger, or it can travel with no occupants at all.Goal: ubiquitous, safe and hacker proof.精选ppt39精选ppt40精选ppt41精选ppt42精选ppt43精选ppt44精选ppt45Conventional Nissan taxis above; Nissan and NASA are collaborating to develop a fleet of electric autonomous cabs.精选ppt462/9/15, “Netherlands First to Oper

22、ate a Self-Driving Shuttle in Public Traffic?,” .精选ppt47精选ppt48精选ppt49Interior Seats 7 Adults精选ppt50HOW WILL AVs BE USED?Nissan/NASA developing fleet of electric autonomous cabs.Nissans “Taxi of Tomorrow” is planned to replace NYCs traditional Ford Crown Victoria cabs.Nissans all-electric AV taxi is

23、 already on sale in Europe.精选ppt51ProsSafety: 90% of 5.5 million crashes in U.S. caused by driver error. Auto crash deaths are 8th leading cause of death in the world. 1.2 million people per year world-wide; 33,000 in U.S. equivalent of 5 Boeing jets crashing every week.Productivity/Personal Savings

24、:50 minutes per person per day = economic value of $100 billion to $1 trillion.Decline in Car Ownership: Cars now cost drivers 18% of annual income for an asset they use only 5% of the time.精选ppt52Pros (cont.)Reduced Traffic Congestion25% of congestion due to accidents averted by AVs.AVs will respon

25、d better to traffic conditions.Networked AVs communicate, eliminating need to anticipate actions of other cars.Environmental BenefitsGoal is for AVs to be electric or hybrid.Cars account for 20% of all greenhouse gas emissions and 60% of petroleum use.Fuel efficiency will improve by 10% to 40%.精选ppt

26、53Pros (cont.)oNew trillion-dollar industry will provide countless opportunities for entrepreneurs to develop new technologies and services. 精选ppt54ConsoJob loss in traditional industries:Trucking (3.5 million)TaxisCouriersoLoss of Revenue to Municipal Budgets:From speeding or parking ticketsLess ne

27、ed for law enforcement to monitor roadways and accidentsReduced use of public transportationoDisruption to Current Land UsePeople may move to suburbs from cities since they can be productive during commute.多传感器数据融合？一个例子多传感器数据融合？一个例子多传感器数据融合研究现状多传感器数据融合研究现状 自20世纪70年代末以来，MSDF受到了各国学术界、工业界和军届的广泛关注，成为研究热

28、点美国将MSDF技术列为90年代重点研发的二十项关键技术之一，A类，发展C4I系统，经费投资数亿美元学术方面：87年起，美三军每年召开一次数据融合学术会议 ，出版SPIE专集IEEE 94年首次举办智能系统多传感器融合与集成会议MFI94，MFI96，MFI99，MFI01（德国）IEEE系统和控制论会议IEEE航空航天与电子系统会议IEEE自动控制会议IEEE C3MIS会议多传感器数据融合？一个例子多传感器数据融合？一个例子多传感器数据融合研究现状多传感器数据融合研究现状 1998 在美国成立了国际信息融合学会国际信息融合学会ISIF，每年举行一次学术会议 专著LLINAS&HAL

29、L: multi-sensor data fusionHALL: mathematical techniques in multi-sensor data fusion 学术期刊IEEE sensors journalIEEE system, man and cyberneticsInformation fusionInformation scienceSensor and actuator ASensor and actuator B多传感器数据融合？一个例子多传感器数据融合？一个例子多传感器数据融合方法及研究方向多传感器数据融合方法及研究方向经典的理论方法 经典推理法、kalman滤波、Bayes推理、证据理论、聚类分析法、参数模板法、物理模型法、熵法、品质因数法、E