多传感器数据融合1【业界相关】

1、参考资料,科学出版社：信息融合（2007） 电子工业出版社：多传感器信息融合及其应用（2010） 清华大学出版社：多源信息融合（第二版）（2010） 方崇智、萧德云编著，过程辨识，清华大学出版社，北京，1988 相关论文 （Google Scholar,1,第一章 概述,2,多传感器数据融合？一个例子,The sixth sense,Makes decisions about her or his immediate present and near future actions,自然界其他动物对客观事物的认知过程,数据融合能力不断演化,多传感器数据融合问题的引入,3,4,人与传感器,人的感觉

2、器官与对应的传感器： 眼 耳 鼻 舌 皮肤,光敏传感器 声敏传感器 气敏传感器 味觉传感器 压敏、热敏、湿敏传感器,4,定义 传感器就是能感知外界信息并能按一定规律将这些信息转换成可用信号的器件或装置。如下图所示,5,传感器的组成,敏感器件的作用是感受被测物理量； 转换元件是对信号进行转换输出。 辅助器件则是对输出的电信号进行放大、阻抗匹配，以便于后续仪表接入,敏感元件,被测信息,转换元件,信号调节电路,辅助电路,输出信息,传感器组成框图,6,7,应变式压力传感器,由半导体材料制成的物性性传感器基本是敏感元件与转换元件二合一。 直接能将被测量转换为电量输出。 压电传感器、光电池、热敏电阻等,弹

3、性膜片,电阻应变片,压力,应变,电阻变化量,敏感元件,转换元件,7,传感器的普遍性,8,传感器的主要应用,9,电子警察,10,胶片式“电子警察” 、数码式“电子警察” 、视频式“电子警察”；压力或磁电传感器，两个脉冲信号，触发拍照系统进行拍照,10,全自动洗衣机中的传感器：衣物重量传感器，衣质传感器，水温传感器，水质传感器，透光率光传感器(洗净度) 液位传感器，电阻传感器(衣物烘干检测,11,鼠标:光电位移传感器,摄象头:CCD传感器,PC机中的测试技术应用,12,响尾蛇捕食： visual and infrared (IR) information,红外制导武器(导弹的弹头感知敌武器的红外热

4、源)： 喷气机的发动机尾喷口，高速飞行时飞机的机头与空气剧烈摩擦产生的热空气团，海军舰艇的烟囱和陆军车辆的发动机,红外线感知,视觉感知,多传感器问题的引入,13,13.1 多传感器数据融合概述,应用简例 多传感器系统可以用于地球环境监测。主要应用于对地面的监视、以便识别和监视地貌、气象模式、矿产资源，植物生长、环境条件和威胁情况(如原油泄漏、辐射泄漏等) 如右图所示,图源：D.L. Hall and J. Llinas, An introduction to multisensor data fusion,14,近几十年，科学工程技术领域：目标跟踪例子(视频监控,Sensor fusion m

5、eans the combination of sensory data or data derived from sensory data, such that the resulting information is better than it would be if these sensors were used individually,多传感器问题的引入,15,多传感器问题的引入,非关联测量项目 测量不同目标或对同一目标的不同参数进行独立测量,多传感器 融合系统,关联的测量项目 利用多个传感器对同一目标的相同或不同项目进行测量，综合测量结果用于分析目标特性,16,当检测对象为多目标

6、或快速机动目标时，单一传感器测量困难,复杂的电磁环境使检测的目标信号淹没在大量噪声及不相关信号与杂波中,当单一传感器失效或传感器的可靠性有待提高时采用多传感器系统,多传感器问题的引入,环境复杂,目标复杂,可靠性,为什么要采用多个传感器测量同一目标参数,17,数据融合的定义,数据融合技术，包括对各种信息源给出的有用信息的采集、传输、综合(integration)、过滤、相关(data association)及合成(generation)，以便辅助人们进行态势/环境判定、规划、探测、验证、诊断 数据融合(信息融合)的基本原理是：充分利用传感器资源通过对各种传感器及人工观测信息的合理支配与使用将各

7、种传感器在空间和时间上的互补与冗余信息，依据某种优化准则或算法组合，产生对观测对象的一致性解释和描述。其目标是基于各传感器检测信息分解人工观测信息通过对信息的优化组合来导出更多的有效信息,18,多传感器数据融合的定义,功能定义： 将来自多个传感器和信息源的数据和信息加以联合、相关、组合，以获得对目标精确的位置估计、身份估计、以及对战场情况和威胁及其重要程度进行适时的完整评价。 该定义的重点： 该定义是军事应用方面的功能性定义； 多个传感器对同一目标进行测量； 重点是融合：联合、相关、组合； 目的：状态估计、身份估计、态势估计、威胁估计,19,数据融合的定义,技术定义： 充分利用不同时间与空间的

8、多传感器数据资源，采用计算机技术按时间序列获得多传感器的观测数据，在一定准则下进行分析、综合、支配和使用。获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它各组成部分更为充分的信息。 该定义的重点： 方法：分析、综合、支配、使用； 目的：一致性解释与描述、更为充分的信息,20,数据融合技术的应用（军事应用,军事上，数据融合技术为先进的作战管理系统提供了重要的数据处理技术基础。数据融合在多信息源、多平台和多用户系统内起着重要的处理和协调作用，保证了数据处理系统各单元与汇集中心间的连通性与及时通信，而且使原来由军事操作人员和情报分析人员完成的许多功能均由数据处理系统快速、准

9、确、有效地自动完成。 大量新的作战技术的发展迫切需要数据融合技术的应用和支持。如现代作战原则强调纵深攻击和遮断能力，要求能描述目标位置、运动及其企图的信息，这已超过了使用的常规传感器的性能水平。 不少数据融合技术的研究成果和实用系统已在1991年的海湾战争中得到实战验证,21,数据融合技术的应用（民用,在自动化领域，自动化制造过程中的实时过程控制、传感器控制元件、工作站以及机器人和操作装置控制等均离不开数据融合技术的应用。 故障诊断系统中使用多传感器技术进行多种特征量的监测(如振动、温度、压力、流量等)，并对这些传感器的信息进行融合，以提高故障定位的准确性和可靠性。 对于来自无源电子支援测量、

10、红外、声学、运动控测器、火与水探测器等各种信息源的数据融合，可以用于商店和家庭的防盗防火。军事应用领域开发的一些复杂的数据融合应用同样可以应用于民用部门的城市规划、资源管理、污染监测和分析以及气候、作物和地质分析，以保证在不同机关和部门之间实现有效的信息共享 我国“八五”规划亦已把数据融合技术列为发展计算机技术的关键技术之一,22,一些数据融合技术的应用例子,1、军用系统: 航迹预测、导弹制导、无人机/车侦察与攻击等 2、非军事领域： 智能机器人、水下物体探测、收割机械的自动化、工业装配线、信息高速公路系统、多媒体技术和虚拟现实技术、辅助医疗检测和诊断等领域,23,1）移动机器人：多传感器测量

11、自身位姿、速度、障碍物位置、地面变化等。通过分布式融合方式，提高系统可靠性和模块化。 NASA火星车：火星表面建图与导航，岩石监测。5个激光雷达， 2 个CCD(Charge-coupled device)相机检测岩石，加速度 计等组成,24,2）工业应用： 基于神经网络的传感器融合方案估计、预测和控制在线表面抛光； 刀具磨损检测：融合声音、振动和电机电流传感器信息，将磨损数据分成无-低-中-高磨损，模糊逻辑规则+最小近邻算法-决策 混凝土结构的无损探伤：结合超声波和冲击回波测试 3）其他方面：身份验证、燃气轮机动力装置、风洞流量测量、矿产探测、军事方面等,25,数据融合技术发展,位置估计和身

12、份识别,目前,海湾战争,20世纪 70年代,1973年美国声纳信息融合研究,现代化战争的警钟,我国首次数据融合技术专题会议,26,在无人驾驶汽车上的应用,27,WHO WILL MAKE AVs,Car manufacturers: GM(通用汽车公司) Ford VW-Audi Volvo Nissan Toyota Daimler AG(戴姆勒股份公司) Tesla SAIC Motors (Shanghai Auto. Ind. Corp.)上汽集团,28,骄阳书苑,WHO WILL MAKE AVs,Technological and Idea Innovators: Google A

13、mazon Uber Apple Alibaba/Baidu,29,骄阳书苑,WHO WILL MAKE AVs,Components manufacturers: Bosch 博世 Continental 德国大陆集团 Delphi 德尔菲法,30,骄阳书苑,WHO WILL MAKE AVs,Carnegie Mellon and Cadillac SRX (Pittsburgh, PA) SAIC and Alibaba (China) NASA and Nissan (CA) Ford/State Farm/University of Michigan,Partnerships,31,

14、骄阳书苑,Google driver-free cars,GOOGLE SELF-DRIVING CARS,32,HOW DOES IT WORK,Ultra-precise GPS fixes Scanner Google translate Lane departure warning Lane keep assist Blind spot detection,33,骄阳书苑,Autonomous Vehicles Defined,Vehicle that get from one point to another point without human interaction. Impl

15、ement a number of well placed sensors that detect different things such as other vehicles, people, traffic lights, and movement of other vehicles,34,骄阳书苑,The Technology of the Car,Anti-Lock Brakes Electronic Stability control Adaptive cruise control Lane-departure warning system Self parking Automat

16、ed guided vehicle systems Lidar-Systems(with google cars) or Cruise Automated Systems(Audi) Infrared cameras,35,骄阳书苑,Types of Algorithms,The combination of: 3-D imaging with multiple 1064 nm lasers. Edge-Detection Algorithm Motion-Detection algorithm Tracking algorithm,36,骄阳书苑,Singapore ASTAR,37,WHA

17、T IS AN AUTONOMOUS VEHICLE,Car that drives itself. Perceives the environment and moves where safe and desirable. “Robots.” No human supervision required. Everyone in AV is a passenger, or it can travel with no occupants at all. Goal: ubiquitous, safe and hacker proof,38,骄阳书苑,First Google AV (Prius,3

18、9,骄阳书苑,Latest Google AV,40,骄阳书苑,Mercedes AV,41,骄阳书苑,Mercedes AV,42,骄阳书苑,Toyota AV,43,骄阳书苑,Apples Prototype,44,骄阳书苑,Nissan,Conventional Nissan taxis above; Nissan and NASA are collaborating to develop a fleet of electric autonomous cabs,45,骄阳书苑,Dutch EZ-10 Autonomous Shuttle OF Ligier Group,2/9/15, “

19、Netherlands First to Operate a Self-Driving Shuttle in Public Traffic?,” ,46,骄阳书苑,Delphi / Audi SQ5,47,骄阳书苑,Tesla Model S,48,骄阳书苑,Tesla Model X,Interior Seats 7 Adults,49,骄阳书苑,HOW WILL AVs BE USED,Nissan/NASA developing fleet of electric autonomous cabs. Nissans “Taxi of Tomorrow” is planned to repl

20、ace NYCs traditional Ford Crown Victoria cabs. Nissans all-electric AV taxi is already on sale in Europe,Fleets/Taxis,50,骄阳书苑,Pros,Safety: 90% of 5.5 million crashes in U.S. caused by driver error. Auto crash deaths are 8th leading cause of death in the world. 1.2 million people per year world-wide;

21、 33,000 in U.S. equivalent of 5 Boeing jets crashing every week. Productivity/Personal Savings: 50 minutes per person per day = economic value of $100 billion to $1 trillion. Decline in Car Ownership: Cars now cost drivers 18% of annual income for an asset they use only 5% of the time,51,骄阳书苑,Pros (

22、cont.,Reduced Traffic Congestion 25% of congestion due to accidents averted by AVs. AVs will respond better to traffic conditions. Networked AVs communicate, eliminating need to anticipate actions of other cars. Environmental Benefits Goal is for AVs to be electric or hybrid. Cars account for 20% of

23、 all greenhouse gas emissions and 60% of petroleum use. Fuel efficiency will improve by 10% to 40,52,骄阳书苑,Pros (cont.,New trillion-dollar industry will provide countless opportunities for entrepreneurs to develop new technologies and services,53,骄阳书苑,Cons,Job loss in traditional industries: Trucking

24、 (3.5 million) Taxis Couriers Loss of Revenue to Municipal Budgets: From speeding or parking tickets Less need for law enforcement to monitor roadways and accidents Reduced use of public transportation Disruption to Current Land Use People may move to suburbs from cities since they can be productive

25、 during commute,54,骄阳书苑,多传感器数据融合？一个例子,多传感器数据融合研究现状,自20世纪70年代末以来，MSDF受到了各国学术界、工业界和军届的广泛关注，成为研究热点 美国将MSDF技术列为90年代重点研发的二十项关键技术之一，A类，发展C4I系统，经费投资数亿美元 学术方面： 87年起，美三军每年召开一次数据融合学术会议 ，出版SPIE专集 IEEE 94年首次举办智能系统多传感器融合与集成会议MFI94，MFI96，MFI99，MFI01（德国） IEEE系统和控制论会议 IEEE航空航天与电子系统会议 IEEE自动控制会议 IEEE C3MIS会议,55,多传感器数据融合？一个例子,多传感器数据融合研究现状,1998 在美国成立了国际信息融合学会ISIF，每年举行一次学术会议 专著 LLINAS&HALL: multi-sensor data fusion HALL: mathematical techniques in multi-sensor data fusion 学术期刊 IEEE sensors journal IEEE system, man and cybernetics Information fusi