多传感器数据融合1

参考资料科学出版社：信息融合（2007）电子工业出版社：多传感器信息融合及其应用（2010）清华大学出版社：多源信息融合（第二版）（2010）方崇智、萧德云编著，《过程辨识》，清华大学出版社，北京，1988相关论文（GoogleScholar）第一章概述多传感器问题的引入1数据融合的定义2数据融合的应用3数据融合技术发展4多传感器数据融合研究现状5多传感器数据融合方法及研究方向6多传感器数据融合？一个例子Thesixthsense？Makesdecisionsaboutherorhisimmediatepresentandnearfutureactions！自然界其他动物对客观事物的认知过程数据融合能力不断演化多传感器数据融合问题的引入智能信息处理技术44人与传感器人的感觉器官与对应的传感器：眼———

耳———

鼻———

舌———

皮肤——光敏传感器声敏传感器气敏传感器味觉传感器压敏、热敏、湿敏传感器智能信息处理技术5定义传感器就是能感知外界信息并能按一定规律将这些信息转换成可用信号的器件或装置。如下图所示:非电信息电信号智能信息处理技术6

传感器的组成

敏感器件的作用是感受被测物理量；转换元件是对信号进行转换输出。辅助器件则是对输出的电信号进行放大、阻抗匹配，以便于后续仪表接入。

敏感元件被测信息转换元件信号调节电路辅助电路输出信息

传感器组成框图7应变式压力传感器

由半导体材料制成的物性性传感器基本是敏感元件与转换元件二合一。直接能将被测量转换为电量输出。压电传感器、光电池、热敏电阻等。弹性膜片电阻应变片压力应变电阻变化量敏感元件转换元件8传感器的普遍性9传感器的主要应用信息处理电信电话科技测试设备控制交通控制输电系统机床机器人家用电器照相机汽车飞机船舶气象海洋环境污染医疗防火光能利用热能利用土木建筑农林机械能利用货币金融食品111551101034736598161277834313147111707693612621242014需要量电子警察10胶片式“电子警察”、数码式“电子警察”、视频式“电子警察”；压力或磁电传感器，两个脉冲信号，触发拍照系统进行拍照11全自动洗衣机中的传感器：衣物重量传感器，衣质传感器，水温传感器，水质传感器，透光率光传感器(洗净度)液位传感器，电阻传感器(衣物烘干检测)。12鼠标:光电位移传感器摄象头:CCD传感器PC机中的测试技术应用响尾蛇捕食：visualandinfrared(IR)information红外制导武器(导弹的弹头感知敌武器的红外热源)：喷气机的发动机尾喷口，高速飞行时飞机的机头与空气剧烈摩擦产生的热空气团，海军舰艇的烟囱和陆军车辆的发动机。红外线感知视觉感知多传感器问题的引入13.1多传感器数据融合概述应用简例

多传感器系统可以用于地球环境监测。主要应用于对地面的监视、以便识别和监视地貌、气象模式、矿产资源，植物生长、环境条件和威胁情况(如原油泄漏、辐射泄漏等)如右图所示

图源：D.L.HallandJ.Llinas,‘‘Anintroductiontomultisensordatafusion’’

近几十年，科学工程技术领域：目标跟踪例子(视频监控)Sensorfusionmeansthecombinationofsensorydataordataderivedfromsensorydata,suchthattheresultinginformationisbetterthanitwouldbeifthesesensorswereusedindividually多传感器问题的引入多传感器问题的引入非关联测量项目测量不同目标或对同一目标的不同参数进行独立测量。多传感器融合系统关联的测量项目利用多个传感器对同一目标的相同或不同项目进行测量，综合测量结果用于分析目标特性。当检测对象为多目标或快速机动目标时，单一传感器测量困难。复杂的电磁环境使检测的目标信号淹没在大量噪声及不相关信号与杂波中。当单一传感器失效或传感器的可靠性有待提高时采用多传感器系统。多传感器问题的引入环境复杂目标复杂可靠性为什么要采用多个传感器测量同一目标参数？数据融合的定义数据融合技术，包括对各种信息源给出的有用信息的采集、传输、综合(integration)、过滤、相关(dataassociation)及合成(generation)，以便辅助人们进行态势/环境判定、规划、探测、验证、诊断数据融合(信息融合)的基本原理是：充分利用传感器资源．通过对各种传感器及人工观测信息的合理支配与使用．将各种传感器在空间和时间上的互补与冗余信息，依据某种优化准则或算法组合，产生对观测对象的一致性解释和描述。其目标是基于各传感器检测信息分解人工观测信息．通过对信息的优化组合来导出更多的有效信息。多传感器数据融合的定义功能定义：将来自多个传感器和信息源的数据和信息加以联合、相关、组合，以获得对目标精确的位置估计、身份估计、以及对战场情况和威胁及其重要程度进行适时的完整评价。该定义的重点：该定义是军事应用方面的功能性定义；多个传感器对同一目标进行测量；重点是融合：联合、相关、组合；目的：状态估计、身份估计、态势估计、威胁估计。数据融合的定义技术定义：充分利用不同时间与空间的多传感器数据资源，采用计算机技术按时间序列获得多传感器的观测数据，在一定准则下进行分析、综合、支配和使用。获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它各组成部分更为充分的信息。该定义的重点：方法：分析、综合、支配、使用；目的：一致性解释与描述、更为充分的信息。数据融合技术的应用（军事应用）军事上，数据融合技术为先进的作战管理系统提供了重要的数据处理技术基础。数据融合在多信息源、多平台和多用户系统内起着重要的处理和协调作用，保证了数据处理系统各单元与汇集中心间的连通性与及时通信，而且使原来由军事操作人员和情报分析人员完成的许多功能均由数据处理系统快速、准确、有效地自动完成。大量新的作战技术的发展迫切需要数据融合技术的应用和支持。如现代作战原则强调纵深攻击和遮断能力，要求能描述目标位置、运动及其企图的信息，这已超过了使用的常规传感器的性能水平。不少数据融合技术的研究成果和实用系统已在1991年的海湾战争中得到实战验证数据融合技术的应用（民用）在自动化领域，自动化制造过程中的实时过程控制、传感器控制元件、工作站以及机器人和操作装置控制等均离不开数据融合技术的应用。故障诊断系统中使用多传感器技术进行多种特征量的监测(如振动、温度、压力、流量等)，并对这些传感器的信息进行融合，以提高故障定位的准确性和可靠性。对于来自无源电子支援测量、红外、声学、运动控测器、火与水探测器等各种信息源的数据融合，可以用于商店和家庭的防盗防火。军事应用领域开发的一些复杂的数据融合应用同样可以应用于民用部门的城市规划、资源管理、污染监测和分析以及气候、作物和地质分析，以保证在不同机关和部门之间实现有效的信息共享我国“八五”规划亦已把数据融合技术列为发展计算机技术的关键技术之一一些数据融合技术的应用例子1、军用系统:航迹预测、导弹制导、无人机/车侦察与攻击等2、非军事领域：

智能机器人、水下物体探测、收割机械的自动化、工业装配线、信息高速公路系统、多媒体技术和虚拟现实技术、辅助医疗检测和诊断等领域。1）移动机器人：多传感器测量自身位姿、速度、障碍物位置、地面变化等。通过分布式融合方式，提高系统可靠性和模块化。

NASA火星车：火星表面建图与导航，岩石监测。5个激光雷达，

2个CCD(Charge-coupleddevice)相机检测岩石，加速度

计等组成2）工业应用：基于神经网络的传感器融合方案估计、预测和控制在线表面抛光；刀具磨损检测：融合声音、振动和电机电流传感器信息，将磨损数据分成无-低-中-高磨损，模糊逻辑规则+最小近邻算法->决策混凝土结构的无损探伤：结合超声波和冲击回波测试3）其他方面：身份验证、燃气轮机动力装置、风洞流量测量、矿产探测、军事方面等数据融合技术发展位置估计和身份识别目前1995年海湾战争20世纪70年代1973年美国声纳信息融合研究现代化战争的警钟我国首次数据融合技术专题会议在无人驾驶汽车上的应用WHOWILLMAKEAVs?Carmanufacturers:GM(通用汽车公司)FordVW-AudiVolvoNissanToyotaDaimlerAG(戴姆勒股份公司)TeslaSAICMotors(ShanghaiAuto.Ind.Corp.)上汽集团BatesCareyLLP28WHOWILLMAKEAVs?TechnologicalandIdeaInnovators:GoogleAmazonUberAppleAlibaba/BaiduBatesCareyLLP29WHOWILLMAKEAVs?Componentsmanufacturers:Bosch博世Continental德国大陆集团Delphi德尔菲法BatesCareyLLP30WHOWILLMAKEAVs?

CarnegieMellonandCadillacSRX(Pittsburgh,PA)SAICandAlibaba(China)NASAandNissan(CA)Ford/StateFarm/UniversityofMichigan

Partnerships:BatesCareyLLP31Googledriver-freecarsGOOGLESELF-DRIVINGCARSHOWDOESITWORK?Ultra-preciseGPSfixesScannerGoogletranslateLanedeparturewarningLanekeepassistBlindspotdetectionAutonomousVehiclesDefined

Vehiclethatgetfromonepointtoanotherpointwithouthumaninteraction.Implementanumberofwellplacedsensorsthatdetectdifferentthingssuchasothervehicles,people,trafficlights,andmovementofothervehiclesTheTechnologyoftheCar Anti-LockBrakesElectronicStabilitycontrolAdaptivecruisecontrolLane-departurewarningsystemSelfparkingAutomatedguidedvehiclesystemsLidar-Systems(withgooglecars)orCruiseAutomatedSystems(Audi)Infraredcameras.TypesofAlgorithmsThecombinationof:3-Dimagingwithmultiple1064nmlasers.Edge-DetectionAlgorithmMotion-DetectionalgorithmTrackingalgorithmSingaporeASTARWHATISANAUTONOMOUSVEHICLE?Carthatdrivesitself.Perceivestheenvironmentandmoveswheresafeanddesirable.“Robots.”Nohumansupervisionrequired.EveryoneinAVisapassenger,oritcantravelwithnooccupantsatall.Goal:ubiquitous,safeandhackerproof.BatesCareyLLP38FirstGoogleAV(Prius)BatesCareyLLP39LatestGoogleAVBatesCareyLLP40MercedesAVBatesCareyLLP41MercedesAVBatesCareyLLP42ToyotaAVBatesCareyLLP43Apple’sPrototypeBatesCareyLLP44NissanConventionalNissantaxisabove;NissanandNASAarecollaboratingtodevelopafleetofelectricautonomouscabs.BatesCareyLLP45DutchEZ-10AutonomousShuttleOFLigierGroup2/9/15,“NetherlandsFirsttoOperateaSelf-DrivingShuttleinPublicTraffic?,”.BatesCareyLLP46Delphi/AudiSQ5BatesCareyLLP47TeslaModelSBatesCareyLLP48

TeslaModelXInteriorSeats7AdultsBatesCareyLLP49HOWWILLAVsBEUSED?

Nissan/NASAdevelopingfleetofelectricautonomouscabs.Nissan’s“TaxiofTomorrow”isplannedtoreplaceNYC’straditionalFordCrownVictoriacabs.Nissan’sall-electricAVtaxiisalreadyonsaleinEurope.

Fleets/TaxisBatesCareyLLP50ProsSafety: 90%of5.5millioncrashesinU.S.causedbydrivererror.Autocrashdeathsare8thleadingcauseofdeathintheworld.1.2millionpeopleperyearworld-wide;33,000inU.S.–equivalentof5Boeingjetscrashingeveryweek.Productivity/PersonalSavings:50minutesperpersonperday=economicvalueof$100billionto$1trillion.DeclineinCarOwnership:Carsnowcostdrivers18%ofannualincomeforanassettheyuseonly5%ofthetime.

BatesCareyLLP51Pros(cont.)ReducedTrafficCongestion25%ofcongestionduetoaccidentsavertedbyAVs.AVswillrespondbettertotrafficconditions.NetworkedAVscommunicate,eliminatingneedtoanticipateactionsofothercars.EnvironmentalBenefitsGoalisforAVstobeelectricorhybrid.Carsaccountfor20%ofallgreenhousegasemissionsand60%ofpetroleumuse.Fuelefficiencywillimproveby10%to40%.

BatesCareyLLP52Pros(cont.)Newtrillion-dollarindustrywillprovidecountlessopportunitiesforentrepreneurstodevelopnewtechnologiesandservices.

BatesCareyLLP53ConsJoblossintraditionalindustries: Trucking(3.5million) Taxis CouriersLossofRevenuetoMunicipalBudgets: Fromspeedingorparking tickets Lessneedforlaw enforcementtomonitor roadwaysandaccidents Reduceduseofpublic transportationDisruptiontoCurrentLandUse Peoplemaymoveto suburbsfromcitiessince theycanbeproductive duringcommute.

BatesCareyLLP54多传感器数据融合？一个例子多传感器数据融合研究现状

自20世纪70年代末以来，MSDF受到了各国学术界、工业界和军届的广泛关注，成为研究热点美国将MSDF技术列为90年代重点研发的二十项关键技术之一，A类，发展C4I系统，经费投资数亿美元学术方面：87年起，美三军每年召开一次数据融合学术会议，出版SPIE专集IEEE94年首次举办智能系统多传感器融合与集成会议MFI94，MFI96，MFI99，MFI01（德国）IEEE系统和控制论会议IEEE航空航天与电子系统会议IEEE自动控制会议IEEEC3MIS会议多传感器数据融合？一个例子多传感器数据融合研究现状1998在美国成立了国际信息融合学会ISIF，每年举行一次学术会议专著LLINAS&HALL:multi-sensordatafusionHALL:mathematicaltechniquesinmulti-sensordatafusion学术期刊IEEEsensorsjournalIEEEsystem,manandcyberneticsInform