智能网联汽车概论 课件 2-4 了解智能网联汽车多传感器数据融合技术的类型及应用

智能网联汽车概论能力模块二

掌握环境感知技术在智能网联汽车上的应用方式任务四

了解智能网联汽车多传感器数据融合技术的类型及应用新授Newteaching1目录一、多传感器融合的定义二、多传感器融合的类型三、多传感器融合的层次四、多传感器融合的特点五、以视觉识别和激光雷达为代表的感知技术快速发展与应用一、多传感器融合的定义（一）定义多传感器融合又称多传感器信息融合（multi-sensorinformationfusion），有时也称作多传感器数据融合（multi-sensordatafusion）。多传感器信息融合（Multi-sensorInformationFusion，MSIF），就是利用计算机技术将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。二、多传感器融合的类型

自动驾驶车上使用了多种多样的传感器，不同类型的传感器间在功用上互相补充，提高自动驾驶系统的安全系数。为了发挥不同传感器优势，融合技术起着关键的作用，现对多传感器融合技术（指前融合）按照下图的方式进行分类。三、多传感器融合的层次

像素级融合特征级融合多传感器融合的层次决策级融合在以目标身份估计为目的的体系结构下，根据多传感器信息融合技术抽象程度的不同，可以将其划分为3个层次：像素级融合、特征级融合、决策级融合，一般情况下，具体应用方案根据系统特点进行合理选择。三、多传感器融合的层次

像素级融合又称为数据级融合，如图所示，它将同类别的传感器采集的原始数据进行融合，最大可能地保留了各预处理阶段的细微信息。但是，由于融合进行在数据的最底层，计算量大且容易受不稳定性、不确定性因素的影响。同时，数据融合精确到像素级的准确度，因而无法处理异构数据。（一）像素级融合像素级融合三、多传感器融合的层次

如图所示，特征级融合是通过各传感器的原始数据结合决策推理算法，对信息进行分类、汇集和综合，提取出具有充分表示量和统计量的属性特征。根据融合内容，特征级融合又可以分为目标状态信息融合和目标特性融合两大类。其中，前者的特点是先进行数据配准，以实现对状态和参数相关估计，更加适用于目标跟踪。后者是借用传统模式识别技术，在特征预处理的前提下进行分类组合。特征级融合（二）特征级融合三、多传感器融合的层次

决策级融合的特点是高层次，需要处理不同类型的传感器对同一观测目标的原始数据，并完成特征提取、分类判别，生成初步结论，然后根据决策对象的具体需求，进行相关处理和高级决策判决，获得简明的综合推断结果，如图2-4-4所示。决策级融合具有实时性好、容错性高的优点，面对一个或者部分传感器失效时，仍能给出合理决策。决策级融合（三）决策级融合四、多传感器融合的特点

多传感器融合系统具有以下四个显著的特点：信息的冗余性信息处理的及时性多传感器融合的特点信息的互补性信息处理的低成本性四、多传感器融合的特点

1.信息的冗余性对于环境的某个特征，可以通过多个传感器（或者单个传感器的多个不同时刻）得到它的多份信息，这些信息是冗余的，并且具有不同的可靠性，通过融合处理，可以从中提取出更加准确和可靠的信息。此外，信息的冗余性可以提高系统的稳定性，从而能够避免因单个传感器失效而对整个系统所造成的影响。2.信息的互补性不同种类的传感器可以为系统提供不同性质的信息，这些信息所描述的对象是不同的环境特征，它们彼此之间具有互补性。如果定义一个由所有特征构成的坐标空间，那么每个传感器所提供的信息只属于整个空间的一个子空间，和其他传感器形成的空间相互独立。四、多传感器融合的特点

3.信息处理的及时性各传感器的处理过程相互独立，整个处理过程可以采用并行导热处理机制，从而使系统具有更快的处理速度，提供更加及时的处理结果。4.信息处理的低成本性多个传感器可以花费更少的代价来得到相当于单传感器所能得到的信息量。另一方面，如果不将单个传感器所提供的信息用来实现其他功能，单个传感器的成本和多传感器的成本之和是相当的。五、以视觉识别和激光雷达为代表的感知技术快速发展与应用

以视觉识别和激光雷达为代表的感知技术快速发展与应用，现在应用较广的企业有：摄像头：博世、大陆、麦格纳激光雷达：法雷奥、大陆以视觉识别和激光雷达为代表的感知技术快速发展与应用毫米波雷达：博世、海拉、麦格纳加特兰传感器融合：博世、伟世通、法雷奥五、以视觉识别和激光雷达为代表的感知技术快速发展与应用摄像头1.博世：第三代前置摄像头●特点1：摄像头功能安全等级提高到ASIL-B；●特点2：运用人工智能算法：卷积神经网络算法；●特点3：将密集光流检测和纹理检测结合，为未来L4以上的自动驾驶做好准备。2.大陆：第五代摄像头MFC500●特点1：加入深度学习算法；●特点2：拥有800万像素和125°广角；●特点3：具备模块化、可扩展和互连性等特征。大陆集团针对智能驾驶推出了第五代摄像头MFC500，它在前一代摄像头技术上加入深度学习算法，从而提高车辆的环境感知、驾驶路径规划及运动控制能力。五、以视觉识别和激光雷达为代表的感知技术快速发展与应用摄像头3.麦格纳：EYERIS®摄像头技术●特点1：提供逼真的360°全景的环境图像；●特点2：将集成时间按和开发成本降到最低。麦格纳EYERIS®摄像头技术包含多项功能，如拖车辅助、自动泊车、行人检测和环视功能。该技术的一项最新应用是一款3D全景环视系统，用于停车或低速行驶时给驾驶员提供辅助。驾驶员可以通过简单易用的界面来调整显示周围环境的视角画面；当在行驶道路上探测到障碍物时，系统将对驾驶员发出警报。五、以视觉识别和激光雷达为代表的感知技术快速发展与应用毫米波雷达1.博世：第五代毫米波雷达●特点1：第五代毫米波雷达带宽提高到1.5个G；●特点2：应用先进的技术原理进行无线电波调频，满足对多复杂目标高准确性的探测要求。2.海拉：77GHz雷达传感器●特点1：RF-CMOS工艺实现紧凑化设计；●特点2：雷达传感器的自我诊断系统，这是实现高度自动驾驶的重要先决条件。海拉正在利用模块化平台的方法研发24GHz雷达传感器，这有助于海拉实现将驾驶辅助系统应用于大众市场这一目标。五、以视觉识别和激光雷达为代表的感知技术快速发展与应用毫米波雷达3.麦格纳：ICONRADAR高清雷达●特点1：美国军用技术血统；●特点2：探测距离超过300m且4D扫描；●特点3：具备顶尖的成像能力和极强的抗干扰能力。4.加特兰：77GHz毫米波雷达芯片●特点1：高集成和低成本；●特点2：实现了业界最小的芯片功耗和芯片尺寸。2017年10月，加特兰微电子科技量产发布了业界首款基于CMOS工艺的77GHz毫米波雷达射频前端单芯片Yosemite。通过电路设计的创新，Yosemite芯片的功耗指标低至业界同类产品的1/3~1/2，实现了业界最小的芯片功耗和芯片尺寸，五、以视觉识别和激光雷达为代表的感知技术快速发展与应用激光雷达1.法雷奥：SCALA激光扫描仪●特点1：探测距离可达150m，探测视野达145°；●特点2：为周围环境创建3D地图，确切探测障碍物。法雷奥SCALA激光扫描仪是目前市场上首款也是唯一一款量产的车规级激光雷达，具有价格优势。探测距离可达150m，探测视野达145°，是自动驾驶汽车的核心部件。该技术通过为周围环境创建3D地图，可以确切探测障碍物，并对车辆进行精准定位，以确保车辆的整体安全。。2.大陆集团：高清三维激光扫描雷达●特点1：可捕获并处理实时三维机器视觉；●特点2：以高于50次/s的速度生成环境模型。大陆集团正致力于打造下一代环境模型，其研发的高清三维激光扫描雷达能满足监测汽车外围环境的严格要求，可捕获并处理实时三维机器视觉，不含任何机械组件。五、以视觉识别和激光雷达为代表的感知技术快速发展与应用传感器融合1.博世：自动驾驶域控制器（DCU）●特点1：搭载自动驾驶L2、L3需用的中央行车大脑；●特点2：在L3及未来的L4城市引导上，提供超强能力的域控制器。博世预计在2019年底向市场上推出量产的域控制器（DCU），搭载了自动驾驶L2、L3需用的中央行车大脑。在高速公路引导的高速段（L3）及未来的L4城市引导上，提供超强能力的域控制器（DCU），引入在基础底层、特征层面运算所需要的硬件加速，不排除像GPU硬件加速的芯片，提高域控制器（DCU）的运算能力。五、以视觉识别和激光雷达为代表的感知技术快速发展与应用传感器融合2.伟世通：DriveCore™●特点1：计算能力扩展性强；●特点2：运算能力覆盖500GFLOPS-20TFLOPS；●特点3：加速基于传感器的人工智能算法的开发。伟世通的DriveCore™是一款安全可靠的域控制器，计算能力扩展性强，可以整合多个摄像头、激光雷达、雷达传感器的数据。3.法雷奥：XtraVue超级视距●特点1：让驾驶员对道路状况一目了然；●特点2：整合复杂数据，呈现直观影像。法雷奥XtraVue超级视距集成了安装于车身的远程通讯天线、激光扫描仪和法雷奥摄像系统。它能让驾