汽车智能传感器装调与测试课件任务12视觉传感器与毫米波雷达融合标定

汽车智能传感器装调与测试视觉传感器与毫米波雷达融合标定任务十二场景某国产自主品牌汽车试制车间人物车间班组长王师傅、实习试制装调技师小刘情节智能网联汽车的ADAS功能与车辆安全息息相关，因此汽车设计上对ADAS系统的可靠性具有很高标准。智能传感器遍布全车的各个方位，同时为车辆不断地扫描周提出问题环境感知传感器有哪几种配置方法？什么事智能网联汽车传感器融合？传感器数据融合分为哪几步？围环境，提供ADAS所需要的信息。因此汽车工程人员通过让系统采纳多个传感器的信息，进行对比和强化，来实现环境感知的高度可靠性。王师傅告诉小刘，要想让视觉传感器与毫米波雷达在时间和空间上联手工作，还需要完成重要的一步工作，那就是传感器融合标定。小刘对于新的工作满怀信息，如果你是小刘，你是否也有相同的感受？任务导入

能根据设计图纸和装调手册，熟悉车辆各ADAS系统传

感器应用情况，规范完成传感器联合标定准备工作。

能根据设计图纸和装调手册，熟练操作系统主机，完

成视觉传感器与毫米波雷达融合标定。任务目标

智能网联汽车为了实现多种先进驾驶辅助（ADAS）

功能，在车辆上各个位置

都装有不同的数量和类型

的智能传感器。

智能网联汽车典型传感器应用方案如图所示，色块

不同颜色代表不同的传感

器类型与探测范围，色块

中的标识为所属ADAS系统。任务实施

多传感器配置检查

知识学习ADAS与传感器应用

智能网联汽车上安装的传感器包括超声波雷达、毫米波雷达、激光雷达、视觉传感器等。

各种不同的传感器对应不同的工况环境

和感知目标

例如毫米波雷达主要识别前向中远距离

障碍物（0~100m），如路面车辆、行人和路障等；超声波雷达主要识别车身近

距离障碍物（0.2~10m），如泊车过程中的路沿、静止的前后车辆以及过往的行

人等信息。任务实施

毫米波雷达部件测试

知识学习毫米波雷达结构组成超声波雷达毫米波雷达激光雷达视觉传感器远距离探测弱强强较强探测距离/m0.2-100-1001-2000.5-50探测角度/度12010-7015-36030-180环境影响不受光照影响，测量精度受物体表面形状、材质影响大角度分辨率高，抗电磁干扰强聚焦性好，易实现远程测量，能量高度

集中，具有一定危害性测量精度不受物体表面材质、形状等因

素的影响，受环境光照强度影响大夜间环境强强强弱全天候弱强强弱任务实施ADAS与传感器应用

环境感知传感器对比

多传感器配置检查

知识学习超声波雷达毫米波雷达激光雷达视觉传感器路标识别---ok目标识别能力弱弱较强强主要应用泊车辅助自适应巡航自动紧急制动前向碰撞预警盲区监测（可以建立车辆周边环境的三维模型）自动紧急制动车道偏离预警车道保持辅助盲区监测前向碰撞预警交通标志识别交通信号灯识别全景影像成本低适中高适中任务实施

多传感器配置检查

知识学习ADAS与传感器应用 每种传感器各有优劣，使用单一传感器无法完成无人驾驶的功能性与安全性的全面覆盖

比如仅靠视觉传感器识别物体，在遭遇大雾、雨雪等恶劣天气时很容易影响识别精度。

因此应该根据各传感器的特点，在不同感知需求的场景下选择不同的传感器，并且综合运用各个传感器的感知结果对周围环境进行感知。任务实施

多传感器配置检查

知识学习ADAS与传感器应用

环境感知传感器在智能网联汽车上的配置与自动驾驶级别密切相关，传感器的数量随着自动驾驶级别增高而变多。随着汽车智能化和网联化的发展，智能网联汽车配备的先进传感器的数量将会逐渐增加，预计无人驾驶汽车将会装配40个左右先进传感器。

智能网联汽车在自动驾驶功能实现上，各汽车企业围绕是否采用激光雷达分别采用两种不同的技术方案。任务实施环境感知传感器配置案例

多传感器配置检查

知识学习1）以激光雷达+视觉传感器的技

术方案

主张激光雷达能通过3D空间建

模降低对AI算法的要求，且在

雨、雪天气时能发挥出精确的

测距作用，在某一种传感器出

现故障时可以额外提供一定冗

余度。

该技术方案主要的问题是激光

雷达成本高，方案大规模商业

化落地较难。任务实施环境感知传感器配置案例

多传感器配置检查

知识学习

不使用成本较高的激光雷达，采用

毫米波雷达及超声波雷达的辅助视

觉传感器，用高级AI技术提升视觉

传感器环境感知精度。

视觉传感器为主的方案利用海量数

据训练视觉方案，改进算法突破探

测精度的瓶颈。任务实施环境感知传感器配置案例

多传感器配置检查

知识学习2）以视觉传感器为主的技术方案激光雷达+视觉传感器融合方案视觉传感器为主方案品牌极狐阿尔法S（华为）小鹏P5蔚来ET7极氪001（Mobiley

e）威马W6（百度）特斯拉Model3激光雷达321---视觉传感器1213111578毫米波雷达655151环境感知传感器配置案例

目前主流智能网联汽车车型的环境感知传感器配置如表所示。任务实施

多传感器配置检查

知识学习激光雷达+视觉传感器融合方案视觉传感器为主方案品牌极狐阿尔法S（华为）小鹏P5蔚来ET7极氪001（Mobiley

e）威马W6（百度）特斯拉Model3超声波雷达131212121212高精定位有有有有有无传感器数量343229282421环境感知传感器配置案例

目前主流智能网联汽车车型的环境感知传感器配置如表所示。任务实施

多传感器配置检查

知识学习分组方法：报数法每位同学1到5报数，报数相同的同学分为一组，每一组同学

报的数为该组的组别组员1组员4￭

每

5

人一组。分组/￭

组内推选出组长。5分

钟任务实施

技能操作

多传感器配置检查分工与计划制定分组选组长操作准备组长操作准备选组长组员3组员2操作准备分工注意事项•小组成员根据装调

手册和图纸绘制传

感器位置•参看所有传感器型号，

对比装调手册是否一

致组内分工5分

钟任务实施

技能操作

多传感器配置检查操作准备协助与

信息查询

操作监督与管理记录操作工作

流程分组/选组长毫米波雷达部件测试分工与计划制定5分

钟任务实施

技能操作

多传感器配置检查操作准备-制定计划工作目标操作准备工具

准备场地

整理工作

总结资料

查询任务

实施提示•

根据装调手册绘制简图•

记录雷达相关参数各小组推派代表

汇报计划制定情况5分

钟任务实施

技能操作

多传感器配置检查汇

报

计

划操作准备操作准备•

纸、笔、装调文件操作准备分组/选组长•

智能传感器实训平台或测试主机笔记本电脑选组长分工与计划制定•

车辆装调手册分组/•

手套5分

钟任务实施个人防护准备

资料/手册准备

技能操作

多传感器配置检查工具

准备场地准备分组/选组长

分工与计划制定

过程按要求填写记录在工

将任务实施学习要求作训操实•

小心雷达碰撞•

合理规划时间•

保持雷达表面清洁•

保持设备清洁•

如需拆检按照手册规范操作分组/选组长操作准备任务实施40

分钟（组长把控工作进度）

毫米波雷达部件测试

技能操作实操时间!作页表格中。注意事项安全提示

智能网联汽车传感器融合（SensorFusion），全称多传感器信息融合，是车辆环境感知系统使用多个（种）传感器进行工作中，综合各传感器感知数据，利用计算机进行分析处理以实现最佳协同感知效果，消除单一传感器的局限性，提高系

统容错性的过程以及技术，如图所示。任务实施传感器融合定义和方法

知识学习

传感器融合标定

传感器融合技术的优势主要体现在提高系统感知的准确度，最大程度发挥各个（种）传感器的优势；增加系统的感知维度，提高系统的可靠性和健壮性；增强环境适应能力。弥补了单一传感器对空间的分辨率和环境的语义不确定性；有效减少成本。实现多个价格低廉的传感器代替价格昂贵的传感器设备。任务实施传感器融合定义和方法

知识学习

传感器融合标定

环境感知传感器信息融合过程中需要解决如下问题，

1）数据对准。如何时不同传感器工作在同一时空框架下，必要时对时空配准导致的误差进行补偿。

2）解决探测的不确定性。处理传感器探测结果中的噪声信号。

3）数据关联问题，确定和区分来源于同一目标源的数据。

4）不完整、不一致以及虚假数据性问题。处理各个传感器的数据中不一致、可以有多种解释方式以及因为噪声或者干扰因素导致不真实的问题。为了解决以上问题，多传感器融合对车载系统的要求主要包括，

1）统一的同步时钟，保证传感器信息的时间一致性和正确性。

2）准确的多传感器标定，保证相同时间下不同传感器信息的空间一致性。任务实施传感器融合对车载系统的要求

知识学习

传感器融合标定

传感器数据融合方法按融合阶段数据的抽象程度分为数据级融合、特征级融合、目标级融合及决策级融合四类。其中，数据级融合与特征级融合又可称为前融合；目标级融合与决策级融合可看作各

个感知单元的后处理过程，又称为后融合。任务实施数据级融合前融合特征级融合目标级融合后融合决策级融合传感器数据融合

知识学习

传感器融合标定传感器数据融合方法数据级融合

一般为融合各个传感器采集的原始数据，如图像和激光雷达点云。任务实施

知识学习

传感器融合标定传感器数据融合方法特征级融合首先对各传感器的原始数据进行全局的特征提取，将提取到的全局特征进行融合，如对图像和点云经过深度神经网络提取到的特征图进行融合。任务实施

知识学习

传感器融合标定传感器数据融合方法目标级融合对每个传感器的数据进行目标检测，将所检测得的目标特征作为融合算法的输入。目标级融合需要通过

数据关联算法得到不同传感器检测目标之间的匹配关系。任务实施

知识学习

传感器融合标定传感器数据融合方法决策级融合将每个传感器看成一个封装完好的感知单元，每个感知单元根据感知任务输出其感知结果，如检测到的目标位置、路面区域及目标类别等，融合算法以各个感知单元的感知结果为输人，输出最终的融合感知结果。任务实施

知识学习

传感器融合标定传感器数据融合方法

视觉传感器为主、毫米波雷达为辅的方案是将毫米波雷达返回的目标点投影到图像上，围绕该点并结合先验知识，生成一个矩形的感兴趣区域，然后只在该区域内进行目标检测。如图12-3所示，图左侧为

视觉传感器画面，不同颜色的矩形准确框住了前方车辆，右侧图为毫米波雷达探测图，绿色为探测获取

的目标点，纵列绿点代表道路两侧栏杆，用红框框选的绿点代表俯视角度前方车辆相对于自车的位置。任务实施视觉传感器加毫米波雷达方案

知识学习

传感器融合标定传感器融合定义和方法

视觉传感器加毫米波雷达方案的优点：1.可以迅速地排除大量不会有目标的区域，能极大地提高识别速度。2.对于前碰撞预警系统，可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性3.根据目标的距离、角度、速度信息来进行碰撞时间计算，实现行人/车辆在预警时间阈值内预警，避免单目视觉距离测量及障碍物速度估计不准的问题。4.视觉传感器和毫米波雷达相互配合并共同构成汽车的感知系统，进行融合后取长补短，实现更稳定可靠的ADAS功能。任务实施

知识学习

传感器融合标定

视觉传感器与毫米波传感器融合标定主要为空间的融合，目的是要建立精确的毫米波雷达坐标系、三维世界坐标系、视觉感知系统坐标系三者的坐标转换关系。其中视觉感知系统坐标系包括了摄像头坐标系、图像坐标系和像素坐标系。

经过标定，毫米波雷达坐标系下的测量点可通过坐标系转换到视觉传感器对应的像素坐标系下，即实现毫米波雷达与摄像头两者的空间同步。任务实施觉传感器与毫米波传感器融合标定原理

知识学习

传感器融合标定

坐标转换过程可以分为以下三个步骤，如图所示：1.将毫米波雷达坐标系下的坐标转换到以视觉传感器为中心的世界坐标系中。2.将世界坐标系的坐标转换到视觉传感器坐标系中。3.将视觉传感器坐标系的坐标转换到图像坐标系中。任务实施视觉传感器与毫米波传感器融合标定原理

知识学习

传感器融合标定

视觉传感器与毫米波雷达传感器融合标定的主要分为标定准备、检测与设置摄像头内参矩阵、启动毫米波雷达程序、测量与设置传感器位置、标定结果验证五个步骤，如图所示。任务实施

知识学习

传感器融合标定传感器融合标定方法

（1）标定准备1.场地准备。融合标定场地一般与前视摄像头标定场地相似，场地要求平整、

空旷无建筑障碍物

。场地照明要求光线良好，没有反光、阴影，光线均匀、

照度适宜2.视觉传感器标定目标准备。准备棋盘标定板。以下内容采用顶点参数为（9，

7）

，单格边长为70mm的标定板作为示例。3.系统准备。进入视觉传感器与毫米波雷达传感器融合标定界面，如图所示。任务实施

知识学习

传感器融合标定传感器融合标定方法（2）检测与设置摄像头内参矩阵填写棋盘标定板参数。点击“相机标定

”，两人合作，

一人手持标定板站在摄像头

前，另外一个人操作标定主

机。标定板对准摄像头，前

后慢慢移动标定板

，直到

CALIBRATE标识亮起

，代

表着系统已有足够的数据进行校准如图所示。任务实施

知识学习

传感器融合标定传感器融合标定方法（2）检测与设置摄像头内参矩阵单击“计算

”按钮查看标定结果与

算出的内参矩阵参数，如图所示。任务实施

知识学习

传感器融合标定传感器融合标定方法

（2）检测与设置摄像头内参矩阵

点击“更改相机标定参数

”，打开参数设置程序，将计算出的内参矩阵参数填写入程序，如任务实施

知识学习

传感器融合标定传感器融合标定方法图所示。传感器融合标定方法3）启动毫米波雷达程序

编译毫米波雷达相应程序。4）测量与设置传感器位置

用直尺、卷尺等工具，规范测量毫米波雷达和摄像头相对距离参数、摄像头距离车辆后轴中心的距离。将测量结果填写入融合标定界面相应位置。填写时需注意长度单位。任务实施

知识学习

传感器融合标定（5）标定结果检验

按下“融合测试

”按键，开始标定结果检验。观察如图所示画面，查看

视觉传感器与毫米波雷达的融合感知

结果，检查项目包括：前方行人是否

被框选识别；在线框边是否出现距离

参数；距离参数是否准确；线框是否

准确完整框住前方物体。任务实施

知识学习

传感器融合标定传感器融合标定方法操作准备分工注意事项•一名小组成员操作

诊断仪•两名小组成员辅助

操作•一人测量•一人记录组内分工5分

钟任务实施

技能操作

传感器融合标定操作准备协助与

信息查询

操作监督与管理记录操作工作

流程5分

钟任务实施分组/选组长传感器融合标定

技能操作

传感器融合标定操作准备-制定计划工作目标分工与计划制定操作准备工具

准备场地

整理工作

总结资料

查询任务

实施提示•

精确测量参照物测量结果•注意拿取标定板•标定时注意遮挡各小组推派代表

汇报计划制定情况5分

钟任务实施

技能操作

传感器融合标定汇

报

计

划操作准备操作准备•

安全防护用品、棋盘标定板、视觉传感器、毫米波雷达、直尺、卷尺操作准备分组/选组长•

智能传感器实训平台或智能网联汽车选组长分工与计划制定•

车辆装调手册分组/•

手套5分

钟任务实施个人防护准备

资料/手册准备

技能操作

传感器融合标定工具

准备场地准备分组/选组长

分工与计划制定

过程按要求填写记录在工

将任务实施学习要求作训操实•

注意部件磕碰•

合理规划时间•

保持摄像头表面清洁•

保持设备清洁•

标定时注意防止遮挡操作准备分组/选组长任务实施40

分钟