模块六 传感器融合技术应用

自动驾驶汽车传感器技术与应用Contents模块一自动驾驶汽车概述模块二转速与相位传感器技术模块三环境感知技术模块四导航定位系统模块五车载网络技术模块六传感器融合技术应用模块六传感器融合技术应用一传感器调试与标定二多传感器融合案例拓展阅读技能实训思考与练习一传感器调试与标定（一）车载网络定义（二）车载网络技术的发展历程（三）车载网络技术的发展趋势及Telematics技术（四）车载网络的分类（五）车载网络技术应用概况高级驾驶辅助系统（AdvancedDrivingAssistanceSystem，ADAS）是利用安装在车上的各式各样传感器（毫米波雷达、激光雷达、单\\双目摄像头以及卫星导航），在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。（一）多传感器融合技术高级驾驶辅助系统实现ADAS的技术主要有三类，分别基于视觉传感器、毫米波雷达和激光雷达。由于激光雷达成本较高，目前主要使用视觉传感器、毫米波雷达。（1）基于视觉传感器：需要先进行目标识别，然后根据目标在图像中的像素大小来估算目标的距离。（2）基于毫米波雷达：毫米波雷达主要是通过对目标物发送电磁波并接受回波来获得目标物体距离、速度和角度。（3）基于激光雷达：成本高。将视觉传感器和雷达进行融合，相互配合共同构成汽车的感知系统，取长补短，实现更稳定可靠的ADAS功能。（一）多传感器融合技术高级驾驶辅助系统假设采用视觉传感器为主、毫米波雷达为辅的方案，则基本思路是将毫米波雷达返回的目标点投影到图像上，围绕该点并结合先验知识，生成一个矩形的感兴趣区域，然后只对该区域内进行目标检测。1）优点这个方案的优点是：可以迅速地排除大量不会有目标的区域，极大地提高识别速度。对于前碰撞系统（FCWS），它可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性。利用毫米波返回的目标的距离、角度、速度信息来进行碰撞时间计算，以达到预警功能，实现行人/车辆在预警时间阈值内预警，避免单目视觉距离测量及障碍物速度估计不准的问题。（一）多传感器融合技术优缺点2）缺点这个方案缺点如下：（1）实现起来有难度。理想情况下雷达点出现在车辆中间。首先因为雷达提供的目标横向距离不准确，再加上视觉传感器标定的误差，导致雷达的投影点对车的偏离可能比较严重。只能把感兴趣区域设置的比较大，但感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配上的混乱。交通拥挤的时候尤其容易出来这种情况。（2）噪声问题。对于性能比较差的毫米波，返回的目标点中包含了大量的噪声点，将这些点投影到图像上将会存在大量的矩形框，反而造成了程序的耗时。（一）多传感器融合技术优缺点毫米波雷达可以得到目标的x，y坐标信息，没有目标的z坐标信息。将毫米波雷达坐标系Om到世界坐标系OW的转换看作二维XY坐标系的转换Om和OW之间的关系有平移和旋转两种。毫米波雷达坐标到世界坐标的转换关系为：（二）联合标定分析毫米波雷达坐标到世界坐标的转换转换矩阵是由两部分组成：由角度所带来的旋转矩阵和平移产生的平移矩阵。其中，平移矩阵的平移量可以理解为毫米波雷达在世界坐标系的坐标，即毫米波雷达到视觉传感器的距离。因此，平移矩阵可以很好求出，直接利用卷尺就可以测量得到。如果毫米波雷达安装位置合适，也可以理解旋转矩阵为0。（二）联合标定分析毫米波雷达坐标到世界坐标的转换得到的世界坐标值是二维的，只有x，y值，没有z值，这个可以利用先验知识予以给定。假设毫米波雷达得到的点是物体的中心点，利用物体的宽度和高度信息，便可以得到其z坐标信息。由于方案是用于车辆和行人检测，假设目标的宽度W=1.6m，高度H=1.8m。可以得到目标点的世界坐标为（x，y，-H/2），注意z值是负值。由于我们的目的是在图像上将目标框出，因此，需要的是目标的左上顶点和右下顶点的坐标值，将这两个点转换到图像上，即可得到目标的矩形区域。根据3个已知变量的值加上视觉传感器外参，可以很容易求出像素坐标（u，v）。由于上面两个转换过程涉及外参问题，转换前提是需要先已知外参。（二）联合标定分析世界坐标到像素坐标的转换（1）操作平台：Windows2000以上版本或Linux等操作系统；（2）运行工具：visualstudio2013或者更高版本；（3）框架：ARM框架；（4）编程语言：C++编码。（二）联合标定分析代码运行环境二多传感器融合案例（一）激光雷达与摄像头性能对比（二）激光雷达和摄像头在自动驾驶汽车上的作用（三）激光雷达与摄像头的融合（四）融合算法激光雷达与摄像头性能对比激光雷达的优点在于，其探测距离较远，而且能够准确获取物体的三维信息；另外它的稳定性相当高，鲁棒性好。但目前激光雷达成本较高，而且产品的最终形态也还未确定。摄像头的优点是成本低廉，用摄像头做算法开发的人员也比较多，技术相对比较成熟。摄像头的劣势，第一，获取准确三维信息非常难（单目摄像头几乎不可能，也有人提出双目或三目摄像头去做）；另一个缺点是受环境光限制比较大。（一）激光雷达与摄像头性能对比周边物体感知，就是可能影响车辆通行性、安全性的静态物体和动态物体的识别，包括车辆，行人以及交通标志的识别，包括红绿灯识别和限速牌识别。自动驾驶过程中，环境感知信息主要有这几部分：一是行驶路径上的感知，对于结构化道路可能要感知的是行车线，就是我们所说的车道线以及道路的边缘、道路隔离物以及恶劣路况的识别；对非结构道路而言，其实会更加复杂。（二）激光雷达和摄像头在自动驾驶汽车上的作用交通标志的识别比如识别红绿灯和限速牌障碍物检测相当于把障碍物识别以及对障碍物进行分类车道线检测车道线检测在自动驾驶环境感知中，摄像头完成的工作包括（二）激光雷达和摄像头在自动驾驶汽车上的作用对车道线的检测主要分成三个步骤：车道线检测第一步，对获取到的图片预处理，拿到原始图像后，先通过处理变成一张灰度图，然后做图像增强；第二步，对车道线进行特征提取，首先把经过图像增强后的图片进行二值化（将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果），然后做边缘提取；第三步，直线拟合车道线检测难点在于，对于某些车道线模糊或车道线被泥土覆盖的情况、对于黑暗环境或雨雪天气或者在光线不是特别好的情况下，它对摄像头识别和提取都会造成一定的难度。（二）激光雷达和摄像头在自动驾驶汽车上的作用障碍物检测原始图像深度学习框架物体识别上图是我们在十字路口做的实验，获取到原始图像后，通过深度学习框架对物体进行识别。在这当中，做训练集其实是主要的难点。（二）激光雷达和摄像头在自动驾驶汽车上的作用交通标识识别原始图片自动检测与分割标志识别识别结果道路标识的识别（二）激光雷达和摄像头在自动驾驶汽车上的作用激光雷达的作用路沿检测障碍物识别车辆、行人等物体识别定位与地图创建（二）激光雷达和摄像头在自动驾驶汽车上的作用激光雷达原始点云地面点检测、提取路沿点直线拟合对于路沿检测，分为三个步骤：拿到原始点云，地面点检测、提取路沿点，通过路沿点的直线拟合，可以把路沿检测出来。路沿检测（二）激光雷达和摄像头在自动驾驶汽车上的作用障碍物识别障碍物的识别有这样几步，当激光雷达获取三维点云数据后，我们对障碍物进行一个聚类，如上图紫色包围框，就是识别在道路上的障碍物，它可能是动态也可能是静态的。障碍物识别路障行人车辆激光雷达三维点云数据障碍物检测、聚类（二）激光雷达和摄像头在自动驾驶汽车上的作用障碍物识别上图是车还是人？对于机器而言，它是不清楚的。右上角和右下角（上图）是我们做的训练集。做训练集是最难的，相当于要提前把不同物体做人工标识，而且这些标识的物体是在不同距离、不同方向上获取到的。三维信息提取训练集反射强度纵向高度轮廓分布位置姿态特征等（二）激光雷达和摄像头在自动驾驶汽车上的作用利用激光雷达进行辅助定位定位理论有两种：基于已知地图的定位方法以及基于未知地图的定位方法。基于已知地图定位方法，顾名思义，就是事先获取自动驾驶车的工作环境地图（高精度地图），然后根据高精度地图结合激光雷达及其它传感器通过自动驾驶定位算法获得准确的位置估计。现在大家普遍采用的是基于已知地图的定位方法。GPS、IMU、Encoder准确的位置估计无人驾驶定位算法（二）激光雷达和摄像头在自动驾驶汽车上的作用制作高精度地图也是一件非常困难的事情。举个例子，探月车在月球上，原来不知道月球的地图，只能靠机器人在月球上边走边定位，然后感知环境，相当于在过程中既完成了定位又完成了制图，也就是我们在业界所说的SLAM技术。激光雷达是获取高精度地图非常重要的传感器。通过GPS、IMU和Encoder对汽车做一个初步位置的估计，然后再结合激光雷达和高精度地图，通过自动驾驶定位算法最终得到汽车的位置信息。高精地图可分为基础层、道路信息层、周围环境信息层和其他信息层。（二）激光雷达和摄像头在自动驾驶汽车上的作用激光雷达与摄像头的融合

激光雷达与摄像头融合，其实相当于是激光雷达发挥激光雷达的优势，摄像头发挥摄像头的优势，他们在某些地方是做得不够好，需要两个传感器甚至多个传感器信息进行底层的融合。在融合的时候，首先第一步，标定。比如说左上角（图6-17），我看到凳子，左下角激光雷达也看到的是凳子，那么我通过标定的方式告诉它，其实两个是同一个物体。其实摄像头发现同一个物体是非常容易的，比如做人的跟踪或车的跟踪。对于激光雷达而言，要去识别前后帧是否同一辆车和同一个行人是非常困难的。Ster1:标定（三）激光雷达与摄像头的融合激光雷达有一个好处：如果可以通过摄像头告诉它前后两帧是同一个物体，那么通过激光雷达就可以知道物体在这前后两帧间隔内：运动速度和运动位移是多少。这是非常关键的，因为只有做运动物体的跟踪才能做一些预测。动态物体跟踪Ster2:根据目标设计融合算法（四）融合算法由相机捕获的图像数据由(U,V)表示，激光雷达捕获的3维点阵云用(X,Y,Z)表示（如图所示），我们的目标是建立一个转化矩阵M，将3维点(x,y,z)映射到2维点(u,v)，即：

矩阵(fu，fv，u0，v0)是相机参数，fu以及fv是XY轴方向尺度因子（水平方向和垂直方向的有效焦距），u0，v0是像平面（imageplane）的中心点，又称主点坐标。R为旋转矩阵，t为平移矢量。

根据不同姿态下定标板平面，可得到一系列的线性方程，解得标定参数。（四）融合算法拓展阅读拓展阅读近年来，从主流车企代表车型的自动驾驶感知方案来看，都广泛采用了多种传感器融合的方案。以通用CruiseAV为例，通用目标是实现L4级别的自动驾驶，全车搭载5个Velodyne的VLP1616线激光雷达、21个毫米波雷达（其中有12个由日本ALPS提供的79GHz的毫米波雷达）以及16个摄像头。技能实训（一）ADAS调试（二）评价与反馈1.准备工作(一)ADAS调试1.准备工作1）任务要求（1）能熟练使用设备和工具。（2）能按流程规范进行ADAS调试。2）组织方式（1）在教师的引导下分组，以小组为单位学习相关知识；每组人数不少于3人，分别负责主操作、辅助记录、安全监督。（2）依据操作规范实车认知线控系统，小组内互相讲述ADAS系统组成和工作原理。3）实施准备（1）安全要求及注意事项。学员进入实训区务必穿戴劳动防护用品，严格遵守实训区5S作业规程。严禁非专业人员或无实训教师在场的情况下私自对汽车高压电部件进行移除或安装。（2）场地设施。满足理论及实践教学的工学一体化教学教室和实训场地。（3）工具设备或耗材。2.实施步骤(一))ADAS调试1）补充下图多技术融合技术流程图。

2）补充毫米雷达系统网络架构示意。

(二)评价与反馈１.自我评价与反馈(１００分)(１)是否遵守课堂纪律、是否认真听讲占２０％，成绩为：(２)团队合作意识、尊重团队成员(包括老师和其他同学)占３０％，成绩为：(３)学习任务(工作任务)完成情况ꎬ占４０％成绩为：(４)５Ｓ现场管理及环保意识、成本控制意识占１０％，成绩为：自我评价与反馈的成绩为:

1.自我评价与反馈(二)评价与反馈２.小组评价与反馈(１００分)(１)是否遵守课堂纪律、是否认真听讲占２０％，成绩为：(２)团队合作意识、尊重团队成员(包括老师和其他同学)占３０％，成绩为：(３)学习任务(工作任务)完成情况占４０％，成绩为：(４)５Ｓ现场管理及环保意识、成本控制意识占１０％ꎬ成绩为：小组评价与反馈的成绩为:2.小组评价与反馈(二)评价与反馈３.教师评价与反馈(１００分)(１)是否遵守课堂纪律、是否认真听讲占２０％,成绩为：(２)团队合作意识、尊重团队成员(包括老师和其他同学)占３０％,成绩为：(３)学习任务(工作任务)完成情况占４０％,成绩为:(４)５Ｓ现场管理及环保意识、成本控制意识占１０％,成绩为：教师评价与反馈的成绩为:3.教师评价与反馈(二)评价与反馈４.综合评价综合成绩＝自我评价反馈成绩×３０％