汽车智能传感器技术与应用项目七项目实施2：毫米波雷达与视觉传感器的标定融合（课件）

毫米波雷达与视觉传感器的标定融合智能汽车传感器应用技术思考讨论一、课程导入在智能驾驶技术中，单一的传感器是不能够解决所有问题的，那会有哪些解决方法呢？课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结2.1视觉传感器二、毫米波雷达与视觉传感器标定融合的意义视觉传感器检测辨识精度受光线、天气等因素影响较大，尤其是在晚上以及雨雾天气的时候，视觉传感器检测识别精度降低，稳定性降低，而检测纵向距离范围比较近，容易造成意外事故。课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结2.1毫米波雷达二、毫米波雷达与视觉传感器标定融合的意义毫米波雷达具有探测距离远、响应速度快、目标跟踪能力和识别能力好、抗干扰能力强、可全天时全天候工作、尺寸小、重量轻等优点，受光照和天气的因素影响比较小，稳定性比较高，并且测距精度也比较高，距离也比较远，但是目前毫米波雷达分辨比较低，对金属比较敏感，进而识别性能比较差，并且不能够识别目标的特征信息。课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结二、毫米波雷达与视觉传感器标定融合的意义课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结所以单一的传感器是不能够解决所有问题的，毫米波雷达与视觉传感器的融合也必然是一种趋势。三、标定的定义传感器标定是指通过软件工具等手段获得传感器的内部参数以及传感器之间的旋转、平移关系的外部参数。标定又分为内参标定和外参标定。课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结四、毫米波雷达与视觉传感器的联合标定建立精确的毫米波雷达坐标系、三维世界坐标系、视觉传感器坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。毫米波雷达与视觉传感器在空间的融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。传感器之间的标定问题，就是要将毫米波检测的目标转换到图像上。具体分为以下两个步骤。毫米波雷达坐标系世界坐标系相机坐标系课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结四、毫米波雷达与视觉传感器的联合标定

4.1将毫米波雷达坐标系的坐标转换到世界坐标系世界坐标系课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结四、毫米波雷达与视觉传感器的联合标定

4.2将世界坐标系的坐标转换到视觉传感器坐标系相机坐标系课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结四、毫米波雷达与视觉传感器的联合标定

4.3相机坐标系->图像坐标系->像素坐标系课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结四、毫米波雷达与视觉传感器的联合标定

4.3相机坐标系->图像坐标系->像素坐标系课程导入毫米波雷达与视觉传感器标定融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结五、毫米波雷达与视觉传感器融合的方式要实现视觉传感器与毫米波雷达的精确融合，需要满足两个条件：空间上同步（联合标定解决），时间上同步（时间戳解决），技术实现上的主要难点在于摄像头和雷达观测值的匹配、数据融合、多目标场景下有效目标库的维护等，还需要考虑容错性、灵活性、可拓展性、可靠性、安装等多方面的因素。视觉传感器与毫米波雷达的融合方式主要有三种：原始数据级融合、特征级别融合、目标级融合。5.1融合方式分类数据级融合特征级融合目标级融合课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结五、毫米波雷达与视觉传感器融合的方式原始数据级融合（信号级）就是雷达点云与图像像素的匹配。将雷达的点云数据坐标投影到图像像素上，与图像像素联合标定匹配。优点：信号级融合数据损失最小，可靠性最高。缺点：运算量大，雷达分辨率较低，点云数量极少，且噪声较大，很难与图像匹配。5.2原始数据级融合（信号级）数据级融合特征级融合目标级融合课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结特征级融合（图像级）主要是雷达辅助图像，将雷达的点目标投影到图像上，围绕该点，生成一个矩阵的感兴趣区域，然后只对该区域内进行搜索，搜索到以后跟雷达点目标进行匹配。以视觉为主体，将雷达输出的信息进行图像特征转化，然后与视觉系统的图像输出进行融合。5.3特征级融合（图像级）数据级融合特征级融合目标级融合五、毫米波雷达与视觉传感器融合的方式课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结优点：可以迅速地排除大量不会有车辆的区域，极大地提高识别速度。可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性。缺点：这个方法实现起来有难度。理想情况下雷达点出现在车辆中间。因为雷达提供的目标横向距离不准确，再加上摄像头标定的误差，导致雷达的投影点对车的偏离可能比较严重。我们只能把感兴趣区域设置的比较大。感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配上的混乱。在交通拥挤的时候，容易出现这种情况。5.3特征级融合（图像级）数据级融合特征级融合目标级融合五、毫米波雷达与视觉传感器融合的方式课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结主要是根据图像检测的目标结果与雷达探测的目标结果进行融合。主要的缺点是单目视觉传感器识别的纵向距离不准确，在障碍物比较多的情况下，很难匹配准确。还有可能出现雷达识别到了，单目相视觉传感器却没有识别到的情况。5.4目标级融合（图像级）数据级融合特征级融合目标级融合五、毫米波雷达与视觉传感器融合的方式课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结实现相机与毫米波雷达的精确融合，需要满足两个条件：空间上同步（联合标定解决），时间上同步（时间戳解决）。首先就要解决的是传感器之间的时间、空间同步问题。5.5融合的关键点数据级融合特征级融合目标级融合五、毫米波雷达与视觉传感器融合的方式课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结六、毫米波雷达与视觉传感器标定融合的准备工作包括智能网联汽车传感与感知实训系统应用实训台，简称应用实训台，鱼眼摄像头、易来达毫米波雷达。6.1设备的准备课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结六、毫米波雷达与视觉传感器标定融合的准备工作在进行毫米波雷达与视觉传感器的标定融合之前，需要将视觉传感器和毫米波雷达安装到应用实训台上，具体操作可参考项目2.3拆装与调试视觉传感器，项目4.3拆装与调试毫米波雷达。注意事项：①安装摄像头时，1号摄像头需要调整到与地面平行；②安装毫米波雷达的时候，需要注意毫米波雷达的安装方向。6.2设备的安装课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结六、毫米波雷达与视觉传感器标定融合的准备工作（1）把应用实训台架推到规定的位置；（2）在毫米波雷达下方的地面上贴一条黄色标志线，标志线需要与应用实训台架的“前面”（有毫米波雷达那一侧）平行，如下图所示；6.3场地的准备平行标志线课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结六、毫米波雷达与视觉传感器标定融合的准备工作（3）以毫米波雷达下方为圆心，圈出一个扇形报警区域（角度为40°），如下图所示。6.3场地的准备扇形报警区域课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结六、毫米波雷达与视觉传感器标定融合的准备工作（4）在毫米波雷达前方的地面上，每隔1m用标志线做好标记，报警距离范围为5米，如下图所示。6.3场地的准备扇形报警距离范围课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结七、毫米波雷达与视觉传感器标定融合的实现步骤（1）打开“视觉传感器与毫米波雷达标定融合”软件，主界面下图所示；7.1视觉传感器的标定软件主界面课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结七、毫米波雷达与视觉传感器标定融合的实现步骤（2）在软件主界面上侧中间位置找到“视觉传感器”，在下拉框中选择“RMONCAMA21080P”，如下图所示。因为有4个摄像头，所以有4个可选项，选中跟毫米波雷达同侧的鱼眼摄像头，打开后会在右侧显示该摄像头的图像，如果发现不是想要的摄像头，请重新选择。7.1视觉传感器的标定选择视觉传感器课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结七、毫米波雷达与视觉传感器标定融合的实现步骤（3）单击主界面左上角“摄像头状态”，选择“打开”，打开视觉传感器，如下图所示；7.1视觉传感器的标定打开摄像头课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结七、毫米波雷达与视觉传感器标定融合的实现步骤（4）打开摄像头之后，右侧将会实时显示摄像头画面，把标定板放置到合适的位置，然后单击“拍摄”按钮，共拍摄五个不同角度的照片，如下图所示；7.1视觉传感器的标定拍摄照片课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结七、毫米波雷达与视觉传感器标定融合的实现步骤（5）完成照片拍摄之后，选择“标定”按钮，进行标定，系统自动进行标定，如图7.48所示。如果标定效果不理想，则可以单击“删除”按钮，把之前拍摄的5张照片删除，重新调整标定板，重新拍摄即可。7.1视觉传感器的标定标定效果课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结七、毫米波雷达与视觉传感器标定融合的实现步骤（1）在软件主界面上侧中间位置找到“毫米波雷达”设置区（在“视觉传感器”下面），设置报警区域角度和报警区域距离，报警区域角度为20°（对应实际设置角度的一半），报警区域距离为5m；选择“打开设备“按钮，打开毫米波雷达，进行CAN通讯，如图7.49所示；7.2毫米波雷达的调试设置报警区域角度和报警区域距离课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结七、毫米波雷达与视觉传感器标定融合的实现步骤（2）打开毫米波雷达之后，检查坐标系是否有数据，如果有数据则说明毫米波雷达正常，如下图所示。7.2毫米波雷达的调试调试毫米波雷达课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结七、毫米波雷达与视觉传感器标定融合的实现步骤毫米波雷达和视觉传感器的融合是通过内参标定和外参标定获得相应参数，再经矩阵计算，将毫米波雷达坐标系上的数据转化到像素坐标系中，使得雷达点云投映到视觉传感器图像的对应位置。7.3毫米波雷达与视觉传感器的融合课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标定融合的意义标定的定义毫米波雷达与视觉传感器的联合标定毫米波雷达和视觉传感器标定融合的实现步骤总结七、毫米波雷达与视觉传感器标定融合的实现步骤完成视觉传感器的标定和毫米波雷达的调试之后，单击软件主界面中右侧中间的“融合“按钮，进行毫米波雷达和视觉传感器的标定融合。融合效果如下图所示7.3毫米波雷达与视觉传感器的融合融合的效果图课程导入毫米波雷达与视觉传感器融合的方式毫米波雷达和视觉传感器标定融合的准备工作毫米波雷达与视觉传感器标