智能网联汽车环境感知技术-项目二 视觉传感器标定与测试

智能网联汽车环境感知技术视觉传感器

标定与测试PART2

智能网联汽车上的各种安全辅助驾驶帮助驾驶人减轻驾驶负担，并提高行车安全性，其中辅助泊车功能(倒车影像、360全景泊车等)更是新手小白驾驶人福音。该功能可以为驾驶人提供无盲区的泊车视野，在降低驾驶人泊车难度的同时提高了泊车的安全性，智能网联汽车辅助泊车功能的核心传感器是视觉传感器，但是在实际使用过程中却难以保证传感器及其算法100％的可靠。例如宝马汽车的摄像头故障问题:有宝马５系的车主反馈，倒车时车内显示器显示摄像头故障、无倒车影像画面，且下车检查摄像头并无损坏，之后重启几次车辆后倒车影像恢复正常。情景导入

其实这类问题不仅仅是在宝马５系的车上出现，早在2019年，美国就针对宝马倒车摄像头的问题进行过大规模召回，当时涉及了５０多个车型，３系、５系、７系、Ｘ１、Ｘ３、Ｘ５等都有包含，一共有超过２５万辆车参与那次召回，问题的原因就是摄像头软件问题，可能导致倒车影像不可见，会增加行车风险。其解决措施就是升级摄像头软件，调整软件设置参数、修复软件bug。从以上两个案例可以看出，视觉传感器是智能网联汽车智能辅助驾驶必不可少的传感器，其性能的好坏将直接影响智能网联汽车智能化的优劣，以及行车安全性的高低。本项目将主要介绍视觉传感器的基本知识、标定测试以及视觉传感器的环境感知流程内容，帮助学生更好的了解智能网联汽车的视觉传感器及其该类传感器的重要性。情景导入学习目标任务描述

视觉传感器(摄像头)是智能网联汽车自动驾驶不可或缺的环境感知传感器之一。本次任务从智能网联汽车视觉传感器(摄像头)的定义、组成、分类、特点、技术参数和标定方法等方面来介绍视觉传感器的相关知识。任务一

视觉传感器标定测试理论知识一、视觉传感器的基本知识1.视觉传感器的定义

视觉传感器是指通过对摄像机拍摄到的图像进行图像处理，来计算对象物的特征量(面积、重心、长度、位置等)。并输出数据和判断结果的传感器，视觉传感器是整个机器视觉系统信息的直接来源，主要由一个或者两个图形传感器组成，有时还要配以光投射器及其他辅助设备，视觉传感器的主要功能是获取足够的机器视觉系统要处理的原始图像。图２-１所示为视觉传感器。2.视觉传感器的组成视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成，通过视觉传感器可获得视觉处理系统所需的原始图像。如图２-３所示。3.视觉传感器的特点

视觉传感器的普遍特点主要包括:信息量丰富、可实现多任务检测、视觉ＳＬＡＭ、实时性好、能融合机器学习和深度学习等算法。(５)视觉传感器可以与机器学习和深度学习等融合，提高检测效果(４)实时获取场景信息(３)视觉ＳＬＡＭ(１)信息量极为丰富(２)多任务检测4.视觉传感器的分类智能网联汽车车载视觉传感器可以根据摄像头安装位置和摄像头的数目进行分类。(１)根据安装位置分类(２)根据摄像头数目分类5.视觉传感器的技术参数视觉传感器的技术参数主要分为图像传感器技术参数和摄像头技术参数。(１)图像传感器技术参数(２)摄像头技术参数二、视觉传感器的标定测试

1.视觉传感器的标定内容

视觉传感器的标定包括内部参数标定和外部参数标定，其中，内部参数标定主要包括视觉传感器像素、焦距、图像原点、畸变标定等。视觉传感器内部参数标定一般都是在生产过程中完成，智能网联汽车视觉传感器外部参数标定通常是指物距、角度等参数的标定，即视觉传感器的坐标系相对于世界坐标系的标定。如图２-１２所示。

2.视觉传感器标定原理

在图像检测过程中，为确定空间物体表面某点的三维几何位置在图像中对应点的位置，就需要建立视觉传感器成像的几何模型，这些几何模型的参数就是视觉传感器的参数，求解参数的过程就是视觉传感器的标定过程。为方便推导理解可以见问题分解为摄像头坐标系转换、像素坐标系转换和小孔成像坐标转换。

（1）摄像头坐标转换A（2）像素坐标系转换（3）小孔成像坐标转换BC

3.棋盘格标定车载相机

相机标定的好坏决定了视觉系统能否有效的定位和识别目标，相机标定可以利用象棋盘一样的标定图像来估计摄像头内部参数和外部参数，以便配置相机模型，这里外部参数指定是相机在汽车上的安装位置，即相机的离地高度以及相机相对于车辆坐标系的旋转角度。如图2-17所示。（1）棋盘格水平方向标定相机（2）棋盘格垂直方向标定相机

技能提升硬件配置系统配置效果测试ｏｐｅｎｃｖ测试1324学习小结１.视觉传感器是指通过对摄像机拍摄到的图像进行图像处理，来计算对象物的特征。量(面积、重心、长度、位置等)，并输出数据和判断结果的传感器。２.视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器，等组成。通过视觉传感器可获得视觉处理系统所需的原始图像。３.图像传感器的技术参数主要有:像素、帧率、靶面尺寸、感光度和信噪比等。４.摄像头技术参数主要有焦距、视场角、图像尺寸和镜头畸变等。学习小结５.视觉传感器的标定包括内部参数标定和外部参数标定,视觉传感器内部参数标定一般都是在生产过程中完成,视觉传感器外部参数标定通常是指物距、角度等参数的标定,即视觉传感器的坐标系相对于世界坐标系的标定。６.视觉传感器的标定原理可以分为摄像头坐标系转换、像素坐标系转换和小孔成像坐标转换７.棋盘格标定车载相机的外部参数主要指相机在汽车上的安装位置，即相机的离地高度以及相机相对于车辆坐标系的旋转角度。知识巩固学习目标任务描述任务二

视觉传感器的环境感知流程

通过本任务的学习，可以了解并掌握视觉传感器的具体环境感知流程。本次任务针对自动驾驶行业的视觉感知做简要介绍，从传感器端的对比，到数据的采集标注，进而对感知算法进行分析，给出各个模块的难点和解决方案，最后介绍感知模块的主流框架设计。理论知识一、视觉传感器视觉感知任务所以道路交通的感知功能主要包括以下三个方面：１)动态目标检测(车辆、行人和非机动车)２)静态物体识别(交通标志和红绿灯)３)可行驶区域的分割(道路区域和车道线)

前视摄像头12广角摄像头环视鱼眼摄像头3二、传感器组件技能提升视觉传感器环境感知流程具体如下:1.相机标定2.数据标注

3.功能划分(１)目标检测跟踪(图2-39)

(２)目标测量（图2-40）

(３)可通行区域划分(图2-41)

(４)车道线检测4.主流环境感知模块构架学习小结１，道路交通的感知功能主要包括动态目标检测(车辆、行人和非机动车)、静态物体识别(交通标志和红绿灯)、可行驶区域的分割(道路区域和车道线)。２，智能网联汽车视觉传感器视觉感知任务分解成目标检测、图像分割、目标测量、图像分类等。３，视觉感知传感器组