智能网联汽车装调与测试（彩色版配实训工单）课件 任务3.2 视觉传感器安装与调试

任务3.2视觉传感器安装与调试学习目标CONTENTE01知识目标:掌握单目、双目和RGBD等摄像头的组成、分类、原理、特点和功用；掌握单目、双目和RGBD等摄像头的电路原理、连接方法和网络配置；掌握摄像头的标定方法与步骤；。02学习目标CONTENTE能力目标:能对各种视觉传感器进行标定，并对标定参数进行读取；能对各种视觉传感器的原始数据进行获取与查看；能对各种视觉传感器的功能是否正常进行调试；0102学习内容CONTENTE单目传感器的认知深度视觉传感器认知视觉传感器安装与调试0301 1.单目视觉传感器的认知任务3.2视觉传感器安装与调试结构1.单目视觉传感器的认知镜头组（lens）-

镜头组由光学镜片、滤光片和保护膜等组成；图像传感器

-

CMOS感光元件-MOS图像传感器（CIS）是模拟电路和数字电路的集成。主要有四个组件构成：微透镜、彩色滤光片（CF）、光电二极管（PD）、像素设计；DSP（数字信号处理芯片）物体通过镜头（LENS）生成光学图像投射到图像传感器上，光信号转变为电信号，再经过A/D（模数转换）后变为数字图像信号，最后送到DSP（数字信号处理芯片）中进行加工处理，由DSP将信号处理成特定格式的图像传输到显示屏上进行显示。）原理1.单目视觉传感器的认知前置主摄像头（×3）探测距离：250m/150m/60m前侧视摄像头（×2）探测距离：80m后侧视摄像头（×2）探测距离：100m后视摄像头（×1）探测距离：50m布局/分类1.单目视觉传感器的认知车载摄像机是实现众多预警、识别类ADAS功能的基础，是目前最便宜也是最常用的车载传感器之一。根据功能不同需要

4

个到

8

个摄像头，

应用在车道监测、盲点监测、障碍物监测、交通标志识别、行人识别、疲劳驾驶监测、倒车影像、

360

全景影像等等。应用1.单目视觉传感器的认知应用了机器学习和人工智能算法的图像识别技术让自动驾驶汽车可以分辨道路上的车道、车辆、行人和交通标志等，是自动驾驶汽车进行决策的重要依据。在目标识别的基础上，车载摄像头可以实现测距和测速等功能。距离测算为自动驾驶汽车的碰撞预警、自适应巡航等功能提供决策数据源应用1.单目视觉传感器的认知应用1.单目视觉传感器的认知特斯拉以视觉为主的自动驾驶方案特斯拉纯视觉自动驾驶解决方案是特斯拉在2021年推出的一种基于摄像头的自动驾驶系统，它不再依赖于毫米波雷达等其他传感器。特斯拉的纯视觉方案采用了HydraNets结构，将八颗摄像头的图像输入到一个神经网络中，实现对3D环境的感知和建模。特斯拉还利用了自研的超级计算机Dojo和AI芯片D1来提升自动驾驶系统的性能和效率。应用1.单目视觉传感器的认知Intel

Mobileye自动驾驶方案Intel

Mobileye视觉自动驾驶方案是一种基于摄像头的自动驾驶系统，它利用先进的人工智能技术和高性能芯片来实现对道路环境的感知、规划和控制。Mobileye的目标是通过视觉方案来达到L4级别的自动驾驶，而不依赖于雷达或激光雷达等其他传感器。Mobileye的视觉方案已经在全球多个城市进行了开放道路测试，并且已经集成到了超过1.25亿辆汽车中相比于毫米波雷达，目前摄像头的主要优势在于：--目标识别与分类

-

目前普通的3D毫米波雷达仅可以检测到前方是否有障碍物，而无法精准识别障碍物的大小和类别；例如：各类车道线识别、红绿灯识别以及交通标志识别等；--可通行空间检测（FreeSpace）

-

对车辆行驶的安全边界（可行驶区域）进行划分，主要对车辆、普通路边沿、侧石边沿、没有障碍物可见的边界、未知边界进行划分；--对横向移动目标的探测能力

，比如对十字路口横穿的行人以及车辆的探测和追踪；--定位与地图创建

-

即视觉SLAM技术，技术更加成熟，也更有应用前景；特点1.单目视觉传感器的认知在自动驾驶系统中，激光雷达与摄像头感知作用比较类似，但相比激光雷达，其优势为：--红绿灯识别及交通标示识别--成本优势，且算法及技术成熟度比较高--物体识别率高特点1.单目视觉传感器的认知劣势--

受天气、光照变化影响大，极端恶劣天气下视觉传感器会失效；--

测距/测速性能不如激光雷达和毫米波雷达，一般都进行融合；特点1.单目视觉传感器的认知02 2.深度视觉传感器的认知任务3.2视觉传感器安装与调试深度相机又称之为3D相机，顾名思义，就是通过该相机能检测出拍摄空间的景深距离，也就是三维的位置和尺寸信息，使得整个计算系统获得环境和对象的三维立体数据。这也是与普通摄像头最大的区别。定义2.深度视觉传感器的认知结构光(Structured-light)，代表公司有奥比中光，苹果(Prime

Sense)，微软

Kinect-1，英特尔

RealSense,

MantisVision等。双目视觉(Stereo)，代表公司

Leap

Motion，ZED，

大疆;光飞行时间法(TOF)，代表公司微软Kinect-2，PMD，SoftKinect，

联想

Phab。分类2.深度视觉传感器的认知原理2.深度视觉传感器的认知结构光(Structured-light)其原理是基本原理是，通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。原理2.深度视觉传感器的认知TOF顾名思义是测量光飞行时间来取得距离，具体而言就是通过给目标连续发射激光脉冲，然后用传感器

接收从反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标物距离。原理2.深度视觉传感器的认知双目Stereo双目立体视觉(Binocular

Stereo

Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备

从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的

方法。特点2.深度视觉传感器的认知注意：像特斯拉，小鹏P7装的三目摄像头和Stereo

camera有很大差别，首先三目的三颗摄像头不是为了提供立体视觉/测距，三目的每个摄像头fov都不一样，每一颗都有各自的使用场景。而在传统双目视觉里面，两颗摄像头是一样的，图像使用特征点计算的算法之后可以用来测距应用2.深度视觉传感器的认知应用2.深度视觉传感器的认知斯巴鲁EyeSight驾驶辅助系统EyeSight驾驶辅助系统是通过双目立体摄像头立体有效地掌握环境状况，