智能网联汽车概论项目一汽车空调系统检查46课件

项目一汽车空调系统检查1智能网联汽车概论知识点：视觉传感器©2023郭彬allrightsreserved5.视觉传感器原理及应用认知1）视觉传感器的概念视觉传感器是人工智能的一个分支，起源于20世纪80年代的神经网络技术，通过使用光学系统和图像处理工具等来模拟人的视觉能力捕捉和处理场景的三维信息，理解并通过指挥特定的装置执行决策。视觉传感器是涉及多种技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术等。视觉传感器

第75

页5.视觉传感器原理及应用认知2）视觉传感器的类型根据镜头和布置方式的不同，视觉传感器主要包括：单目视觉传感器、双目视觉传感器、三目视觉传感器和环视视觉传感器。此外，红外夜视系统也属于视觉传感器一个独特的分支，图像处理算法在处理远红外夜视图像时中依然能够发挥作用。接下来将分别介绍这五类视觉传感器。

第76

页视觉传感器（1）单目视觉传感器如图所示，单目视觉传感器模块只包含一个摄像机和一个镜头。由于很多图像算法的研究都是基于单目视觉传感器开发的，因此相对于其他类别的车载视觉传感器，单目车载视觉传感器的算法成熟度更高。图

单目车载视觉传感器5.视觉传感器原理及应用认知

第77页视觉传感器单目视觉有两个先天的缺陷：一是它的视野完全取决于镜头。焦距短的镜头，视野广，但缺失远处的信息。反之亦然。二是单目测距的精度较低。摄像机的成像图是透视图，即越远的物体成像越小。近处的物体，需要用几百甚至上千个像素点描述；而处于远处的同一物体，可能只需要几个像素点即可描述出来。这种特性会导致越远的地方，一个像素点代表的距离越大。因此，对于单目视觉来说，物体越远，测距的精度越低。5.视觉传感器原理及应用认知

第78

页视觉传感器（2）双目视觉传感器由于单目测距存在缺陷，双目视觉应运而生，如图所示，双目视觉传感器模块包含两个摄像机和两个镜头。相近的两个摄像机拍摄物体时，会得到同一物体在相机成像平面的像素偏移量。有了像素偏移量、相机焦距和两个车载视觉传感器的实际距离这些信息，根据数学换算即可得到物体的距离。5.视觉传感器原理及应用认知

第79

页视觉传感器智能网联汽车环境感知技术将双目测距原理应用在图像上每一个像素点时，即可得到图像的深度信息，深度信息的加入，不仅能便于障碍物的分类，更能提高高精度地图定位匹配的精度。图

双目视觉传感器

5.视觉传感器原理及应用认知

第80

页视觉传感器与单目系统相比，双目系统的特点如下：一是成本比单目系统要高，但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；二是没有识别率的限制，因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；三是精度比单目高，直接利用视差计算距离。双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高。5.视觉传感器原理及应用认知

第81

页视觉传感器5.视觉传感器原理及应用认知（3）三目视觉传感器由于单目和双目都存在某些缺陷，因此，很多智能网联汽车采用了三目视觉传感器方案。三目视觉传感器是三个不同焦距单目车载视觉传感器的组合。

第82

页视觉传感器5.视觉传感器原理及应用认知图2-5-3为特斯拉AutoPilot2.0安装在风窗玻璃下方的三目视觉传感器，分别为25°视场、50°视场、150°视场。其中，25°视场用于检测前车道线、交通灯，50°视场负责一般的道路状况监测，150°视场用于检测平行车道道路状况以及行人和非机动车行驶的状况。图2-5-3特斯拉AutoPilot2.0三目视觉传感器

第83

页视觉传感器5.视觉传感器原理及应用认知对车载视觉传感器来说，感知的范围要么损失视野，要么损失距离。三目车载视觉传感器能较好地弥补感知范围的问题。三目摄像头的缺点是需要同时标定三个车载视觉传感器，因而工作量更大一些。其次，软件部分需要关联三个车载视觉传感器的数据，对算法要求也很高。

第84

页视觉传感器（4）环视视觉传感器之前提到的三款视觉传感器所用的镜头都是非鱼眼的，环视视觉传感器的镜头是鱼眼镜头，而且安装位置是朝向地面的。某些高配车型上会有“360°全景显示”功能，所用到的就是环视摄像机。5.视觉传感器原理及应用认知

第85

页视觉传感器5.视觉传感器原理及应用认知如图所示，安装于车辆前方、车辆左右后视镜下和车辆后方的四个鱼眼镜头采集图像，采集到的图像与下图类似。鱼眼摄像机为了获取足够大的视野，代价是图像的畸变严重。图

鱼眼镜头采集图像

第86页视觉传感器5.视觉传感器原理及应用认知通过标定值，进行图像的投影变换，可将图像还原成俯视图的样子。然后对四个方向的图像进行拼接，再在四幅图像的中间放上一张车的俯视图，即可实现从车顶往下看的效果，如图2-5-5所示。环视视觉传感器的感知范围并不大，主要用于车身5-10米内的障碍物检测、自主泊车时的库位线识别等。图

车载视觉传感器环视效果图

第87

页视觉传感器5.视觉传感器原理及应用认知（5）红外夜视视觉传感器夜间可见光成像的信噪比较低，从而导致视觉传感器夜间成像效果不佳，而红外夜视系统可以弥补光照不足条件下的视觉传感器的缺点。红外夜视系统可分为主动夜视和被动夜视两种类型。

第88

页视觉传感器主动夜视系统被动夜视系统是利用近红外光作光源照明目标，如红外LED、红外灯和近红外激光器等，用低照度摄像机或微光摄像机接收目标反射的红外光，转换成视频信号在监视器荧光屏上同步显示图像。有两种类型，一类是利用月光、星回光、夜天光等一切很微弱的自然光线，加以放大增强达到可视的目的，这类夜视仪也称为微光夜视仪。另一类是利用远红外敏感的探测器探测目标本身的热辐射，这类夜视仪也称为热像仪。5.视觉传感器原理及应用认知

第89

页视觉传感器红外夜视系统基于红外热成像原理，通过能够透过红外辐射的红外光学系统，将视场内景物的红外辐射聚焦到红外探测器上，红外探测器再将强弱不等的辐射信号转换成相应的电信号，然后经过放大和视频处理，形成可供人眼观察的视频图像。如图所示，镜头中出现了多个行人，且都被标记了出来。图

红外夜视系统检测效果图5.视觉传感器原理及应用认知

第90

页视觉传感器3）视觉传感器的基本组成一个典型的视觉传感器系统包括：光源、工业相机、工业镜头、图像处理单元、监视器、通讯/输入输出单元等。其核心则是图像处理单元，也就是把存入的大量数字化信息与模板库信息进行比较处理，并快速得出结论，其运算速度和准确率是关键指标。这主要通过高效合理的算法和处理能力强大的芯片来实现。5.视觉传感器原理及应用认知

第91

页视觉传感器4）视觉传感器的工作原理视觉传感器在智能网联汽车中解决的问题可以分为两类：物体的识别与跟踪、车辆本身的定位。5.视觉传感器原理及应用认知

第92

页视觉传感器（1）物体的识别与跟踪图

视觉传感器检测效果图通过机器学习的方法，智能网联汽车可以识别在行驶途中遇到的物体，比如行人、车辆、交通信号、交通标志、车道线、道路边界和自由行驶空间等。如图所示，图中不同颜色矩形框框出来的内容即为视觉传感器感知的对象。5.视觉传感器原理及应用认知

第93

页视觉传感器如图所示，一般来说，计算机识别识别的过程主要包括：图像输入、预处理（如平滑滤波、二值化、灰度转化等）、特征提取（如形状特征、阴影特征等）、特征分类、模板匹配和完全识别等。图

视觉传感器识别流程5.视觉传感器原理及应用认知

第94

页视觉传感器（2）车辆本身的定位智能网联汽车基于视觉技术用于车辆本身的定位时，主要采用视觉SLAM技术，根据提前建好的地图和实时的感知结果做匹配，获取智能网联汽车的当前位置。视觉SLAM系统可分为五个模块：传感器数据、视觉里程计、后端、建图、回环检测五个模块。5.视觉传感器原理及应用认知

第95

页视觉传感器（1）物体的识别与跟踪图

视觉SLAM定位流程图视觉SLAM定位流程图如图所示，输入传感器数据后，前台线程根据传感器数据根据传感器数据进行跟踪求解，实时恢复每个时刻的位姿，后台线程进行局部或全局优化，减少误差累积，并进行场景回路检测，最后输出设备实时位姿。5.视觉传感器原理及应用认知

第96

页视觉传感器5）视觉传感器的应用场景生物学研究表明，人类获取外界信息75%依靠视觉系统，而在驾驶环境中这一比例甚至高达90%。如果能够将视觉传感器系统应用到智能网联汽车领域，无疑将会大幅度提高自动驾驶的准确性。视觉传感器在整个环境感知系统中占据了非常重要的地位，在智能网联汽车上的应用，主要有两大类功能，分别是感知能力和定位能力。感知能力是实现对智能网联汽车各种环境信息的感知。定位能力主要采用视觉SLAM技术，根据提前建好的地图和实时的感知结果做匹配，获取智能网联汽车的当前位置。5.视觉传感器原理及应用认知

第97

页视觉传感器图

视觉传感器在智能网联汽车上的安装及应用由于成本相对较低、算法成熟度高、体积小、功能多样化等优势，智能网联汽车上的视觉传感器安装数量较多，如图2-5-10所示，为视觉传感器在智能网联汽车上的安装位置及功能示意图。本车中包含1个内置摄像头，1个前视摄像头、1个行车记录仪摄像头、1个倒车后视摄像头、2个测试摄像头和2个环视摄像头。5.视觉传感器原理及应用认知

第98

页视觉传感器图

视觉传感器在智能网联汽车上的具体应用视觉传感器可以提供的感知能力主要有：车道线识别、障碍物识别、交通标志识别、道路标志识别、交通信号灯识别、可行驶区域识别、周围车辆感知、交通状况感知、道路状况感知、车辆本身状态感知等。视觉传感器在智能网联汽车上的具体应用示意图如图及表所示。5.视觉传感器原理及应用认知

第99页视觉传感器ADAS摄像头位置具体功能车道偏离预警系统前视当前摄像头检测到车辆即将偏离车道线时发出警报盲区监测系统侧视利用侧视摄像头将后视镜盲区的影像显示在后视镜或驾驶舱内自动泊车辅助系统后视利用后视摄像头将车尾影像显示在驾驶舱内全景泊车系统前视、侧视、后视利用图像拼接技术将摄像头采集的影像组成周边全景图驾驶人疲劳预警系统内置利用内置摄像头检测驾驶人是否疲劳、闭眼等行人碰撞预警系统前视当前视摄像头检测到车辆与前方行人可能发生碰撞时发出警报车道保持辅助系统前视当前视摄像头检测到车辆即将偏离车道线时通知控制中心发出指示，纠正行驶方向交通标志识别系统前视、侧视利用前视、侧视摄像头识别前方和两侧的交通标志前向碰撞预警系统前视当前视摄像头检测到与前车距离小于安全距离时，发出警报表

视觉传感器在智能网联汽车上的具体应用5.视觉传感器原理及应用认知

第100页视觉传感器学习小结1.视觉传感器在整个环境感知系统中占据了非常重要的地位，相当于智能网联汽车的眼睛。视觉传感器在智能网联汽车上的应用，