智能网联汽车技术 课件 项目二 智能网联汽车感知与识别技术

项目二智能网联汽车感知与识别技术演讲人任务1环境感知传感器概述01任务目标02任务引入03能够了解环境感知技术的概念04目录01任务1环境感知传感器概述02任务引入任务引入智能网联汽车环境感知传感器在智能网联汽车上的配置与自动驾驶级别有关，自动驾驶级别越高，配置的传感器越多，随着汽车智能化和网联化的发展，智能网联汽车配备的先进传感器的数量将会逐渐增加，预计无人驾驶汽车将配备30个左右先进传感器。陈嘉豪同学在汽车4S店实习，某顾客想购入一款智能化水平较高的汽车，让陈嘉豪同学对汽车的环境感知系统配置做详细介绍。那么，智能汽车的环境感知系统一般包含哪些传感器的配置呢？03任务目标04能够了解环境感知技术的概念能够了解环境感知技术的概念2能够熟悉常用环境感知传感器的种类3能够熟悉常用环境感知传感器的主要应用场景知识链接在汽车行驶过程中，驾驶员会根据行人的移动轨迹预判其下一步的位置，然后依据车速进行安全路径的规划，智能驾驶车辆同样要能做到这些。多个移动物体的轨迹追踪与预测，难度比单一物体要高得多，这就是环境感知，也是智能驾驶汽车最具难度的技术。作为智能驾驶汽车的基础，同时也是智能驾驶的四大核心技术之一，环境感知技术利用传感器获取道路、车辆位置和障碍物信息，并将这些信息传输给车载控制中心。环境感知系统为智能驾驶汽车提供决策依据，是智能驾驶汽车的“通天眼”。环境感知系统由信息采集单元、信息处理单元和信息传输单元组成。自动驾驶四大核心技术分别是环境感知、精确定位、路径规划、线控执行，而环境感知主要包括三个方面：路面、静态物体和动态物体，是自动驾驶和机器人领域的核心技术。知识链接环境感知系统基于单一传感器、多传感器信息融合或车载自组织网络获取周围环境和车辆的实时信息，经信息处理单元根据一定算法识别处理后，通过信息传输单元实现车辆内部或车与车之间的信息共享。如下图2-1-1所示。常见的环境感知传感器有超声波传感器、毫米波雷达、激光雷达和视觉传感器等，各传感器的原理和特点不同，在环境感知技术中的使用也不同。图2-1-1环境感知系统组成超声波传感器超声波传感器是利用超声波的特性，将超声波信号转换成其它能量信号的传感器，具有频率高、波长短、绕射现象小等特点，对液体、固体的穿透性较强。超声波发射器发出的超声波脉冲,经媒质传到障碍物表面,反射后通过媒质传到接收器,测出超声脉冲从发射到接收所需的时间,根据媒质中的声速,求得从探头到障碍物表面之间的距离。原理如下图2-1-2所示。图2-1-2超声波传感器测距原理简图在汽车自动泊车辅助系统中，安装在前后保险杠的8个UPA（用于探测周围障碍物的超声波传感器）和安装在左右侧的4个ALA（用于测量停车位的长度的超声波传感器）共同作用，完成自动泊车辅助。如下图2-1-3所示。超声波传感器图2-1-3超声波传感器在自动泊车系统的应用UPA，又叫PDC传感器，安装在汽车前后保险杠，用于探测汽车前后障碍物，探测距离15~250cm。APA，又叫PLA传感器，安装在汽车侧面，用于测量停车位长度，探测距离30~500cm。毫米波雷达毫米波雷达是工作在毫米波频段的雷达，通过发射源向给定目标发射毫米波信号,并分析发射信号时间、频率和反射信号时间、频率之间的差值,可以精确测量出目标相对于雷达的距离和运动速度等信息。毫米波雷达类型与应用：如下图2-1-4所示图3-1-4毫米波雷达的类型毫米波雷达的特点：如下图2-1-5所示毫米波雷达图2-1-5毫米波雷达的特点激光雷达激光雷达是工作在光频波段的雷达，激光雷达系统由发射模块、接收模块、控制单元和信号处理系统组成。如下图2-1-6所示。图2-1-6激光雷达的组成激光雷达通过测算激光发射信号与激光回波信号的往返时间,计算出目标的距离和运动状态等信息,实现对目标的探测、跟踪和识别。根据发射激光信号的形式不同，分为脉冲法激光测距和相位法激光测距。工作原理如下图2-1-7所示。激光雷达logo图2-1-7激光雷达的工原理机械式激光雷达与固态激光雷达的参数对比，如表2-1-1所示。表2-1-1激光雷达与固态激光雷达参数对比视觉传感器视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成，以实现车道线识别、障碍物检测、交通标志和地面标志识别、交通信号灯识别、可行空间检测等功能。如下图2-1-8所示。图2-1-8视觉传感器的工作范围摄像头有两个重要的指标：分辨率和有效像素。视觉传感器分辨率实际上就是每场行同步脉冲数，这是因为行同步脉冲数越多，则对每场图像扫描的行数也越多。事实上，分辨率反映的是摄像头的纵向分辨能力。有效像素常写成两数相乘的形式，如“320x240”，其中：前一个数值表示单行视频信号的精细程度，即行分辨能力；后一个数值为分辨率，因而有效像素=行分辨能力×分辨率。视觉传感器是智能网联汽车实现预警、识别类ADAS功能的基础,广泛应用于各ADAS系统中，如表2-1-2所示。表2-1-2视觉传感器在智能网联汽车上的应用视觉传感器惯性导航系统惯性导航系统（INS）是利用惯性测量单元（IMU）的角度和加速度信息来计算载体的相对位置的一种定位技术。其主要由3个模块组成：惯性测量单元、信号预处理单元和机械力学编排模块。一个惯性测量单元包括3个相互正交的单轴加速度计（Accelerometer）和3个相互正交的单轴陀螺仪（Gyroscopes），惯性测量单元结构如图2-1-9所示。信号预处理部分对惯性测量单元输出信号进行信号调理、误差补偿并检查输出量范围等，以确保惯性测量单元正常工作。惯性导航系统图2-1-9惯性测量单元结构惯性导航通常与GPS的融合使用。全球导航卫星系统是应用最广泛的定位系统，它使用方便，成本低，定位精度可达到5米。然而定位导航系统的应用也面临着易受干扰、动态环境可靠性差、数据输出频率低、高层建筑卫星信号闭塞等问题。如果将卫星定位导航和惯性导航系统结合起来，两个导航系统可以相互补充，形成一个有机的整体。如图2-1-10所示。惯性导航系统图2-1-10惯性导航与GPS的融合使用GPS卫星定位系统GPS是通过接收和解译人造卫星所发射的电波信号来确定测站点位置的测量定位系统，它是英文“GlobalPositioningSystem”（全球定位系统）的缩写。GPS由24颗卫星组成，其中21颗工作卫星，3颗备用卫星，大致均匀地分布在6个轨道面上。轨道面相对于地球赤道面的倾角为55，各轨道平面之间的交角为60，卫星距地球约20200公里，运行周期为11小时58分。在世界任何地区任何时候至少可以同时接收4颗卫星信号，最多可以同时接收到11颗卫星发射的信号。每颗卫星上均装有4台高精度的原子钟（2台铯钟、2台铷钟），称为卫星钟，用以提供高精度的时间标准。GPS定位系统工作原理：已知一颗卫星的位置和接收器到它的距离，就可以确定接收器在一个球面上；已知两颗卫星的位置和接收器到它们的距离，就可以确定接收器在一个环上。工作原理如图2-1-11所示。GPS卫星定位系统图2-1-11GPS定位系统工作原理高精度地图狭义高精度地图是由传统图形商定义的精度更高、内容更详细的地图。例如，定义更详细信息。广义的高精度地图直接为我们构建了一个真实的三维世界。除了绝对位置的形状信息和拓扑关系外，还包括点云、语义和特征等属性。高精地图应包含的主要信息包括导向箭头、车道宽度、车道标线、车道分割/合并、车道宽度变化、护栏、障碍物等等。如下图所示。图2-1-12高精地图矢量元素高精度地图传统地图依赖于拓扑结构和传统的数据库，将各种元素作为对象堆放在地图上，将道路存储为路径。而高精度地图为了提高存储效率和机器可读性，地图在存储时分为矢量层和对象层。在高精度地图生产过程中，通过提取车辆上传感器采集的原始数据，获取高精度地图特征值，构成特征地图。在此基础上，进一步提取、处理和标注矢量图形，包括道路网络信息、道路属性信息、道路几何信息和道路上主要标志的抽象信息。高精地图生产过程包含以下内容：高精度地图道路元素图像处理在高精度地图中，为了给自动驾驶汽车提供道路的拓扑信息、交通约束信息，需要对道路元素进行识别并做语义标注等以便于后期高精度地图的制作。如图2-1-13所示。图2-1-13道路元素识别高精度地图图像识别与处理道路元素包括交通标志牌、红绿灯、车道线和隔离带等。高精度地图的制作需要对各种道路元素进行图像识别、语义标注等处理。图像识别与处理流程如下图所示。图2-1-14图像识别与处理流程高精度地图激光点云处理在高精度地图制作中，通常使用激光雷达扫描获取点云数据，进而重建三维道路环境，并利用重建好的三维环境进行道路要素特征的提取与识别，准确地反映道路环境并描述其道路环境特征，准确表述道路环境特征，得到高精度点云地图。如图2-1-15所示。图2-1-15高精度点云地图高精度地图激光点云特征提取激光雷达获取的原始数据集以激光点云文件形式进行存储。点云文件包含物体表面的离散点集、法向量、颜色或标签等基本信息，但缺少物体的曲面、体积以及各顶点间的几何拓扑等信息。高精度地图激光点云法向量法向量作为激光点云数据重要的局部特征，能够对散乱激光点云的局部进行有效的描述并为其他激光点云处理技术提供支撑。激光点云法向量的计算方法常用的有两种解决方案：曲面重建技术和法向量估计法。通常基于点云的特性、应用场景、计算资源等因素选择合适的方法。高精度地图激光点云配准利用激光点云配准技术将从各个视角下采集到的含有误差的激光点云通过旋转平移，消除误差并统一到同一坐标系下，还原道路的三维环境。激光点云配准算法繁多，主要分为粗配准以及精配准两种:粗匹配，用于两片激光点云初始位置误差较大的情况下快速取得两片激光点云的转换关系，输出精度不高；精匹配，适用于初始位置误差较小的情况下对两片激光点云的坐标进行精准的计算，输出精度高。高精度地图激光点云分割logo在高精度地图制作中，为了能够将灯杆、标志牌和路沿等交通道路元素从大量杂乱无序的激光点云中识别出来，需要对激光点云进行分割后提取出来。如图2-1-16所示。图2-1-16激光点云分割传感器融合传感器融合实际上是模仿人类通过五官获得外界信息的这种由感知到认知的过程。传感器数据融合是针对一个系统使用多个（种）传感器这一特定问题而提出的信息处理方法，可发挥多个（种）传感器的联合优势，消除单一传感器的局限性，把分布在不同位置的多个同类或不同类传感器所提供的数据资源加以综合，采用使计算机技术对其进行分析加以互补，实现最佳协同效果，获得对被观测对象的一致性解释与描述，提高系统的容错性，从而提高系统决策、规划、反应的快速性和正确性，使系统获得更充分的信息（1）传感器融合的过程。如下图所示。传感器融合图2-1-17传感器融合过程传感器融合多传感器融合结构根据传感器信息在不同信息层次上的融合，可以将多传感器信息融合划分为Low-level融合、High-level融合和混合融合结构。如图2-1-17所示。图2-1-17多传感器融合结构Low-level融合体系结构是一种较低信息层次上的融合，是集中式融合结构。集中式验合结构将各传感器获得的原始数据直接送到数据融合中心，进行数据对准、数据关联、预测等，在传感器端不需要任何处理，可以实现实时融合。如图2-1-18所示。传感器融合多传感器融合结构图2-1-18Low-level融合体系结构传感器融合数据级融合数据级融合又称像素级融合，是最低层次的融合，直接对传感器的观测数据进行融合处理，然后基于融合后的结果进行特征提取和判断决策。如图2-1-18所示。图2-1-18数据级融合体系结构传感器融合数据级融合根据融合内容，数据级融合又可以分为图像级融合、目标级融合和信号级融合。图像级融合以视觉为主体，将雷达输出的整体信息进行图像特征转化，与视觉系统的图像输出进行融合；目标级融合是对视觉和雷达的输出进行综合可信度加权，配合精度标定信息进行自适应的搜索匹配后融合输出；信号级融合是对视觉和雷达传感器ECU传出的数据源进行融合，其数据损失小、可靠性高，但需要大量的计算。传感器融合特征级融合特征级融合指在提取所采集数据包含的特征向量之后融合。特征向量用来体现所监测物理量的属性，在面向检测对象特征的融合中，这些特征信息是指采集图像中的目标或特别区域，如边缘、人物、建筑或车辆等信息。如图2-1-19所示。图2-1-19特征级融合体系结构任务2超声波传感器技术任务引入超声波是一种振动频率高于声波的机械波，具有频率高、波长短、绕射现象小，特别是方向性好、能够成为射线而定向传播等特点。新技术使得今天的超声波传感器非常坚固耐用并有着精确的感应能力，这些新增强的特性拓展了新的应用领域，完全超越了传统的超声波传感器的应用。超声波雷达在汽车智能技术中主要用作停车环境检测（倒车雷达），陈嘉豪同学在某汽车零配件公司实习，负责某倒车雷达产品的技术支持，那么倒车雷达是如何在倒车时实现监控与报警的呢？任务目标任务2超声波传感器技术22能够熟悉超声波传感器的工作原理及各项参数33能够熟悉超声波传感器的应用场景11能够熟悉超声波传感器的概念6知识链接55能够熟悉超声波传感器在汽车上的配置方案44能够熟悉超声波传感器的优缺点超声波传感器介绍及工作原理超声波雷达发展至今以及将近百年历史。其原理是发射人耳所不能察觉的高频率超声波，遇到障碍物后反弹回来。传感器在接收到发射回来的声波后，根据发射和接收声波的时间差来计算出传感器和障碍物之间的距离。超声波传感器是利用超声波的特性研制而成的传感器。超声波是一种振动频率高于声波的机械波，由换能晶片在电压的激励下发生振动产生的，它具有频率高、波长短、绕射现象小，特别是方向性好、能够成为射线而定向传播等特点。超声波对液体、固体的穿透本领很大，尤其是在阳光不透明的固体中，它可穿透几十米的深度。超声波碰到杂质或分界面会产生显著反射形成反射成回波，碰到活动物体能产生多普勒效应。因此超声波检测广泛应用在工业、国防、生物医学等方面以超声波作为检测手段，必须产生超声波和接收超声波。完成这种功能的装置就是超声波传感器，习惯上称为超声探头。超声波传感器介绍及工作原理超声波传感器是一款通过超声波发射装置发出超声波，根据接收器接到超声波时的时间差就可以知道距离了。这与雷达测距原理相似。超声波发射器向某一方向发射超声波，在发射时刻的同时开始计时，超声波在空气中传播，途中碰到障碍物就立即返回来，超声波接收器收到反射波就立即停止计时。（超声波在空气中的传播速度为340m/s，根据计时器记录的时间t，就可以计算出发射点距障碍物的距离(s)，即：s=340t/2）如下图2-2-1所示。超声波传感器介绍及工作原理图2-2-1超声波测距原理超声波传感器的优缺点在20世纪已经出现的车载超声波雷达，当时个体较大，灵敏度识别度都不是很高，识别有效范围在1米到2米之间，起初的功能也只是倒车时如果车辆后方近处有障碍物时发出声音警报。障碍物物体如果直径过小或太矮，那么都无法被超声波雷达侦测到。要实现现代车辆的辅助或自动泊车需求，那么2米的侦测范围是远远不够的。经过20多年的科技发展，如今的超声波雷达已经非常先进和灵敏。以博世公司的第六代超声波雷达为例，其长度只有4.4厘米大小，重量才14g，接收声波的传感器圆面半径只有2.3厘米，却可以达到从15厘米到5.5米的侦测范围。精度达到3cm，即只要物体直径超过3cm就可以感应得到。如下图所示。超声波传感器的优缺点图2-2-2超声波雷达除了侦测精度及侦测范围半径，超声波雷达还有一些其它的技术参数对泊车这个场景也至关重要，如水平方向扫描扇形的角度和垂直方向扫描的最大夹角等等。如下图2-2-3所示。超声波传感器的优缺点图2-2-3超声波雷达测量范围超声波是一种机械波，使得超声波雷达有着以下局限，如图所示。超声波传感器的优缺点图2-2-4超声波雷达的局限性超声波传感器在智能网联汽车上的应用场景由于超声波在传播过程中还受很多其它因素影响很大，如温度等等，所以在采购或使用此类传感器时还要考虑到很多其它的技术因素，详情将在有关超声波雷达的独立教学章节中提到。超声波雷达一般安装在车辆的前后保险杠上。在一些严酷工况下，比如被雨雪或泥巴覆盖的时候，硬件本身没有坏，但检测会出问题。博世的一款传感器有一个特点就是失聪检测，它把数字信号和不同传感器信号编码加在了一起，通过一个线性频率，使每个超声波发出的频率都不太一样，相当于每个超声波都有一个自己的身份认证码，这样极大提高了超声波的抗干扰能力，使得传感器可以做到多收多发，不仅抗干扰能力提升了，整个系统的刷新时间也会变得更快。如下图2-2-4所示。超声波传感器在智能网联汽车上的应用场景图2-2-4超声波雷达在智能网联汽车的应用超声波传感器在智能网联汽车上的配置方案博世的这款第六代超声波雷达水平扫描扇形角度达到75度，也就是说要实现360全面覆盖的全自动泊车，那5，6个此类雷达就足够。但在实际大部分车辆的配备中，整车厂宁愿选择扫描角度小但侦测范围半径大的超声波雷达。因此大部分车辆的自动泊车中都安装大量传感器。比如蔚来自动驾驶系统NIOPilot(SAEL2)就包括了12个超声波雷达。如下图2-2-5所示。超声波传感器在智能网联汽车上的配置方案图3-2-5蔚来汽车自动驾驶系统超声波传感器的安装（1）确定超声波传感器安装位置：①离地高度：50~70cm。②水平间距：两点之间的距离根据实际情况合理布局。01（2）选择超声波传感器钻头直径：要使钻头的直径与传感器的直径相等，为18.8mm。02（3）安装超声波传感器：使箭头方向朝上，然后安装超声波传感器。03（4）均衡用力压紧：在超声波传感器的边缘均衡用力，将传感器压入，并且与安装孔贴紧。04（5）连接插头，用力拧紧：连接防水、防尘插头，并且用力拧紧。05（6）确定配线的长度：超声波传感器线束的标配长度为2.5m左右，可以根据车型的实际需要截取。06超声波传感器的标定（1）在工作区放置工作牌，将超声波雷达安装在支架上。（2）将超声波雷达和控制盒线束连接。（3）打开超声波雷达控制盒供电开关、超声波电源开关。（4）在超声波雷达正前方1m处放置障碍物（或站立人模拟障碍物）。（5）观察超声波显示界面测距数值。（6）前后左右移动障碍物，观察测距数值变化。在超声波雷达的不感应区域、限定区域和不确定区域示意中标记相应区域尺寸。（7）组装和连接示波器。（8）将示波器测试针连接控制面板端口CH2（信号）、CH1（接地）。（9）打开示波器，测试超声波雷达发射的脉冲信号。超声波传感器的标定（10）观察波形，分析超声波雷达发射信号的脉冲周期。（11）整理实验场地。在车后2米内无障碍物的条件下，将倒车挡挂入后，仔细分辨倒车雷达模块通电后的自检。谢谢任务3毫米波雷达技术01任务3毫米波雷达技术02任务引入任务引入自动驾驶技术发展至今，该领域目前已经演变成了融合感知派和视觉感知派这两条截然不同的技术路线。除了特斯拉之外，绝大多数车企都属于融合感知派，它们往往会采用激光雷达+毫米波雷达+摄像头等多重冗余感知方案。对于融合感知派成员来说，激光雷达、毫米波雷达已经不再是装不装的问题，而是需要装多少个的问题。正当大多数车企还在纠结于应该在自己的产品上搭载多少颗激光雷达，多少颗毫米波雷达时，从2022年2月中旬开始，特斯拉投放在北美市场的ModelS和ModelX将不再配备毫米波雷达，这也就意味着特斯拉在北美市场上已经实现了纯视觉自动驾驶的这一愿景，正式进入了它想要的纯视觉智能驾驶时代。你是否认同不搭载毫米波雷达的自动驾驶方案呢？03任务目标04了解毫米波雷达定义、结构、功能、工作原理了解毫米波雷达定义、结构、功能、工作原理020103042了解毫米波雷达在智能网联汽车整车的作用4能够熟悉毫米波雷达的优缺点3能够熟悉毫米波雷达的应用场景5能够熟悉毫米波雷达在汽车上的配置方案毫米波雷达介绍毫米波雷达：MillimeterWaveRADAR（MillimeterWaveRadioDetectionAndRanging无线电探测与测距）。毫米波是指波长为1~10mm的电磁波，对应的频率范围为30~300GHz。电磁波波普如下图2-3-1所示。图2-3-1电磁波波谱毫米波雷达介绍毫米波雷达是工作在毫米波频段的雷达，它通过发射与接收高频电磁波来探测目标，后端信号处理模块利用回波信号计算出目标的距离、速度和角度等信息。按照测量目标的距离远近可划分为短程雷达（SRR）、中程雷达（MRR）、远程雷达（LRR)。如下图2-3-2所示。图2-3-2毫米波雷达频段与距离分类毫米波雷达的组成毫米波雷达是一种利用毫米波频段进行雷达测量的传感器。它由发射模块、接收模块、天线和信号处理模块构成。毫米波工作时，发射模块通过天线将电信号（电能）转化为电磁波发出，接收模块接收到射频信号后，将射频电信号转换为低频信号，再由信号处理模块从信号中获取距离、速度和角度等信息。毫米波雷达的发射模块负责产生并发射毫米波信号。通常使用毫米波频段的电子器件，如谐振器或振荡器来产生毫米波信号。毫米波雷达的天线用于发射和接收毫米波信号。毫米波雷达的接收模块负责接收并处理回波信号。接收模块通常包括低噪声放大器、混频器和解调器等电子器件，用于增强和解调接收到的信号。天线的设计通常需要满足较高的增益和方向性要求，以便有效地发射和接收毫米波信号。毫米波雷达的信号处理模块用于对接收到的回波信号进行处理和分析，通常包括数字信号处理器（DSP）和算法，用于提取出目标的位置、速度、尺寸等信息。毫米波雷达的组成以上是毫米波雷达的一些主要组成部分。不同型号和应用的毫米波雷达可能会有所不同，但通常都会包含这些基本组件。毫米波雷达的组成如图2-3-3所示。图2-3-3毫米波雷达的组成05毫米波雷达测距原理毫米波雷达测距原理与激光雷达相比毫米波雷达会有很多测量短距离的场景，如侧向警示、倒车警示等，因此主要以FMCW调制方法来测距。测距原理为：通过振荡器形成持续变化的信号，而发出信号和接收信号之间形成频率差，其差值与发射-接收时间差成线性关系，只要通过频率差就能计算车辆与物体距离。如图2-3-4所示。图2-3-4毫米波测距原理06毫米波雷达测速原理毫米波雷达测速原理（1）毫米波雷达测速主要是基于多普勒效应来测速。（2）当发射的电磁波和被探测目标有相对移动、回波的频率会和发射波的频率不同，通过检测这个频率差可以测得目标相对于雷达的移动速度。如下图2-3-5所示。图2-3-5毫米波测速原理07毫米波雷达角度测量原理毫米波雷达角度测量原理（1）毫米波雷达方位测量主要包括水平角度和垂直角度的测量。（2）通过毫米波雷达的发射天线（TX）发射出毫米波后，遇到被监测物体，反射回来，通过毫米波雷达并列的接收天线（RX1和RX2），收到同一监测目标反射回来的毫米波，根据反射回波的相位差（b）以及RX1和RX2间的距离（d），就可以通过三角函数计算出被监测目标的方位角（αAZ）。（3）为了提高方位的测量精度，采用使用大量阵列天线来构成窄波束的方法。如下图2-3-6所示。毫米波雷达角度测量原理图3-3-5毫米波角度测量毫米波雷达优缺点毫米波雷达是唯一具备“全天候全天时”工作能力的车载传感器，是智能网联汽车不可或缺的核心传感器之一。08优点优点（1）精度高，抗干扰能力强。毫米波雷达工作在高频段，测量精度高，并且由于周围噪声和干扰处于中低频区，基本上不会影响毫米雷达的正常运行；（2）高分辨率，多目标。毫米波雷达的高分辨率，利于分辨出距离较近的多目标；（3）高频率，低功率。毫米波雷达不同型号功耗不同，一般低于12W；（4）探测距离远，实时性高。传播速度与光速一样，可以快速地测量出目标的距离、速度和角度等信息；（5）全天候全天时。具有很强的穿透能力，在雨、雪、大雾、尘埃等恶劣天气依然可以正常工作。不受光线强度影响，可全天时工作；（6）敏感高，误报低。毫米波雷达金属电磁反射强，其探测不受颜色与温度的影响，误报低；（7）可测速，可测距。毫米波雷达可同时探测多个目标的速度和距离；优点图2-3-6毫米波雷达优点09缺点缺点（1）虚假报警：毫米波雷达是利用目标对电磁波的反射来发现并测定目标位置，而充满杂波的外部环境给毫米波雷达感知经常带来虚警问题；（2）盲区：覆盖区域呈扇形，有盲点区域；（3）交通标志：无法识别交通标志和交通信号灯；（4）道路标志：无法识别道路标线；毫米波雷达的分类根据毫米波雷达的波长及基于此的测量距离，市场上的毫米波雷达可以分为两大类。（1）24GHz毫米波雷达又名角雷达，严格来说是厘米波雷达。其在传统车辆中已经应用多年，属于中短距离雷达，一般安装在车辆的两侧，测距范围在70米之内。可以用来扫描驾驶员盲区，在车辆变道或拐弯时提供自动或辅助功能。（2）77GHz毫米波雷达又名中长距离雷达，主要安装在车辆前后方，高配车辆上的测距范围今天可接近300米，是ADAS辅助驾驶功能的核心。毫米波雷达的技术参数毫米波雷达的技术参数主要有：最大探测距离、距离分辨率、距离灵敏度、距离测量精度、最大探测速度等，如下图所示。图2-3-6毫米波雷达测量技术参数毫米波雷达的应用盲点检测/变道辅助（BSD/LCA）在智能网联汽车的盲点检测/变道辅助功能中，毫米波雷达用于监测驾驶员视线盲区的其他车辆。当其他车辆进入盲区时，系统会发出警告，通常通过闪烁的灯光或声音提醒驾驶员，以减少变道时的潜在危险。毫米波雷达的应用自动紧急制动系统（AEB）AEB是一种主动安全技术，智能网联汽车在检测到潜在碰撞风险时，能够自动启动紧急制动以避免或减轻碰撞的严重程度。车载毫米波雷达通过发射毫米波并接收返回信号，能够检测车辆前方的目标，包括其他车辆、行人、或静止障碍物，可以测量目标与前方车辆之间的距离和相对速度。基于与前方车辆的距离和速度信息，车辆的AEB系统使用算法来评估潜在的碰撞风险。如果系统判断存在碰撞风险，并且驾驶员没有采取适当的行动，AEB系统将启动紧急制动。当AEB系统确定有碰撞风险时，系统会主动触发车辆的制动系统，使车辆减速或停车，以减轻碰撞的严重程度或完全避免碰撞。如图2-3-7所示。毫米波雷达的应用自适应巡航（ACC）ACC是一种先进的驾驶辅助系统，能够维持车辆在高速公路上的巡航速度，并根据前方交通状况进行智能调整速度。车载毫米波雷达能够精确测量前方目标与巡航车辆之间的距离和相对于巡航车辆的速度。基于毫米波雷达提供的目标距离和速度信息，ACC系统使用算法来实时调整巡航车辆的速度，以保持与前方目标的安全距离。毫米波雷达的应用开门预警（DOW）当开门预警功能开启时，安装于汽车两侧的毫米波雷达检测到盲区有目标车辆驶入，且满足报警条件时，驾驶员或乘客打开同侧的车门，系统发出报警，提醒驾驶员或乘客此时下车危险。毫米波雷达的应用后方追尾预警（RCW）当开启后方追尾预警功能时，当安装于汽车后方的毫米波雷达检测到本车道有车辆快速接近，存在碰撞危险，汽车会自动开启双闪警示后方车辆减速，同时仪表显示提醒驾驶员，该功能为0车速启动。如图2-3-8所示。毫米波雷达的应用后方追尾预警（RCW）图2-3-7FCW前方碰撞预警图2-3-8RCW后方碰撞预警10毫米波雷达的安装调试毫米波雷达安装工具设备：电钻工具：平口起子、梅花起子（拆附件）、专用钻头、彩笔、卷尺、电胶布、电笔（安装用）、纸胶带。安装调试过程第1步：拆后保险杠。检查后保险杆内部构造情况，如车架大梁、撞击缓冲泡沫块等，尽量避开此类位置。如果有塑料螺丝动作得轻一些。第2步：打孔。用标尺度量出探头的位置，用配套的专用钻头沿标记处开孔，并将孔修理平滑。（如果是换用新的倒车毫米波雷达，这个较危险的步骤就可以省去）第3步：安装倒车毫米波雷达的探头。按探头编号从左至右依次装入打孔处。理顺探头连线，并上穿至后备箱左侧处。第4步：安装倒车毫米波雷达的控制器，拆开后备箱左侧内衬板及左尾灯，安装上倒车毫米波雷达控制器，电源信号线接在倒车灯线。第5步：安装倒车毫米波雷达的显示器。根据用车习惯找毫米波雷达显示器的固定位置，建议安装在左侧A柱下方。将显示器信号线沿左侧门边压条下方或地胶垫下，排到后备箱左侧处，依顺序把显示器及探头插头接往主控制器。安装调试过程第6步：测试倒车毫米波雷达是否能正常使用。挂入倒档测试倒车毫米波雷达的工作状况，确定各探头及显示器是否正常，然后装回尾灯及内饰板、保险杠。11毫米波雷达的标定毫米波雷达的标定（1）在工作区放置工作牌，将毫米波雷达安装在支架上。在右侧编辑区输入内容（4）在毫米波雷达正前方固定距离放置模拟目标，记录距离。在右侧编辑区输入内容（2）将毫米波雷达RACN信号线与控制柜CAN-H和CAN-L连接。在右侧编辑区输入内容（5）打开控制柜电源，启动计算机。在右侧编辑区输入内容（3）打开毫米波雷达控制盒供电开关、电源开关。在右侧编辑区输入内容（6）启动“RadarViewer"或其他毫米波测试软件。在右侧编辑区输入内容（7）对毫米波雷达安装位置进行调整、标定（模拟目标在测试软件中显示信息与实际一致）。在右侧编辑区输入内容（8）记录软件测试界面的距离、幅度、角度等信息。在右侧编辑区输入内容（9）记录最远距离测试点位数据。（10）记录距离精度测试点位数据。任务4激光雷达技术任务引入近两年以来，越来越多的车企选择在量产车上配置激光雷达，以获得迈向高阶自动驾驶的“通行证”。据不完全统计，包括小鹏P5、宝马iX、理想L9、蔚来ET7、威马M7等在内的几十款车型均配置了激光雷达。激光雷达最初是以“军转民”的方式出现在汽车领域的，所以价格较高。但随着技术迭代，搭载L2~L3级驾驶辅助系统的量产车也开始配备激光雷达。有推崇者，就有反对者。在行业内，特斯拉便是激光雷达的反对者。你如何分析汽车搭载激光雷达的优缺点呢？任务目标12能够熟悉激光雷达的概念能够熟悉激光雷达的概念2能够熟悉激光雷达的工作原理及各项参数3能够熟悉激光雷达的应用场景4能够熟悉激光雷达的优缺点5能够熟悉激光雷达在汽车上的配置方案激光雷达的概念雷达（RADAR-Radiodetectionandranging）是无线电探测和测距，即发射电磁波对目标进行照射并接收其回波，由此获得目标的距离、速度、方位、高度等信息。传统的雷达是以微波作为载波的雷达，大约出现在1935年。按雷达频段分，可分为超视距雷达、微波雷达、毫米波雷达以及激光雷达等，如下图3-4-1所示。激光雷达的概念图2-4-1不同频段对应的雷达激光雷达，简称Lidar，也称LaserRadar或LADAR（LaserDetectionandRanging：激光探测及测距），是一种通过发射激光束探测目标的位置、距离等特征量的雷达系统。以光电探测器为接收器件，以光学望远镜为天线。Lidar（激光雷达）有时被称为3D激光扫描，是3D扫描和激光扫描的一种特殊组合，因为激光雷达因为激光波长短，准直性高，使得激光雷达性能优异：角分辨率和距离分辨率高、抗干扰能力强、能获得目标多种图像信息(深度、反射率等)、体积小、质量轻等特性；所以它可应用于地面、空中和移动等领域。最初称为光雷达，因为那时使用的光源均非激光。自激光发射器出现以来，激光作为高亮度、低发散的相干光特别适合作光雷达的光源，所以现在的光雷达均使用激光发射器作光源，名称也就统称为激光雷达。激光雷达系统组成激光脉冲基本测距原理：测距仪发出光脉冲，经被测目标反射，光脉冲回到测距仪接收系统。测量发射和接收光脉冲的时间间隔，即光脉冲在待测距离上的往返传播时间，然后根据光速计算出距离。如下图2-4-2所示。图2-4-2激光雷达测距原理激光雷达系统组成激光雷达的关键部件按照信号处理的信号链包括控制硬件DSP（数字信号处理器）、激光驱动、激光发射发光二极管、发射光学镜头、接收光学镜头、APD（雪崩光学二极管）、TIA（可变跨导放大器）和探测器，如图2-4-3所示。其中除了发射和接收光学镜头外，都是电子部件。激光雷达向外发射激光束，层数越多，精度也越高。发射光学镜头将激光发射出去后，当激光遇到障碍物会反射，从而被接收光学镜头接收，创建一组点云。随着半导体技术的快速演进，性能逐步提升的同时成本迅速降低。激光雷达系统组成图2-4-3激光雷达系统组成13相位测距（CW-TOF）相位测距（CW-TOF）相位测距原理：通过测量被强度调制的连续波激光信号在雷达与目标之间来回飞行产生的相位差获得距离信息。优点是测距分辨率高（毫米级），难点是测量速度较低，测距精度易受目标形状和运动的影响。应用场景例如手持式激光测距仪，如下图2-4-4所示。图2-4-4手持式激光测距仪14脉冲测距（P-TOF）脉冲测距（P-TOF）脉冲测距原理：通过测量激光脉冲在雷达和目标之间来回飞行时间获取目标距离的信息。测距原理如图2-4-5所示。图2-4-5脉冲测距原理15三角测距原理三角测距原理光器发射激光，在照射到物体后，反射光由线性CCD接收，由于激光器和探测器间隔了一段距离，所以依照光学路径，不同距离的物体将会成像在CCD上不同的位置。按照三角公式进行计算，就能推导出被测物体的距离。三角测距原理图2-4-6三角测距原理16激光雷达优点激光雷达优点(1)隐蔽性好、抗有源干扰能力强：激光直线传播、方向性好、光束非常窄,只有在其传播路径上才能接收到，因此敌方截获非常困难，且激光雷达的发射系统(发射望远镜)口径很小,可接收区域窄，有意发射的激光干扰信号进入接收机的概率极低；(2)低空探测性能好：微波雷达由于存在各种地物回波的影响,低空存在有一定区域的盲区(无法探测的区域)。而对于激光雷达来说,只有被照射的目标才会产生反射,完全不存在地物回波的影响，因此可以"零高度"工作，低空探测性能较微波雷达强了许多。(3)分辨率高：激光雷达可以获得极高的角度、距离和速度分辨率信息。通常角分辨率不低于0.1mard也就是说可以分辨3km距离上相距0.3m的两个目标(这是微波雷达无论如何也办不到的),并可同时跟踪多个目标；距离分辨率可达0.1m；速度分辨率能达到10m/s以内。距离和速度分辨率高,意味着可以利用距离——多谱勒成像技术来获得目标的清晰图像。分辨率高,是激光雷达的最显著的优点,其多数应用都是基于此。17激光雷达的缺点激光雷达的缺点(1)工作时受天气和大气影响大。激光一般在晴朗的天气里衰减较小，传播距离较远。而在大雨、浓烟、浓雾等坏天气里，衰减急剧加大，传播距离大受影响。(2)由于激光雷达的波束极窄,在空间搜索目标非常困难，直接影响对非合作目标的截获概率和探测效率,只能在较小的范围内搜索、捕获目标，因而激光雷达较少单独直接应用于战场进行目标探测和搜索。18车载激光雷达的类型车载激光雷达的类型车载激光雷达的分类,按照发射激光线数可分为单线激光雷达和多线激光雷达：①单线激光雷达：也称为二维激光雷达，适用于平面上的测量和检测任务。②多线激光雷达：多线激光雷达指的是激光雷达通过多个激光器发射光源，形成多线束的扫描，目前主要应用于无人机测绘、自动驾驶3D建模及SLAM加强定位。按照硬件结构的不同，可划分为以下几类：①同轴旋转机械式。实物外观及成像如图2-4-7所示。车载激光雷达的类型图2-4-7同轴旋转机械式激光雷达及成像②棱镜旋转机械式。实物外观及成像如图2-4-8所示。车载激光雷达的类型图2-4-8棱镜旋转机械式激光雷达及成像③面阵式。实物外观及成像如图2-4-9所示。车载激光雷达的类型图2-4-9面阵式激光雷达及成像激光雷达的应用领域目前众多行业中，大致可分为如上表中几大类型：低速室内场景、低速室外场景、高速室外场景；其中高速室外最为典型的代表就是自动驾驶汽车，该项技术难度高，相对于高速室外场景来说，室内、外低速较容易实现，包括车辆的感知、决策、控制、执行、相比乘用车来说都相对简单，同时也不用考虑乘客的舒适感。如图2-4-10所示。图2-4-10激光雷达应用领域19实物实物深圳速腾聚创公司16线激光雷达是典型机械式激光雷达，实物如下图所示。图2-4-11激光雷达实物当激光雷达扫描平面墙体时，呈现出类似双曲线分布轮廓图。16线激光雷达在圆形环境中扫描一周的路径为若干个向上或向下的圆锥面，其形成的点云图为为圆形，当扫描的环境不为圆形时，其点云图为所有圆锥面与扫描环境的交线。因此，当激光雷达扫描平面墙体时，矩形面与圆锥面的交线为一系列的双曲线，如图2-4-12所示。实物图2-4-12激光雷达典型场景点云呈现20参数参数速腾聚创16线激光雷达各项参数如表2-4-1所示。表2-4-1速腾聚创16线激光雷达各项参数21组成结构组成结构该激光雷达系统主要由四大基本单元构成，如下图2-4-13所示。①发射单元：由激光器、发射镜等组成。②接收单元：由光电探测器、接收镜、滤光片组成。③机械或电子扫描机构：包括顶盖、底座、旋转体等结构。④信号处理单元：由集成的信号处理系统构成。信号处理单元用于处理接收到的激光雷达数据，将其转换为三维点云或其他形式的空间信息，包括去噪、滤波、目标识别和跟踪等处理步骤。此外集成的控制单元负责激光的发射和接收时序控制、激光束的扫描控制、数据采集和处理等。组成结构图2-4-13激光雷达组成结构激光雷达的装调1.激光雷达的安装：为自动驾驶车辆服务的激光雷达，目前多数还只能在车身上寻找不太突兀的地方安放。2.激光雷达的标定：激光雷达标定的目的是求解激光雷达测量坐标系相对于其他测量坐标系的相对变换关系，以便获取障碍物相对本车的距离、速度、角度等信息。具体标定步骤（以速腾RSVIEW软件为例）。（1）在工作区放置工作牌，将激光雷达安装在支架上，注意平整与无遮挡。（2）将激光雷达的USB接口与实验台USB接口连接。（3）打开计算机的“设备管理器”，查看连接硬件的识别端口。（4）深圳速腾提供RSVIEW软件读取设备参数，根据硬件识别端口进行设置。也可以使用其他定制软件。激光雷达的装调（5）单击“command-scan"启动激光雷达扫描。（6）在雷达正前方放置模拟目标，观察扫描的点云图像、角度与距离信息。（7）移动物体，观察点云变化，并记录。（8）单击“setmotorPWM”，调节激光雷达转速。（9）连接示波器。（11）测试激光雷达输出、输人信号波形（比特率256kib/s），并记录。（12）测试激光雷达PWM脉冲调制波形，并记录。（13）清理实验场地。谢谢任务5视觉传感器01任务5视觉传感器02任务引入任务引入近年来，汽车ADAS高级驾驶辅助系统装车率正在快速增长。纵览各大厂商，这些技术基本上集中在L2-L3级自动驾驶，而为了实现这些功能，单车感知系统中，摄像头的使用量基本上都在5个以上。比如说特斯拉8个、小鹏P7为14个、威马W6是7个。ADAS摄像头分类从主流车企代表车型的自动驾驶感知方案来看，都广泛采用了多种传感器融合的方案。以通用CruiseAV为例，其目标是实现L4级别的自动驾驶，全车搭载5个Velodyne的16线激光雷达、21个毫米波雷达以及16个摄像头。根据ADAS不同的功能需要以及安装位置，车载摄像头包括前视、环视、后视、侧视以及内置摄像头，不同位置的摄像头功能各异，是实现自动驾驶必不可少的构成部分。那么，智能汽车上的视觉传感器（摄像头）主要有哪些不同种类，如何识别周边环境中的车辆及行人的呢？03任务目标04能够熟悉视觉传感器的概念能够熟悉视觉传感器的概念ADBC3能够熟悉视觉传感器的应用场景4能够熟悉视觉传感器的分类5能够熟悉视觉传感器在汽车上的配置方案2能够熟悉视觉传感器的工作原理及各项参数知识链接摄像机从诞生的那一日起已经有了100多年的历史。在科技高度发展，尤其是计算芯片和光学镜头迅速微小型的今天，即使是精度非常高的专业摄影机在日常生活中也已经非常常见，一般用来完成拍照、摄像这些基本的功能。自动驾驶以及人工智能的到来，使得人们有了从摄像头中，获取更为智慧的结果的需求，即通过摄像头的视野，分析感知环境的变化，做出判断，将结果反馈到终端或者云端的处理器当中，服务于更丰富的应用。与其它智能汽车上的视觉传感器，比如和激光雷达相比较，其物理原理（直接光学成像）和成像过程（2D平面图像3D数据）虽然不同，但由于其体积非常小，硬件价格低廉，而如果算法足够强大的话，在ADAS各样应用场景中也能符合大部分的使用条件。123视觉传感器在ADAS中的应用视觉传感器在智能网联汽车中的功能是物体的识别与跟踪、车辆本身的定位。基于智能摄像头的ADAS高级驾驶辅助系统，可实现车道偏离警告(LDW)、基于雷达视觉融合的车辆探测、前部碰撞警告(FCW)、车距监测(HMW)、行人探测、智能前灯控制(IHC)、交通标志识别(TSR)、仅视觉自适应巡航控制(ACC)等功能，如下表2-5-1所示。表2-5-1视觉传感器在ADAS中的应用摄像头的分类车载摄像头按照安装位置及用途，大致可分为三类：前视摄像头、（侧面）环视摄像头、后视摄像头和驾驶舱内置摄像头。05前视摄像头前视摄像头前视摄像头可用于行车辅助类如行车记录仪、车道偏离预警及交通标示识别等。智能前视摄像头（单目/双目/三目）可用于动态物体检测（车辆、行人）、静态物体检测（交通信号灯、交通标志、车道线等）和可通行空间划分等。多与ADAS辅助驾驶系统协作，实现包括紧急制动AEB，自巡航ACC等场景功能。前视摄像头在车上的安装位置案例如图2-5-1所示。前视摄像头图2-5-1前摄像头的应用前视摄像头在很多交通场景中必须测量障碍物，如行人，车辆，或是地上一些特殊线条，如停车线，泊车位划线等的距离。根据测距时的不同技术原理，又可划分成单目摄像头和多目（双目和三目）摄像头。目前应用于自动驾驶的路况判断，多以单目摄像头方案为主。单目摄像头主要依靠数据样本和一些专门针对图形识别的算法来获取图像抽象信息，如距离，边界，形状等。双目匹配的作用是把同一场景在左右视图上对应的像点匹配起来，像人眼一般。这样做的目的是为了得到视差图。双目匹配被普遍认为是立体视觉中最困难也是最关键的问题。而多目摄像头则是让各个摄像头用不同的焦距来覆盖不同距离范围的场景。06环视摄像头环视摄像头环视视觉传感器的镜头采用鱼眼镜头，而且安装位置是朝向地面的。某些高配车型上会有“360全景显示”功能，所用到的就是环视摄像头。(侧面）环视摄像头主要用于低速近距离感知，系统同时采集车辆四周的影像，经过图像处理单元畸变还原→视角转化→图像拼接→图像增强，最终形成一幅车辆四周无缝隙的360度全景俯视图，再在四幅图像的中间放上一张车的俯视图，即可实现从车顶往下看的效果，如下图所示。环视视觉传感器的感知范围并不大，主要用于车身5-10米内的障碍物检测、自主泊车时的库位线识别等。车载视觉传感器环视图像及图像拼接处理后的效果图如图2-5-2所示。环视摄像头图2-5-2车载视觉传感器环视效果图07后视摄像头后视摄像头汽车的后视摄像头是一种安装在车辆后部的摄像头系统，用于提供驾驶员在驾驶时对车辆后方环境的实时视图。后视摄像头通常用于辅助驾驶员进行倒车、停车、变道等操作，以提高驾驶的安全性和便利性。08驾驶舱内置摄像头驾驶舱内置摄像头驾驶舱内置摄像头主要针对驾驶员的疲劳、分神、不规范驾驶等危险情况进行一层或多层预警，要求在全部工况环境下（包含暗光、夜晚、逆光等）工作，且不受驾驶员衣着影响，如效劳监测摄像头。如图2-5-3所示。图2-5-3驾驶舱内摄像头根据镜头数量的不同，视觉传感器又可以分为单目摄像头、双目摄像头、三目摄像头。09单目摄像头单目摄像头单目摄像机模组只包含一个摄像机和一个镜头。由于很多图像算法的研究都是基于单目摄像机开发的，因此相对于其他类别的摄像机，单目摄像机的算法成熟度更高。但是单目有着两个先天的缺陷。(1)它的视野完全取决于镜头这就是单目镜头的最大问题，车载摄像头是定焦的，它无法像人眼一样快速变焦。但是我们可以采用不同焦距的单目摄像头来满足不同范围距离的摄像。在测距的范围和距离方面，有一个不可调和的矛盾，即摄像头的视角越宽，所能探测到精准距离的长度越短，视角越窄，探测到的距离越长。这类似于人眼看世界，看的越远的时候，所能覆盖的范围就窄，看的近的时候，则覆盖的范围就广。一些焦距短的镜头，视野广，但缺失远处的信息。反之亦然。因此单目摄像机一般选用适中焦距的镜头。单目测距的精度较低摄像机的成像图是透视图，即越远的物体成像越小。近处的物体，需要用几百甚至上千个像素点描述；而处于远处的同一物体，可能只需要几个像素点即可描述出来。这种特性会导致，越远的地方，一个像素点代表的距离越大，因此对单目来说物体越远，测距的精度越低。10双目摄像头双目摄像头由于单目测距存在缺陷，双目视觉应运而生，如图下图所示，双目视觉传感器模块包含两个摄像机和两个镜头。图2-5-4双目视觉传感器相近的两个摄像机拍摄物体时，会得到同一物体在摄像机的成像平面的像素偏移量。有了像素偏移量、相机焦距和两个摄像机的实际距离这些信息，根据数学换算即可得到物体的距离。双目摄像头图2-5-5基于双目视觉差异的成像原理在这个双目成像的结果画面中，行人相对树木的位置在两个画面的显示是不同的。从左边镜头看来行人在树木的右边，而从右边镜头看来行人在树木的左边。行人以及树木在画面上的位置差异，随着摄像头与被拍摄的行人之间的距离逐渐缩小而逐渐增大。双目摄像头与单目系统相比，双目系统的特点如下：一是成本比单目系统要高，但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；二是没有识别率的限制，因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；三是精度比单目高，直接利用视差计算距离。双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高。11三目摄像头三目摄像头三目摄像机其实就是三个不同焦距单目摄像机的组合，以对3个不同距离范围的障碍物进行摄影成像。以特斯拉AutoPilot2.0安装在挡风玻璃下方的三目摄像机为例，三个摄像头的感知范围由远及近，分别为前视窄视野摄像头（25视场，最远感知250米，用于检测前车道线、交通灯）、前视主视野摄像头（50视场，最远感知150米，负责一般的道路状况监测）及前视宽视野摄像头（150视场，最远感知60米，用于检测平行车道道路状况以及行人和非机动车行驶的状况）。如下图所示。图2-5-6特斯拉AutoPilot2.0三目视觉传感器对车载视觉传感器来说，感知的范围要么损失视野，要么损失距离。三目车载视觉传感器能较好地弥补感知范围的问题。三目摄像头的缺点是需要同时标定三个车载视觉传感器，因而工作量更大一些。其次，软件部分需要关联三个车载视觉传感器的数据，对算法要求也很高。视觉传感器的工作原理视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理单元、图像存储器等组成。其核心则是图像处理单元，也就是把存入的大量数字化信息与模板库信息进行比较处理，并快速得出结论，其运算速度和准确率是关键指标。这主要通过高效合理的算法和处理能力强大的芯片来实现。被摄物体经过镜头聚焦至CCD（ChargeCoupledDevice，电荷耦合器件），CCD由多个X-Y纵横排列的像素点组成，每个像素都由一个光电二极管及相关电路组成，光电二极管将光线转变成电荷，收集到的电荷总量与光线强度成比例，所积累的电荷在相关电路的控制下，逐点移出，经滤波、放大，再经过DSP处理后形成视频信号输出，再通过I/O接口传输到电脑中进行处理后，再通过显示屏（DISPLAY）就可以看到图像了。12两个重要指标两个重要指标视觉传感器(摄像头)有两个重要的指标：分辨率和有效像素。分辨率实际上就是每场行同步脉冲数，这是因为行同步脉冲数越多，则对每场图像扫描的行数也越多。事实上，分辨率反映的是摄像头的纵向分辨能力。有效像素常写成两数相乘的形式，如“320x240”，其中前一个数值表示单行视频信号的精细程度，即行分辨能力；后一个数值为分辨率，因而有效像素=行分辨能力×分辨率。13视觉传感器的标定视觉传感器的标定在图像测量过程和机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。标定的目的：还原摄像头成像的物体在真实世界的位置，需要知道世界中的物体到计算机图像平面是如何变换的，相机标定的目的之一就是为了搞清楚这种变换关系，求解内外参数矩阵。“灰度”可以认为是图像色彩亮度的深浅。图像所能够展现的灰度级越多，也就意味着图像可以表现更强的色彩层次。如果把黑—灰—白连续变化的灰度值量化为256个灰度级，灰度值的范围为0～255，表示亮度从深到浅，对应图像中的颜色为从黑到白。视觉传感器的标定图2-5-7视觉传感器的标定视觉传感器与相它传感器的对比视觉传感器和其他传感器在汽车和机器人技术中的应用都是至关重要的，它们各自有一些优势和局限性。表2-5-3是视觉传感器与其他常见传感器（例如激光雷达、毫米波雷达、超声波传感器等）的一些对比。表2-5-3各环境感知传感器的优劣对比14两大功能两大功能生物学研究表明，人类获取外界信息75%依靠视觉系统，而在驾驶环境中这一比例甚至高达90%。如果能够将视觉传感器系统应用到智能网联汽车领域，无疑将会大幅度提高自动驾驶的准确性。视觉传感器在整个环境感知系统中占据了非常重要的地位，在智能网联汽车上的应用，主要有两大类功能，分别是感知能力和定位能力。感知能力是实现对智能网联汽车各种环境信息的感知。定位能力主要采用视觉SLAM技术，根据提前建好的地图和实时的感知结果做匹配，获取智能网联汽车的当前位置。物体的识别与跟踪一般来说，计算机视觉识别的过程主要包括：图像输入、预处理（如平滑滤波、二值化、灰度转化等）、特征提取（如形状特征、阴影特征等）、特征分类、模板匹配和完全识别等。如图2-5-8下所示.图2-5-8视觉传感器识别流程物体的识别与跟踪通过机器学习的方法，智能网联汽车可以识别在行驶途中遇到的物体，比如行人、车辆、交通信号、交通标志、车道线、道路边界和自由行驶空间等。如图2-5-9所示，图中不同颜色矩形框框出来的内容即为视觉传感器感知的对象。图2-5-9视觉传感器检测效果图车辆本身的定位智能网联汽车基于视觉技术用于车辆本身的定位时，主要采用视觉SLAM(simultaneouslocalizationandmapping)技术(即时定位与地图构建)，根据提前建好的地图和实时的感知结果做匹配，获取智能网联汽车的当前位置。视觉SLAM系统可分为五个模块：传感器数据、视觉里程计、后端、建图、回环检测五个模块。视觉SLAM定位流程图如下图2-5-10所示，输入传感器数据后，前台线程根据传感器数据根据传感器数据进行跟踪求解，实时恢复每个时刻的位姿，后台线程进行局部或全局优化，减少误差累积，并进行场景回路检测，最后输出设备实时位姿。车辆本身的定位图2-5-10视觉SLAM定位流程图15在智能网联汽车上的安装及应用在智能网联汽车上的安装及应用由于成本相对较低、算法成熟度高、体积小、功能多样化等优势，智能网联汽车上的视觉传感器安装数量较多，如下图所示，为视觉传感器在智能网联汽车上的安装位置及功能示意图。本车中包含1个内置摄像头，1个前视摄像头、1个行车记录仪摄像头、1个倒车后视摄像头、2个测试摄像头和2个环视摄像头。图2-5-11视觉传感器在智能网联汽车上的安装在智能网联汽车上的安装及应用视觉传感器可以提供的感知能力主要有：车道线识别、障碍物识别、交通标志识别、道路标志识别、交通信号灯识别、可行驶区域识别、周围车辆感知、交通状况感知、道路状况感知、车辆本身状态感知等。视觉传感器在智能网联汽车上的具体应用示意图如图2-5-12及前表2-5-1所示。图2-5-12视觉传感器在智能网联汽车上的具体应用任务6高精度定位技术任务引入2022年6月2日，中国民营汽车巨头浙江吉利控股集团宣布成功发射星座01组9颗卫星。此次发射的“吉利未来出行星座”01组9颗卫星由吉利科技集团下属浙江时空道宇科技有限公司研制，从中国西南部四川省的西昌卫星发射中心发射升空。“吉利未来出行星座”首轨九星为自主设计和制造，预计到2025年还将有63颗卫星进入轨道，该星座最终将由240颗卫星组成，发射的卫星除用于构建连接太空与地面车辆的高精度导航系统外，还将用在自动驾驶、无人机和物流领域。那么，吉利发射卫星对自动驾驶有什么重要作用呢？任务目标任务6高精度定位技术1掌握定位系统的作用3了解智能网联汽车对定位系统的基本要求4了解智能网联汽车常见的定位方法知识链接2熟悉高精度定位系统的组成0102030405定位系统的作用和要求定位系统用来提供车辆的位置、姿态等信息。对于智能网联汽车而言，定位的重要性不言而喻，它可以帮助车辆了解自己相对于外界环境的精准位置，从而做出正确的决策，同时辅助感知系统，得到更加准确的检测和跟踪结果。无自动化车辆和智能网联汽车的导航定位系统存在很大的不同。前者定位精度低（道路级定位）、频率比较低，结合地图，人可自己完成导航引路的应用需求，更倾向宏观的范畴；后者精度高（车道级定位），频率高，既要求全局的规划，又需要局部和车辆实时的高精度位置，以作为智能网联汽车决策控制的重要输入信息。智能网联汽车对定位系统的基本要求如下：定位系统的作用和要求（1）高精度：达到厘米级。（2）高可用性：智能网联汽车测试已经从封闭的场景转移到更开放的场景，这要求我们定位系统能处理更多更复杂的情况。（3）高可靠性：定位的输出是感知、规划与控制的输入，如果定位系统出现偏差将会导致很严重的后果。（4）自主完好性检测：由于系统的可靠性只能做到非常接近100%，但是难以达到真正的100%，这要求系统在无法提供准确输出的时候，能及时的警告用户采取措施避免发生事故，因此，要求定位系统保证较低的虚警率与漏警率。高精度定位在自动驾驶中起决定作用，是实现无人驾驶或者远程驾驶的基本前提，因此对定位性能的要求也非常严苛，其中L4/L5级自动驾驶对于定位的需求如表所示。表2-6-1L4/L5级自动驾驶汽车定位系统指标要求高精度定位系统的组成高精度定位系统主要包括终端层、网络层、平台层和应用层，如图2-6-1所示。图2-6-1车辆高精度定位系统网络架构图其中，终端层实现多源数据融合（卫星、传感器及蜂窝网数据）算法，保障不同应用场景、不同业务的定位需求；网络层包括5G基站、RTK基站和路侧单元（RoadSideUnit,RSU），为定位终端实现数据可靠传输；平台层提供一体化车辆定位平台功能，包括差分解算能力、地图数据库、高清动态地图、定位引擎，并实现定位能力开放；应用层基于高精度定位系统能够为应用层提供车道级导航、线路规划、自动驾驶等应用。高精度定位系统的组成终端层为满足车辆在不同环境下的高精度定位需求，需要在终端采用多源数据融合的定位方案，包括基于差分数据的GNSS定位数据、惯性导航系统数据、传感器数据、高精度地图数据以及蜂窝网数据等。高精度定位系统的组成网络层系统网络层主要实现信号测量和信息传输，包括5G基站、RTK基站和RSU的部署。5G作为更新一代的通信技术，可以保证较高的数据传输速率，满足高精度地图实时传输的需求。5G基站也可完成与终端的信号测量，上报平台，在平台侧完成基于5G信号的定位计算，为车辆高精度定位提供辅助。基于5G边缘计算，可实现高精度地图信息的实时更新，提升高精度地图的实时性和准确性。地基增强站主要完成RTK测量，地基增强站可以与运营商基站共建，大大降低网络部署以及运维成本。同时可通过5G网络实现RTK基站测量数据的传输，可实现参考站快速灵活部署。RSU一方面可实现RTK信息播发，避免传统的RTK定位中终端初始位置的上报，同时RSU可提供局部道路车道级地图、实时动态交通信息广播。高精度定位系统的组成平台层平台层功能模块如下图所示。图2-6-2车辆高精度定位系统网络架构图①高精度地图。静态高精度地图信息，如车道线、车道中心线、车道属性变化等，此外还包含道路的曲率、坡度、航向、横坡等参数，能让车辆准确的转向、制动和爬坡等，还包含交通标志牌、路面标志等道路部件，标注出特殊的点如GNSS消失的区域、道路施工状态等。高精度定位系统的组成平台层②交通动态信息。例如道路拥堵情况、施工情况、交通事故、交通管制和天气情况等动态交通信息。③差分解算。平台通过RTK基站不断接收卫星数据，对电离层误差、对流层误差、轨道误差以及多路径效应等误差在内的各种主要系统误差源进行了优化分析，建立整网的电离层延迟、对流层延迟等误差模型，并将优化后的空间误差发送给移动车辆。④数据管理。例如全国行政区划数据、矢量地图数据、基础交通数据、海量动态应急救援车辆位置数据、导航数据、实时交通数据、POI（PointofInterest）数据等，这里的数据是经过数据生产工艺，进行整合编译后的运行数据。⑤数据计算。包括路径规划、地图静态数据计算、动态实时数据计算、大数据分析、数据管理等功能。高精度定位系统的组成应用层在应用层，为用户提供地图浏览、规划路线显示、数据监控和管理等功能，以及基于位置的其他车联网业务，例如辅助驾驶、自动驾驶等。高精度定位关键技术根据场景以及定位性能的需求不同，车辆定位方案是多种多样的。常用的定位技术有全球导航卫星（GlobalNavigationSatelliteSystem，GNSS）技术、惯性导航（InertialNavigationSystem,INS）技术、航迹推算（Dead-Reckoning，DR）技术、路标定位技术、高精度地图匹配定位技术、无线电（如蜂窝网、局域网等）定位技术、视觉定位技术、同时定位与地图创建（SimultaneousLocalizationandMapping,SLAM）技术等。由于任何一种单独定位技术都有无法克服的弱点，智能网联汽车通常需要组合定位技术来实现精准定位。组合定位技术融合了两种或两种以上的不同类型的定位传感器信息，实现优势互补，以获得更高的定位性能。16全球导航卫星系统全球导航卫星系统全球导航卫星系统（GlobalNavigationSatelliteSystem,GNSS）是一种基于卫星基础设施的，具有全球覆盖范围的无线电定位技术，如图2-6-3所示。全球导航卫星系统分类当前，投入运作的GNSS主要包括美国的全球定位系统GPS、俄罗斯的格洛纳斯卫星导航系统（GLONASS）、欧洲的伽利略系统（GALILEO）和我国的北斗系统（BDS）。①GPS。GPS（GlobalPositioningSystem）是由美国国防部研制的全球首个定位导航服务系统，1990~1999年为系统建成并进入完全运作能力阶段，1993年实现24颗在轨卫星满星运行。其中，24颗导航卫星平均分布在6个轨道面上，保证在地球的任何地方可同时见到4~12颗卫星，使地球上任何地点、任何时刻均可实现三维定位、测速和测时，使用世界大地坐标系（WGS-84）全球导航卫星系统分类图2-6-3GNNS系统运行示意图②GLONASS。GLONASS的空间星座由27颗工作星和3颗备用星组成，均匀地分布在3个近圆形的轨道平面上，这3个轨道平面两两相隔120，使用前苏联地心坐标系（PE-90）。全球导航卫星系统分类③GALILEO。GALILEO是欧盟于2002年批准建设的卫星定位系统，计划由分布在3个轨道平面上的30颗中等高度轨道卫星构成，每个轨道平面上有10颗卫星，9颗正常工作，1颗运行备用，轨道平面倾角56，轨道高度为24126km，其民用精度较高，使用世界大地坐标系（WGS-84）。④BDS。BDS（BeiDouNavigationSatelliteSystem）是由我国自主研发、独立运行的全球卫星定位与通讯系统，空间段包括5颗静止轨道卫星和30颗非静止轨道卫星，采用我国独立建设使用的CGCS2000坐标系。表2-6-3为四大卫星导航系统的性能对比数据。表2-6-3已部署或者在建的GNSS系统情况和技术数据全球导航卫星系统组成以GPS为例，介绍GNNS的系统组成。如图2-6-4所示，全球导航卫星系统主要由空间星座部分、地面监控部分和用户设备部分组成。图2-6-4GPS系统组成全球导航卫星系统组成①空间星座由24颗卫星组成，其中21颗为工作卫星，3颗为备用卫星。24颗卫星均匀分布在6个轨道平面上，即每个轨道平面上有4颗卫星，卫星轨道平面相对于地球赤道面的轨道倾角为55，各轨道平面的升交点的赤经相差60，1个轨道平面上的卫星比西边相邻轨道平面上的相应卫星升交角距超前30。这种布局的目的是保证在全球任何地点、任何时刻至少可以观测到4颗卫星。而最少只需要其中3颗卫星，就能迅速确定用户端在地球上所处的位置及海拔，所能连接到的卫星数越多，解码出来的位置就越精确。②地面监控部分主要由1个主控站、5个监测站和3个注入站组成。主控站负责从各个监控站收集卫星数据，计算出卫星的星历和时钟修正参数等，并通过注入站注入卫星；并向卫星发布指令，控制卫星，当卫星出现故障时，调度备用卫星。监测站在主控站的直接控制下，自动对卫星进行持续不断的跟踪测量，并将自动采集的伪距观测量气象数据和时间标准等进行处理，然后存储并传送到主控站。注入站则负责将主控站计算的卫星星历、钟差信息、导航电文、控制指令发动给卫星。全球导航卫星系统组成③用户设备主要是GPS接收器、卫星天线及相关设备，主要作用是从GPS卫星接收信号并利用传来的信息计算用户地理位置的纬度、经度、高度、速度和时间等信息。车载、船载GPS导航仪，内置GPS功能的移动设备，GPS测绘设备等都属于GPS用户设备。全球导航卫星系统定位原理GNNS定位系统是利用卫星基本三角定位原理、接收装置以测量无线电信号的传输时间来测量距离。如下图所示。三个卫星组成一个三角形，通过计算三个卫星位置几何数据，并融合同步计算结果，从而计算出当前接收器的卫星坐标位置。通常，GPS接收器会使用第四颗卫星的位置对前三个卫星的位置测量进行确认，以达到更好的效果。图2-6-5三角定位原理图全球导航卫星系统定位原理假设我们测量到第一颗卫星的距离为18000km，就可以把当前可能位置范围限定在离第一颗卫星18000km的地球表面。接下来，假设我们测量到第二颗卫星的距离为20000km，那么我们可以进一步把当前位置范围限定在距离第一颗卫星18000km和距离第二颗卫星20000km的交叉区域。然后我们再对第三颗卫星进行测量，通过三颗卫星的距离交汇点定位出当前的位置。根据上文介绍，只要得到卫星几何平面的参数及无线电传播时间，就能计算得到智能网联汽车的位置。但在实际工程应用中，卫星信号的传播还受大气电离层的、云层、树木、高楼、城市、峡谷等遮挡、反射折射，以及多路径干扰，这些都会影响到GPS信号传播，从而影响到测距信息的准确度。为了降低天气、云层对GPS信号的影响，出现了其他GPS技术，如差分GPS（DifferentialGPS,DGPS）。全球导航卫星系统定位原理DGPS技术通过在一个精确的已知位置（基准站）上安装GPS接收器，计算得到基准站与GPS卫星的距离，然后再根据误差修正结果提高定位精度。如下图所示。图2-6-6差分GPS工作示意图全球导航卫星系统定位原理差分GPS分为两大类，即位置差分和距离差分。距离差分又分为两类，即伪距