汽车智能技术与应用 课件 第4章 智能汽车驾驶感知与路径 规划

汽车智能技术与应用第四章 智能汽车驾驶感知与路径规划学习目标能够说出无人驾驶汽车对驾驶环境的感知的技术原理能够解释无人驾驶汽车信息融合的原理与方法能够解释深度学习算法对图像处理的技术原理与方法能够说出无人驾驶汽车目标检测的技术原理与方法能够说出无人驾驶汽车路径规划的技术原理与方法能够说出无人驾驶汽车智能定位与跟踪的方法1894.1

环境感知与信息融合4.1

环境感知与信息融合►1.

环境感知请说明什么是环境感知？其条件有哪些？54.1

环境感知与信息融合64.1

环境感知与信息融合无人驾驶的四项核心技术是环境感知、精确定位、路径规划和线控执行。基于视觉的环境感知无法满足无人驾驶汽车的自动驾驶要求，环境感无人驾驶汽车所面临的实际路况更加复杂，需要建立大量的数学方程和数据集来处理实时生成的海量数据。KITTI数据集是目前世界上最大的自动驾驶场景下计算机视觉算法评估数据集。请详细说明KITTI数据集的技术特征74.1

环境感知与信息融合KITTI数据采集平台包括2个灰度相机、2个彩色相机、1个三维激光雷达、4个光学镜头和1个GPS导航系统。提供的数据包含3个校准文件，不需要人工转换。84.1

环境感知与信息融合为了生成双目立体图像，相同类型的摄像头相距54cm安装。由于彩色摄像机的分辨率和对比度不够好，所以还使用了两个立体灰度摄像机，它和彩色摄像机相距6cm安装。为了方便传感器数据标定，规定坐标系方向如下：Camera:x=right,y=down,z=forward；Velodyne:x=forward,y=left,z=up；GPS/IMU:

x

=

forward,

y

=

left,

z

=

up。94.1

环境感知与信息融合104.1

环境感知与信息融合114.1

环境感知与信息融合124.1

环境感知与信息融合134.1

环境感知与信息融合►2.信息融合144.1

环境感知与信息融合►（1）多传感器信息融合方法分类根据数据融合的不同层次，多传感器信息融合方法分为三类：低级信息融合、中级信息融合和高级信息融合，分别对应于传统多源信息融合中的数据级信息融合、特征级信息融合和目标级数据融合。1）

低级融合：请说明什么是低级融合？2）

中级融合：请说明什么是中级融合？3）

高级融合：请说明什么是高级融合？信息融合系统主要包括四个子系统。一是信息源阶段，即原始数据；二是信息处理阶段；三是分析决策阶段；四是信息源阶段融合结论输出阶段。154.1

环境感知与信息融合164.1

环境感知与信息融合融合层上将传感器融合分为原始数据级融合、特征数据级融合和目标数据级融合。在单个传感器中，越接近原始数据，干扰信号与真实信号共存的可能性就越大，即融合开始越早，真实信息的保留和干扰信息的去除就越好，但同时也为数据的同步计算和处理算法带来了挑战。174.1

环境感知与信息融合184.1

环境感知与信息融合►（2）环境感知信息融合关键技术智能网联汽车环境感知信息融合包括单车多传感器信息融合和多车多传感器协同定位两个维度，两者均采用目标级融合信息方法。关键技术包括：时空参考对准技术、多目标相关技术、参数融合技术、多目标跟踪预测技术和目标分类识别技术，请分别说明。194.1

环境感知与信息融合►（3）融合系统架构基于目标层信息融合方法，具体的执行过程是相机模块首先完成目标检测，将信息发送到雷达模块，雷达完成最终融合工作。请根据右图详细说明其融合机理。204.1

环境感知与信息融合►（4）应用案例：日产奇骏T30的“ProPILOT”超智驾的巡航控制系统请说明日产奇骏T30的“ProPILOT”超智驾的巡航控制系统的工作原理与功能应用212074.2 深度学习算法在图像处理中的应用4.2

深度学习算法在图像处理中的应用智能驾驶的应用场景中，相比于简单工况，开放道路复杂环境的驾驶决策需要对复杂信息进行分析建模，并在海量信息的支持下做出最优决策。在智能交通和车辆智能化发展的背景下，汽车可以获取更多的外界信息，以模型预测控制为代表的先进控制方法与以深度学习、强化学习为代表的人工智能新技术得到了广泛应用。234.2

深度学习算法在图像处理中的应用►复杂环境下驾驶决策与规划方法244.2

深度学习算法在图像处理中的应用254.2

深度学习算法在图像处理中的应用►深度学习中图像语义分割的图像264.2

深度学习算法在图像处理中的应用274.2

深度学习算法在图像处理中的应用284.2

深度学习算法在图像处理中的应用294.2

深度学习算法在图像处理中的应用以NVIDIA为例，NVIDIA在利用卷积神经网络实现无人驾驶方面，技术人员通过CNNs将相机拍摄的原始图像映射到汽车的方向控制命令。如图所示，该系统只需提供少量的训练数据，就可以自动学习驾驶技术，甚至可以在视线不清、没有车道标线的区域工作，比如停车场或者崎岖的山路。利用GPU高效的图像处理性能，实现了实时图像处理。304.2

深度学习算法在图像处理中的应用314.2

深度学习算法在图像处理中的应用324.2.1

目标识别视觉识别是计算机视觉的一个重要组成部分，如图像分类、定位和检测。交通领域的目标识别应用场景主要用于车牌号码识别、无人驾驶、交通标志识别等方面。由于客观原因，我们必须识别出交通环境中的各种行人，前、侧环境等，传感器的光波发射和反馈有时会出现遮挡、光线、天气等的变化，也会使汽车的视觉传感器在识别时产生色差和形状变化。334.2.1

目标识别►（1）目标检测与识别算法分类1）

基于区域推荐的目标检测与识别算法，如R-CNN、Fast-R-CNN、Faster-R-CNN；2）

基于回归的目标检测与识别算法，如YOLO、SSD；3）

基于搜索的目标检测与识别算法，如基于视觉注意的注意网算法和基于强化学习的算法。目标数据库训练的分类器是通过距离测量或支持向量机、随机森林或人工神经网络等机器学习方法对目标进行分类识别。目前，现有的基于深度学习的目标检测与识别算法大致可分为三类：344.2.1

目标识别►（2）目标识别应用354.2.1

目标识别364.2.1

目标识别►（3）目标识别步骤神经网络和深度学习的最新进展极大地促进了这些最先进的视觉识别系统的发展。该算法不直接在代码中指定每个感兴趣的图像类别，而是为计算机的每个图像类别提供许多示例，然后设计一个学习算法来查看这些示例并学习每个类别的视觉外观。也就是说，首先积累一个带有标记图像的训练集，然后将其输入计算机，计算机对数据进行处理。请说说神经网络和深度学习的分解步骤。请说说卷积神经网络（CNN）分类的方法。374.2.2

语义分割►请说说语义分割的作用、原理与方法语义分割是指给图像每个像素一个语义标签或者给点云中每个点一个语义标签。计算机视觉的核心是分割，它将整个图像分成像素组，然后进行标记和分类。特别是，语义分割试图从语义上理解图像中每个像素的作用。384.2.2

语义分割►请说说特征的提取与分类的方法394.2.3

立体视觉与场景流除了惯性传感器在无人驾驶汽车上的应用之外，在无GPS环境下，实现智能网联汽车的自主导航是一个有挑战性的问题，基于实时视觉的定位和地图构建提供了技术实现的解决依据。双目相机比单目相机具有压倒性的绝对优势。单目相机能做什么，双目相机都可以胜任，但单目相机不能做双目三维立体视觉。以红绿灯检测为例，识别红绿灯是最难理解的技术点之一。百度和谷歌都利用自己的街景图片库资源，利用事先的信息设置确定感兴趣区域，以提高识别红绿灯的准确性。请说说双目视觉的识别原理。404.2.3

立体视觉与场景流►请详细说明实现立体视觉的方法414.2.3

立体视觉与场景流424.2.3

立体视觉与场景流►计算机视觉在无人驾驶汽车场景中解决的最重要的问题可以分为两类：目标识别和跟踪，以及车辆自身的定位。请说出目标识别和跟踪的实现方法请说出车辆自身的定位的实现方法434.2.3

立体视觉与场景流►请说出光流和立体视觉技术原理与方法444.2.3

立体视觉与场景流►光流运动场投影模型图像平面与位姿解耦优化算法流程（知识拓展）454.2.4

视觉里程计算法基于视觉的定位算法主要有两大类：一类是基于拓扑和地标的定位算法，另一类是基于几何的视觉里程计算方法。基于拓扑和地标的算法将所有的地标组成一个拓扑图，当无人驾驶车辆检测到某个地标时，可以粗略地推断出其位置。464.2.4

视觉里程计算法基于拓扑和地标的算法比基于几何的方法简单，但需要事先建立精确的拓扑图，例如在每个交叉点处建立地标。基于几何的可视化里程计算方法比较复杂，但不需要事先建立精确的拓扑图，该算法可以在定位的同时扩展地图。474.2.4

视觉里程计算法可视化视觉里程计算方法主要分为单目和双目。纯单目算法的问题是无法计算被观测物体的尺寸，因此用户必须假设或计算一个初始尺寸，或通过其他传感器。（如陀螺仪）实现精确定位。双目视觉里程计算方法通过对左右图像进行三角剖分，计算出特征点的深度，然后根据深度信息计算出目标的大小。请详细说出双目视觉里程计算方法的具体计算过程484.2.4

视觉里程计算法►视觉里程计算案例494.2.4

视觉里程计算法►视觉语义里程（知识拓展）504.2.4

视觉里程计算法►4.2.5

目标跟踪514.2.4

视觉里程计算法►请详细说明DLT视觉跟踪算法离线预训练和在线微调流程524.2.4视觉里程计算法►CNN在图像分类和目标检测方面已成为计算机视觉和视觉跟踪的主流深度模型。一般来说，大规模卷积神经网络既可以作为分类器，也可以作为跟踪器进行训练，基于卷积神经网络的典型跟踪算法包括全卷积网络跟踪器（FCNT）和多域卷积神经网络（MD-Net）。请详细说明全卷积网络跟踪器的技术特征534.2.4

视觉里程计算法►全卷积网络跟踪器的图片检测544.2.4

视觉里程计算法与FCNT不同，多域卷积神经网络的图片检测原理如图所示，例如，MD-Net使用所有视频序列来跟踪对象的移动，上述网络利用无关的图像数据来降低跟踪数据的训练要求，这种思想与跟踪有一定的偏差。此视频中类的对象可以是其他视频中的后台。因此，MD-Net提出了“多域”的概念，它可以在每个域中独立地区分对象和后台，一个域代表一个包含相同类型对象视频的组。如下图所示，MD网络可分为两个部分，即K个特定的目标分支层和共享层：每个分支包含一个softmax损失的二值分类层，用于区分每个域中的对象和后台；共享层与所有域共享，以确保共同表示。552414.3

无人驾驶汽车目标检测4.3

无人驾驶汽车目标检测►汽车目标检测包括结构化道路检测、非结构化道路检测和形式化环境下的目标检测574.3

无人驾驶汽车目标检测由于现实环境非常复杂多变，智能汽车必须在现实世界中做出可靠的推理，即必须能够充分理解传感器传递的各种信息。在这方面，基于语义的对象识别比智能网联汽车必须理解场景的其他技能更为重要。大多数三维目标识别方法都是通过人工选择局部特征描述符来实现的，该方法一般包括以下步骤：1）

关键点检测阶段。2）

计算特征描述符的值。3）

根据特征描述子的值，利用分类器确定对象类别。582444.4 汽车无人驾驶路径规划ISBN：978-7-111-70928-24.4.1

无人驾驶路径规划层►规划决策模块根据环境感知数据进行决策，为智能网联汽车的运行规划一条参考路径，即路径规划，路径规划可分为全局路径规划和局部路径规划。604.4.2

全局路径规划算法目前常用的全局路径规划算法可分为以下几种：网格法、可视法、自由空间法、蚁群算法、神经网络法等。在规划无人驾驶车辆的全局道路网络时，可以将任务分解为以下步骤：首先，选择合适的算法模型将整个工作空间划分为小空间，然后对障碍物信息所在的空间进行预设搜索，找出包含障碍物的工作空间，最后找到最优路径。614.4.2

全局路径规划算法►1.网格法624.4.2

全局路径规划算法►2.视觉法634.4.2

全局路径规划算法►3.

自由空间法644.4.2

全局路径规划算法►4.

蚁群算法654.4.2

全局路径规划算法►5.

拓扑法664.4.2

全局路径规划算法►6.

神经网络法674.4.3

局部路径规划算法局部路径规划是一种未知环境信息的局部路径规划，是基于实时获取的环境信息，算法难度大，环境复杂，影响因素多且不稳定。有时，会出现局部最优，但无法达到目的地的情况，目前，还没有能够很好地适应任何环境的最优局部路径算法。局部路径规划是在智能网联汽车辆的行驶过程中，基于局部环境信息和自身状态信息，规划出一条理想的无碰撞局部路径。其主要目的是检测障碍物，对障碍物的运动轨迹进行下一步可能的位置估计，最后绘制包含现有碰撞风险和潜在碰撞风险的障碍物地图。局部路径规划的主要前提是对周围环境的深入了解，以及一个非常完善的实时环境，通常采用网格方法建立环境模型，遗传算法、人工势场法和模糊逻辑控制法在无人驾驶汽车局部路径规划中得到了广泛的应用。684.4.3

局部路径规划算法►1.遗传算法694.4.3

局部路径规划算法►2.模糊逻辑控制算法704.4.3

局部路径规划算法►3.人工势场法714.4.4

车道级路径规划724.4.4

车道级路径规划►基于视觉和毫米波雷达的车道级定位原理规划控制模块的外围是交通预测模块，预测模块对汽车外部环境信息数据进行计算和感知，并将得到的结构输入到下层行为决策模块。预测模块获得的行驶轨迹包括空间信息、时间信息等，汽车预测模块可以作为感知模块的外围模块来优化数据输出，并对决策规划模块输入的外部环境信息数据进行预处理。734.4.4

车道级路径规划►1.

霍夫线检测744.4.4

车道级路径规划►2.基于透视变换的车道线检测754.4.4

车道级路径规划►3.

基于拟合的车道线检测764.4.4

车道级路径规划►4.车道线检测中的跟踪算法772634.5 智能协同定位与目标跟踪4.5

智能协同定位与目标跟踪794.5

智能协同定位与目标跟踪804.5

智能协同定位与目标跟踪814.5

智能协同定位与目标跟踪824.5

智能协同定位与目标跟踪即时定位与地图构建（simultaneouslocalization

and

mapping，SLAM）是VR和AR的关键领域之一，其它领域包括图形、触觉反馈、显示和音频。SLAM也称为同步定位和映射。假设场景是静态的，通过摄像机的运动获得图像序列，并获得场景的三维结构设计，摄像机获取的数据通过算法进行处理，也叫视觉SLAM。834.5

智能协同定位与目标跟踪►应用案例SLAM导航844.5

智能协同定位与目标跟踪►应用案例：某智能小车建图原理与步骤854.5

智能协同定位与目标跟踪86步骤输入数据操作输出数据使用ROS包1左编码器数据右编码器数据使用运动模型计算编码器数据，得到符合ROS标准的里程计数据里程计数据autolabor_pro_driver2前雷达数据后雷达数据裁切并融合前后激光雷达采集的数据，得到机器人周围环境点云数据雷达点云数据cartographer_roslaser_filters3里程计数据雷达点云数点云匹配相对位姿数据子地图数据cartographer_ros4相对位姿数据子地图数据回环检测，得到子地图拼接的全地图数据地图数据cartographer_ros4.5

智能协同定位与目标跟踪►应用案例：某智能小车导航原理与步骤874.5

智能协同定位与目标跟踪88步骤输入数据操作输出数据使用ROS包1左编码器数据右编码器数据使用运动模型计算编码器数据，