从虚拟到现实的智能车辆深度强化学习控制研究

从虚拟到现实的智能车辆深度强化学习控制研究面对日益严峻的环境污染、道路安全及交通拥堵等压力,智能汽车已成为现代汽车工业的发展重点,也是未来汽车技术发展的主要方向和关键竞争领域,这Waymo这一方面是因为智能车辆控制多基于规则设计,即人为规定车辆在各场景下的行为模式,在复杂场景应用中规则数目往往呈指数级上升且互相之间可能发生冲突;另一方面则是因为智能车在复杂工况下的测试、验证出于安全考虑往往难以开展,从而导致其功能难以通过测试进行反馈、完善。为了应对复杂的驾驶场景,需要智能控制算法通过数据驱动或与环境交互产生的数据不断进行自学习并完成测试和验证,进而成为可以自主应对复杂工况的智能体。强化学习(ReinforcementLearning,RLRL辆控制。近年来,由于计算能力的提升,具有强大非线性函数拟合功能和表征学习特性的深度神经网络为解决这一问题提供了新的思路。深度学习(DeepLearning,DL)是一种利用深度神经网络处理高维数据的机器学习方法,其最重要的特性就是能够自动寻找到高维数据的低维表征。RL散/连续动作空间。通过与环境不断交互,DRL:2016YFB0100904),国家自然科学基金项目“智能电动汽车一体化建模与集成控制方法研究”(编号:U1564211):2018YFB0105103),能车辆深度强化学习控制方法,建立了能够对异构的驾驶状态数据进行有效特征表征、且对不同驾驶工况具有一定适应性的深度强化学习网络,该网络在虚拟仿真环境中进行训练,并于训练完成后可以直接移植到现实驾驶场景中完成由简单到复杂的驾驶任务。围绕本文的研究目标,主要进行了以下几方面的研究工作:(1)DRL3D本文通过将基于特征工程和基于深度学习的检测方法结合,获得了实时、准确的车道线检测结果,以提供车辆精确的相对定位;通过深度学习与几何约束结合的方式,从单目图像中实时估计车辆的位置和姿态信息;通过语义分割获取驾(2)出了一种基于空洞残差网络的驾驶场景语义分割算法。语义分割可以将驾驶场景中细节信息进行移除但又保留物体之间的语义关系,是驾驶场景理解的主要环节,也是将虚拟场景下训练的智能体泛化到真实世等映射的概念引入到用于语义分割的编码-解码器网络。由于深度卷积网络要通过不断下采样扩大后续卷积感受野以对全局语义信息进行提取,往往导致小目标多次下采样下丢失或深层卷积层分辨率无法保证等问题,因此本文将空洞卷积引入网络设计。为了避免空洞卷积带来的“栅格”现象影响性能,提出采用混合空洞结构对图像数据进行充分的特征提取,并在网络最后使用去残差结构彻底消除“栅格”对网络性能的损害。(3)本文提出了基于综合视觉场景理解的深度强化学习控制网络。首先针对异构状态数据设计设计不同的特征提取单元,提取与车辆控制直接相关的特征。在不同特征提取单元之间设计Dropout使得信息有几率地丢失,从而提高训练网络的容错能力和稳定性。为了使智能体可以完成任务并提高算法收敛速度,本文将车速、车辆方向盘操作、车道驶离、碰撞等因素囊括在奖励函数内,并设计了终止条件对无效探索进行适当终止。CARLA(4)本文结合国家重点研发项目搭建了实车实验平台以验证本文研究内容。首先对车辆进行改造,并进行了传感器的安装、标定,电子电器系统的设计,控制与数采系统的设计等。其中,为了获取与虚拟场景关键点良好匹配的相机安装位置,进行了在线的配准过程设计。DRL能力。实验完成后,将对车辆的任务完成度和行为合理性进行分析。综上所述,本文所取得的主要创新点如下:(1)提出了一种针对智能驾驶的综3D等问题,完善了对当前驾驶场景的综合理解。DRLDRL网络收敛速度和车辆控制效果。(2)法。驾驶场景的语义分割任务往往需要不断增大感受野,但卷积神经网络不断池化、下采样会导致小目标信息丢失难以恢复,本文创新性地将空洞卷积和残差结现象,导致输入信息无法充分利用的问题,在网络的非对称残差模块中使用了混合空洞卷积结构,并将编码器最后两层采用去残差的结构彻底阻断“栅格”的传播,从而有效避免了深度网络学习能力随深度上升而下降以及空洞结构导致的栅格现象。(3)提出了基于视觉场景理解的深度强化学习控制方法,并将虚拟环境中的训练结果在没有现实世界先验知识的前提下成功移植到真实场景中。本文采用DD