2024自动驾驶行业研究报告：“端到端”渐行渐近-甲子光年-202407

智库院长:宋涛报告撰写:翟惠宇part01发展背景:汽车智能化正加速普及P02 part02趋势辨析:端到端自动驾驶的价值P09part03厂商实践:技术路线的选择与践行P18part03厂商实践:技术路线的选择与践行P18part04未来展望:端到端的挑战与未来式part04未来展望:端到端的挑战与未来式P26国内汽车工业在电动化和智能化领域的迅猛发展,正在重塑消费者的购车偏好,消费者对于自动驾驶技术、智能座舱等高端智能化功能的兴趣日国内汽车工业在电动化和智能化领域的迅猛发展,正在重塑消费者的购车偏好,消费者对于自动驾驶技术、智能座舱等高端智能化功能的兴趣日超半数的汽车消费者将智能化水平作为购车时的关键考量因素,他们追求更先进的自动驾驶体验、更智能的座舱环境以及更个性化的驾驶乐趣。智能化在购车决策中的重要性日益凸显,这也促使众多汽车制造商加快了智能化技术的研发和工程投入;继续航里程和用车成本之后,智能化已成为新能源汽车竞争的主要领域,未能跟上智能化步伐的汽车品牌可能会逐渐失去市场竞争力。图2:自动驾驶、智能座舱、图1:购车时“智能化”考量因素高居第二图2:自动驾驶、智能座舱、智能驾驶渗透提速,“智能化”竞争进入白热化。NOA技术的渗透率正迅速提升:自2022年“量产元年”起,高速NOA和城区NOA的普及率显著增长。目前,高速NOA的渗透率已超10%,城自动驾驶功能的普及,得益于车企的持续投入和消费者对这些技术的接受度,这已成为汽车市场竞争力的关键。在众多厂商的推动下,重视“智能化”的汽车越来越受消费者青睐,尤其是那些配备自动泊车和L2.5以上级别NOA功能的车型;这些车型已成为车企竞争的焦点,预示着未来缺乏NOA功能的车辆可能失去竞争力。自动驾驶功能的普及,得益于车企的持续投入和消费者对这些技术的接受度,这已成为汽车市场竞争力的关键。图1:高速NOA渗透率持续增长(%)8642Jan-23Aug-23Jan-23Aug-23oct-23Jan-24图2:城市NOA渗透率持续增长(%)5 4321Jan-23Aug-23oct-23Jan-23Aug-23oct-23Jan-24自动驾驶科技公司排队冲击lpo,智驾加速普及,行业正在苏醒。尽管—级市场融资受到整体投融资环境的影响,但自动驾驶公司通过不断优化核心软硬件产品,向更务实的L2辅助驾驶转型,加速了智能驾驶的商业化进程,众多企业开始准备IPO。同时,随着智能驾驶功能的普及,消费者对其正面认知逐渐增强,乘用车自动驾驶市场稳步增长,这促使主机厂与智能驾驶解决方案供应商之间的合作更加紧密,进—步推动了智能驾驶技术的商业化应用。表:2023年起,自动驾驶厂商扎堆IPO激光雷达传感器 速腾聚创港交所2024年1月已上市激光雷达传感器 速腾聚创港交所2024年1月已上市激光雷达传感器-级市场融资难智驾量产车上路,数据飞轮已经转了起来。自BEV(鸟瞰视图)结合Transformer架构成为自动驾驶感知领域的主要发展方向以来,数据驱动在其中扮演的角色愈发关键;众多汽车制造商和自动驾驶解决方案提供商都已构建数据闭环系统,以支持自动驾驶系统的模型训练和持续迭代。目前,配备高级智能驾驶功能的汽车已实现规模化部署,这为自动驾驶算法的持续创新和优化提供了坚实的数据支撑。图:打造数据闭环,量产时代下的自动驾驶应用部署为数据驱动提供条件图:打造数据闭环,量产时代下的自动驾驶应用部署为数据驱动提供条件量产项目提供海量车端大数据:.人工智能技术加持,数据筛选、标注、训练、验证形成全链路闭环,持续迭代智能驾驶产品.相比过去工程师制定的规则算法,能够实现低成本、高.由此实现闭环自动化,数据驱动自动驾驶,在为现有车辆进行OTA功能升级的同时,为后续更高级别的自动驾含数据积累——量产项目提供海量车端大数据:.人工智能技术加持,数据筛选、标注、训练、验证形成全链路闭环,持续迭代智能驾驶产品.相比过去工程师制定的规则算法,能够实现低成本、高.由此实现闭环自动化,数据驱动自动驾驶,在为现有车辆进行OTA功能升级的同时,为后续更高级别的自动驾含数据积累———含训练高阶自动驾驶算法AI技术的应用场景众多,自动驾驶无疑是其中的核心议题;它不仅代表了技术应用的前沿,也是产学两界AI专家不懈追求、共同攻克的领域。自动驾驶行业的发展与AI技术的每次飞跃紧密相连:从卷积神经网络(CNN)、循环神经网络(RNN)、生成对抗网络(GAN)到Transformer,每—次技术革新背后,都伴随着深度学习等基础AI技术的突破性进展。正是AI技术的持续进步,构成了自动驾驶技术不断演进和成熟的基础动力。图:自动驾驶技术的主要迭代路径那么,下一步?Transformer大模型基于大规模数据训练,具备更强的鲁棒性与泛化能力,在自动驾驶行业大方异彩occ+TransformTransformer大模型基于大规模数据训练,具备更强的鲁棒性与泛化能力,在自动驾驶行业大方异彩occ+Transformèr.occupancyNetwork基于学习进行三维重建,是BEV的3D迭代.结合.结合Transformer更强的处理序列数据和复杂上下文关系方面的能力,实现更精确的环境感知、更长远的运动规划和更全局.直观且丰富的车身周边环境表示.需要复杂的传感器数据融合与校准,计算量庞大.更擅长处理时间序列数据+生成高质量合成.预测车辆未来轨迹能力.长期时序建模能力弱;数据质量难把控;实时性要求无法满足 提出后, 提出后,深度学习进入爆发期,自主学习能力被释放CNNcNN(卷积神经网络).图像识别处理表现优秀;cNN(卷积神经网络).图像识别处理表现优秀;有效处理传感器数据融合.需要大量数据标注;时序任务处理能力偏弱Transformer大模型技术在自动驾驶领域并非新近出现,其实早在chatGPT之前,这—技术就已被应用于自动驾驶的感知任务。特斯拉在2021年就展示了其基于BEV视角结合Transformer的感知方案,此后,国内厂商纷纷跟进并进行创新,这间接加速了2022年之后高阶智从云端的模型训练到车端的模型部署,大模型技术已被广泛应用于数据处理、模型融合与优化等多个环节,显著提高了模型训练的效率和系统的图:从云端到车端,大模型已经在自动驾驶感知模块开始规模化应用 利用大模型通过自监督学习预训练,配合极少量人工标注微 大模型的泛化性能用于挖掘长尾数据,如使用利用大模型通过自监督学习预训练,配合极少量人工标注微 大模型的泛化性能用于挖掘长尾数据,如使用CLIP模型进行大模型通过学习海量数据中的特征,大模型通过学习海量数据中的特征,然后用来配合中、小模型的训练,提高中、小模型的性能。使用NeRF技术隐式存储场景,通过渲染图片的监督学习学出使用NeRF技术隐式存储场景,通过渲染图片的监督学习学出场景的隐式参数,实现场景重建和高真实感数据生成。个大模型,在车端进行联合推理计算,利用大模型检测真值固定的物体,如个大模型,在车端进行联合推理计算,利用大模型检测真值固定的物体,如车道线、交通灯等,这些物体的位置码为结构化的拓扑点序列,码为结构化的拓扑点序列,实现车道目录part01目录part01发展背景:汽车智能化正加速普及P02 part02创新思路:端到端自动驾驶的价值P09part03厂商实践:技术路线的选择与践行P18part03厂商实践:技术路线的选择与践行P18part04未来展望:端到端的挑战与未来式P26part04未来展望:端到端的挑战与未来式P26传统自动驾驶系统已经发展得相当成熟,通常采用模块化串联的部署方式:其核心模块涵盖感知、定位、预测、决策和控制等,每个主要模块及其子模块都承担着特定的职责,且每个模块的输入通常来源于前—模块的输出。模块化设计的优势在于能够将复杂的自动驾驶任务分解为更小、更易于管理的子任务,同时便于问题的追踪和定位;然而,随着自动驾驶技术向数据驱动的方向发展,模块化设计的某些局限性也逐渐显现,例如信息传递过程中可能出现的损耗、计算延迟以及累积误差等问题。图:传统自动驾驶的模块化部署从系统架构的变化趋势上看,自动驾驶系统模块是在不断融合的。模块化自动驾驶的核心在于不同子模型在各个模块中的嵌套与协同工作。然而,随着Transformer架构等先进AI技术的发展,模型间的界限正逐渐变得模糊。原本独立的子任务模型正逐步被更大规模的神经网络模型所取代,特别是在感知模块,BEV结合Transformer方案的广泛应用预示从架构的角度来看,随着模型融合的趋势,自动驾驶系统的终极形态很可能是oneModel,即—个狭义上的端到端神经网络模型。图:自动驾驶系统模块的融合趋势预测、决策模块也正在神经网络化的进程中预测、决策模块也正在神经网络化的进程中BEV+Transformer极大推动自动驾驶通用感知网络的发展速度 随着感知、预测和决策等关键模块逐渐实现神经网络化,端到端自动驾驶的路径已经清晰可见,为自动驾驶技术向L4级别无人驾驶的迈进提供了随着感知、预测和决策等关键模块逐渐实现神经网络化,端到端自动驾驶的路径已经清晰可见,为自动驾驶技术向L4级别无人驾驶的迈进提供了端到端自动驾驶神经网络的实现将带来—系列优势:它将完全基于数据驱动进行全局任务优化,拥有更简洁的系统架构,更高的计算效率以及更强的泛化能力。然而,它也面临着对算力和数据的巨大需求,以及尚未解决的黑盒问题和幻觉问题,这些问题需要随着技术的进步而逐步克服。 .具备零样本学习能力,在未知场景仍可正确决策 .具备零样本学习能力,在未知场景仍可正确决策 ↓参数过大,算力不足.更好、更快的纠错能力渗透渗透 避免累计误差.避免上游模块错误的过度传导.模型集成统一,减少模块间的信息延迟和冗余,基于统一的神经网络,端到端的核心是信息的无损传递。自动驾驶领域尚未就“端到端”概念达成统—认识。—般而言,端到端自动驾驶指的是从原始传感器数据输入直接到控制指令输出的连续学习与决策过程,过程中不涉及任何显式的中间表示或人为设计的模块。尽管端到端自动驾驶的具体定义仍存在—定的模糊性,但其核心理念是避免信息在传递过程中的损耗。端到端自动驾驶:统-的神经网络架构,-步到位输出车辆指令 感知/定位 感知/定位一预测一规划控制 周边环境传感器 周边环境传感器融合趋势下,“端到端”从感知走向决策,再走向联合一体化。特斯拉FSDV12的卓越性能令业界观察家印象深刻,它确实摒弃了之前FSD方案中多年积累的代码,但其端到端方案的成功也离不开其在过去十年在人工智能和智能驾驶领域的深厚积累。端到端自动驾驶技术的发展遵循着渐进的路径:目前,BEV+occ+Transformer已经实现了感知模块的端到端架构,决策模块也在逐步从依赖手写规则向基于深度学习的模式转变,最终目标是实现模块化联合与单—模型的端到端自动驾驶。图:端到端自动驾驶系统架构演进.决策规划模块仍然基于规则(现有主流架构).仍然保留两个模块独立训练,而预测与决策.通过人工定义的方式制定接口.模块间以特征向量为输出与输出国--------------.没有模块间的明确划分,是单一模型.基于RL或IL等深度学习方式进行模型训练.没有模块间的明确划分,是单一模型.基于RL或IL等深度学习方式进行模型训练(生成式AI大模型)瞄准“全局最优”,端到端路线的提出有望有效缓解模块化架构的弊端。模块化自动驾驶系统面临信息丢失、计算效率低、累积误差以及维护成本等问题,这些问题难以回避,需要新的思路去解决。端到端自动驾驶通过将传感器收集到的全面信息作为输入,在单—网络中直接生成车辆的控制指令或运动规划。这种设计使得整个系统针对最终目标进行优化,而非仅仅针对某个独立的子任务,从而实现自动驾驶图:端到端自动驾驶的特点与优势.不仅感知模块,决策规划与控制模块也由数据驱动,实现全栈数据驱动.无需或仅需少量人工编码、手写规则,简化开发流程.提升数据规模与质量能够显著提升产品性能,不断提升系统的能力上限.端到端是—体化架构,为汽车行驶的全局任务为统—目标联合训练..不需要通过频繁的patch和参数调整修正.—体化的模型结构能够减少信息传递的延迟,加快系统反应模仿学习(ImitationLearning)和强化学习(ReinforcementLearning)是当前用于训练端到端神经网络的两种主要方法。模仿学习主要通过逆最优控制(Inverseoptimalcontrol)和行为克隆(Behaviorcloning)来实现,其核心理念是让智能体通过模仿专家的行为来学习最优策略。而强化学习则是—种通过试错来学习的领域,其中奖励函数的设计是—个关键挑战。图:端到端自动驾驶背后的基本训练方法(IL)简单直接,易于实现实现简单,计算效复杂性,对数据分广泛应用,但面临学习奖励函数困难,主要用于研究,实(IL)(RL)算资源,训练不稳定展,真实应用挑战大能研究阶段,探索如策考虑未来状态,可能够考虑未来预测,计算成本高,需要使用,需要进一步大型语言模型、视觉模型(如世界模型)、以及多模态大型模型等基础模型展现出了强大的能力,并且这些能力正在自动驾驶技术的融合应用中这些基础模型通过预训练获得了推理能力和丰富的知识,能够升级传统的基于规则的if-else系统。出色的泛化能力能够应对自动驾驶技术发展中的挑战,提升在感知、预测、规划等关键领域的性能,升级自动驾驶仿真和测试环节的技术手段。大语言模型(LLM).推理和规划:LLM利用其在逻辑推理、代码生成和翻译方面的专长,为自动驾驶的路径规划和决策制定提供支持;.用户交互:通过理解自然语言并执行用户指令,LLM使智能驾驶系统更加用户友好,实现个性化体验;.常识性驾驶知识:LLM的预训练能力使其能够理解和应用驾驶常识,可能替代传统的基于规则的系统。chatGPT、LLaMA等chatGPT、LLaMA等大视觉模型(VFM).目标检测和跟踪:大视觉模型(VFM).目标检测和跟踪:VFM在3D物体检测和分割方面的能力,对于自动驾驶的感知系统升级至关重要;.仿真和测试:VFM的视频生成能力,为创建逼真的驾驶场景提供了支持,这对于自动驾驶系统的安全性和可靠性提多模态大模型(MFM).视觉理解与空间推理多模态大模型(MFM).视觉理解与空间推理:MFM结合了视觉和语言信息,展现出卓越的视觉理解和空间推理能力,对自动驾驶系统的决策过程至关重要;.综合感知与预测:MFM通过整合视觉和语言数据,提高了对环境的感知精度和对其他交通参与者行为的预测准确性。GPT-4vision、GPT-4vision、LLavA等目录part01目录part01发展背景:汽车智能化正加速普及P02 part02创新思路:端到端自动驾驶的价值P09part03厂商实践:技术路线的选择与践行P18part03厂商实践:技术路线的选择与践行P18part04未来展望:端到端的挑战与未来式P26part04未来展望:端到端的挑战与未来式P26端到端自动驾驶正迅速成为自动驾驶行业的新焦点,吸引了多种类型的参与者投身于这—路线,涵盖了车企、人工机器人公司以及自动驾驶芯片制造商。随着对“端到端”理念的共识逐步建立,预计将有更多的企业加入这—行列,各自发挥专长,共同推动端到端自动驾驶技术的繁荣发展。图:端到端自动驾驶行业代表玩家(不完全整理)MmomenTOMmomenTO落地的公司。特斯拉无疑是电动汽车和自动驾驶行业的领军者,它已于2024年1月向北美用户正式推送FSDV12,成为首家在量产车型上实现端到端自动驾驶落地的公司。特斯拉在端到端自动驾驶算法领域的领先地位,得益于在FSD真实里程积累和超大规模算力投入方面的深厚基础,这也是特斯拉最大的竞争优势。FSDV12在复杂场景下展现了卓越的泛化能力,且其驾驶风格不再局限于传统的规则遵循,而是变得更加灵活,类似于经验丰富的驾驶员,能够特斯拉在端到端自动驾驶算法领域的领先地位,得益于在FSD真实里程积累和超大规模算力投入方面的深厚基础,这也是特斯拉最大的竞争优势。图1:特斯拉算力储备将在2024年10月达到100EFLOPS*相当于30万块NvidiaA100算力总和,图2:特斯拉FSD已经累计开了10亿英里端到端玩家简析-wayve成立于2017年的wayve,是—家位于英国伦敦的自动驾驶技术公司,以其创新的端到端机器学习技术而著称,专注于开发具有高度适应性和可扩wayve在端到端自动驾驶技术领域取得了显著进展,先后推出了大型语言模型LINGO-1/2,视觉生成模型GAIAwayve在端到端自动驾驶技术领域取得了显著进展,先后推出了大型语言模型LINGO-1/2,视觉生成模型GAIA-1,以及专为高级自动驾驶仿真图:将世界模型融入自动驾驶,wayve加速端到端一体化模型的研发迭代速度visionGAIA-1LINGO-2GAIA-1LINGO-2驶视频的生成式Al世界模型生成多个合理的未来,时长可达几分钟可通过语言、动作进行控制生成的内容.仅依靠纯视觉信息,即可进行精确的4D驶视频的生成式Al世界模型生成多个合理的未来,时长可达几分钟可通过语言、动作进行控制生成的内容使用自然语言训练,可解释Al驾驶模型,使用自然语言训练,可解释Al驾驶模型,显著提升了系统的可解释性最新发布的LINGO-2增加了人机交互功能,司机可通过语言命令控制汽车.增强其自动驾驶技术的测试和训练元戎启行于2024年北京车展上隆重推出了其即将量产的高端智能驾驶平台DeepRouteIO,该平台采用了端到端自动驾驶模型,标志着元戎启行CEO周光曾表示:“DeepRouteIO平台不依赖高精度地图,应用端到端模型,具有极佳的综合性能以及更强的长尾场景处理能力。目前,IO平台已在城市线级不同的多个城市进行泛化测试,这些等级不同的城市人口均超千万,道路情况极具代表性。IO平台推向消费者市场后,所到之处图:元戎启行的端到端融合演进路线 训练多个模型,将感知、预测、规划等.端到端模型实现输入图像后,直接输出.更擅长处理复杂路况.信息处理无减损.驾驶行为更加“人性化”商汤科技及其联合实验室提出了行业内首个感知与决策—体化的自动驾驶通用模型uniAD,该模型荣获了2023年CVPR的最佳论文奖。进—步地,在2024年,商汤科技推出了适用于实车部署、面向量产的真正端到端自动驾驶解决方案uniAD。uniAD模型将感知、决策、规划等关键模块整合到—个全栈的Transformer端到端模型中,通过联合训练保留了各个模块的特性。它实现了感知与决策的—体化,同时保持了模块化系统的优势,便于进行问题的回溯和分析。真.端到端uniADLearning-Based,联合训练 uniAD端到端解决方案演进路径真.端到端uniADLearning-Based,联合训练uniAD的联合训练实现方法.uniAD包括四个基于Transformer解码器的感知、预测模块和uniAD的联合训练实现方法.uniAD包括四个基于Transformer解码器的感知、预测模块和.并不限于特定的Transformer解码器,可以加入其他的替代方.查询Q起到连接管道的作用,方便联合训练与交互建模..将各个任务进行层级式的结合,并对不同任务间的信息进行了..通过端到端联合训练避免了多任务训练的融合难题,实现全局.最优,同时保留了分模块系统的优势,可以抛出中间模块的结uniAD:PIanning-orientedAutonomousDriving,以及XBrain大语言模型。在2024年的520AIDay上,小鹏汽车发布了其端到端大模型,该模型由三个关键组成部分构成:XNet感知神经网络、XPlanner规划控制大模型以及XBrain大语言模型。小鹏计划让其端到端智能驾驶大模型实现“每2天迭代—次”的快速更新周期。按照这—规划,预计在未来18个月内,小鹏的XNGP系统的能力将实现30倍的提升(接管率指标)。图:小鹏发布端到端大模型,面向旗下量产车型.深度视觉感知神经网络,是自动驾驶汽车.聚合了动态XNet、静态XNet和纯视觉2K占用网络.感知范围提升2倍,面积可达1.8个足球场大小,能精准识别50+个目标物,让用户如同拥有鹰眼视觉.感知范围提升2倍,面积可达1.8个足球场大小,能精准识别50+个目标物,让用户如同拥有鹰眼视觉.具备理解学习能力,泛化能力提升,可处理复杂甚至未知场景.系统能够认识待转区、潮汐车道、特殊车道、路牌文字,秒懂各种令行禁止、快慢缓急的行为指令,进而做出兼顾安全、性.基于神经网络的规划大模型,是自动驾驶汽车的“小脑”.拥有“老司机般的脚法”,前后顿挫减少50%、违停卡死减少40%、安全接管减少60%.让用户舒适性、安全性体验大幅提升华为在2024年4月推出了新品牌乾崽及其新—代智能驾驶解决方案ADS3.0,该方案以GOD网络和PDPGOD大网络具备识别白名单和异形障碍物的能力,同时能够感知道路结构和场景语义,从而更全面地理解驾驶环境。而PDP预测决策与规划网络的加入,显著提升了方案的通行效率,使得复杂路口的通过率达到96%以上。通过快速的更新迭代,ADS3.0将能帮助车主实现“越开越好开”visionLidarRadar 华为乾崽ADS3.!架构visionLidarRadarPDPPDP网络GODGOD网络(上海、广州、深圳等)(全国高速、城区)(全国高速、城区,实现点到点)塔11/12,智界S7享界S9(预计),后续有.相较于ADS2.0,ADS3.0在感知部分采用GOD大感知网络,决策规划部分采用PDP网络,完成了决策规划模块的神经网络化;.ADS3.0可实现车位到车位的NCA领航辅助功能,实现从公开道路到园区道路再到地下车位全场景贯通;.云端训练,快速迭代:学习训练算力达3.5EFLOPS,每天学习里程目录part01目录part01发展背景:汽车智能化正加速普及P02 part02创新思路:端到端自动驾驶的价值P09part03厂商实践:技术路线的选择与践行P18part03厂商实践:技术路线的选择与践行P18 算力、数据与可解释性,是端到端模型上车的主要挑战。尽管端到端架构相较于传统的模块化自动驾驶展现出了诸多优势,并且吸引了众多汽车制造商、科技公司以及其他自动驾驶领域的企业参与,端到端自动驾驶在落地和商业化方面仍然面临诸多挑战。构建所需的强大算力、获取用于模型训练的高质量海量数据,以及端到端大模型的“不透明性”和“解释性不足”,都是制约产品性能提升和安全保障的关键问题,需要行业各方共同努力,携手解决。.大模型需要大算力,需要厂商不断提升GPU的采购规模,这意味昂.AI厂商均在算力层面的投入.大模型需要大算力,需要厂商不断提升GPU的采购规模,这意味昂.AI厂商均在算力层面的投入,但.大模型需要大数据,本质上来讲,片段的学习(压缩与升华).需要极大规模的高质量数据,采.与大语言模型刚问世时类似,端.自动驾驶的“失效成本”很高,强调安全底线,需要设置额外的4技术路线不确定4技术路线不确定算力储备需要大量投入,这是国内厂商追上特斯拉需要翻越的壁垒。端到端自动驾驶大模型本质上是从大量的优质驾驶视频片段中提取和压缩驾驶知识与习惯的过程,这与chatGPT等生成式大语言模型类似,都需要强大的算力和海量数据来支撑模型的训练。算力显卡储备·与GPT类似,端到端自动驾驶训练遵循的也是大算力+海量数据的暴力