自动驾驶行业报告-端到端渐行渐近

Z自动驾驶行业研究报告“端到端”渐行渐近*智库分析师胡博文对本次报告JAZZ

Y

E

A

R目

录CON下ENTSJA

Z.Z

Y

E

A

RPart

02

趋势辨析：端到端自动驾驶的价值

P09Part

03

厂商实践：技术路线的选择与践行

P18Part01发展背景：汽车智能化正加速普及

P02Part04未来展望：端到端的挑战与未来式

P26JAZZ

Y

E

A

R口

国内汽车工业在电动化和智能化领域的迅猛发展，正在重塑消费者的购车偏好，消费者对于自动驾驶技术、智能座舱等高端智能化功能的兴趣日益浓厚。口

超半数的汽车消费者将智能化水平作为购车时的关键考量因素，他们追求更先进的自动驾驶体验、更智能的座舱环境以及更个性化的驾驶乐趣口

智能化在购车决策中的重要性日益凸显，这也促使众多汽车制造商加快了智能化技术的研发和工程投入；继续航里程和用车成本之后，智能化已

成为新能源汽车竞争的主要领域，未能跟上智能化步伐的汽车品牌可能会逐渐失去市场竞争力。图1:购车时“智能化”考量因素高居第二

图2:自动驾驶、智能座舱、OTA

能力受广泛关注51%48%47%47%43%31%30%59%

更先进的自动驾驶功能54%

智能座舱体验更好造型设计美观

原生新能源汽车平台乘坐更舒适

售后体验更好

OTA能力更强

续航里程表现

驾驶乐趣更高51%51%47%43%42%40%39%智能化水平已经成为国内汽车消费者最核心的购买因素之一。用车成本低智能化程度高

保养成本低外观时尚

环保噪音小

获取牌照

动力性能

配置表精炼Source:麦肯锡《2024麦肯锡中国汽车消JAZ

zY

E

A

R65%62%□

NOA

技术的渗透率正迅速提升：自2022年“量产元年”起，高速NOA和城区NOA

的普及率显著增长。目前，高速NOA的渗透率已超10%,城市NOA

也超过了3%。口在众多厂商的推动下，重视“智能化”的汽车越来越受消费者青睐，尤其是那些配备自动泊车和L2.5以上级别NOA

功能的车型；这些车型已成为车企竞争的焦点，预示着未来缺乏NOA功能的车辆可能失去竞争力。口

自动驾驶功能的普及，得益于车企的持续投入和消费者对这些技术的接受度，这已成为汽车市场竞争力的关键。图1:高速NOA

渗透率持续增长(%)

图2:城市NOA

渗透率持续增长(%)智能驾驶渗透提速，“智能化”竞争进入白热化。Source:

高工智能汽车，国联证券，甲子ov-23Dec-22Oct-23Sep-23Aug-23Apr-23Mar-24Dec-23禾赛科技美股2023年2月上市激光雷达传感器海创光电科创板2023年5月提交申请激光雷达传感器黑芝麻智能港交所2023年6月提交申请自动驾驶计算芯片图达通美股2023年8月完成IPO备案激光雷达传感器如祺出行港交所2023年8月提交申请Robotaxi、网约车运营文远知行美股2023年8月完成IPO备案自动驾驶解决方案、Robotaxi赛目科技港交所2023年10月提交申请ICV仿真测试、验证知行科技港交所2023年12月已上市自动驾驶解决方案速腾聚创港交所2024年1月已上市激光雷达传感器小马智行美股2024年4月完成IPO备案Robotaxi、Robotruck、智能驾驶解决方案纵目科技港交所2024年3月提交申请智能驾驶解决方案地平线港交所2024年3月提交申请自动驾驶计算芯片、智能驾驶解决方案佑驾创新港交所2024年5月提交申请智能驾驶解决方案Momenta美股2024年6月完成IPO备案自动驾驶解决方案口尽管一级市场融资受到整体投融资环境的影响，但自动驾驶公司通过不断优化核心软硬件产品，向更务实的L2辅助驾驶转型，加速了智能驾驶的

商业化进程，众多企业开始准备IPO。口

同时，随着智能驾驶功能的普及，消费者对其正面认知逐渐增强，乘用车自动驾驶市场稳步增长，这促使主机广与智能驾驶解决方案供应商之间

的合作更加紧密，进一步推动了智能驾驶技术的商业化应用。表：2023年起，自动驾驶厂商扎堆IPO订单需求扩张业绩快速上涨产品性能提升一级市场融资难造血能力待提升需要研发投入自动驾驶科技公司排队冲击IPO,

智驾加速普及，行业正在苏醒。Source:公开资料光智库整理。www.jazzyea5口

自

BEV

(鸟瞰视图)结合Transformer

架构成为自动驾驶感知领域的主要发展方向以来，数据驱动在其中扮演的角色愈发关键；众多汽车制造商

和自动驾驶解决方案提供商都已构建数据闭环系统，以支持自动驾驶系统的模型训练和持续迭代。口

目前，配备高级智能驾驶功能的汽车已实现规模化部署，这为自动驾驶算法的持续创新和优化提供了坚实的数据支撑。图：打造数据闭环，量产时代下的自动驾驶应用部署为数据驱动提供条件量产项目提供海量车端大数据：·人工智能技术加持，数据筛选、标注、训练、验证形成

全链路闭环，持续迭代智能驾驶产品·

相比过去工程师制定的规则算法，能够实现低成本、高

效率的系统迭代·由此实现闭环自动化，数据驱动自动驾驶，在为现有车

辆进行OTA

功能升级的同时，为后续更高级别的自动驾

驶车辆做准备OTA部署算法升级算法

部署Source:智库，《2023智能驾驶自动驾驶智算中心

数据积累

训练高阶自动驾驶算法智能驾驶汽车规模化Al

驱动的数据闭环数据

采集影子模式触发数据回传L3/L4

量产上车www.jazzyear.com智驾量产车上路，数据飞轮已经转了起来。数据分析打造数据闭环

升级现有智能车模型

训练模型

验证数据

标注口

AI技术的应用场景众多，自动驾驶无疑是其中的核心议题；它不仅代表了技术应用的前沿，也是产学两界Al专家不懈追求、共同攻克的领域。口

自动驾驶行业的发展与A技术的每次飞跃紧密相连：从卷积神经网络(CNN)、循环神经网络(RNN)、生成对抗网络(GAN)到

Transformer,每一次技术革新背后，都伴随着深度学习等基础Al技术的突破性进展。正是Al技术的持续进步，构成了自动驾驶技术不断演进和成熟的基础动力。图：自动驾驶技术的主要迭代路径那么,下一步?20112016201820202022

至

今Source:

浙商证券茫公开资料，智

www.jazzyear.com更擅长处理时间序列数据+生成高质量合成数据·

预测车辆未来轨迹能力·

长期时序建模能力弱；数据质量难把控；实时性要求无法满足RNN(LSTM)+GANBEV+Transformer·

结

合Transformer

更强的处理序列数据和复杂上下文关系方面的能力，实现更精确的环境感知、更长远的运动规划和更全局化的决策CNN

(卷积神经网络)·

图像识别处理表现优秀；有效处理传感器数据融合·

需要大量数据标注；时序任务处理能力偏弱自动驾驶技术发展与普及的背后，是底层AI技术的进步。BEV

(鸟瞰视角)·

直观且丰富的车身周边环境表示·

需要复杂的传感器数据融合与校准，计算量庞大oCC+Transformer·Occupancy

Network基于学习进行三维重建，是BEV

的3D

迭

代Transformer

大模型基于大规模数据川练，具备更强的鲁棒性与泛化能力在自动驾驶行业大方异彩CNN

提出后，深度学习进入爆

发期，自主学习能力被释放J

A

Z

Z

Y

E

A

R口Transformer

大模型技术在自动驾驶领域并非新近出现，其实早在ChatGPT之前，这一技术就已被应用于自动驾驶的感知任务。口特斯拉在2021年就展示了其基于BEV

视角结合Transformer

的感知方案，此后，国内厂商纷纷跟进并进行创新，这间接加速了2022年之后高阶智能驾驶方案的快速落地。口

从云端的模型训练到车端的模型部署，大模型技术已被广泛应用于数据处理、模型融合与优化等多个环节，显著提高了模型训练的效率和系统的

整体性能。图：从云端到车端，大模型已经在自动驾驶感知模块开始规模化应用数据挖掘大模型的泛化性能用于挖掘长尾数据，如使用CLIP模型进行

基于文本描述的图像数据检索。数据生成>

使

用NeRF技术隐式存储场景，通过渲染图片的监督学习学出

场景的隐式参数，实现场景重建和高真实感数据生成。数据自动标注利用大模型通过自监督学习预训练，配合极少量人工标注微

调，实现自动标注视频clip数据。知识蒸馏大模型通过学习海量数据中的特征，然后用来配合中、小模

型的训练，提高中、小模型的性能。车道拓扑预测>使用自回归编解码网络将BEV特征解

码为结构化的拓扑点序列，实现车道

拓扑预测。www.jazzye合并不同小模型>将处理不同子任务的小模型合并成一

个大模型，在车端进行联合推理计算，提高感知算法的准确性和实时性。AI

大模型技术已经在自动驾驶领域得到广泛应用。物体检测利用大模型检测真值固定的物体，如车道线、交通灯等，这些物体的位置

下受天气、时间等因素的影响。控制车端感知预测决策Source:

九章智驾光网络公开资料，甲子光JAZ

zY

E

A

R云端目

录CON下ENTSJA

Z.Z

Y

E

A

RPart01发展背景：汽车智能化正加速普及

P02

光Part

03

厂商实践：技术路线的选择与践行

P18Part04未来展望：端到端的挑战与未来式

P26Part

02

创新思路：端到端自动驾驶的价值

P09JAZZ

Y

E

A

R口传统自动驾驶系统已经发展得相当成熟，通常采用模块化串联的部署方式：其核心模块涵盖感知、定位、预测、决策和控制等，每个主要模块及

其子模块都承担着特定的职责，且每个模块的输入通常来源于前一模块的输出。口模块化设计的优势在于能够将复杂的自动驾驶任务分解为更小、更易于管理的子任务，同时便于问题的追踪和定位；然而，随着自动驾驶技术向

数据驱动的方向发展，模块化设计的某些局限性也逐渐显现，例如信息传递过程中可能出现的损耗、计算延迟以及累积误差等问题。图：传统自动驾驶的模块化部署信息的损耗与丢失任务多且散导致低效误差累积影响安全性复合误差难以修正系统构建与维护成本高传统模块化自动驾驶存在信息传递损耗、计算效率低下等问题。感知模块传感器融合目标跟踪车道线识别红绿灯识别障碍物识别车辆定位定位模块传感器摄像头激光雷达毫米波雷达轮速IMU高精地图预测模块车辆行为预测行人行为预测规划模块全局路径规划车辆行为决策控制模块转向油

门

/

电

门刹车PID/MPCSource:

公开资料光智库整理。www.jazzyeJ

A

Z

z

Y

E

A

R底盘通信10口模块化自动驾驶的核心在于不同子模型在各个模块中的嵌套与协同工作。然而，随着Transformer架构等先进Al技术的发展，模型间的界限正逐渐变得模糊。原本独立的子任务模型正逐步被更大规模的神经网络模型所取代，特别是在感知模块，BEV

结合Transformer方案的广泛应用预示

着数据驱动的深度学习神经网络正日趋成熟。口

从架构的角度来看，随着模型融合的趋势，自动驾驶系统的终极形态很可能是OneModel,即一个狭义上的端到端神经网络模型。图：自动驾驶系统模块的融合趋势从系统架构的变化趋势上看，自动驾驶系统模块是在不断融合的。预测、决策模块也正在神经网络化的进程预测规划网络控制

wwwjazzyear.com

11预测地图

定位Learning-Based更少的工程更多的数据BEV+Transformer

极大推动自动驾驶通用感知网络的发展速度多传感器融合决策Source:元戎启行光网络公开资料，甲子光目标跟踪规划目标检测决策端到端全栈神经网络后融合控制更多的工程适量的数据预测规划地图控制Rule-Based通用感知网络定位端到端路线为自动驾驶进一步突破提供了一种可能性。

口随着感知、预测和决策等关键模块逐渐实现神经网络化，端到端自动驾驶的路径已经清晰可见，为自动驾驶技术向L4级别无人驾驶的迈进提供了广阔的想象空间。口

端到端自动驾驶神经网络的实现将带来一系列优势：它将完全基于数据驱动进行全局任务优化，拥有更简洁的系统架构，更高的计算效率以及更

强的泛化能力。然而，它也面临着对算力和数据的巨大需求，以及尚未解决的黑盒问题和幻觉问题，这些问题需要随着技术的进步而逐步克服。传感器获取的原始数据End-to-End端到端自动驾驶模型直接输出车辆驾驶动作感

知预测渗透决策控制·

模型集成统一，减少模块间的信息延迟和冗余，

提升计算效率·由数据驱动的方式来解决自动驾驶长尾问题

·

更好、更快的纠错能力大模型的幻觉问题参数过大，算力不足不可解释与安全性完全由数据驱动更强的泛化性避免累计误差更好的计算效率具备零样本学习能力，在未知场景仍可正确决策Source:公开资料光智库整理。·避免上游模块错误的过度传导www.jazzyear.comJAZ

zY

E

A

R12基于统一的神经网络，端到端的核心是信息的无损传递。口

自动驾驶领域尚未就“端到端”概念达成统一认识。一般而言，端到端自动驾驶指的是从原始传感器数据输入直接到控制指令输出的连续学习与

决策过程，过程中不涉及任何显式的中间表示或人为设计的模块。口

尽管端到端自动驾驶的具体定义仍存在一定的模糊性，但其核心理念是避免信息在传递过程中的损耗。端到端自动驾驶：统一的神经网络架构，一步到位输出车辆指令模块化架构周边环境传感器

感知/定位预测规划控制执行器

车辆状态信息的无损传递Source:

公开资料光智库整理。

wwwjazzyear.com

13端到端架构周边环境端到端大模型车辆状态执行器传感器口

特斯拉FSD

V12的卓越性能令业界观察家印象深刻，它确实摒弃了之前FSD方案中多年积累的代码，但其端到端方案的成功也离不开其在过去十年在人工智能和智能驾驶领域的深厚积累。口

端到端自动驾驶技术的发展遵循着渐进的路径：目前，BEV+OCC+Transformer

已经实现了感知模块的端到端架构，决策模块也在逐步从依赖手写规则向基于深度学习的模式转变，最终目标是实现模块化联合与单一模型的端到端自动驾驶。人为定义接口BEV感

知人为定义接口BEV感

知Rule-BasedPlannerAI

Planner“端到端”感

知(现有主流架构)决策规划模型化·BEV+Transformer

推动感知方案性能提升

决策规划模块仍然基于规则仍然保留两个模块独立训练，而预测与决策

规划模块神经网络化通过人工定义的方式制定接口模块间以特征向量为输出与输出两个模块通过梯度传导的方式同时训练没有模块间的明确划分，是单一模型基

于RL或IL

等深度学习方式进行模型训练融合趋势下，“端到端”从感知走向决策，再走向联合一体化。端到端自动驾驶大模型One

Model端到端。(生成式Al大模型)隐式表达特征BEV

Feature图：端到端自动驾驶系统架构演进Source:

辰韬资本《端到端自动驾驶行业研Rule-BasedLearning-Based模块化联合端到端JA

Z

z

Y

E

A

Rwww.jazzyear.comPlanning

Former14●口模块化自动驾驶系统面临信息丢失、计算效率低、累积误差以及维护成本等问题，这些问题难以回避，需要新的思路去解决。口

端到端自动驾驶通过将传感器收集到的全面信息作为输入，在单一网络中直接生成车辆的控制指令或运动规划。这种设计使得整个系统针对最终

目标进行优化，而非仅仅针对某个独立的子任务，从而实现自动驾驶性能的全局最优化。口

随着高质量数据的不断积累和模型的持续优化，端到端架构有望展现出比传统模块化架构更优越的自动驾驶性能。图：端到端自动驾驶的特点与优势·

不仅感知模块，决策规划与控制模块也由数据驱动，实现全栈数据驱动·

无需或仅需少量人工编码、手写规则，简化开发流程·

提升数据规模与质量能够显著提升产品性能，不断提升系统的能力上限·

端到端是一体化架构，为汽车行驶的全局任务为统一目标联合训练

·

避免模块化的单独优化·

不需要通过频繁的patch和参数调整修正·

—体化的模型结构能够减少信息传递的延迟，加快系统反应·

消除各模块之间信息传递的误差累积，全栈神经网络的上下层之间可以

做到全量信息传递PerformanceTime模块化

端到端1

数据驱动2

全局最优

消除误差瞄准“全局最优”,端到端路线的提出有望有效缓解模块化架构的弊端。Source:

公开资料光智库。www.jazzyeJAZ

zY

E

A

R15模仿学习(IL)行为克隆

(BC)通过监督学习模仿

专家行为简单直接，易于实

现实现简单，计算效无法捕捉专家决策广泛应用，但面临率高

据分泛化和鲁棒性挑战模仿学习(IL)逆最优控制

(IOC)通过专家演示学习

奖励函数尝试解释专家行为

背后的意图可能更好地理解任学习奖励函数困难，主要用于研究，实务结构需要大量专家数据

际应用较少强化学习(RL)强化学习(RL)通过试错学习最优

策略能够处理高维输入

和连续动作空间

上能学习更优需

，

others策略蒸馏(PolicyDistillation)训练辅助网络来指

导主网络学习利用辅助网络的知

识来提升主网络性

能可以提高学习效率需要设计合适的辅研究阶段，探索如和策略性能助网络和训练策略

何有效传递知识others模型预测控制

(MPC)利用模型预测未来

状态来进行控制决

策考虑未来状态，可

以优化长期行为能够考虑未来预测，计算成本高，需要

提高策略鲁棒性

精确模型研究和特定应用中

使用，需要进一步

优化战进挑有用中应境实环真拟稳计不和训练数据资源大量定算要略论策理敏感对数布偏复杂口模仿学习

(Imitation

Learning)和强化学习(Reinforcement

Learning)是当前用于训练端到端神经网络的两种主要方法。口模仿学习主要通过逆最优控制(Inverse

Optimal

Control)和行为克隆(Behavior

Cloning)来实现，其核心理念是让智能体通过模仿专家的行

为来学习最优策略。而强化学习则是一种通过试错来学习的领域，其中奖励函数的设计是一个关键挑战。模仿学习与强化学习是端到端自动驾驶的主要训练方法。Data

bufierπpLeamπ图：端到端自动驾驶背后的基本训练方法行为克隆

逆最优控制强化学习www.jazzyea16路径规划路径预测大语言模型仿真与测试人机交互/个性化大模型之于自动驾驶汽车大视觉模型GAIA、SORA等感知决策一体化多模态大模型视觉理解与推理口大型语言模型、视觉模型(如世界模型)、以及多模态大型模型等基础模型展现出了强大的能力，并且这些能力正在自动驾驶技术的融合应用中正在被积极开发。口这些基础模型通过预训练获得了推理能力和丰富的知识，能够升级传统的基于规则的if-else系统。出色的泛化能力能够应对自动驾驶技术发展中的挑战，提升在感知、预测、规划等关键领域的性能，升级自动驾驶仿真和测试环节的技术手段。大视觉模型

(VFM)●

目标检测和跟踪：VFM在3D

物体检测和分割方面的能力，对于自动驾驶的感知系统升级至关重要；●

仿真和测试：VFM的视频生成能力，为创建逼真的驾驶场景提供了支持，这对于自动驾驶系统的安全性和可靠性提

升有极大潜力。多模态大模型

(MFM)·

视觉理解与空间推理：MFM

结合了视觉和语言信息，展现出卓越的视觉理解和空间推理能力，对自动驾驶系统的决

策过程至关重要；·

综合感知与预测：MFM通过整合视觉和语言数据，提高了对环境的感知精度和对其他交通参与者行为的预测准确性。大语言模型

(LLM)·推理和规划：LLM

利用其在逻辑推理、代码生成和翻译方面的专长，为自动驾驶的路径规划和决策制定提供支持；

·用户交互：通过理解自然语言并执行用户指令，LLM

使智能驾驶系统更加用户友好，实现个性化体验；·

常识性驾驶知识：

LLM

的预训练能力使其能够理解和应用驾驶常识，可能替代传统的基于规则的系统。各类基础模型有望为自动驾驶带来新维度上的能力。Gao,et

al.,A

Survewww.jazzyear.com视频生成/世界模型Source:HaoxiangGPT-4Vision、LLaVA等ChatGPT、LLaMA等环境感知17目

录CON下ENTSJA

Z.Z

Y

E

A

RPart

01发展背景：汽车智能化正加速普及

P02

光Part

02

创新思路：端到端自动驾驶的价值

P09Part

03

厂商实践：技术路线的选择与践行

P18Part04

未来展望：端到端的挑战与未来式

P26JAZZ

Y

E

A

R18WAYVEDEEPROUTE.Ai元戎启行comma.aiRoboticsapolloAlmomenTa

地

平

线Horzon

Robotlos黑芝麻智能HAOMO,AIT

EC

H

N

OLOGIE

SHUAWEI口端到端自动驾驶正迅速成为自动驾驶行业的新焦点，吸引了多种类型的参与者投身于这一路线，涵盖了车企、人工智能企业、自动驾驶技术公司、机器人公司以及自动驾驶芯片制造商。口

随着对“端到端”理念的共识逐步建立，预计将有更多的企业加入这一行列，各自发挥专长，共同推动端到端自动驾驶技术的繁荣发展。图：端到端自动驾驶行业代表玩家(不完全整理)乙ERON零一汽

车T

三与L

万小

鹏

长成汽车NIO人工智能公司/自动驾驶解决方案供应商Note:

基于网络公并信息的不完全整理

，

www.jazzyear.com

19一体化端到端模型模块化联合端到端端到端自动驾驶部分厂商PhiGent鉴智机器人商汤sensetime车企/新势力NVIDIABLACKSESAMEC口特斯拉无疑是电动汽车和自动驾驶行业的领军者，它已于2024年1月向北美用户正式推送FSD

V12,成为首家在量产车型上实现端到端自动驾驶落地的公司。口

FSD

V12在复杂场景下展现了卓越的泛化能力，且其驾驶风格不再局限于传统的规则遵循，而是变得更加灵活，类似于经验丰富的驾驶员，能够根据实际情况做出适应性调整。口

特斯拉在端到端自动驾驶算法领域的领先地位，得益于在FSD

真实里程积累和超大规模算力投入方面的深厚基础，这也是特斯拉最大的竞争优势。图1:特斯拉算力储备将在2024年10月达到100EFLOPS

图2:特斯拉FSD

已经累计开了10亿英里*相当于30万块NvidiaA100算力端自动驾驶模型训练提供充沛算力。*该数据仍然在持续、快速上涨，赋能FSD

的迭代更新。Source:

光年智库整理。

20TrainedOn

ExtremelyLargeComputein

Units

Of

A100

GPUs

Total

Amount

Of

Tesla

Compute1BFSD

Miles

Driven1000p00000800000.0006000000004000o0c00端到端玩家简析-特斯拉口

成立于2017年的Wayve,

是一家位于英国伦敦的自动驾驶技术公司，以其创新的端到端机器学习技术而著称，专注于开发具有高度适应性和可扩

展性的端到端自动驾驶系统。□

Wayve在端到端自动驾驶技术领域取得了显著进展，先后推出了大型语言模型LINGO-1/2,视觉生成模型GAIA-1,以及专为高级自动驾驶仿真

训练和测试而设计的PRISM-1。Driving

ActionWayveVision

LanguageAction

ModelWayveVideo

input

VisionModelPRISM-1·仅依靠纯视觉信息，即可进行精确的4D

场景重建(空间+时间),用于自动

驾驶的模拟仿真测试·增强其自动驾驶技术的测试和训练·

同时发布了WayveScenes101

Benchmark

基准数据集GAIA-1·能够通过视频、动作和文本生成真实驾驶视频的生成式AI世界模型·

生成多个合理的未来，时长可达几分钟

·可通过语言、动作进行控制生成的内容·能够赋能自动驾驶系统的训练LINGO-2·自动驾驶领域首个视觉-语言-动作模型·

使用自然语言训练，可解释Al驾驶模型，显著提升了系统的可解释性·最新发布的LINGO-2

增加了人机交互

功能，司机可通过语言命令控制汽车图：将世界模型融入自动驾驶，Wayve

加速端到端—体化模型的研发迭代速度端到端玩家简析-Wayve

WAYVESource:Wayve?公开资料，智库Imageencoderaction

etexten

der4D

场景重建模型/合成数据www.jazzyear.comLearned

queriesText视频生成模型VLAM

模型videodecoderTa21Learning-Based

2023.8更少的工程更多的数据

通用感知网络

预测规划网络

控制

元戎的DeepRoute

IO方案，无需开发、训练多个模型，将感知、预测、规划等2022

全打通端到端模型实现输入图像后，直接输出多传感器融合

预测

地图

定位

控制动作决策

规划

控制

·Mapfree

全域点到点·

更擅长处理复杂路况2017

·

信息处理无减损目标检测目标跟踪后融合预测Rule-Based

更多的工程适量的数据

决策

规划

控伟

地

图

定位

Source:

元戎启行光公开资料，智

www.jazzyear.com

22口

元戎启行于2024年北京车展上隆重推出了其即将量产的高端智能驾驶平台DeepRoute

IO,该平台采用了端到端自动驾驶模型，标志着元戎启行成为国内首批将端到端大型模型成功应用于量产车辆的人工智能企业。□CEO周光曾表示：“DeepRoute

IO平台不依赖高精度地图，应用端到端模型，具有极佳的综合性能以及更强的长尾场景处理能力。目前，10平

台已在城市线级不同的多个城市进行泛化测试，这些等级不同的城市人口均超千万，道路情况极具代表性。1O

平台推向消费者市场后，所到之处都能开，任何场景都好开。”图：元戎启行的端到端融合演进路线端到端玩家简析-元戎启行端到端模型开展道路测试·

驾驶行为更加“人性化”JAZZY

E

A

RDEEPROUTE.Ai元戎启行口商汤科技及其联合实验室提出了行业内首个感知与决策一体化的自动驾驶通用模型UniAD,该模型荣获了2023年CVPR

的最佳论文奖。进一步地

在2024年，商汤科技推出了适用于实车部署、面向量产的真正端到端自动驾驶解决方案UniAD。□

UniAD模型将感知、决策、规划等关键模块整合到一个全栈的Transformer端到端模型中，通过联合训练保留了各个模块的特性。它实现了感知

与决策的一体化，同时保持了模块化系统的优势，便于进行问题的回溯和分析。UniAD

包括四个基于Transformer

解码器的感知、预测模块和一个规划器并不限于特定的Transformer

解码器，可以加入其他的替代方

案进行感知与BEV特征提取查询Q

起到连接管道的作用，方便联合训练与交互建模将各个任务进行层级式的结合，并对不同任务间的信息进行了

充分的交互通过端到端联合训练避免了多任务训练的融合难题，实现全局

最优，同时保留了分模块系统的优势，可以抛出中间模块的结

果进行白盒化分析www.jazzyear.com

23真

·端到端UniAD统一的感知决策规划模型

Learning-Based,联合训练BackbonePerceptionSource:商汤科技

UniAD:Planning-orie两段式端到端网络感知模块

Learning-Based端到端玩家简析-商汤绝影基于规则的网络感知模块

Learning-Based△

O

Ego-vchicleQueryB

BEV

Feature

TrackFormer摄像头激光雷达毫米波雷达超声波雷达高精地图摄像头激光雷达毫米波雷达超声波雷达高精地图摄像头激光雷达毫米波雷达超声波雷达SD地图UniAD

的联合训练实现方法MotionQPredictionUniAD

端到端解决方案演进路径决策规划

Learning-BasedJ

A

Z

z

Y

E

A

R决策规划

Rule-Based···

··Multi-viewVision-onlyInputOce

QBBird'seyeview

FeatureMotionFormerAgent-levelFeatureScene-levelFeatureMapFormerPlanningOccFormerPlannerMap

QTrack

QB口在2024年的520AI

Day上，小鹏汽车发布了其端到端大模型，该模型由三个关键组成部分构成：XNet

感知神经网络、XPlanner

规划控制大模型以及XBrain大语言模型。口

小鹏计划让其端到端智能驾驶大模型实现“每2天迭代一次”的快速更新周期。按照这一规划，预计在未来18个月内，小鹏的XNGP系统的能力将

实现30倍的提升(接管率指标)。图：小鹏发布端到端大模型，面向旗下量产车型

小

朋

鹏感知规划控制Source:

小鹏汽车光公开资料，

智

24XPlanner·

基于神经网络的规划大模型，是自动驾驶汽车的“小脑”拥有“老司机般的脚法”,前后顿挫减少50%、违停卡死减少

40%、安全接管减少60%·让用户舒适性、安全性体验大幅提升·深度视觉感知神经网络，是自动驾驶汽车的“眼睛”·

聚合了动态XNet、静态XNet

和纯视觉2K占用网络·感知范围提升2倍，面积可达1.8个足球场大小，能精准识别50+个目标物，让用户如同拥有鹰眼视觉·

具备理解学习能力，泛化能力提升，可处理复杂甚至未知场景系统能够认识待转区、潮汐车道、特殊车道、路牌文字，秒懂

各种令行禁止、快慢缓急的行为指令，进而做出兼顾安全、性

能的拟人驾驶决策端到端玩家简析-小鹏·Al大语言模型，是自动驾驶汽车的“大脑”XNetJAZ

zY

E

A

RXPlannerXPlannerXBrainXNet十级华为历代ADS智驾方案特性类别ADS

1.0ADS

2.0ADS

3.0发布时间2021年4月2023年4月2024年4月软件架构BEVBEV+GOD网络GOD网络+PDP网络核心功能NCA领航辅助(上海、广州、深圳等)NCA领航辅助(全国高速、城区)NCA领航辅助(全国高速、城区，实现

点到点)搭载车型极狐阿尔法S、阿维塔11问界M5/M7/M9,阿维塔11/12,智界S7享界S9(预计),后续有

更多品牌与车型加入口华为在2024年4月推出了新品牌乾崑及其新一代智能驾驶解决方案ADS3.0,该方案以GOD网络和PDP网络为核心，实现了端到端的智能驾驶□

GOD大网络具备识别白名单和异形障碍物的能力，同时能够感知道路结构和场景语义，从而更全面地理解驾驶环境。而PDP预测决策与规划网络

的加入，显著提升了方案的通行效率，使得复杂路口的通过率达到96%以上。通过快速的更新迭代，ADS

3.0将能帮助车主实现“越开越好开”

和“行驶更类人”的目标。相较于ADS2.0,ADS3.0在感知部分采用GOD大感知网络，决策规划

部分采用PDP网络，完成了决策规划模块的神经网络化；ADS

3.0可实现车位到车位的NCA领航辅助功能，实现从公开道路到园区道路再到地下车位全场景贯通；云端训练，快速迭代：学习训练算力达3.5E

FLOPS,每天学习里程

3000万+公里，5天一次模型更新速度。PDP

网络GOD

网络端到端玩家简析-华为乾崑华为乾崑ADS3.0架构感知

(理解驾驶场景)

预测与决策LidarNavigationSource:

公开资料光智库整理。www.jazzyear.com

25JAZ

zY

E

A

RVisionRadar预决策规划一张网运动控制目

录CON下ENTSJAZ.ZY

EA

RPart

02

创新思路：端到端自动驾驶的价值

P09Part

04

未来展望：端到端的挑战与未来式

P26Part

03

厂商实践：技术路线的选择与践行

P18发展背景：汽车智能化正加速普及JAZZY

E

A

RPart01P02光26口尽管端到端架构相较于传统的模块化自动驾驶展现出了诸多优势，并且吸引了众多汽车制造商、科技公司以及其他自动驾驶领域的企业参与，端到端自动驾驶在落地和商业化方面仍然面临诸多挑战。口

构建所需的强大算力、获取用于模型训练的高质量海量数据，以及端到端大模型的“不透明性”和“解释性不足”,都是制约产品性能提升和安全保障的关键问题，需要行业各方共同努力，携手解决。·

与大语言模型刚问世时类似，端到端的训练方式让模型不可避免

地存在不可解释性·

自动驾驶的“失效成本”很高，

强调安全底线，需要设置额外的

完全边界做冗余·

大模型需要大

算

力

，需要厂商不断提升GPU的采购规模，这意味

着端到端模型的训练成本非常高昂·

AI

厂商均在算力层面的投入，但

国内GPU的限制仍是挑战

系统的安全性保障www.jazzyea

27·

大模型需要大数据，本质上来讲，端到端自动驾驶是海量驾驶视频

片段的学习(压缩与升华)需要极大规模的高质量数据，采

集、清洗、筛选都是难点

技术路线不确定Source:

公开资料光智库整理。算力、数据与可解释性，是端到端模型上车的主要挑战。

优质大规模数据

缺乏验证方法2

弱解释性问题1

巨额投入成本团队组织变革车企特斯拉Dojo智算中心100000

PFLOPS长安长安智算中心1420

PFLOPS吉利星睿智算中心810

PFLOPS理