汽车行业AI大模型赋能自动驾驶：特斯拉自动驾驶技术跟踪占用网络算法驱动自动驾驶落地

核心观点：近期，特斯拉更新其FSD算法至v11.4，此次升级实现FSD端到端的能力，即包含高速领航、城市道路领航和泊车三个域的智驾功能。特斯拉将改进车辆性能置于引入新功能之上，可以更快地针对环境做出反应，并在必要时调整车速，确保所有相关人员都能获得更安全的体验。我们认为AI对整个汽车产业生态变革将产生重大影响，特斯拉作为整个自动驾驶领域开拓者，正引领相关技术应用落地。特斯拉自动驾驶算法主要经历四个阶段，目前架构包括RegNet、HydraNet等。2016-2018年，特斯拉自动驾驶算法处于第一阶段，在该阶段中，使用常规的骨干网结构；使用2D检测器进行特征提取；训练数据为人工标注，整体来看比较原始，相对传统；2018-2019年，特斯拉自动驾驶算法采用了HydraNet结构；加入特征提取网络BiFPN；将图像空间从image

space直接转化为vector

space，能执行多任务、对视觉特征进行充分融合以及很大程度上避免映射偏差，相较于精度提升，这个阶段注重提高效率；2019-2020年，特斯拉自动驾驶算法来到第三阶段，使用了Transformer；骨干网结构使用了RegNet；能够实现自动标注数据；以及主张去掉雷达，使用纯视觉方案，不仅解决了CNN算法在BEV遮挡区域预测问题，同时还有更高的性能和算法准确度以及能够快速得到高精度地图数据，相较于提高效率，这个阶段注重提高精度；2021年以来，特斯拉自动驾驶算法来到第四阶段，增加了时空序列与时序信息融合等能力；在空间感知方面，使用占用网络；使用Lanes

Network；为了增强汽车感知能力，考虑到4D雷达的效果与成本，预计会将雷达重新安装，整体来看，该阶段在感知能力上大做文章，自动驾驶算法已相对成熟。特斯拉自动驾驶算法2022年的核心改变在于使用Occupancy

Networks进行感知以及使用Lanes

Network进行矢量地图绘制。OccupancyNetworks（占用网络）可以通过3D物体检测的方式来估计行驶中其他车辆、物体的位置和大小，占用网络可以使用多个摄像机拍摄的图像进行3D处理，即使是动态占用也可以计算出来并且运行效率较高；Lanes

Network通过对离散空间的预测，能够以自回归的方式将所有的车道线节点进行生成，从而获取更精确的车道线拓扑结构。2023年5月，特斯拉推出FSD

v11.4，实现FSD端到端能力。FSD端到端的能力，即包含高速领航、城市道路领航和泊车三个域的智驾功能。映射到国内，以蔚小理为代表的车厂以特斯拉为锚，在自动驾驶领域持续发力，可像人类司机那样实时地感知、决策、规划，蔚来NAD、小鹏XNGP等逐步实现L4驾驶水平。特斯拉正持续引领厂商技术革新，例如特斯拉将Occupancy网络引入到自动驾驶感知技术中，后续理想AD

Max3.0也将Occupancy网络纳入技术栈中用于汽车感知。特斯拉引领自动驾驶走向落地阶段，全球自动驾驶产业链推进加速，域控制器放量或将提速。重点推荐德赛西威、中科创达、均胜电子、经纬恒润、华阳集团。核心观点以特斯拉为锚把握自动驾驶技术演进资料来源：Tesla特斯拉自动驾驶算法使用的是多任务学习HydraNets架构，从而让汽车共享相同神经网络或特征提取器的同时能进行交通灯检测、车辆避让等多项任务。特斯拉自动驾驶算法中，首先让车载摄像头使用RegNet对路况/汽车进行原始图像提取，多个特征层通过FPN相互交互，从而进行特征提取。在每个摄像头都处理完单个图像后，使用具有多头自注意力的Transformer模型进行处理，Transformer模型不仅解决了CNN算法在BEV（鸟瞰图）遮挡区域预测问题，同时还有更高的性能和算法准确度。后续将处理结果进行多尺度特征、视频神经网络等处理，从而完成整个自动驾驶算法。近年来Transformer凭借传统

CNN

算法所不能企及的感知能力以及其优秀的鲁棒性和泛化性，已逐步取代IPM、Lift-splat、MLP成为BEV感知领域的主流算法。图表：特斯拉自动驾驶算法架构 图表：特斯拉自动驾驶算法架构Autopilot是特斯拉自动驾驶技术底座Autopilot于2014年发布，是一种先进的驾驶辅助系统，可提高驾驶的安全性和便利性。多年来，Autopilot随着整车OTA及硬件更新不断迭代升级。现阶段，Autopilot可实现的功能包括：交通感知巡航（控制车速与交通流一致）、变道辅助（协助用户转向变道）、自动驾驶导航（主动引导车辆进出匝道、自动接通转向信号并选择正确出口）、自动变道、自动泊车、智能召唤（自动在复杂环境和停车位间行驶，找到用户）、自动紧急制动、侧面碰撞预警、车道偏离提醒等资料来源：Tesla,图表：特斯拉Autopilot图表：Autopilot能实现多种自动驾驶功能所有Tesla车辆都标配Autopilot所有Tesla车辆都具有所有安全功能约有100万辆特斯拉汽车改进了高速公路驾驶系统约100,000辆特斯拉汽车拥有“FSD

Beta”软件特斯拉自动驾驶技术变迁总结资料来源：Tesla,第一阶段1、使用常规的骨干网结构；2、使用2D检测器进行特征提取；3、训练数据为人工标注比较原始，相对传统第二阶段1、采用了HydraNet结构；2、加入特征提取网络BiFPN；3、将图像空间从image

space直接转化为vector

space1、能执行多任务；2、相较于FPN，BiFPN能够更加充分的进行特征融合并且赋予不同特征权重；3、很大程度上避免了图像到向量空间中映射偏差第三阶段1、使用了Transformer；2、骨干网结构使用了RegNet；3、自动标注数据；4、主张去掉雷达，使用纯视觉方案1、不仅解决了CNN算法在BEV遮挡区域预测问题，同时还有更高的性能和算法准确度；2、更加简单、易理解，而且还能够运行高复杂计算量；3、能够快速得到高精度地图数据第四阶段1、增加了时空序列与时序信息融合等能力；2、在空间感知方面，使用占用网络；3、使用Lanes

Network；4、为了增强汽车感知能力，考虑到4D雷达的效果与成本，预计会将雷达重新安装到汽车上1、让汽车有短时间记忆，增强了汽车感知的鲁棒性；2、能够对多个图像进行3D处理、识别出被遮挡的部位以及快速运行；3、更精准的识别车道线路拓扑结构阶段 技术变迁技术变化带来的影响占用网络算法升级资料来源：Tesla图表：鸟瞰图与占用网络算法对比图表：对象检测与占用网络算法对比图表：固定矩形与占用网络算法对比相比HydraNet结构的鸟瞰图、固定矩形、物体检测进行了全面升级和优化。occupancy

network将世界分为小立方体，预测每个格子被占用概率如何。从2D升级到3D。对象检测的算法受数据集限制，一旦遇到没有标注的物体出现，则没法检测到前方物体。而占用网络算法可以避免这个问题。特斯拉自动驾驶技术经历四代资料来源：Tesla,图表：Autopilot发展历程Input：特斯拉几乎采用了纯视觉解决方案资料来源：Tesla,Tesla

Vision自Autopilot发布以来经历了多次发展：2016

年，

Tesla

Autopilot

Software

1.0正式上线，主要网络结构为RegNet

搭上

2D

detector；2018-2019年，公司在计算机视觉中提出了vector

space

的概念，vector

space与image

space相比，将视觉的图像空间转移至向量空间，这个技术路线基调更是在2020年的smart

summon功能研发时确定下来。2021年，TeslaVision

在上一版本的Transformer中引入Spacial Temporal

模型，将时序信息加入视觉模型。2020年马斯克决心从特斯拉车上移除雷达，而全部采用摄影机，让自动驾驶完全采用视觉方案，8个摄像头和强大的视觉处理能力可实现360度视野范围，对周围环境的监测距离最远可达250米。后来，为了在感知层提升自动驾驶能力，特斯拉在HW

4.0硬件系统中，配置了高精度4D毫米波雷达。图表：特斯拉纯视觉解决方案 图表：4D毫米波雷达效果更好Backbone：特斯拉采取RegNet进行特征提取资料来源：Designing

Network

Design

Spaces,骨干网是用于图像物体特征提取，常见的骨干网包括AlexNet、ResNet、VGGNet

等。特斯拉采用RegNet识别图像中的对象，并提供对象的丰富特征信息。2020年Meta

AI包括何恺明在内的科学家提出了RegNet网络，在网络设计范式上更加简单、易理解，而且还能够运行高复杂计算量。RegNet的核心是网络设计空间，其思想是，可以在设计空间中对模型进行采样，从而产生模型分布，并可以使用经典统计学中的工具来分析设计空间。设计一个不受限制的初始设计空间的逐步简化版本就称为设计空间设计（design

space

design）。在设计过程的每个步骤中，输入都是初始设计空间，输出则是更简单、或性能更好的模型的精简模型。通过对模型进行采样，并检查其误差分布，即可表征设计空间的质量。图表：Regnet中网络设计空间的概念 图表：Regnet要好于最优网络EfficientNetNeck位于骨干网和检测头之间，是用于提取更细的特征。特斯拉自动驾驶算法采用BiFPN（加权双向特征金字塔网络），

BiFPN是一种易于快速进行多尺度特征融合的特征金字塔网络。它融合了FPN、PANet和NAS-FPN的多级特征融合思想，使信息在自上而下和自下而上两个方向上流动。BiFPN具有以下几点改进：通过增加残差链接，增强特征的表示能力；移除单输入边的结点，减少计算量；针对融合的各个尺度特征增加一个权重，调节每个尺度的贡献度，提高检测速度。简单来说，BiFPN是在FPN的基础上对其进行改进，对原始的FPN模块又添加了添加上下文信息的边，并对每个边乘以一个相应的权重。Neck：使用BiFPN对更精细特征进行提取与特征融合资料来源：EfficientDet:

Scalable

and

Efficient

Object

Detection图表：BiFPN网络结构图表：BiFPN能加强特征提取骨干网为模型提供相关的矩阵输入，对于一些实际任务，例如检测、分割等，通常要在特征图上应用“检测头”。特斯拉使用HydraNets进行具体任务实施。HydraNets包含用于处理视觉特征的多个组件，在训练期间分别训练出专业的组件，在推理过程中选择相应组件进行执行，能处理多种任务，极大提升了效率。8个摄像头使用Regnet提取完图像后，使用Transformer模型进行图像特征融合，其中还会有时间信息融合操作，图像信息处理完后，就通过HydraNets将信息分到不同的视觉组件中处理不同的下游任务。Head：特斯拉使用HydraNets实施多任务资料来源：HydraNets:Specialized

Dynamic

Architectures

forEfficient

Inference，Tesla图表：HydraNets算法架构图表：特斯拉中的HydraNets自动驾驶感知能力：占据网络(Occupancy

Networks)特斯拉采用占用网络技术进行驾驶感知，占据网络可以通过3D物体检测的方式来估计行驶中其他车辆、物体的位置和大小。占据网络利用RegNet和BiFPN从多相机获取特征，然后模型通过带3D空间位置的spatial

query对2D图像特征进行基于attention的多相机融合。之后利用3D-to-2D

query，即根据每个相机的内外参将3D

spatial

query投影到2D特征图上，提取对应位置的特征。最后进行时序融合。实际上，占用网络实际上是对BEV技术的拓展。占用网络具有多个优点，例如占用网络可以使用多个摄像机拍摄的图像进行3D处理，即使是动态占用也可以计算出来，哪怕是遮挡的部分，也可以更加精准的识别出来。占用网络可以在10ms时间内运行。资料来源：Tesla,图表：占用网络整体架构图表：占用网络在特斯拉自动驾驶模型中的位置自动驾驶矢量地图：Lanes

Network资料来源：Tesla,在BEV（鸟瞰图）上进行地图分割和识别，往往是在像素级别进行操作，因为无法得到车道线的拓扑结构，因此不能用于轨迹规划。特斯拉使用Lanes

Network进行矢量地图规划，Lanes

Network可帮助获取更精确的车道线拓扑结构，以识别车辆从一条车道变换到另一条车道的路径。Lanes

Network在模型结构上，是在感知网络backbone基础上加入一个解码器，以序列的方式自回归地输出结果。具体实现上来说，模型首先要选取一个生成顺序（如从左到右，从上到下），对空间进行离散化（tokenization），然后就可以用LanesNetwork进行一系列离散token的预测，网络会以自回归的方式将所有的车道线节点进行生成。图表：Lanes

Network网络架构 图表：Lanes

Network使用特斯拉FSD升级到v11.4资料来源：Tesla,

Twitter,采用端到端人工智能，即包含高速领航、城市道路领航和泊车三个域的智驾功能。该算法在简化流程的同时，能够模拟人类驾驶员做出恰当的决策行为。通过联合空间评估，改进人行横道上的行为决策。运用运动学数据测量风险并提前减速，改善自动驾驶车辆在VRU附近的行为。改进在密集非结构化城市环境中的转弯性能，避免转入公交车道等。优化路由提示和自动贴标机，解决由于不良路由类型引起的干预措施。通过更新车道类型检测网络和改进地图视觉融合等，提高自动驾驶系统的理解能力和安全性。马斯克评论：FSD

V11.4表现优秀特斯拉2023年4月30日发布FSDBeta

v11.4，版本为2023.6.15，并于5月8日向员工推出测试。通过此次更新，特斯拉将改进车辆性能置于引入新功能之上。FSD

Beta

v11.4

可根据当前天气条件、能见度、道路湿度、轮胎胎面，甚至其他车辆的轮胎印记等因素，调整自动驾驶仪的最大速度，确保在恶劣条件下获得更安全的驾驶体验。同时，FSD

Beta

v11.4可以更快地针对环境做出反应，并在必要时调整车速，确保所有相关人员都能获得更安全的体验。图表：特斯拉FSD

v11.4特性与马斯克对其评价蔚小理四月交付量出炉，理想交付量领先资料来源：wind-50%0%6,658

50%100%150%02,0004,0006,0008,00010,00012,00014,00016,000

18,0002022.12022.22022.32022.42022.52022.62022.72022.82022.92022.102022.112022.122023.12023.22023.32023.4销量 同比

200%-100%0%100%200%300%400%25,681500%05,00010,00015,00020,00025,00030,0002022.12022.22022.32022.42022.52022.62022.72022.82022.92022.102022.112022.122023.12023.22023.32023.4销量 同比

600%蔚小理发布四月份交付量数据，其中理想汽车交付25681辆，创下单月新纪录，同比增长516.3%，1-4月累计交付78,265辆品牌累计交付335599辆；品牌累计交付335599辆；蔚来交付新车6658辆，同比增长31.2%，1-4月累计交付37699辆，同比增长22.2%，品牌累计交付327255辆。小鹏汽车交付新车7079辆，同比下降21%，1-4月累计交付25309辆，品牌累计交付284019辆。图表：蔚来汽车销量 图表：小鹏汽车销量 图表：理想汽车销量-100%-50%0%7,079

50%100%150%02,0004,0006,0008,00010,00012,00014,00016,000

200%18,0002022.12022.22022.32022.42022.52022.62022.72022.82022.92022.102022.112022.122023.12023.22023.32023.4销量 同比

250%蔚来自动驾驶NAD由Aquila与Adam构成资料来源：蔚来，中信建投NIO

Assisted

and

Intelligent

Driving（NAD）是蔚来汽车自动驾驶技术，拥有全栈自动驾驶技术能力，能够从地图定位到感知算法，从底层系统到控制策略，实现自动驾驶在高速、城区、泊车和换电场景的全覆盖，主要包含Aquila、Adam及相关算法等，支持L4级别。Aquila蔚来超感系统实现融合感知。Aquila蔚来超感系统拥有33个高性能感知硬件，包括1个超远距高精度激光雷达、7颗800万像素高清摄像头、4颗300万像素高感光环视专用摄像头、1个增强主驾感知、5个毫米波雷达、12个超声波传感器、2个高精度定位单元和V2X车路协同，协助算法实现全向无盲区融合，具备L4能力。Adam超算平台作为底层提供算力，Adam搭载4颗NVIDIA

DRIVE

Orin

芯片，算力高达1016Tops。同时借助于超级图像处理流水线、超高带宽骨干数据网络、热备份冗余设计等，为自动驾驶决策控制提供算力保障。图表：蔚来自动驾驶（NAD）系统 图表：800万高清摄像头提升感知距离小鹏自动驾驶技术：XNGP资料来源：小鹏汽车，汽车之心，中信建投XNGP是继XPILOT系统之后，小鹏推出的第二代智能辅助驾驶系统，XNGP在第一代XPilot系统的基础上，增加了城市路况下的全程智能辅助驾驶功能（城市NGP），以及高速NGP和VPA记忆泊车的增强版功能，是目前国内唯一一款能够实现城市路况下全程智能辅助驾驶的系统，并且可以在没有高精地图的情况下，让车辆在城市道路上实现自动跟随、自动变道、自动超车等功能。NGP系统主要包括两颗激光雷达、双NVIDIA

DRIVE

Orin超级计算平台、13个摄像头、12个超声波雷达、5个毫米波雷达和1个车内摄像头。小鹏汽车感知技术采用XNET，通过多相机和雷达收集数据，实时生成3D场景地图和高精度地图，静态、动态感知能力大幅提升，无缝连接城市道路、高速和停车场等场景。具公司介绍，今年6月推送的高速

NGP

2.0预计达到非常接近于L4的体验水准。图表：XNGP拥有超强的算力芯片及多个感知传感器 图表：XNGP是行业首个全场景智能辅助驾驶系统理想自动驾驶技术：AD

Max3.0资料来源：理想汽车，中信建投理想ADMax3.0通过大模型AI算法，摆脱对高精地图的依赖，该技术使用三种神经网络大模型算法，分别是静态BEV

网络、动态

BEV网络和Occupancy网