版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要智能驾驶以集中式EE架构为依托,未来走向域融合010203E/E
架构从分布式架构→域集中式架构→中央集中式架构发展。架构走向“域融合”是未来趋势。能计算典型代表是以神经网络为代表的智能计算,会逐渐取代逻辑计算成为车载计算的核心。软件功能的差异化和快速迭代将成为核心竞争力。软件定义汽车(SDV)与基于服务(SOA)的软件设计理念成为系统软件设计的基石。硬件芯片是算力时代下汽车智能化方案的基座好的芯片需能够做到“机器自编程+应用自适应”。高性能大算力的芯片是六边型战士,一个复杂系统通过系统级别的软硬件协同才能达到整体最优。芯片是智驾方案最低层的数字基座。芯片厂商通过与生态合作伙伴合作的关系来为主机厂提供全栈自研能力,主机厂来决定到底是全栈还是半栈。汽车芯片从MCU进化至SoC。车载芯片前景广阔,新能源单车搭载芯片数从2012年的500-600颗提升至2023年的1000颗+。制约用户体验的核心在软件,目前各主机厂算法能力未拉开差距制约用户体验的核心在软件与算法。算力的确会带来更多的价值潜力,但算力并不是越高越好,制约用户体验的核心在软件与算法。特斯拉率先证实BEV+TransFormer方案可行性。算法向NeRF
、TPVFormer
、VoxFormer迭代进化。L2+++阶段各主机厂智驾算法难以拉开差距,新车型主要卷补丁产品,未来2-5年规划决策算法将拉开车企智驾能力差距。L
2+++级的销量,还是靠座舱域的舒适性/娱乐性、整车定价性价比、是否有高速/城市NOA。风险提示04(1)新能源车场景落地不及预期;(2)地区排产计划变动;(3)产品研发不及预期等。2/CONTENTS0102030430141.1EE
51.2
E/E→→
DCUSoCECU
ECUECUCANDCUCCP
制约架构升级、影响汽车安全性能的瓶颈效应明显。ZCU
域内算力集中,提高了系统功能
ECU
部署增多,车内的线束也会随之延长,整车质量和成本增加,影响整车布置及装配集成度,通信速率也有显著提升。61.2
E/E
E/E统一交互,实现整车功能协同。缩短整车线束长度和质量,降低故障率。算力集中化,算力利用率更高。→→为软硬件解耦奠定基础,支撑软件定义汽车。车辆易于平台化,扩展性增强。71.3
CPU81.4
HypervisorPOSIX91.5
SOA
SOASOA/POSIX/OTA101.5
SOASOASOA12OEMSOASDKSDKOEMOEML2L3+AI3HMI111.5
E/EE/E现有基于经验的设计流程难结合车辆功能设计ICV
专用智能控制器,实现提算力、降能耗;优化电源系统与线束系统设计理念,降低整车成本与质量。软件功能的差异化和快速迭代将成为核心竞争力。软件定义汽车(SDV)与基于服务(SOA)的软件设计理念成为系统软件设计的基石,设计可解耦、可升级、易配置、高安全、个性化的软件将成为整车企业角力的主战场。现有通信机制难以适应暴涨的数据传输需求,亟须设计高带宽、强实时、低时延抖动的车载通信机制,强化通信网络的可配置性和多通信协议的可扩展性。以支撑全开发周期高精度设计,构建基于模型的设计理论和评估体系,以多元化需求为导向,强化架构软硬综合匹配、功能安全、数据安全、信息安全设计。12特斯拉E/E架构难以效仿,HPC+Zonal成为阶段性发展目标1.6
特斯拉成为中央计算+区域控制架构先进理念的践行者。
HPC+Zonal成为本土品牌阶段性发展目标。
各家主机厂规划的中央集中式架构形式上并不统一。例如上汽零束的整车计算平台采用2个HPC;广汽/长城的方案采用中央计算平台、智驾域和座舱域三大计算平台。
各家车企设计思路不同,但硬件上采用中央计算(HPC)+区域控制(Zonal)的架构方案,软件上采用SOA软件架构的设计理念已成为中国企业E/E架构发展共识。
特斯拉智驾模块的硬件部分采用自研的FSD芯片;软件模块的操作系统基于开源Linux进行定制化裁剪,并自研中间件。特斯拉实现软硬件自主可控,既有利于加快车型功能的的迭代更新速度,同时降低了整车开发成本;
软件架构层面,采用SOA架构,便于SOTA的部署以及云端数据的收集和分析;特斯拉E/E架构实现了中央集中式架构的雏形,CCM将智能驾驶模块、影音娱乐模块以及车内外网联模块进行集成,并共用液冷系统。
特斯拉的软件架构确保所有运行在同一车型上的软件已整合为一个单个的逻辑系统,这意味着更少的黑盒,更简单的线束,更集成的软件,更少意外情况的出现。数据:特斯拉官网,亿欧智库,芝能智芯,证券研究13车企多采用BEV+Transformer+占栅格网络,个性部分发展差异化1.7
数据
:广汽、长城、上汽、小鹏公司官网公告,特斯拉官网,亿欧智库,Multi-camera
3D
Occupancy
Prediction
for
Autonomous
Driving,赛博汽车,九章智驾,证券研究14车企多采用BEV+Transformer+占栅格网络,个性部分发展差异化1.7
数据:未来、阿维塔、吉利、红旗官网,赛博汽车,九章智驾,证券研究15车企多采用BEV+Transformer+占栅格网络,个性部分发展差异化1.7
域融合中央计算数字架构+
1602172.1+
CPU
Swin
Transformer,
2021TransformerDETR,
Transformer---InputSizeCompetitor
FPSJourney5
FPSSwinTDETR224*2241653614442800*1333182.1
OS
I/O192.1GPU
FPGA
ASIC
FPGAASICGPU
PAL
GAL
CPLD
GPUAMD
IBM
GPU
ASIC202.1
FPGACPUCPUFPGACPU(FPGA)CPU
212.1PowerPerformanceAeraTOPSFLOPSDMIPSTera
Operation
Per
SecondFloating-PointOperations
Per
SecondDhrystone
Million
Instructions
Per
SecondOPOP
TOPS1MIPS
SoC:
CPU20,000
DMIPS
GPU100
GFLOPSSoCSoC:
TOPSMultiply
Accumulate
MAC
TOPS
=MACAI*
MAC*
2
*TOPSGPU222.2MCUSoC
智能汽车的发展对汽车的算力提出了更高的要求,传统的功能芯片已经无法满足算力需求,应运而生。MCU
vs.
SoCMCUSoCADASIVICPU+DSP/RAM
ROM)+GPU/+CPU+RAM,ROM)+IO
Pin)NPU8bit
16bit
32bit32bit,64bitMHz-GHzMB-GBMHzMBRAM
(0.1-15/IVI:10ADAS>100FSD)Linux)23数据:盖世汽车研究院2.2
SoCCPUSoCMCU242.2SoC
HW3.0
FSDFSD2111222118215003603202601301105561%7%7%5%5%4%2%1%1%5%1%MarvellGPSMCUPHYU
-
BLOXMarvellUFSFlashCypress5040LPDDR43030252.2
CPU+XPU”SoC
SoCCPUAICPU+GPU+ASICCPU+ASICCPU+FPGAXavier
GPU4CPU
GPUDeep
Learning
AcceleratorProgrammable
VisionASICDLAAccelerator
PVAEyeQ54CPU
ComputerDeep
LearningMultithreadedCVPVision
Processors
CVPAccelerator
DLAAccelerator
MACPU+FPGA”Xeon12ArriaCPUAlteraFPGAASICFSDNPU
ASICCPU
GPUNeural
Processing
Unit
NPUAlASICBrain
ProcessingUnit
BPU262.2
L3CPUAICPUAICPUAIARMAIMCUGPU
FPGA
ASICASIL-DAI272.2
OEM282.3ASILISO26262ASILISO26262ISO26262
ASILAEC-Q100AEC
Automotive
Electronic
CouncilAEC-QAEC-Q100
AEC2023
12AEC-Q100ASILASIL292.4
SoC
2023SoC300025002000150020.50%934100056281355079.5%145020235000438201220172023120%100%80%60%40%20%0%SoCSoCSoC2019-2023%0.10%7.70%300040%30%20%10%0%31%43.30%4.40%20001000090.80%1.50%69.00%52.20%2019
2020
2021
2022
202310-2020-3030-4040-5030数据:盖世汽车研究院,证券研究2.4选配基础功能36000元选配全面功能60000FSDXNGPBEV+Transiformer+OccupancyModel3/Model
YG6/G9/P7i等自研14nmFSD72
TOPS/枚芯片254TOPS/枚芯片BEV+Transformer+占栅格网络7nm
NIVIDOrin-X*2选配9800/年,39800/永久MAX系列7nm
NIVID
Orin-X*2Pro系列
16nm地平线征程5*1254TOPS/枚芯片,128TOPS/枚标配AD
pro版-35.98万元标配AD
Max版39.98万元AD
MAX
3.0NAD/nop+ADS2.0BEV+Transformer+NPN+TINL7/8/9等芯片BEV+Transformer+占栅格网络BEV+Transformer+GOD+RCRBEV+Transformer+DriveGptES6/7/8,ET5/7,EC7等问界M5、阿维塔11新摩卡DHT-PHEV集度ROBO-01自研5nm神玑芯片7nm单板MDC6101000TOPS+/枚芯片200TOPS/枚芯片360TOPS/枚芯片254TOPS/枚芯片/选配680/月,7200/年,36000/永久选配26000/永久选配分3000、5000、8000元低中高档次Hpilot3.0高通4nm
SnapdragonRide7nm
NIVIDOrin-X*2ApolloANP3.0
BEV环视三维感知+文心大模型绝影领航
环视感知算法BEVFormer标配39.98万元具备对各类主流芯片及异构式计算平台适配性与可移植性标配ADIGO2.5
28.66万元标配ADIGO3.0
33.96万元广汽埃安AIONLX
Plus等31数据:汽车之家,腾讯网,亿欧智库,CSDN,证券研究323.1
图:算力与用户体验不成正比2T5T10T20T50T100T200T500T1000T2000T33数据:知识分析局,特斯拉官网,证券研究3.2BEV+TransFormer
图:自动化训练重建周边图图:神经网络向量空间34数据:知识分析局,特斯拉官网,证券研究3.2
FSDRegNetBiFPNHydraNet353.2
BEV–3D
BEVFormer
(Birds-Eye-View)是基于Transformer和可变注意力机制等等,利用多相机图像的空时域信息对自动驾驶车辆周边的场景进行统一鸟瞰图。BEV是一种常用的周围场景表示法,显示了目标的位置和尺度,并适用于各种自动驾驶任务。
框架包括6个编码器层。每个编码器基于Transformer标准定义增加鸟瞰图查询、空域交叉注意力、和时域自注意力模块。和传统的图像空间相比,BEV感知可以将多个传感器采集到的数据输入到统一的空间进行处理,有效解决了2D图像视角的遮挡问题、避免了误差叠加。
BEV查询是网格形的可学习参数,意味通过注意机制从多摄像机视图中查询BEV空域特征。(1)BEVFormer的编码层包含网格状的BEV查询、时域自注意和交叉注意。(2)在空域交叉注意中,每个BEV查询只与感兴趣区域的图像特征交互。(3)在时域自注意中,每个BEV查询与俩个特征交互,即当前时间戳的BEV查询和前一段时间戳的BEV特征。
BEV的方法在3D目标检测方面没有显示出比其他方式更显著的优势。因为BEV的方法在3D目标检测任务需要强大的BEV特征来支持精确的3D边框预测,但从2D平面生成的BEV是不适定的。最新的方案是一种不依赖3D先验知识的BEV生成,可以自适应地学习BEV特征。其中Transformer使用注意机制动态聚合有价值的功能,使感知结果更加连续、稳定,在概念上满足了需求。图:BEVFormer空域和时域结构从多摄像头输入生成鸟瞰图图:空域和时域的交叉注意36数据:arXiv论文“BEVFormer:LearningBirds-Eye-ViewRepresentation
fromMulti-cameraImagesviaSpatiotemporalTransformers”,知识分析局,证券研究3.2
BEV3D37数据:arXiv论文“BEVFormer:LearningBirds-Eye-ViewRepresentation
fromMulti-cameraImagesviaSpatiotemporalTransformers”,证券研究3.2
BEVFormer
–+空域交叉注意力参考点计算
(Deformable
Attention)(Qp)
BEVp(x,y)BEVBEVWorldLocation)。BEV(Qp)(RealBEV(Lift)(Pillar-Like
Query)(Qp)
zNrefz(z')Nref(x'
y'
z’)
Nref(x'
y'
z')时域自注意力
DeformAttn
P(p,i,j)BEVij
Fttiit
NrefBEV
Vhit
BEV38数据:arXiv论文“BEVFormer:LearningBirds-Eye-ViewRepresentation
fromMulti-cameraImagesviaSpatiotemporalTransformers”,证券研究3.3
Transformer–
早在2021年,特斯拉就已经实现了纯视觉的BEV检测方案,而且效果非常好。
这套BEV方案中将相机空间的图像转换到BEV空间的核心组件就是Transformer。Transformer于自然语言处理领域,首先被应用于机器翻译。后来,大家发现它在计算机视觉领域效果也很不错。目标检测领域中,视觉Transformer不仅可以实现2D检测、3D检测,还可以实现多模态检测,BEV视角下的检测,性能也非常出色。
Encoder(编码器)的作用在于获取输入序列各元素之间语义与位置的关联信息。编码器将网络分成了许多块(block),此处的block不能理解为神经网络的一层。事实上,一个block为神经网络的几个layer,
整个网络为若干个block的堆叠。
其中一个block的工作为:先将输入送入自注意力汇聚机制,然后将自注意力层的输出经过全连接(FC)层得到块的输出。
Decoder(解码器)和编码器的主要区别就是Encoder-Decoder
Attention,
这也是编码器和解码器的连接点。它增加了一个基于多项注意力模块的、综合Encoders的输出组成输入信息的解码层。
Decoders的输入为预测输出序列嵌像量位置编码后的向量,输出为表示输出元素位置的向量。经过Linear及Softmax层转换为输出元素概率向量。39数据:arXiv论文“BEVFormer:LearningBirds-Eye-ViewRepresentation
fromMulti-cameraImagesviaSpatiotemporalTransformers”,证券研究3.4
Occupancy
Network
–
3D
占据网络(Occupany
Network)
通过直接学习连续三维占据函数实现目标三维几何重建的方法。基于深度神经网络对连续三维空间点占据情况进行预测,使目标三维表面得以隐式的表示作神经网络分类器的连续决策边界。通俗理解就是通过占据网络映射将环境划分成格子,并确定哪些格子是被占据的、哪些是空闲的。
这种体积占据信息使自动驾驶系统能够准确地理解周围的环境。系统不仅能识别物体,还能区分静态和动态物体。在此之前自动驾驶摄像头理解周围环境是通过分开识别可行驶区域、车道线、行人等,再把他们组合在一起完成的。
传统的物体检测方法通常依赖于将物体分类并放置在固定的边界框中,忽略了很多几何细节。但是OccupancyNetworks通过预测每个小立方体是否被占据能够提供更精确的物体形状信息。这对于理解复杂的场景和避免碰撞非常重要。并且传统的物体检测算法往往只能识别他们见过的物体,但OccupancyNetworks通过判断一个区域是否被占据而不是关心该区域是什么物体,从而能够处理未知、不常见的问题。减少因未识别物体导致的意外。
Occupancy
Networks代表的是纯视觉路径,好处是模型网络的数量在减少,对算力的需求也降低。并且加上只用摄像头加毫米波,硬件相对便宜,但对模型算法要求很高。特斯拉就是典型代表,推行基于视觉的系统可以降低成本,从而促进特斯拉的销量。图:三维空间点占据情况图:神经网络分类器的连续决策边界40数据:arXiv论文“BEVFormer:LearningBirds-Eye-ViewRepresentation
fromMulti-cameraImagesviaSpatiotemporalTransformers”,证券研究3.4
Occupancy
Network413.4
Occupancy
Network423.4
TeslaTransformer
BEV
Layer
433.5NeRF–
44数据:UE4-NeRF:
Neural
Radiance
Field
for
Real-Time
Rendering
of
Large-ScaleScene,3D视觉工坊,证券研究3.6TPVFormer–
TPV(Tri-Perspective
View)是基于Transformer及三维正交感知视图平面。并利用多相机图像特征到感知视图平面投影特征和,对三维场景进行建模的视觉感和占据网络框架。
TPV基于三维空间、三维正交视图平面与多相机视图坐标系可相互转换原理,通过可变注意力机制计算相机视图特征与三维正交视图平面特征关联度,利用三维正交视图平面特征表示实现三维语义占据预测。453.6TPVFormer–3D三维空间与正交平面图像交叉注意力th,w,
td,h,
tw,
d,463.7VoxFormer–3D
VoxFormer基于Transformer、可变注意力机制及遮挡自编码器,利用图像及体素特征关联度分俩
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 聊城2024年健身服务合同
- 统编人教版六年级语文上册《语文园地七》精美课件
- 土地承包权协议书范本版
- 皮下注射技术操作流程课件
- 农村私人土地买卖合同范本
- 二零二四年度商务考察与招商合同2篇
- 益生菌奶粉课件
- 2024年度离岗创业人员培训服务合同
- 租房定金合同范本共
- 财务模拟述职报告范文
- 钻机组合式沙漠野营房
- 高端大气中国风年会邀请函
- 《测量旗杆的高度》PPT课件.ppt
- 焊口探伤拍片数量(根据规范)
- 防尘,防蝇,防鼠,防潮制度
- 基于Android音乐播放器的设计与实现开题报告
- 农民工维权告示牌(模板)
- 肺结核患者的X线临床诊断与研究
- 桥面系横隔板、湿接缝、防撞墙及桥面铺装施工安全技术交底
- 账实相符率提升培训PPT课件
- SQE培训教材(完整版)
评论
0/150
提交评论