自动驾驶行业报告-端到端渐行渐近-2024-07-自动驾驶

o智能化在购车决策中的重要性日益凸显，这也促使众多汽车制造商加快了智能化技术的研发和工程o在众多厂商的推动下，重视“智能化”的汽车越来越受消费者青睐，尤其是那些配备自动泊车和L2车企竞争的焦点，预示着未来缺乏NOA功能的车辆可能失去竞争力。8642Jan-23Aug-23Jan-23Aug-23Jan-24 54321Jan-23Aug-23Jan-23Aug-23Jan-24o尽管一级市场融资受到整体投融资环境的影响，但自动驾驶公司通过不断优化核心软硬件产品，向更商业化进程，众多企业开始准备IPO。的合作更加紧密，进一步推动了智能驾驶技术的商业化应用。 禾赛科技美股2023年2月上市激光雷达传感器海创光电科创板2023年5月提交申请激光雷达传感器 黑芝麻智能港交所2023年6月提交申请图达通美股2023年8月完成IPO备案 如祺出行港交所图达通美股2023年8月完成IPO备案文远知行美股2023年8月完成IPO备案 赛目科技港交所20知行科技港交所2023年12月已上市自动驾驶解和自动驾驶解决方案提供商都已构建数据闭环系统，以支持自动驾驶系统的模型训练和持续迭代。图：打造数据闭环，量产时代下的自动驾驶•人工智能技术加持，数据筛选、标注、训练、验证形成•相比过去工程师制定的规则算法，能够实现低成本、高辆进行OTA功能升级的同时，为后续更高级别的自动驾———含数据积累———含每一次技术革新背后，都伴随着深度学习等基础AI技术的突破性进展。正是AI技Transformer大模型基于大规模数据训练，具备更强的鲁棒性与泛化能力，Transformer大模型基于大规模数据训练，具备更强的鲁棒性与泛化能力，在自动驾驶行业大方异彩•结合Transformer更强的处理序列数据•结合Transformer更强的处理序列数据实现更精确的环境感知、更长远的运动规划和更全局 提出后，深度学习进入爆发期，自主学习能力被释放CNN 提出后，深度学习进入爆发期，自主学习能力被释放CNN•长期时序建模能力弱；数据质量难把控；实时性要求无法满足o特斯拉在2021年就展示了其基于BEV视角结合Tran 大模型的泛化性能用于挖掘长尾数据，如使用CLIP模 图：从云端到车端，大模型已经在自动驾驶感知模块开始规模化应用 大模型的泛化性能用于挖掘长尾数据，如使用CLIP模 利用大模型通过自监督学习预训练，配合极少量人工使用NeRF技术隐式存储场景，通过渲染图片的监督使用NeRF技术隐式存储场景，通过渲染图片的监督目录o传统自动驾驶系统已经发展得相当成熟，通常采用模块化串联的部署方式：其核心模块涵盖感知其子模块都承担着特定的职责，且每个模块的输入通常来源于前一模块的输出。数据驱动的方向发展，模块化设计的某些局限性也逐渐血血o模块化自动驾驶的核心在于不同子模型在各个模预测、决策模块也正在神经网络化的进程中预测、决策模块也正在神经网络化的进程中BEV+Transformer极大推动自动驾驶通用感知网络的发展速度 ↓ 渗透 ↓ 渗透决策过程，过程中不涉及任何显式的中间表示或人为设o尽管端到端自动驾驶的具体定义仍存在一定的模糊性，但端到端自动驾驶：统一的神经网络架构，一步到位输出 周边环境传感器 周边环境传感器 o特斯拉FSDV12的卓越性能令业界观察家年在人工智能和智能驾驶领域的深厚积累。o端到端自动驾驶技术的发展遵循着渐进的路径：目前，BEV+OCC+Transformer已经实现了感知模块写规则向基于深度学习的模式转变，最终目标是实现模块化联合与单一模型的端到端自动驾驶。国--------------国--------------o端到端自动驾驶通过将传感器收集到的全面信息作为输入，在单一网络中直接生成车辆的控制指•不仅感知模块，决策规划与控制模块也由数据驱动，实现全栈•无需或仅需少量人工编码、手写规则，简化•提升数据规模与质量能够显著提升产品性能，不断提升系统的•端到端是一体化架构，为汽车行驶的全局任务为统一目标•不需要通过频繁的patch和参数•一体化的模型结构能够减少信息传递的延迟，加快•消除各模块之间信息传递的误差累积，全栈神经网络的上下层o模仿学习主要通过逆最优控制（InverseOptimalControl）和行为克隆（BehaviorCloning）为来学习最优策略。而强化学习则是一种通过试错来学习的领域，其中奖励函数的设现定大能策oo大型语言模型、视觉模型（如世界模型）、以及多模态大型模型等基础模型展现出了强大的能力oo这些基础模型通过预训练获得了推理能力和丰富的知识，能够升级传统的基于规则的if-else的挑战，提升在感知、预测、规划等关键领域的性能，升级自动驾驶•推理和规划：LLM利用其在逻辑推理、代•用户交互：通过理解自然语言并执行用户指令，LLM使智能驾驶系统更加用户友好，实现个•常识性驾驶知识：LLM的预•仿真和测试：VFM的视频生成能力，为创建逼真的驾驶场景提供了支持，这对于自动驾驶系统的安全性和可靠性提•仿真和测试：VFM的视频生成能力，为创建逼真的驾驶场景提供了支持，这对于自动驾驶系统的安全性和可靠性提•视觉理解与空间推理：MFM结合了视觉和语言信息，展现出卓越的视觉理解和空间推理能力，对自•综合感知与预测：MFM通过整合视觉和语言 机器人公司以及自动驾驶芯片制造商。MmomenTMmomenTO落地的公司。o特斯拉无疑是电动汽车和自动驾驶行业的领军者，它已于2024年1月向北美用户正式推送FSDV12，成为首落地的公司。展性的端到端自动驾驶系统。展性的端到端自动驾驶系统。ooWayve在端到端自动驾驶技术领域取得了显著进展，先后推出了大型语言模型LINGO-1/2，视训练和测试而设计的PRISM-1。图：将世界模型融入自动驾驶，Wayve加速端到端visionGAIA-1LINGO-2GAIA-1LINGO-2驶视频的生成式Al世界模型生成多个合理的未来,时长可达几分钟可通过语言、动作进行控制生成的内容驶视频的生成式Al世界模型生成多个合理的未来,时长可达几分钟可通过语言、动作进行控制生成的内容使用自然语言训练,可解释Al驾驶模型,使用自然语言训练,可解释Al驾驶模型,显著提升了系统的可解释性最新发布的LINGO-2增加了人机交互功能,司机可通过语言命令控制汽车.增强其自动驾驶技术的测试和训练台已在城市线级不同的多个城市进行泛化测试，这些等级不同的城市人 •驾驶行为更加“人性化”在2024年，商汤科技推出了适用于实车部署、面向量产的真正端到端自动驾驶解决方案UniAD。与决策的一体化，同时保持了模块化系统的优势，便于进行问题的回溯和分析。 UniAD端到端解决方案演进路径•UniAD包括四个基于T•UniAD包括四个基于T•并不限于特定的Transformer解码器，可以加入其他的替代方•查询Q起到连接管道的作用，方便联合训练与交互建模•将各个任务进行层级式的结合，并对不同任务间的信息进行了•通过端到端联合训练避免了多任务训练的融合难题，实现全局最优，同时保留了分模块系统的优势，可以抛出中间模UniAD的联合训练实现方法UniAD:Planning-orientedAutonomousDriving，o在2024年的520AIDay上，小鹏汽车发布了其端到端大模型，以及XBrain大语言模型。实现30倍的提升（接管率指标）。•感知范围提升2倍，面积可达1.8个足球场大小，能精准识别50+•AI大语言模型，是自动驾驶汽车的“大脑”•具备理解学习能力，泛化能力提升，可处理复杂甚至未知场景•系统能够认识待转区、潮汐车道、特殊车道、路牌文字，秒懂各种令行禁止、快慢缓急的行为指令，进而做出兼顾安全•基于神经网络的规划大模型，是自动驾驶汽车的“小脑”•拥有“老司机般的脚法”，前后顿挫减少50%、违停卡死减少40%、安全接管减少60%的加入，显著提升了方案的通行效率，使得复杂路口的通过率达到96%以上。通过快速的更新迭代，ADS3.0将能帮助车主实现“越开越好开” visionLidarRadarPDPvisionLidarRadarPDP网络GOD网络），•相较于ADS2.0，ADS3.0在感知部分部分采用PDP网络，完成了决策规划模块的神•ADS3.0可实现车位到车位的NCA领航辅助功能，实现从公开道路到园•云端训练，快速迭代：学习训练算力达3 到端自动驾驶在落地和商业化方面仍然面临诸多挑战。到端自动驾驶在落地和商业化方面仍然面临诸多挑战。oo构建所需的强大算力、获取用于模型训练的高质量海量数据，以及端到端大模型的“不透明性”全保障的关键问题，需要行业各方共同努力，携手解决。昂昂4技术路线不确定4技术路线不确定要强大的算力和海量数据来支撑模型的训练。算力显卡储备·与GPT类似,端到端自动驾驶训练遵循的也是大算力+海量数据的暴力美学特斯拉的算力储备将在2024年达到万PFLOPS,国内一众厂商与特斯拉超算中心的算力水平差距极大,更崖论还有GPU采购的算力显卡储备·与GPT类似,端到端自动驾驶训练遵循的也是大算力+海量数据的暴力美学特斯拉的算力储备将在2024年达到万PFLOPS,国内一众厂商与特斯拉超算中心的算力水平差距极大,更崖论还有GPU采购的难题.根据目前的发展情况,想要研发端到端自动驾驶,干卡集群是必备的真正做到数据飞轮高效落地的企业,研发端到端自动驾驶有优势门将3/4的精力用在采集、清洗、分类、标注高质量的数据上面,只有1/4的工-/供应商消费者软件付费意识仍未形成，自动驾驶商业升，但他们的支付意愿和金额却普遍呈现下降趋势。