2023面向自动驾驶应用的计算芯片第2部分：车载异构计算测评规范

2目  次前 言 III范围 1规范性引用文件 1术语和定义 1缩略语 2技术要求 2测试流程要求 2环境要求 2基本技术要求 3基线要求 3异构统筹调度评价 7SoC整体端到端能力评价 8测试指标 8可靠性要求 10基线要求 10AI模型鲁棒性度量指标 10AI模型故障注入测试 11AI模型故障检测 11可靠性度量指标（建议以故障处理机制满足度为准） 11测试负载（封闭场地测试，开发道路测试） 12测试负载（典型负载，按照L4，L2+进行分两档） 13测试用例和测试结果示例 14参 考 文 献 15IIPAGEPAGE11PAGEPAGE10面向自动驾驶应用的计算芯片第2部分：车载异构计算评价范围本文件规定了对面向自动驾驶应用的计算芯片进行功能、性能测试的测试指标、测试方法和要求,适用于面向自动驾驶应用的计算芯片的异构计算测试评价。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T34590-2017 道路车辆功能安全T/CESA1120—2020人工智能芯片面向边缘侧的深度学习芯片测试指标与测试方法ISO/PAS21448（RoadvehiclesSafetyoftheintendedfunctionality）术语和定义下列术语和定义适用于本文件。面向自动驾驶应用的计算芯片computingchipforautomaticdrivingapplications一种能够同时满足人工智能及异构算力需求和通用计算的可靠性要求的边缘侧计算设备。工作负载workload为测试目的，运行在计算系统中的给定任务集合。注：一般包含输入、输出要求，计算数量和种类及所要求的计算资源。[来源：ISO/IEC/IEEE24765:2017，3.4618]有效推理计算能力effectivecomputingability在给定任务集合上，对每个任务的实际吞吐率与其基线吞吐率之比的加权几何平均。每秒浮点运算次数floatingpointoperationspersecond在执行某项任务过程中，关于特定种类操作的每秒执行浮点运算次数。注：对训练、推理任务，一般设定特定种类操作的范围（如模型上的前向或反向计算所涉及的操作）。能量使用有效性powerusageeffectiveness[来源：ISO/IEC30134-2:2016,3.1.3，有修改]缩略语下列缩略语适用于本文件。ASIL汽车安全完整性等级(AutomotiveSafetyIntegrityLevel)DFA相关失效分析(DependentFailureAnalysis)DNN深度神经网络(DeepNeuralNetwork)FMEA失效模式和影响分析(FailureModesandEffectsAnalysis)FTA故障树分析(FaultTreeAnalysis)GNSS全球导航卫星系统(GlobalNavigationSatelliteSystem)HAZOP危害与可操作性分析(HazardandOperabilityAnalysis)HMI人机接口(Human-MachineInterface)IMU惯性测量单元(InertialMeasurementUnit)ISO国际标准化组织(InternationalOrganizationforStandardization)MISRA汽车工业软件可靠性协会(TheMotorIndustrySoftwareReliabilityAssociation)NCAP新车评估计划(NewCarAssessmentProgram)NHTSA美国国家公路交通安全管理局(NationalHighwayTrafficSafetyAdministration)ODD运营设计领域(OperationalDesignDomain)PLC产品生命周期(ProductLifeCycle)SAE美国汽车工程师学会(SocietyofAutomotiveEngineers)SDK软件开发工具包(SoftwareDevelopmentKit)SoC片上系统(System-on-a-Chip)SEooC脱离安全元素(SafetyElementOutofContext)SOTIF预期功能的安全性(SafetyoftheIntendedFunctionality)TOPS每秒万亿次操作(TrillionOperationsPerSecond)V&V验证和确认(VerificationandValidation)技术要求测试流程要求测试流程包括下述几个步骤；测试申请：由送测单位提供测试委托书,申请对样品进行测试；制定测试大纲：依据本标准与实际测试需求制定测试方案，形成测试大纲；样品送测：由送测单位送测样品；测试环境部署：根据送测样品部署相应测试环境；性能测试：根据测试大纲中各测试项目，对被测产品进行性能测试；出具报告：完成测试后，整合测试数据，形成测试报告。环境要求除另外规定外，端侧场景环境应满足GB/T9813.3-2016中大气条件的规定：a) 温度：5℃-35℃;b) 相对数度湿度：25%-75%;c) 大气压：86kPa-106kPa。基本技术要求除另外规定外，面向自动驾驶应用的计算芯片应满足T/CSAEXX–XXX《智能网联汽车视觉感知计算芯片技术要求和测试方法》中“5 技术要求”。基线要求异构计算组件维度图1车载计算SOC架构图面向自动驾驶应用的计算芯片应支持下表所示的多种硬件加速单元的独立评测，见表1：表1数据类型、算力和利用率参考表加速单元评测说明视频/图像加速单元评测编解码、截取、缩放等图像/视频预处理功能和性能图像信号处理单元ISP评测对图像传感器所采集数据的处理性能和相关技术指标机密计算引擎评测加解密算法的功能支持及性能指标，和对安全启动的支持AI加速单元NPU评测AI加速单元对于车载自动驾驶典型人工智能负载的功能支持和性能指标加速独立调用性能评价（主场景）图像预处理加速单元图像与处理加速单元要求见表2：表2图像预处理加速单元预处理能力输入图像格式与最大分辨率输出图像格式与最大分辨率单帧时延吞吐量其他能力说明截取(crop)必选必选从1080P图像截取720p图像，时延<=8ms从1080P图像截可选缩放(resize)必选必选从1080P图像缩小到720p图像，时延<=8ms从1080P图像缩小到720p图像，吞吐量>=1024fps支持Bilinear/Nearest插值缩放填充（padding）必选必选从720p图像填充到1080P延<=8ms从720p图像填充到1080P吐量>=1024fps支持duplicatepadding模式支持mirrorpadding式支持constvaluepadding模式色域转换(CSC)必选必选从1080PRGB图从1080PRGB图可选像转换到像转换到YUV420SP图YUV420SP图像，时延<=8ms像，吞吐量>=1024fps金字塔缩放必选必选1080P图像4层金字塔缩放，时延<=10ms1080P图像4层金字塔缩放，吞吐量>=800fps可选直方图统计必选必选1080PRGB图像<=8ms1080PRGB图像计，吞吐量>=1024fps可选像素值重映射必选必选1080PRGB图像像素重映射，时延<=8ms1080PRGB图像像素重映射，吞吐量>=1024fps可选环视拼接必选必选4张1080P图像环视拼接成1080P图像，时延<=15ms4张1080P图像环视拼接成1080P图像，吞吐量>=256fps支持输入4个相机输入的环视拼接支持图像亮度调节重映射(remap)必选必选1080P图像仿射变换重映射，时延<=8ms1080P图像仿射可实现仿射变换、透视变换、相机畸变图像重映设视频编码加速单元的要求见表3：表3视频编解码加速单元编码格式输入图像流格式与最大分辨率输出视频流格式与最大分辨率单路帧率单帧时延吞吐量其他能力说明H265必选必选1080P视频编码>=60fps视频<=8ms1080P视频编码，吞吐量>=256fps可选H264必选必选1080P视频编码>=60fps视频<=8ms1080P视频编码，吞吐量>=256fps可选ISP图像信号处理单元ISP要求见表4：表4视频编解码加速单元相关要求性能指标Camera路数11路以上帧率最高帧率能达到30fps端到端时延Sensor曝光+ISP<45msISP算法模块需要有BLC、DEC、Demosaic、Gamma、AE等算法模块图像标准人眼通路HV客观指标要求见表5：表5人眼通路HV客观指标测试项关注维度亮度Shading、动态范围、灰阶、最低照度3A3A稳定性、3A收敛时间清晰度MTF50、纹理、解析力噪声信噪比、视觉噪声、坏点色彩色彩还原、白平衡畸变桶形畸变、枕形畸变人眼通路HV主观指标要求见表6：表6人眼通路HV主观指标场景分类关注场景实景灯箱静态、动态、高低照度隧道隧道内、隧道出入口晴天室外阳光道路、阴影道路、红绿灯路口、顺逆光车库车库出入口、泊车位场景分类关注场景夜晚车灯直射、复杂光照、红绿灯特殊天气雨天、雪天、雾天NN检测指标图像分类任务中的检测指标要求见表7：表7NN检测指标检测项关注维度物体检测汽车、行人、自行车、卡车、交通灯车道线单实线、单虚线、双实线、双虚线、道路边缘、人行横道泊车位车位线SecureEngine支持硬件信任根；RSA/ECCSM2的安全启动；运行代码逐级认证；支持加密镜像加载与运行；OTA，保证升级镜像的安全性；支持安全启动过程中防物理攻击，在检测到物理攻击后终止启动任务确保启动安全性；；支持可信启动；SM2/SM3/SM4，AES256/192/128,zhichiAES-GCM,AES-CCM，MD5，SHA1/SHA224/SHA256，PBKDF2，HMAC/CMC；30Gbps。AINPUbenchmarkBenchmark网络，按照业务流程一般可包含感知类，融合类，预测类和规控类。其中感知类表8推理网络参考网络名称场景类别建议输入分辨率DETR图像检测1*1*512*1024Efficientdet图像检测1*3*512*512Regnet图像检测1*64*2048*1DETR3D基于BEV的检测1*3*1080*1920SSD目标检测1*3*1080*1920FCN8语义分割1*3*1080*1920DeepLabV3实例分割1*3*720*1080MonoDepth单目深度估计1*3*320*1024SFA3D点云检测1*3*608*608Pointpillar-YoloV5点云检测1*64*2048*1PV-RCNN3D物体检测1*64*2048*1RangeNet++点云分割1*64*2048*1PointTrack点云跟踪、分割1*64*2048*1不同规格类型网络建议在指定规格验证集上测试，参考测试指标见表9：表9参考指标评测项评价指标建议指标说明备注精度[%]在对应验证集上，根据网络定义的精度指标测试获得的值如果量化，稀疏化的操作对应的精度不同，需要扩展该表有效算力[TOPs]网络操作数除以时延时延[ms]网络执行开始和结束时间缓存平均带宽[GB/s]内部缓存获得的平均带宽（一般指L2Cache）对于没有L2的系统可记为NA缓存峰值带宽[GB/s]内部缓存获得的峰值带宽缓存平均占用[MB]内部缓存平均使用大小主存平均带宽[GB/s]主存获得的平均带宽（一般指DDR）主存峰值带宽[GB/s]主存获得的峰值带宽主存平均占用[MB]主存平均使用大小平均功耗[Watt]网络运行过程中平均功耗（指整个SoC）如果推理加速单元能单独统计请扩展该表峰值功耗[Watt]网络运行过程中峰值功耗（指整个SoC）如果推理加速单元能单独统计请扩展该表异构统筹调度评价面向自动驾驶应用的计算芯片可能涉及多个传感器，多个网络以及多个传统CPU的处理流程。如果图2异构统筹调度评价参考图SoC单传感器感知系统图3单传感器感知系统图图3为最基础的感知业务，从摄像头到感知结果输出，中间一般还会分成如图所示的ISP,预处理和网络推理三个部分，其中ISP标成虚线是业务也可能选择直接对原始数据进行处理。关键评价流程：在使用相同摄像头和相同网络并获得相同精度的2DBox输出的前提下测试吞吐率。单传感器端到端系统图4单传感器端到端系统图4是进一步扩展范围：从camera输入到最终规控的输出。关键评价流程：在使用相同摄像头和相同网络并获得相同规控输出的前提下测试吞吐率。多传感器端到端系统图5多传感器端到端系统图5是接近实际多传感器端到端的系统。测试指标时间要求端到端数据处理总用时表10端到端数据处理数据流生产数据流获取数据流处理N路数据流融合决策输出吞吐率4KYUVXms0.5ms/0.1/0.3/0.01最大/最小/平均/抖动0.5ms/0.1/0.3/0.01最大/最小/平均/抖动0.5ms/0.1/0.3/0.01最大/最小/平均/抖动100fps/S表10能够给出端到端推理时延的指标。指标分为三个：最大时延，最小时延，平均时延以及抖动。Tm1。 (1)推理总延时Tms的差，见公式4。 (4)表11推理总延时数据流生产数据流传输数据流推理结果输出4KYUVXms0.5ms/0.1/0.3/0.01吞吐率推理吞吐率/s”，见公式8。(8)有效计算能力面向自动驾驶应用的计算芯片在给定任务集合S上，每任务s的实际吞吐率与基线吞吐率之比的加权几何平均（参考[5]），见公式9。注1:使用某特定参照计算系统，在特定负载上测得的训练或推理吞吐率。注2：有效计算能力适用于训练和推理测试。式中：

—— 调整系数（ ,），默认为100.0；

(9)s——任务集合S中的一个任务；τs——s对应的权值。单帧推理时延定义系统在空闲时，针对某一个网络的单帧推理能力。时延有最大/最小/平均/抖动的数据的测量。能效ISO/IEC30134-2:2016定义的能量利用有效性（PUE）表征，见公式10。(10)每秒浮点运算次数（Float）C的定义见3.8，见公式11。注：本指标仅对可变负载训练测试有效。(11)式中：i——正整数，训练节点编号；j——非负整数，模型结构变异次数（j=0,表示使用种子模型）；CF——特定模型上，前向传播过程计算量；CB——特定模型上，后向传播过程计算量；NF——特定模型和训练过程中，前向传播过程数量；NB——特定模型和训练过程中，后向传播过程数量；Tj——节点i，对模型j的训练用时。可靠性要求基线要求模型可靠性（可复现性AIAI模型鲁棒性度量选取统计学霍夫丁不等式（5.1）的两个具体参数 ：其中代表统计估计值与真实值之间误差的可接受上限；代表在选取个样本与以为估计误差上限的前提下，真实误差比估计误差上限大的概率上限。所选取的参数为鲁棒性证书的核心内容若某神经网络在该证书下的评分为则该证书意味着：在干扰程度下，神经网络以比大的概率出现差错的可能性小于。在选定之后，根据公式可以计算出相应的样本数量，作为一部分输出传入到后续模块。AI传统的测试软件系统可靠性的方法就是故障注入（FaultinjectionFI），主要可以分成硬件和软件AI故障注入工具（AIFI），可以用于在推理阶段注入故障，评估故障AI可靠性的影响。推理过程中算子故障导致的神经网络推理异常的场景。主要包括：00;infinf;nannan;算子计算结果精度丢失;算子计算结果为随机值;硬件故障导致结果异常（stuck-at1、stuck-at0、bitflip）。AI数据分布漂移(conceptdrift)检测数据分布异常检测机制，根据数据分布判断当前数据维度是否发生了变化。(unrealdata)检测数据分布异常检测机制，根据推理数据分布判断数据源是否不符合真实环境分布。在模拟场景下训练的模型无法适应真实环境数据突变干扰检测Smalladversariallinearchange、严重Largelinearchange、语音的音色和音调实时可靠性推理的实时能力。推理模型的时延抖动性。建议5%工具链可靠性工具链生成结果的确定性（可复现性）。工具链满足TCL的鉴定故障处理能力指标需考虑设计包括但不限于如下故障处理机制：文件系统异常检测；驱动程序异常检测；进程或服务异常检测（D/Z/T状态等）；文件句柄耗尽检测；信号量耗尽检测；Crash复位（如内核空指针等）。需考虑设计包括但不限于如下故障处理机制：加速器挂死；加速器失效；加速器业务执行慢。需考虑设计包括但不限于如下故障处理机制：CPU核失效；CPU挂死；CPU执行慢；CPU各核资源占用不均衡。需考虑设计包括但不限于如下故障处理机制：内存溢出、内存泄露；内存占用超阈值、内存耗尽；内存带宽占满/过载检测；内存访问慢检测；内存硬件错误检测。需考虑设计如下故障处理机制：磁盘空间泄露检测；存储空间超过阈值；I/O繁忙、IO响应慢；磁盘故障检测。需考虑设计如下故障处理机制：配置文件错误、或预期不一致；文件权限错误；文件写失败。需考虑设计如下故障处理机制：时间同步失败，或跳变；时区错误，或跳变。需考虑设计如下故障处理机制：通讯路径故障；通讯路径丢包；通讯时延抖动；通信路径大量重传或乱序；网络时延大；网络错包。故障处理能力测试用例（封闭场地测试，开发道路测试）面向自动驾驶应用的计算芯片可靠性的测试，应使用6.2.1规定的负载。在负载执行中，按第2部分7.1的规定，注入表11定义的故障，观察系统反应和恢复情况，测量、计算指标。表11面向自动驾驶应用的计算芯片故障处理能力测试用例表模块故障模式故障原因故障影响人工智能加速器片上内存多比特ECC片上内存颗粒存储空间失效对应单加速器不可用人工智能加速器故障人工智能处理器芯片内部模块失效对应单人工智能加速器不可用人工智能加速器板供电不足人工智能处理器板供电电压偏低若干个人工智能加速器不可用人工智能加速器板异常掉电人工智能处理器板供电模块失效整节点不可用节点服务器硬件宕机异常掉电，操作系统崩溃，磁盘、内存、CPU错误整节点不可用网络交换设备不可用，整机无法调用SDI故障，交换机故障，线缆断连整节点不可用加速设备不可调用人工智能加速器网卡故障，TOR/Leaf交换机故障，或其连接线缆断连单人工智能加速器不可用，使用该加速器的IP作为检测IP时，报网络错误交换设备不可用E