TCSAE 260-2022 智能网联汽车视觉感知计算芯片技术要求和测试方法

ICS32.020CCST40团体标准T/CSAE260—2022智能网联汽车视觉感知计算芯片技术要求和测试方法Technicalspecificationandtestmethodforvisualperceptioncomputingchipofintelligentandconnectedvehicle2022-05-31发布 2022-05-31实施中国汽工程会 发布CSAE标准CSAECSAE在本标准实施过程中，如发现需要修改或补充之处，欢迎将意见反馈至中国汽车工程学会，以便修订时参考。中国汽车工程学会地址：1号院H座；电话邮编：100176；邮箱：wwq@。T/CSAE260—2022目 次前言 II112范引文件 13语定义 14略语 25术求 3环可性求 3功安要求 3质管体及控制求 4计性要求 4其要求 46算能试法 4MAPS测方概述 4测环境 4测流程 5测评指标 5附录A（料）MAPS测试法考型明 7附录B（料）MAPS测试法考据集 8附录C（料）MAPS测试法程实例 9附录D（料）质控制 12参考献 13IT/CSAE260—2022前 言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。本文件起草单位：北京地平线机器人技术研发有限公司、南京芯驰半导体科技有限公司、国汽智控（（（IIT/CSAE260—2022智能网联汽车视觉感知计算芯片技术要求和测试方法范围本文件规定了智能网联汽车视觉感知计算芯片的技术要求和计算性能测试方法。（GB/T2900.66—2004电工术语半导体器件和集成电路GB/T5271.1—2000信息技术词汇第1部分：基本术语GB/T18305质量管理体系标准汽车生产件及相关服务件组织应用GB/T19001—2008特别要求GB/T34590—2017道路车辆功能安全GB/T38187—2019汽车电气电子可靠性术语T/CESA1120—2020人工智能芯片面向边缘侧的深度学习芯片测试指标与测试方法T/CSAE222—2021纯电动乘用车车规级芯片一般要求ISOPAS21448:2019道路车辆-预期功能的安全性（Roadvehicles—Safetyoftheintendedfunctionality）ISO21434:2021道路车辆信息安全工程（Roadvehicles—Cybersecurityengineering）AEC-Q001零件平均测试指南（Guidelinesforpartaveragetesting）AEC-Q002统计产量分析指南（Guidelinesforstatisticalyieldanalysis）AEC-Q003集成电路特性指南（Guidelinesforcharacterizationofintegratedcircuits）AEC-Q004零缺陷指导原则（ZerodefectsGuideline）AEC-Q100基于集成电路应力测试认证的失效机理（Failuremechanismbasedstresstestqualificationforintegratedcircuits）GB/T2900.66—2004、GB/T5271.1—2000、GB/T18305—2016和GB/T34590.1—2017界定的以及下列术语和定义适用于本文件。智能联车 intelligentandconnectedvehicle；ICV与车规芯片 automotivegradechipT/CSAE222—20213.5]视觉知算片 visualperceptioncomputingchip1T/CSAE260—2022汽车全整等级 automotivesafetyintegritylevel；ASILGB/T34590A注：QM不是一个ASIL等级。[来源：GB/T34590.1—2017，定义2.6]系统故障 systematicfaultGB/T34590.1—2017，2.131]预期能全 safetyoftheintendedfunctionality；SOTIF由功能不足、或者由可合理预见的人员误用所导致的危害和风险。可靠性 reliability产品在规定的条件下，在规定的时间内，无故障地执行指定功能的能力或可能性。可通过可靠度、失效率、平均无故障间隔等来评价。失效 failure执行要求的能力的丧失。[来源：GB/T38187—2019,定义1]精度持的均率 meanaccuracy-guaranteedprocessingspeed；MAPS针对视觉感知计算任务，在精度有保障范围内的平均处理速度。该指标的计量单位为FPS（处理图像数量/秒），即每秒可处理的图像帧数。精度 accuracy与具体任务和评估指标相关的模型推理的准确性度量。帧率 framerate（FPS测试据集 testdata独立的数据集，用于调参后模型的无偏估计。[来源：ISO/IECTR29119-11—2020，定义3.1.75]。前N确率 top-N图像识别算法给出前N个答案中有一个是正确的概率，N常取值为1（top-1）或5(top-5)。批次小 batchsizeT/CESA1120—2020，3.12缩略语下列缩略语适用于本文件。2T/CSAE260—2022AEC-Q汽车电子委员会测试认证规范AutomotiveElectronicsCouncilTestQualificationASIL汽车安全完整性等级AutomotiveSafetyIntegrityLevelASPICE汽车软件过程改进的能力和测定AutomotiveSoftwareProcessImprovementandCapacityDeterminationBIT内置测试Built-inTestDFMEA设计失效模式及影响分析DesignFailureModeandEffectsAnalysisFPS每秒处理图像帧数FramePerSecondMAPS精度保持下平均帧率MeanAccuracy-guaranteedProcessingSpeedPAT零件平均测试PartAverageTestingDUT被测设备DeviceUnderTestAPI应用程序设计接口ApplicationProgrammingInterfaceacc准确度accuracymAP平均精度meanAveragePrecisionmIoU平均交并比meanIntersectionoverUnion（”）4a) 等级（Grade）0：-40～+150b) 等级（Grade）1：-40～+125c) 等级（Grade）2：-40～+105d) 等级（Grade）3：-40～+85注：该部分等级按AEC-Q100等级划分。PCTCUHASTPTCHTS；HTOLEFR；SDSBSPD；EMTDDBHCI、NBTISM；参数TESTHBM、MLtchupED、故障等级FG、特性描述CHARPATSBAAEC-Q100CNAS-CL01-20185.1.2AEC-Q100AEC-Q1003.23T/CSAE260—2022GB/T34590ASILGB/T34590GB/T183053AEC-Q100其他要求ISOPAS21448:2019ISO21434:2021MAPSMAPS图1 MAPS测架图MAPS测试方法所需要的测试环境如下：4T/CSAE260—2022MAPS5ImageNetVocCoco（DUT）DUT（）MAPSMAPS测试准备应满足以下要求：（运行在DUT、运行在DUT（DUTDUTDUT上，并将模型精度评测脚本部署到服务器上。DUTDUTMAPSMAPSMAPS帧率视觉感知计算芯片帧率按公式（1）计算。 帧率=总测样数/总测间 (1)式中：帧率——平均前向推理速率（FPS）；总测试样本数量——测试数据集中样本的总数量（帧）；总预测时间——被测系统使用神经网络模型，在测试数据集上完成测试所使用的总计算时间（秒）。精度top-1top-5mAP、mIoU、F-Score、FAR、FRR、Identificationrate、WER、SER、Precision和Accuracy等。模型精度测试中涉及的模型精度在不同应用场景中应进行区别性测试。MAPSMAPS值按公式（2）计算。5T/CSAE260—2022 𝑀𝐴𝑃𝑆={∑𝑁

1(𝑓𝑝𝑠

+𝑓𝑝𝑠)∗

−𝑎𝑐𝑐

)}⁄(𝑎𝑐𝑐

−𝑎𝑐𝑐)···························(2)𝑖=12

𝑖−1

𝑖

𝑛 0式中：N——最优FPS点的个数；𝑓𝑝𝑠𝑖−1——第i-1个点对应的帧率；𝑓𝑝𝑠𝑖——i𝑎𝑐𝑐𝑖——i𝑎𝑐𝑐𝑖−1——第i-1个点对应的精度；𝑎𝑐𝑐𝑛——测试结果中落在指定精度范围内获得的最高精度；𝑎𝑐𝑐0——MAPSii-11(fps

+fps)*(acc

)；2 i−1 i

i i−1∑𝑁1(fps

+fps)∗(acc

accn−acco；

𝑖=1

i−1

i i−1MAPS𝑁

1(fps

+fps)∗(acc

)}acc)注：具体测试方法参见附录C。芯片性能结果评估应分为两个维度：

𝑖=12

i−1 i

i i−1 n oMAPSMAPSFPS（FPSMAPS6T/CSAE260—2022附录A（资料性）MAPS测试方法参考模型说明A.1 MAPSMAPS测试方法模型可参考表A.1。表A.1MAPS序号模型下载链接备注A1Efficientnet-lite0/tensorflow/tpu/tree/master/models/official/efficientnet/liteEfficientNet-lite是一组应用于移动端的图像分类模型。A2Efficientnet-lite1/tensorflow/tpu/tree/master/models/official/efficientnet/liteEfficientNet-lite是一组应用于移动端的图像分类模型。A3Efficientnet-lite2/tensorflow/tpu/tree/master/models/official/efficientnet/liteEfficientNet-lite是一组应用于移动端的图像分类模型。A4Efficientnet-lite3/tensorflow/tpu/tree/master/models/official/efficientnet/liteEfficientNet-lite是一组应用于移动端的图像分类模型。A5Efficientnet-lite4/tensorflow/tpu/tree/master/models/official/efficientnet/liteEfficientNet-lite是一组应用于移动端的图像分类模型。A6MobilenetV1/shicai/MobileNet-CaffeMobileNets是基于一个流线型的架构，它使用深度可分离的卷积来构建轻量级的深层神经网络，主要是针对手机等嵌入式设备提出的一种轻量级的深层神经网络。A7MobilenetV2/shicai/MobileNet-CaffeMobileNets是基于一个流线型的架构，它使用深度可分离的卷积来构建轻量级的深层神经网络，主要是针对手机等嵌入式设备提出的一种轻量级的深层神经网络。A8ResNet18/HolmesShuan/ResNet-18-Caffemodel-on-ImageNetResNet由微软研究院提出的，通过在深度神经网络中加入残差单元使得训练深度比以前更加高效，ResNet的结构可以极快的加速超深神经网络的训练，模型准确率也有非常大的提升。A9ResNet50/KaimingHe/deep-residual-networksResNet由微软研究院提出的，通过在深度神经网络中加入残差单元使得训练深度比以前更加高效，ResNet的结构可以极快的加速超深神经网络的训练，模型准确率也有非常大的提升。A10Yolov5/ultralytics/yolov5/releases/tag/v2.0用于目标检测的算法模型。A11UNet/wingniuqichao/caffe_UnetUNet是比较早的使用全卷积网络进行语义分割的算法。注：若评测方有自定义模型也可使用；如果选择其他说明，需给出其他模型的说明以及来源。7T/CSAE260—2022附录B（资料性）MAPS测试方法参考数据集B.1 MAPSMAPS测试方法数据集可参考表B.1。表B.1MAPS序号测试数据集下载链接备注B1ImageNet/download-imagesImageNetWordNet构的每个节点都由成百上千个图像表示。目前，平均每个节点有五百多张图像。ImageNetB2PascalVoc/projects/pascal-voc-dataset-mirror/PascalVOC类，目标检测和分割算法模型。B3MSCoco/zips/COCO分割和图像字幕算法模型的训练和评测数据集。B4CityScape/Cityscapes20162布了在线评估图像语义分割模型50200005000质量像素级注释帧。注：用户可根据使用场景选择除上述测试数据集以外的其他数据集。8T/CSAE260—2022MAPS方法测试流程见图C.1。

附录C（资料性）MAPS测试方法流程与实例

图C.1测试流程图X86DUT9T/CSAE260—2022测试程序如下：DUTAPI）DUTAPI(GroundTruthGT）；GT（分accmAPmIOU）注：如果DUT存储空间有限，需要编写远程同步测试数据脚本，用于向精度评测程序发送数据集图像。准备工作包括：ImagenetPascalVOCMSCOCOCityscape注：以上测试数据集参考附录B。注：测试模型可参考附录A。在各类模型对应的数据集中可选择1～10张图片作为推理速度测试输入，在芯片环境中执行性能测试程序，每个模型测试10分钟，并计算每个模型平均帧率。测