智能网联汽车辅助驾驶前向视觉感知性能要求及测评方法 第1部分：测试方法及指标定义

1智能网联汽车辅助驾驶前向视觉感知性能要求及测评方法第1部分：测试方法及指标定义本文件规定了智能网联汽车辅助驾驶前向摄像头的视觉感知性能测试通用方法、测试项与测试指标体系。本文件适用于智能网联汽车辅助驾驶前向摄像头的视觉感知性能测试。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T39263-2020道路车辆先进驾驶辅助系统（ADAS）术语及定义GB/T40429-2021汽车驾驶自动化分级CSAE212-2021智能网联汽车场景数据图像标注要求及方法ISO8855道路车辆车辆动力学和道路保持能力词汇3术语和定义下列术语和定义适用于本文件。3.1先进驾驶辅助系统advanceddriverassistancesystems；ADAS利用安装在车辆上的传感、通信、决策及执行等装置，实时监测驾驶员、车辆及其行驶环境，并通过信息和/或运动控制等方式辅助驾驶员执行驾驶任务或主动避免/减轻碰撞危害的各类系统的总称。[来源：GB/T39263-2020，2.1]3.2视觉感知系统visualperceptionsystem通过摄像头传感器拍摄图像数据，并从中提取目标物信息的系统，包含系统硬件、感知算法模型与后处理程序等部分。23.3场景scenario一段连续时间内目标车辆的行为、外部环境以及在特定驾驶任务过程中环境与车之间的作用关系的描述。3.4设计运行域operationaldesigndomain；ODD驾驶自动化系统设计时确定的适用于其功能运行的外部环境条件。[来源：GB/T40429-2021，2.11]3.5视频投影videoprojection视频投影是视觉感知测试的一种视频流数据输入方式，将视频流数据投影到显示设备上，再调整待测摄像头位置拍摄显示内容，获得视频流数据并输入给摄像头的处理芯片或控制器等硬件设备。3.6视频注入videoinjection视频注入是视觉感知测试的一种视频流数据输入方式，视频注入方案屏蔽掉了摄像头本身的感光元器件，直接注入像素数据到视觉的处理芯片或控制器等硬件设备。3.7真值系统groundtruthreferencesystem真值系统是测量与记录实车测试过程中各测试指标（如目标类别、位置、速度、朝向、加速度等）真值的软硬件系统，为被测系统的输出结果提供对照基准，以评价被测系统性能。3.8可行驶区域freespace测试车辆可以通行的道路区域。3.9推断inference将图像或视频数据输入给感知算法，获得感知结果的过程。3.10建立关联buildcorrespondence指被测系统输出的各项指标的推断值与真值进行匹配的过程。3.11视场角fieldofview；FOV3以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角，本文件中的视场角默认指水平方向的视场角。4辅助驾驶前向视觉感知系统4.1辅助驾驶系统功能范围辅助驾驶系统旨在提升驾驶安全性与舒适性，通过传感器感知环境信息，为驾驶员提供预警和辅助控制等功能。本文件中2级以下驾驶自动化系统的定义按GB/T40429-2021《汽车驾驶自动化分级》中的规定，说明如下：a)0级驾驶自动化：驾驶自动化系统不能持续执行动态驾驶任务中的车辆横向或纵向运动控制，但具备持续执行动态驾驶任务中的部分目标和事件探测与响应的能力；b)1级驾驶自动化：驾驶自动化系统在其设计运行条件内持续地执行动态驾驶任务中的车辆横向或纵向运动控制，且具备与所执行的车辆横向或纵向运动控制相适应的部分目标和事件探测与响应的能力；c)2级驾驶自动化：驾驶自动化系统在其设计运行条件内持续地执行动态驾驶任务中的车辆横向和纵向运动控制，且具备与所执行的车辆横向和纵向运动控制相适应的部分目标和事件探测与响应的能力。4.2辅助驾驶前向视觉感知目标范围辅助驾驶前向视觉感知目标主要类型包括行人、车辆（包含机动车和非机动车）、交通标志与标线、可行驶区域、交通信号灯、道路基础设施、环境主要光源（车灯、路灯等）、道路边界和路面附属物（如锥桶、水马等）等。4.3辅助驾驶前向视觉感知系统要求辅助驾驶前向视觉感知系统除了要具备环境感知能力外，同时还应满足感知的时效性和安全性要求。其中，时效性是指感知结果的输出频率应满足辅助驾驶系统的实时运行要求。安全性指当视觉感知系统因软硬件故障或者特殊天气、镜头遮挡等极端工况而性能降低或失效时，应能输出对应警示信号。表1列举了各等级辅助驾驶功能对应感知的必要目标，除高速公路辅助（HWA）之外，各辅助驾驶功能定义按GB/T39263-2020《道路车辆先进驾驶辅助系统（ADAS）术语及定义》标准中的规定。表1辅助驾驶功能及其视觉所需感知目标41234567895视觉感知性能测试方法5.1测试方法总述测试方法包含回灌测试、仿真测试、封闭场地测试和公开道路测试，四种测试方法对应到车辆V5开发模型中的各阶段示意图如图1所示。图1回灌测试、仿真测试、封闭场地测试、公开道路测试适用阶段示意图本文件涉及到的测试方法统一采用ISO8855《道路车辆车辆动力学和道路保持能力词汇》中所制定的惯性车辆坐标系，其中X轴指向车辆前方，Y轴指向驾驶员左侧，Z轴垂直向上。从坐标系原点既车辆后轴中心向X、Y、Z轴的正向出发，绕X轴、Y轴和Z轴顺时针方向旋转而产生的角度分别称为侧倾角（roll）、俯仰角（pitch）和横摆角（yaw），车辆坐标系示意如图2所示。图2车辆坐标系示意图5.2回灌测试5.2.1方法定义回灌测试是指基于真实道路采集的数据对传感器感知性能进行测试。回灌测试根据待测算法在采集数据上的推断结果,与真值系统或者人工标注的输出结果进行数据关联和对比分析，得到感知的性能指标。根据测试的不同阶段，可将回灌测试分为软件回灌测试与硬件回灌测试两种。软件回灌测试通过将感知软件运行在算力不受限的服务器上，可实现基于海量真实数据的算法性能的快速测试，验证视觉感知的鲁棒性。软件回灌测试的对象为视觉感知软件，包含算法模型和后处理程序。硬件回灌测试通过视频投影（如视频暗箱等）或视频注入的方式将真实数据输入给运行视觉感知软件的计算平台，获得输出结果。硬件回灌测试的对象为视觉感知软件、计算平台以及摄像头（可选），是针对已部署在计算平台上的视觉感知系统的性能测试。回灌测试主要流程如图3所示，包括数据采集、数据集构建、数据回灌、建立关联和测试结果计算等模块。图3回灌测试示意图5.2.2测试要求回灌测试要求包含测试系统要求和被测硬件要求两部分。5.2.2.1测试系统要求5.2.2.1.1采集摄像头安装要求待测视觉感知系统摄像头采集数据前应按视觉感知系统产品要求位置进行安装，并进行调试和标75.2.2.1.2硬件回灌系统要求a)系统的I/O接口数据读写速率应能满足待测计算平台对帧率的要求；b)车辆总线数据CAN/CANFD等信息的输出频率应满足图像刷新的时间同步要求；c)能够对回灌数据进行管理。5.2.2.1.3真值系统要求a)真值系统应能生成所有待测视觉感知系统的目标感知结果真值；b)真值系统的目标感知空间范围应高于待测视觉感知系统的目标感知空间范围，包括FOV、距离、光照范围和使用温度范围等；c)真值系统的目标感知性能的各项指标应高于待测视觉感知系统的目标感知性能的各项指标。5.2.2.1.4评测软件要求a)评测软件应能将待测视觉感知系统的识别结果进行转换，按照既定格式进行输出；b)评测软件支持将待测结果与真值进行关联，建立待测结果与真值的对应关系；c)评测软件支持对各种评测指标的快速计算；d)评测软件支持测试结果的图表生成和数据分析等。5.2.2.2被测硬件要求硬件回灌测试中，被测硬件应能提供感知结果，以与真值结果进行对比分析。5.2.3测试流程回灌测试流程如下：a)测试数据集构建：准备带有数据采集设备和真值系统的采集车，在真实道路场景下采集数据，并构建测试数据集，数据集标注要求宜参考CSAE212-2021《智能网联汽车场景数据图像标注要求及方法》执行；b)测试系统准备：回灌测试软硬件准备，确保数据流通畅无故障；c)回灌测试系统运行：运行数据回灌系统，将数据集输入给感知算法，并获得感知结果；d)测试结果评价：将感知结果与真值进行关联，依据视觉感知测试指标，计算测试结果，并对感知性能进行评价。85.3仿真测试5.3.1方法定义仿真测试是指通过传感器模型和仿真渲染场景对传感器感知性能进行测试。较于回灌测试，仿真测试可以根据测试需求模拟汽车复杂的行驶环境，如极端天气、交通事故等，并在此基础上进行闭环测试。按照测试的不同阶段，可将仿真测试分为软件在环测试和硬件在环测试，两种测试方法的测试内容中均包括仿真开环测试与仿真闭环测试。软件在环测试通过仿真软件提供仿真渲染场景，将视觉感知软件运行在算力不受限的服务器平台上，通过记录测试结果与中间状态量来评价视觉感知软件性能；硬件在环测试是通过视频投影或视频注入的方式将仿真渲染场景输入至计算平台或摄像头硬件，运行视觉感知软件后并获取感知结果。仿真开环测试是指对控制单元与被控对象分别进行的激励测试。对控制单元进行输出一致性与准确性测试，保证控制单元可以准确识别仿真渲染场景的环境信息并输出正确控制指令。被控对象需要进行模型准确性输出测试，保证被控对象能够遵循控制指令完成相应任务。仿真闭环测试是在开环准确性验证的基础上，建立控制单元与被控对象间反馈回路，形成系统闭环。反馈回路中，被控对象的动作会改变车辆动力学模型在仿真场景中的位置信息，进而实时改变控制单元的仿真渲染场景输入。以硬件闭环测试系统为例，其测试原理如图4所示。上位机电脑运行场景仿真软件、下位机运行控制软件与传感器模型，将图像信息经由图像输入设备传输至被测软硬件，被测软硬件会基于车辆动力学模型实时状态信息与行驶环境信息输出车辆控制指令，运行在下位机实时平台的车辆动力学模型会根据控制请求执行相应动作，并将车辆状态位姿信息输出至上位机电脑。图4硬件闭环测试系统原理95.3.2测试要求仿真测试要求包含测试系统要求和被测对象要求两部分。5.3.2.1测试系统要求软件在环测试与硬件在环测试的通用要求如下：a)测试工具链应支持高渲染的虚拟引擎；b)测试工具链应支持场景的搭建；c)测试系统应能满足摄像头等系统标定要求；d)测试系统应满足准确性要求，包含摄像头模型、车辆动力学模型、道路模型等。除通用要求外，对于硬件在环测试，为保证嵌入硬件的正常工作，测试系统还需满足上位机、下位机与图像输入设备要求，具体要求如下：a)上位机中场景仿真软件应满足动力学模型的同步触发要求和摄像头模型的实时渲染要求；b)参照物理摄像头建模原理，上位机中运行的摄像头模型不仅要适配焦距、像素尺寸、视场角等物理参数，还需满足图像信息的格式要求，包括图像分辨率、通道数等；c)下位机实时平台应满足车辆动力学模型运行速率，系统仿真步长通常为1ms；d)图像输入设备应满足感知计算平台对图像实时处理的要求，图像输入帧率要与真实摄像头输入帧率保持一致；e)图像输入设备的输出需满足感知计算平台接口要求，应支持包括但不限于低压差分信号LVDS/GMSL分体式注入或MIPI一体式注入等图像传输协议。5.3.2.2被测硬件要求硬件在环测试中，被测硬件应提供感知结果，以与真值进行比较分析。5.3.3测试流程仿真测试流程如下：a)测试场景搭建：按照测试需求，通过场景仿真软件搭建虚拟场景；b)测试系统准备：系统上电，连接上位机电脑、图像输入设备、被测软硬件与下位机实时系统，确保数据流通畅无故障；c)测试系统运行：运行场景仿真软件与车辆动力学模型，完成相关场景测试，并记录感知结果；测试结果评价：d)将感知结果与真值进行关联，依据视觉感知测试指标，计算测试结果，并对被测软硬件进行评价。5.4封闭场地测试5.4.1方法定义封闭场地测试是指在封闭区域道路环境中对传感器感知性能进行测试。封闭场地实车测试的测试对象为功能逻辑均已齐备的视觉感知软件、计算平台以及摄像头等，测试过程中被测视觉感知系统和搭载车辆将被视为统一的整体。封闭场地测试的流程图如图5所示。图5封闭场地测试流程示意图5.4.2测试要求封闭场地测试要求包含测试环境要求、测试系统要求和被测硬件要求三部分。5.4.2.1测试环境要求封闭测试场地一般为平坦干燥的沥青或者混凝土路面，测试场应能根据测试场景定义要求搭建相应的场景，如相应的感知目标（可移动的车辆、行人等目标），天气等要素，以完成感知性能的测试。5.4.2.2测试系统要求a)待测视觉感知系统应已具备道路测试条件；b)待测前向摄像头应按要求进行安装、调试和标定，摄像头安装误差应符合安装要求，如有必要，应进行动态标定；c)在前向摄像头FOV区域不应有车内物体的反光投影物；d)车辆上应安装真值系统，满足以下性能要求：1)CAN信号采样频率应不低于100Hz；2)视频流数据采样帧率应不低于30fps；3)横向距离测量精度应达到每千米测量误差小于0.25m；4)纵向距离测量精度应达到每千米测量误差小于0.08m；5)速度测量精度应达到0.25m/s；6)横摆角速度测量精度应达到0.052rad/s以下；7)纵向探测距离应优于被测设备的可视距离；8)不同设备之间的数据传输应进行时间同步，时间差应不大于10ms。5.4.2.3被测硬件要求在封闭场地测试中，被测硬件应能提供感知结果，以与真值进行比较分析。5.4.3测试流程封闭场地测试流程如下：a)测试车辆准备：安装待测视觉感知系统及测试系统至待测车辆，包含摄像头硬件、感知计算平台以及真值系统和数据采集设备；b)测试场地准备：依据规定的场景准备测试场地；c)场地测试：满足测试场景初始条件后开启相关辅助驾驶功能，进行感知结果和真值数据记录，满足场景终止条件后，结束相关数据记录；d)测试结果评价：将感知结果与真值进行关联，依据视觉感知测试指标，计算测试结果，并对被测软硬件进行评价。5.5公开道路测试5.5.1方法定义公开道路测试是在开放道路环境中对传感器感知性能进行测试。公开道路测试的流程如图6所示。图6公开道路测试流程示意图5.5.2测试要求公开道路测试要求包含测试环境要求、测试系统要求和被测硬件要求三部分。5.5.2.1测试环境要求公开道路测试应在道路规定的限速范围内行驶，实际测试路线应符合测试场景要求。5.5.2.2测试系统要求a)待测视觉感知系统应已具备公开道路测试条件；b)待测前向摄像头应按要求进行安装、调试和标定，摄像头安装误差应符合安装要求，如有必要，应进行动态标定；c)除由于测试系统所造成的影响，在前向摄像头FOV区域不应有车内物体的反光投影物；d)车辆上应安装真值系统和数据采集设备，真值系统要求同回灌测试部分要求。5.5.2.3被测硬件要求在公开道路测试中，被测硬件应提供可供采集的图像或者报文形式的信息，以便测试结果与真值进行比较分析。5.5.3测试流程公开道路测试流程如下：a)测试车辆准备：安装待测视觉感知系统、真值系统和数据采集系统至测试车辆，进行软硬件调试；b)测试路段选定：根据测试要求，考虑道路类型、目标类型、交通环境特征等的覆盖，选定合适的测试路段和道路工况；c)道路测试：待测车辆由驾驶员驾驶或者开启辅助驾驶功能，沿规定的测试路线正常行驶，完成相关场景测试并记录感知输出结果、真值系统输出结果等数据；d)测试结果评价：将感知结果与真值进行关联，依据视觉感知测试指标，计算测试结果，并对被测软硬件进行评价。6视觉感知测试项及其指标定义6.1测试项定义6.1.1直接测试项定义6.1.1.1感知测试目标物类型如下：a)各类车辆：车辆类型包括乘用车、货车、客车、半挂牵引车、有轨列车、工程车辆、警车、救护车、消防车、校车、洒水车、三轮车、自行车、电动自行车、摩托车；b)各种姿态的行人：行人应涵盖各种姿态包括站立、行走、骑行、坐、躺、抱、背、被抱、被背、推、蹲、弯腰状态的行人；c)道路交通标线：交通标线类型应包括GB5768.3-2009中规定的指示标线、禁止标线、警告标线规定的全部类型；d)道路交通信号灯：交通信号灯类型应包括机动车信号灯、非机动车信号灯、左转非机动车信号灯、人行横道信号灯、车道信号灯、方向指示信号灯、闪光警告信号灯、道口信号灯、掉头信号灯；e)道路临时覆盖物：包含锥桶、水马、施工护栏等；f)道路交通标志：交通标志类型应包括GB5768.2-2009中规定的警告标志、禁令标志、指示标志规定的全部类型；g)道路边界：道路两侧的路沿边界；h)可行驶区域：测试感知对视野内自车可以通行的道路区域的识别。6.1.1.2目标ID：代表对行人、车辆等交通参与者的ID标记。6.1.1.3颜色：包括道路交通信号灯、道路交通标线等目标的颜色，交通信号灯颜色一般为红色、绿色和黄色，车道线颜色一般为白色和黄色。6.1.1.4朝向：指的是移动目标物的行进方向，包括车辆、骑行人、动物等，朝向结果以相对于车辆坐标系X轴的角度给出，朝向角度范围为180度到-180度，其中X轴正方向为0度，逆时针旋转为0到180度，顺时针旋转为0到-180度；6.1.1.5车道线或路缘三次方程系数：用三次方程的形式来描述车道线或路缘，三次方程具体描述如a)C0：近端点到车辆坐标系原点的横向距离；b)C1：斜率，表示线是向左偏或向右偏；c)C2：曲率，圆的半径来体现大弯或小弯；d)C3：曲率变化率，大弯突然变小弯时就会有较明显的变化。6.1.1.6二维边界框：通过二维矩形框将目标物边界在图像中的位置框出。6.1.1.7三维边界框：通过三维矩形框将目标物边界在图像中的位置框出。6.1.1.8语义标注：将目标物在图像中的轮廓边界（可行驶区域、交通标线等）、中心线（如车道线、道路边界等）通过的多点坐标的方式描述，多点坐标构成语义标注点集。6.1.1.9光源状态：人造光源的开启和关闭状态的识别情况。6.1.1.10交通信号灯指示类型：交通信号灯指示类型的识别情况，分为无类型、左向、直行、右向、掉头、禁行、其他7类。6.1.1.11交通信号灯持续时间：指交通信号灯显示的倒计时秒数。6.1.1.12距离：目标物到车辆坐标系原点的横向和纵向距离。6.1.1.13速度：目标物的绝对速度，包括视野内车辆、行人、骑行人、动物的矢量速度。6.1.1.14加速度：目标物的绝对加速度，包括视野内车辆、行人、骑行人、动物的矢量加速度。6.1.2间接测试项定义6.1.2.1紧急行人：行驶路径中最可能与测试车辆发生事故的行人和骑行人。6.1.2.2碰撞时间（TTC，timetocollision测试车辆与目标车辆之间的相对速度不变的情况下，两车发生碰撞的时间。6.1.2.3起止距离：视野内车道线、道路边界的起始点和终止点之间的距离。6.1.2.4最近车辆（CIPV,closestinpathvehicle）：路径中距离最近车辆。6.1.3系统性能测试项定义摄像头传输平均时长：在一定带宽下，从摄像头拍摄到输出给感知系统的平均时间长度。算法处理平均时长：从摄像头输出给感知系统到感知系统处理完图像或视频的平均时间长度。系统处理平均时长：在一定带宽下，从摄像头拍摄到感知系统处理完图像或视频的平均时间长度。6.1.4fail-safe极端工况导致感知性能下降或失效状态：测试感知系统在各类极端工况下，出现性能下降甚至失效时是否输出对应信号，包括镜头严重遮挡、严重曝光、严重弱光、恶劣天气等。6.2指标定义推断样本中分为以下四种类型，参见图6中给出示例样本的关系图：a)Truepositives（TP，真正）：推断为正，实际为正；b)Truenegatives（TN，真负）：推断为负，实际为负；c)Falsepositives（FP，假正）：推断为正，实际为负；d)Falsenegatives（FN，假负）：推断为负，实际为正。图6真正、假正、假负示意图6.2.1准确率（accuracy分类性能指标，模型正确推断的目标数和除以总测试目标数，公式如下：TP+TN6.2.2精确率（precision）：正确推断的正例数/推断为正例的总数，又称查准率，公式如下：precision=6.2.3召回率（recall）：正确推断的正例数/实际正例的总数，又称查全率，公式如下：recall=6.2.4MOTA：多目标跟踪的准确度，体现在确定目标的个数，以及有关目标的相关属性方面的准确度，用于统计在跟踪中的误差积累情况，包括FP、FN、IDSw，公式如下：式中：mt——即漏检数（FN），在第t帧中该目标oj没有假设位置与其匹配；fpt——即误检数（FP），在第t帧中给出的假设位置hj没有跟踪目标与其匹配；mmet——即误配数（IDSw），在第t帧中跟踪目标发生ID切换的次数，多发生在遮挡情况下。6.2.5MOTP：多目标跟踪的精确度，体现在确定目标位置上的精确度，用于衡量目标位置确定的精确程度，公式如下：式中：ct——表示第t帧目标oj和假设hj的匹配个数；d——表示第t帧目标oj与其配对假设位置之间的距离，即匹配误差。6.2.6时间精度：测试场景内所有目C|TTC真值。式中：DUTTTC——被测物的TTC；GTTTC——TTC真值。6.2.7功能降级或失效信号：待测感知功能降级或失效时，是否能输出对应信号给后续程序。6.2.8mAccuracy：平均准确率，各目标类别准确率的平均值，accuracy定义参见6.2.1。mAccuracy=accuracy6.2.9mIoU：平均交并比值：为语义分割的标准度量，计算推断轮廓区域与真实区域的交并比。6.2.10距离精度：测试场景内被测目标距离误差百分比，分母为目标与测试车辆的真实距离。(DUTx−GTx)2+(DUTy−式中：DUTx——被测物X方向距离；DUTy——被测物Y方向距离；GTx——被测物X方向距离真值；GTy——被测物X方向距离真值。6.2.11速度精度：测试场景内被测目标速度误差百分比，分母为目标的真实速度。vall=(DUTvx−GTvx)2+DUTvy−GTvall=式中：DUTvx——被测物X方向速度；DUTvy——被测物Y方向速度；GTvx——被测物X方向速度真值；GTvy——被测物X方向速度真值。6.2.12加速度精度：测试场景内被测目标加速度误差百分比，分母为目标的真实加速度。DUTaxDUTayaccall=——被测物X方向加速度；——被测物Y方向加速度；(DUTax−GTax)2+(DUTay−GTay)2