智能网联汽车视觉感知系统预期功能安全第2部分：测试与评价方法

ICS

CCSCS

000

团体标准

T/CSAExx－20xx

000

智能网联汽车视觉感知系统预期功能安全

0第2部分：测试与评价方法00

Intelligentandconnectedvehicle－Safetyoftheintendedfunctionalityforvisual

perceptionsystem

PartII:Testingandevaluationmethod

（征求意见稿）

000

在提交反馈意见时，请将您知道的该标准所涉必要专利信息连同支持性文件一并附上

D0raftingguidelinesforcommercialgrades0standardofChinesemedicinal0materials

000

2022-xx-xx发布2022-xx-xx实施

中国汽车工程学会发布

000

000

T/CASExx－2021

000

目次

1范围.................................................................................2

2规范性引用文件.......................................................................2

3术语和定义...........................................................................2

40视觉感知系统测试与评价流程................................0...........................03

5视觉感知系统测试范围确定.............................................................3

5.1感知系统测试项确定................................................................3

5.2触发条件筛选......................................................................4

5.3基础场景筛选......................................................................4

5.4测试场景构建......................................................................4

000

6测试方法定义.........................................................................5

6.1视觉感知系统测试方法..............................................................5

6.2视觉感知系统测试要求..............................................................5

7性能量化评价.........................................................................6

7.1评价体系框架......................................................................6

07.2多维度评价................................0................................0........7

7.3单层级评价........................................................................9

7.4单场景评价........................................................................9

7.5多场景评价........................................................................9

7.6评估结果.........................................................................10

附录A（资料性）感知系统测试项具体参数..................................................11

000

附录B（规范性）触发条件清单...........................................................13

附录C（规范性）基础场景清单...........................................................16

附录D（资料性）视觉感知系统测试方法...................................................22

附录E（资料性）评价指标量纲归一化参数..................................................24

附录F（规范性）被测系统预期功能安全性能评价结果模板....................................27

000

附录G（资料性）视觉感知系统预期功能安全性能评价结果示例................................29

000

I

000

T/CASExx－2021

000

前言

本文件按照GB/T1.1－2020《标准化工作导则第1部分：标准化文件的结构和起草规则》

的规定起草。

XXXX（团标号）《智能网联汽车视觉感知系统预期功能安全》分为X部分：

——第一部分：触发条件分析与描述方法

000

——第二部分：测试与评价方法

本部分为XXXX（团标号）的第2部分

请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识别这些专利的责

任。

本文件由中国智能网联汽车产业创新联盟提出。

本文件起草单位：同济大学、上海机动车检测认证技术研究中心有限公司、北京地平

线机器人技术研发有限公司、中汽研汽车检验中心（天津）有限公司、优力标准技术服务

000

有限公司、武汉路特斯科技有限公司、上海淞泓智能汽车科技有限公司、清华大学、国汽

（北京）智能网联汽车研究院有限公司、上海禾赛科技有限公司、中国汽车工程研究院股

份有限公司、大唐高鸿智联科技（重庆）有限公司、高通无线通信技术（中国）有限公司、

北京赛目科技有限公司、国汽智控（北京）科技有限公司、北京裕峻汽车技术研究有限公

司、中汽数据（天津）有限公司、毫末智行科技有限公司、通标标准技术服务有限公司、

博世汽车部件（苏州）有限公司、惠州市德赛西威汽车电子股份有限公司、工业和信息化

部电子第五研究所、南昌智能新能源汽车研究院、华东交通大学。

0本文件主要起草人：xx。00

000

000

000

000

T/CASExx－2021

000

引言

车辆的预期功能安全是指不存在因预期功能不足引起的危害而导致不合理的风险。

ISO21448提供了用于确保预期功能安全（SOTIF）的措施的通用论证框架和指南，为实现

和保持SOTIF所需的相关设计、验证和确认措施以及在运行阶段的活动提供指导。

000

本标准以ISO21448为基础，针对其中的感知系统局限性分析、触发条件识别、性能测

试评价的需求，规定了分析要求、测试方法和评价体系，适用于智能网联汽车视觉感知系

统在设计开发、测试验证、产品认证等阶段的测试评价活动。

视觉感知系统是智能网联汽车环境感知的重要组成部分，其受到外部环境影响因素干

扰下的感知性能表现对于智能网联汽车的安全运行至关重要，是车辆预期功能安全流程中

需关注的重要环节。其感知性能的局限性分析、测试与性能评价等对相关系统的工程应用

均必不可少。

0本标准针对的是视觉感知系统的触发条件分析和预期功能安全性能测评，同时它提供00

了一个方法框架，在该框架内可以分析其他环境感知传感器的性能局限。

本系列标准包括2部分。

其中第1部分主要针对视觉感知系统的触发条件分析方法和描述规范：

a)提供了面向视觉感知系统的触发条件分析要求；

b)提供了满足安全分析、测试验证等不同需求的触发条件描述规范；

c)提供了基于触发条件和一般场景的感知系统测试用例构建方法。

0其中第2部分主要针对视觉感知系统的测试方法和评价体系0：0

a)规定了典型视觉感知系统的测试评价流程、测试方法、测试要求；

b)提供了满足视觉感知预期功能安全性能评价的评价体系和参考指标；

c)提供了可参考的触发条件清单及测试用例清单。

000

000

000

I

000

T/CASExx－2021

000

1范围

本文件规定了智能网联汽车视觉感知系统预期安全测试与评价规范。

本文件适用于智能网联乘用车视觉感知系统在测试与验证阶段、产品认证阶段针对预

期功能安全已知场景的测试范围确定、测试方法定义和性能量化评价。

本文件不适用于非感知任务直接相关因素如视野盲区、设计缺陷等造成的系统性功能

0不足。00

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日

期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本

（包括所有的修改单）适用于本文件。

000

GB5768道路交通标志和标线

XXX-XXXXXX智能网联汽车自动驾驶功能场地试验方法及要求

T/CSAExx－20xx智能网联汽车视觉感知系统预期功能安全第1部分：触发条件分析

与描述方法

3术语和定义

000

T/CSAExx－20xx界定的以及下列术语和定义适用于本文。

3.1

感知系统测试项perceptionsystemtestitem

根据被测系统功能定义确定所需开展测试的场景要素，用以指导测试开展。

3.2

000

基础场景basicscenario

视觉感知系统中感知状态量化的交通环境，包含各类感知系统测试项。

3.3

被测系统systemundertest

按照本文件要求开展测试与评价的视觉感知系统。

03.400

测试场景testscenario

用于自动驾驶系统或被测车辆测试和评价的场景，由触发条件结合基础场景得到。

3.5

运行设计域operationaldesigndomain；ODD

驾驶自动化系统设计时确定的适用于其功能运行的外部环境条件。

000

[来源：GB/T40429-2021，2.11]

2

000

T/CASExx－2021

03.600

真值系统groundtruthreferencesystem

测量或记录测试过程中的各类信号数据，并能生成部分或全部测试指标（如目标类

别、位置、速度、加速度等）真值的软硬件系统。

3.7

0测试系统testsystem00

搭载被测系统与真值系统的整车或其他测试平台。

4视觉感知系统测试与评价流程

视觉感知系统预期功能安全测试与评价流程主要包括测试范围确定、测试方法定义和

性能量化评价三步，测试与评价流程如图1。

0测试范围确定即根据被测系统的功能定义确定感知系统测试项，并筛选基础场景和触00

发条件，结合触发条件与基础场景构建测试场景。

测试方法定义即根据触发条件测试方法搭建测试平台，开展仿真回灌测试和封闭场地

测试，获取测试数据。

性能量化评价即根据测试数据计算评价指标，基于视觉感知系统预期功能安全性能量

化评价体系输出评价结果。

000

000

图1测试与评价流程

5视觉感知系统测试范围确定

05.1感知系统测试项确定00

根据视觉感知系统所服务的自动驾驶功能及其设计运行域，确定系统预期应感知并输

出相关识别结果的感知系统测试项，感知系统测试项应全面覆盖自动驾驶功能设计运行域

范围内的各类要素。感知系统测试项包含具体参数见附录A。

注：感知系统测试项应根据行业通行做法，根据要素类型进行分层描述，包括道路结构（Layer1）、

交通基础设施（Layer2）、道路和设施临时改变（Layer3）、交通参与物（Layer4）和自车状

态（Layer7），如表1所示。

000

3

000

T/CASExx－2021

000

表1感知系统测试项

分层要素类场景要素

Layer1道路结构包括车道信息、路面状态、标志标线、附属物等

Layer2道路基础设施包括各类交通信号灯、标志牌等交通设施设备

Layer3道路和设施临时改变包括道路条件变化、车道变化、车道占据等

0Layer4交通参与物0主要包括车辆、行人、非机动车、动物和各类障碍物0

Layer7自车状态感知系统状态：遮挡、冻结、反光

5.2触发条件筛选

5.2.1触发条件清单

触发条件清单即视觉感知系统可能面临触发条件的集合，本文件共计了定义56个触发

1)

0条件，视觉感知系统触发条件清单如附录0B所示。0

注：触发条件的定义满足《智能网联汽车视觉感知系统预期功能安全第1部分：触发条件分析与描

述方法》所定义的具体触发条件。

5.2.2触发条件筛选要求

视觉感知系统触发条件作为测试场景的重要组成部分，需涵盖被测系统的全部测试项。

筛选要求如下：

a)传感器触发类触发条件：若被测系统具备相应的自检功能，则需选择相应的触发

000

条件；

b)图像质量触发类触发条件：若被测系统运行设计域内涵盖此类触发条件，则需选

择相应的触发条件；

c)图像识别触发类触发条件：若被测系统的测试项包括此类要素，则需选择相应的

触发条件。

5.3基础场景筛选

000

5.3.1基础场景清单

本文件中基础场景的构建参考了GB/T《智能网联汽车自动驾驶功能场地试验方法及

要求》。针对视觉感知系统测试项构建了25个基础场景2)，如附录C所示。

5.3.2基础场景筛选要求

视觉感知系统基础场景筛选要求如下：

0a)测试项完整性：基础场景涵盖0被测系统全部感知系统测试项；0

b)参数完整性：基础场景中要素的属性涵盖被测系统测试项全部参数。

5.4测试场景构建

5.4.1测试场景构建

1)触发条件将随视觉感知系统技术发展水平而更新，后续触发条件更新将另行公布。

02)基础场景将随视觉感知系统技术发展水平而更新，后续基础场景更新将另行公布。00

4

000

T/CASExx－2021

0本文件规定了视觉感知系统测试场景由基础场景0结合触发条件构成，测试场景符合单0

一变量原则，各测试场景均由一个基础场景叠加一个触发条件约束得到。

5.4.2测试场景构建原则

基础场景上叠加触发条件的原则如下：

a)传感器触发类触发条件：触发条件作为传感器的补充要求添加至基础场景，被测

系统全部基础场景均需叠加此类触发条件；

b)图像质量触发类触发条件：触发条件作为场景的补充要求添加至基础场景，被测

000

系统全部基础场景均需叠加此类触发条件；

c)图像识别触发类触发条件：触发条件作为基础场景中感知系统测试项的补充属性

添加至基础场景，包含此类感知系统测试项的基础场景均需叠加此类触发条件。

6测试方法定义

6.1视觉感知系统测试方法

000

本文件采用的视觉感知系统测试方法包括：仿真回灌测试和封闭场地测试。测试方法

定义见附录D。针对不同触发条件的测试方法建议如附录A所示。

6.2视觉感知系统测试要求

6.2.1仿真回灌测试要求

6.2.1.1硬件要求

000

仿真回灌测试的硬件要求包括：

a)虚拟仿真软件计算平台满足摄像头模型的实时渲染要求；

b)图像传输系统满足被测系统的帧率需求；

c)图像传输系统的输出满足被测系统计算平台接口要求；

d)图像传输系统的输入满足虚拟仿真软件计算平台接口要求。

06.2.1.2软件要求00

仿真回灌测试的软件要求包括：

a)虚拟仿真软件支持高真实的虚拟引擎；

b)虚拟仿真软件满足被测系统分辨率要求；

c)虚拟仿真软件支持场景搭建；

d)虚拟仿真软件满足被测系统标定要求；

e)虚拟仿真软件满足准确性要求，包括环境模型、道路模型等；

0f)虚拟仿真软件满足视觉感知系统实时性要求。00

6.2.2封闭场地测试要求

6.2.2.1测试场地要求

封闭测试场地中基础场景的要求如下：

a)测试场地能够满足测试场景搭建要求；

0b)测试场地无其他非触发条件因素干扰0；0

5

000

T/CASExx－2021

0c)测试道路为平坦、干燥的沥青或混凝土路面0:单车道宽度为3.5m~3.75m；0

d)测试道路坡度不超过1%；

e)测试场景标志牌、标线清晰可见，且符合GB5768《道路交通标志和标线》要求。

6.2.2.2测试系统要求

测试系统要求如下：

a)被测系统按要求安装、标定和调整，被测系统安装误差应符合要求，如有必要，

0应进行动态标定；00

b)被测系统FOV内无非测试场景要素干扰；

c)真值系统感知精度高于被测系统：

1）CAN信号采样频率应不低于100Hz；

2）横向距离测量精度应达到0.25m/km；

3）纵向距离测量精度应达到0.08m/km；

4）速度测量精度应达到0.25m/s；

05）横摆角速度测量精度应达到00.052rad/s；0

6）纵向探测距离应优于被测系统的可视距离；

7）不同设备之间的数据传输应进行时间同步，时间同步精度不大于10ms。

d)测试精度要求：

1）测试系统和目标车辆速度:0±2km/h；

2）测试系统和目标车辆加速度:0±0.5m/s2；

3）测试系统和目标车辆相对横向距离:0±0.1m；

4）测试系统与目标车辆相对纵向距离:0±0.1m。

000

7性能量化评价

7.1评价体系框架

依据对感知系统测试项的分析与分解，视觉感知系统预期功能安全性能评价体系框架

分为五个层次：多维度评价、单目标物评价、单层级评价、单场景评价和多场景评价。如

0图2所示。00

000

图2视觉感知系统预期功能安全评价体系

000

6

000

T/CASExx－2021

07.2多维度评价00

多维度评价从准确性、精准性、稳定性、及时性和完整性等5个维度进行评价，不同评

价维度下的评价指标如错误!未找到引用源。所示。根据感知系统测试项参数在整个测试过

程的测试结果计算各评价指标。不同评价指标量纲不尽相同，应对各评价指标进行归一化

处理。

表2各维度评价指标

评价维度维度解释评价指标指标解释

0针对离散型数据结果的精确度0精准率，所有的检测结果中，被正确检测0

准确性Precision

评价的目标数占所有检测目标的比重

针对连续型数据结果的精确度平均误差，体现正预测对象位置上的精确

精确性Meanerror

评价度，用于衡量对象位置确定的精确程度

针对检测结果关于对象、空占空因子，准确预测的比例，包括时间比

稳定性DutyFactor

间、时间的一致性进行评价例、空间比例等

针对感知系统检测目标的迟滞上报延迟，视觉感知系统输出识别结果时

及时性ReportDelay

性评价刻与视觉传感器输出图像时刻差值

查全率或召回率，从预测的角度，应该被

完整性针对检测结果的完备性的评价Recall

00预测为正类的对象中，被正确识别的比例0

7.2.1评价指标计算方法

7.2.1.1Precision：计算公式如下：

∑푡푝

푃푟푒푐푖푠푖표푛=푡·············································(1)

∑푡푝푡+∑푓푝푡

000

式中：

푡푝푡——即真实数（TP），在第t帧中该目标存在假设相关属性与其匹配；

푓푝푡——即误检数（FP），在第t帧中给出的假设相关属性没有目标与其匹配。

7.2.1.2Meanerror：计算公式如下：

∑|푑⁄푑|

푀푒푎푛푒푟푟표푟=푡푖··············································(2)

00∑푡푐푡0

式中：

푑푖——即第t帧目标与其配对假设属性之间的差值，即匹配误差；

푑——即第t帧目标与其配对假设属性之间的真值；

푐푡——即第t帧中该目标存在假设属性与其匹配。

7.2.1.3DutyFactor：计算公式如下：

000

∑푡푝

퐷푢푡푦퐹푎푐푡표푟=푡푡···············································(3)

∑푡푔푡

式中：

푡푝푡——即真实数（TP），在第t帧中该目标存在假设相关属性与其匹配；

푔푡——即测试项位于被测系统感知范围的总帧数。

7.2.1.4ReportDelay：计算公式如下：

000

7

000

T/CASExx－2021

00푅푒푝표푟푡퐷푒푙푎푦=푟푡−푝푡············································0(4)

式中：

푟푡——即视觉传感器输出图像时刻；

푝푡——即视觉感知系统输出识别结果时刻。

7.2.1.5Recall：计算公式如下：

∑푡푡푝푡

00푅푒푐푎푙푙=···············································0(5)

∑푡푡푝푡+∑푡푓푛푡

式中：

푡푝푡——即真实数（TP），在第t帧中该目标存在假设相关属性与其匹配；

푓푛푡——即漏检数（FN），在第t帧中未检出目标相关属性。

7.2.2评价指标量纲归一化

各评价指标均符合单调性，本文件采用线性分段函数进行量纲归一化。评价指标量纲

000

归一化满足下式：

YxX,

11

YY21−（6）

Score-+,Index1112=(xXYXxX)

XX21−

YxX22,

式中：

0x——即某感知系统测试项参数的0评价指标的计算结果；0

푌1——即评价指标量纲归一化下限值，且0<푌1<1；

푌2——即评价指标量纲归一化上限值，且0<푌2<1；

푋1——即满足评价指标量纲归一化下限参数；

푋2——即满足评价指标量纲归一化上限参数；

푆푐표푟푒퐼푛푑푒푥——即某感知系统测试项参数的评价指标得分。

根据评价指标与评价结果的相关性不同，将评价指标分为正相关和负相关两类：

0a)正相关：即评价指标结果越大，评价结果越优，0푌1<푌2；0

b)负相关：即评价指标结果越大，评价结果越差，푌2<푌2。

注：不同测试项的评价指标归一化函数具体参数见附录E。

7.2.3评价指标结果归一化

针对特定感知系统测试项，各维度下评价指标使用平均权重进行归一化。归一化结果

取决于各测试项参数评价指标得分。其计算公式如下：

0010

푆푐표푟푒=∑푁푆푐표푟푒（7）

퐷푖푚푒푛푠푖표푛푁푖=1퐼푛푑푒푥푖

式中：

푆푐표푟푒퐷푖푚푒푛푠푖표푛——即感知系统测试项的某维度预期功能安全性能评价结果；

푁——即某维度下感知系统测试项参数个数；

푆푐표푟푒퐼푛푑푒푥——即感知系统测试项参数的评价指标得分。

7.3单目标物评价

000

8

000

T/CASExx－2021

0单目标物评价即评估被测系统针对不同感知系统测试项的0预期功能安全性能水平。单0

目标物评价的输入为该感知系统测试项不同维度评价结果，其计算公式如下：

1

푆푐표푟푒=∑5푆푐표푟푒（8）

푂푏푗5푖=1퐷푖푚푒푛푠푖표푛푖

式中：

푆푐표푟푒푂푏푗——即某感知系统测试项预期功能安全性能评价结果；

——即针对第i维度的被测系统预期功能安全性能评价结果。

푆푐표푟푒퐷푖푚푒푛푠푖표푛푖

7.4单层级评价

000

单层级评价对表1中的5个层级进行评价，评价被测系统在各个层级的预期功能安全性

能水平。其中，被测系统在Layer7自车状态层级的预期功能安全性能评价结果为被测系统

是否满足预期功能的二元判断；而针对其他四个层级，每个层级包括若干感知系统测试项，

针对各感知系统测试项的评价结果由上述单目标物评价得出。

针对Layer7自车状态层级的被测系统预期功能安全性能评价公式如下：

1，满足预期功能设定

푆푐표푟푒퐿푎푦푒푟={（9）

0700，不满足预期功能设定0

式中：

——即第7层级的被测系统预期功能安全性能评价结果。

푆푐표푟푒퐿푎푦푒푟7

针对其余四个层级的被测系统预期功能安全性能评价公式如下：

1

푆푐표푟푒=∑푁푆푐표푟푒（10）

퐿푎푦푒푟푗푁푖=1푂푏푗푖

式中：

——即第j层级的被测系统预期功能安全性能评价结果，；

0푆푐표푟푒퐿푎푦푒푟푗0푗∈[1,4]0

푁——即场景中该层级下感知系统测试项个数；

——即该层级下针对测试项i的被测系统预期功能安全性能评价结果。

푆푐표푟푒푂푏푗푖

7.5单场景评价

单场景评价即评估被测系统在某场景下的预期功能安全性能水平。单场景评价输入为

单层级评价结果，若测试场景包括Layer7自车状态层级中的感知系统测试项，其计算公式

如下：

000

（11）

푆푐표푟푒푆푖푛푔푙푒푆푐푒푛푒=푆푐표푟푒퐿푎푦푒푟7

式中：

푆푐표푟푒푆푖푛푔푙푒푆푐푒푛푒——即单场景下的被测系统预期功能安全性能评价结果；

——即场景层级7的评价结果。

푆푐표푟푒퐿푎푦푒푟7

反之，其计算公式如下：

1

푆푐표푟푒=∑4푆푐표푟푒（12）

푆푖푛푔푙푒푆푐푒푛푒4푖=1퐿푎푦푒푟푖

0式中：00

푆푐표푟푒푆푖푛푔푙푒푆푐푒푛푒——即单场景下的被测系统预期功能安全性能评价结果；

——即场景层级i的被测系统预期功能安全性能评价结果。

푆푐표푟푒퐿푎푦푒푟푖

7.6多场景评价

多场景评价即由多个测试场景评价结果得出被测系统预期功能安全性能最终评价结果。

结合不同触发条件的难度水平，将不同测试场景赋予不同难度等级。根据《智能网联汽车

0视觉感知系统预期功能安全测试与量化评价第01部分：触发条件分析方法与描述规范0》中对

9

000

T/CASExx－2021

0触发条件系统敏感度的定义，本文件0依据触发条件系统敏感度不同将测试场景划分0不同难

度等级与权重系数，如表3所示。

表3测试场景难度等级与权重系数

难度等级系统敏感度触发条件示例权重系数

1无（基础场景）/0.15

降雨、降雪、沙尘等；

2P10.20

目标特征遮挡、磨损等；

雾、霾等；

000

3P2传感器污渍、磨损等；0.25

目标特征与其他物体相似、与背景相融等；

暗光、逆光等；

4P3传感器被不透光物遮盖等；0.30

目标特征罕见等；

针对不同测试方法的多场景评价输出为被测系统预期功能安全性能最终评价结果。其

计算公式如下：

000

1

푆푐표푟푒=∑푁푊∙(∑푀푆푐표푟푒)（13）

푀푢푙푡푖푝푙푒푆푐푒푛푒푖=1퐿푒푣푒푙푖푀푗=1퐿푒푣푒푙푖푆푖푛푔푙푒푆푐푒푛푒푗

式中：

푆푐표푟푒푀푢푙푡푖푝푙푒푆푐푒푛푒——即多场景下的被测系统预期功能安全性能评价结果；

푁——即难度等级的个数，此处푁=4；

——即触发条件难度等级i的权重系数，∑푁；

푊퐿푒푣푒푙푖푖=1푊퐿푒푣푒푙푖=1

푀——即难度等级i所包含场景个数；

0——即触发条件0难度等级i的第j个测试场景的单场景评价结果0。

푆푐표푟푒퐿푒푣푒푙푖푆푖푛푔푙푒푆푐푒푛푒푗

7.7评价结果

视觉感知系统预期功能安全性能评价结果代表被测系统在触发条件作用下的性能表现，

评价结果应涵盖全部信息，包括评价体系中各层次的输出，输出模板如附录F所示。

000

000

000

10

000

T/CASExx－2021

00附录A