第6章 智能网联汽车测评技术

第六章

智能网联汽车测评技术

第一节

测试评价流程第二节

测试场景的构建第三节

测试技术分类测评流程主要研究内容包括：应用场景（测什么）；测试场景（在什么环境下测）；测试方法与技术（用什么方法和手段测）；评价体系（如何评价），本白皮书基于此原则提出构建智能网联汽车产品测试评价流程，如图6-1所示：第一节

测试评价流程图6-1智能网联汽车产品测试评价流程（1）应用场景本测评流程优先重点考虑五大连续运行场景：高速/环路、市内运行、泊车/取车、封闭园区和城际/郊区，其中高速/环路为封闭道路，城际/郊区为半封闭道路，具有连接性的道路。不同应用场景具有相对应的连续测评场景、测试方法和评价方法。（2）测试场景通过自然驾驶数据、标准法规场景、危险工况场景和参数重组场景等数据来源构建测试场景库，该测试场景包括基础和进阶测试场景，满足基础测试和优化引导的需求。（3）测试方法与技术采用虚拟仿真测试、封闭场地测试、实际道路测试相结合的测试方法，通过设置测试条件、测试规程、测试通过条件等，搭建可实现自动驾驶功能与ODD全覆盖的测试方法。（4）评价方法通过安全、体验和配置三大维度对智能网联汽车产品的能力进行评价，该三大评价维度和其对应的评价指标包括基础指标和进阶指标，满足基础测试和优化引导的需求。自动驾驶测试场景是支撑智能网联汽车测试评价技术的核心要素与关键技术，通过场景的解构与重构对智能网联汽车进行封闭场地测试和虚拟测试已成为业内公认的最佳测试手段，得到广泛关注。自动驾驶测试场景具有无限丰富、极其复杂、不可预测、不可穷尽等特点，本章参考《自动驾驶测试场景技术发展与应用》概述构建测试场景库的方法。第二节测试场景的构建自动驾驶测试场景是一定时间和空间范围内车辆ODD元素、OEDR元素、自车元素的综合信息融合。本白皮书所述自动驾驶测试场景应根据五大运行环境，结合场景元素进行构建。例如，在高速公路行驶时的功能场景需要描述道路的几何结构和拓扑结构、与其他交通参与者的交互以及天气状况等，而在地下停车场行驶则只需要描述建筑物的布局，此时天气条件则不需要进行详细的描述。另一方面，需要识别ODD各种使用场景下的安全风险，即基于安全分析，从系统内部识别可能存在的失效，建立失效场景。综上，场景元素主要包含

ODD元素、OEDR元素、自车元素和失效元素，如下：一、测试场景设计方法及要求

（1）ODD元素ODD元素主要包括道路信息、环境信息和交通参与者。道路信息通常包括道路类型（主车道、主从车道等）、道路表面（摩擦系数、材质等）、道路几何（曲率、坡度、交叉口）、交通标志（交通灯与交通标志牌）、道路设施元素（包括隧道、车站、立交桥、收费站，施工路段）等。环境信息主要包括天气、光照和连接性等，其中，天气元素包括晴天、雨天、雪天等不同天气类型以及不同能见度等信息，光照指不同光照度下的环境，如：艳阳天、夜晚、黄昏、不同灯光照射下的环境等。连接性指自车所处环境的网络连接性，V2X连接性以及是否支持高精地图等特性。交通参与者主要包括机动车、非机动车、行人、障碍物、动物等。（2）OEDR元素OEDR是指相应测试场景下自动驾驶系统需要探测的物体或者事件以及应做出的响应，作为仿真测试场景的关键考察方面，其主要包括交通参与者的类型及运动等信息。如在自车左前方的行人正在横穿，自车前方的机动车减速等。（3）自车元素自车元素主要包括自我车辆的类型、性能特性和驾驶行为等，如自车为乘用车，最高车速为110km/h，正在进行变道操作。（4）失效模式为保证自动驾驶的安全性，需测试车辆的失效响应，通过设置一些失效模式如注入故障、超出ODD、传感器失效等，设置超过ODD的参数取值等来验证车辆的失效响应能力。例如，按照感知系统失效（由于安装、环境、车辆等因素导致的感知系统无法准确识别到环境中的风险）、复杂交通场景（交通流与道路的组合导致本车处于危险的交通环境）、车辆控制失效（如由于载荷、路面或侧风等原因导致的车辆无法跟随控制指令）等进行分类。对智能网联汽车进行基于场景的各项测试时，构建场景的数据来源多种多样，通过对数据来源进行分类，可将场景概括为四大类：自然驾驶场景、危险工况场景、标准法规测试场景以及参数重组测试场景。自然驾驶场景可包含智能网联汽车所处的人-车-环境-任务等全方位信息，能够很好地体现测试的随机性、复杂性及典型性区域特点，为测试场景构建中的充分测试场景。危险工况场景是智能网联汽车测试过程中进行自动驾驶控制策略验证的关键部分，为场景构建中的必要测试场景。标准法规测试场景通过现有的标准、评价规程等构建测试场景，为场景构建中验证自动驾驶有效性的基础测试场景。参数重组测试场景通过对静态要素、动态要素以及驾驶人行为要素之间不同排列组合及遍历取值，进而补充大量未知工况的测试场景，有效覆盖自动驾驶功能测试盲区，为场景构建中的补充测试场景。针对某项特定自动驾驶功能设计测试场景，需定义自动驾驶系统的ODD，即明确系统在不同类型的道路上、道路的不同位置上、不同的速度范围及其他环境条件下的功能表现，应确保对自动驾驶系统使用场景的充分覆盖。如图6-2，根据不同自动驾驶系统的设计运行范围，将测试场景分为高速/环路、市内运行、泊车/取车、封闭园区和城际/郊区五种典型应用场景。每种应用场景下，可在不同抽象程度上基于ODD运行设计域、OEDR事件探测及响应、自车行为及失效模式等元素，提取各类型典型场景，进行场景参数标注及统计分析，形成逻辑场景，而后基于逻辑场景的参数分布，大规模生成具体场景，并以通用场景格式存储，构成数万级测试用例的场景库。同时对于场景的评价也可以从ODD、OEDR、自车行为及失效模式等4个维度进行量化，从而对场景进行分级，形成基础测试场景和进阶测试场景，分别实现对智能网联汽车产品准入的支撑，对市场上智能网联汽车产品测评优化的引导。图6-2测试场景设计示意图如图6-3所示，不同数据来源（自然驾驶、危险工况、标准法规、参数重组）的场景用例设计首先语义描述其操作场景得到功能场景，然后通过参数化定义操作场景的状态空间得到逻辑场景，接着对操作场景的状态空间参数赋值得到具体场景，最后通过软件建模复现具体场景得到测试用例。二、场景库构建流程及要求图6-3测试场景用例设计流程自动驾驶测试场景对自动驾驶研发和测试工作起着重要作用。场景库是场景的载体平台，通过场景数据采集、分析挖掘、测试验证等步骤，实现内容闭环。通过上述场景元素、场景数据来源和场景设计方法得到自动驾驶测试场景。对自动驾驶场景进行测试验证主要是将场景库内已经构建好的场景抽取出来，用虚拟场景验证、实车场景验证等方法进行验证，确认场景的真实性、代表性和有效性，从而更好地服务于研发和测试工作，包括模型在环、软件在环（测试控制器模型与代码之间的一致性）、硬件在环（半实物仿真，RCP，HIL）仿真测试，实车场地和道路测试等。与场景相关的测试结果反馈给场景库，对场景的分析挖掘方法等进行修正，或者根据需要重构生成场景，更新补充完善场景库。场景库进一步有效支撑测试研发工作，从而形成场景库构建与应用的正向循环。第三节测试技术分类场景建设及功能划分与智能网联汽车仿真测试、场地测试、道路测试密不可分，如图6-4所示。虚拟仿真测试应覆盖ODD范围内可预测的全部场景，包括不易出现的边角场景，覆盖ODD范围内全部自动驾驶功能；封闭场地测试应覆盖ODD范围内的极限场景，如安全相关的事故场景和危险场景，覆盖自动驾驶系统正常状态下的典型功能，验证仿真测试结果；真实道路测试覆盖ODD范围内典型场景组合的道路，覆盖随机场景及随机要素组合，验证自动驾驶功能应对随机场景的能力。图6-4不同测试类型验证不同场景功能示意图总体上，虚拟仿真测试是加速自动驾驶研发过程和保证安全的核心环节，封闭场地测试是自动驾驶研发过程的有效验证手段，真实道路测试是检测自动驾驶系统性能的必要环节,也是实现自动驾驶商业部署的前置条件。图6-5给出了虚拟仿真测试、封闭场地测试、实际道路测试的测试流程图。测评车型选定后，首先进行审核与虚拟仿真测试，根据是否具备仿真测试条件，进行虚拟仿真测试或者审核。如果具备虚拟仿真测试条件，则在虚拟仿真测试用例库中依据虚拟仿真测试流程进行验证全部声明的ODD和自动驾驶功能；如果不具备虚拟仿真测试条件，则依据评价指标审核全部声明的ODD和自动驾驶功能。并且根据第六章安全、体验、配置进行综合的审核与仿真测试评价。其次进行封闭场地测试，封闭场地测试用例围绕五大运行场景建设：高速/环路、市内运行、城际/郊区、泊车/取车、封闭园区；构建测试用例参考附录1安全元素。封闭场地测试依据声明的ODD、自动驾驶功能在五大应用场景测试用例库中选取确定测试用例。实际道路测试首先需要获取实际道路测试牌照，然后根据产品声明的ODD确定测试路段。在测试过程中，必须达到一定的测试时长和里程，覆盖自动驾驶必备功能，充分验证自动驾驶的功能和性能表现。并且根据第六章安全、体验、配置进行综合的实际道路测试评价。图6-5智能网联汽车产品测试流程1．虚拟仿真测试流程如图6-6，针对智能网联汽车自动驾驶功能的虚拟仿真测试，典型的测试流程包括：测试需求分析、测试资源配置、接口定义、设计测试用例、执行测试、出具测试报告以及形成评价结论等主要环节。（1）测试需求分析针对自动驾驶功能，规范对应的测试对象、测试项目、测试方法、测试资源配置、接口规范、数据存储、评价方案和结果展示的具体要求，确定虚拟仿真任务的输入（如虚拟仿真测试对象的数学模型、驾驶自动化系统指标、自动驾驶功能要求以及相应文档）；确定虚拟仿真任务的输出（如仿真数据、仿真结果分析以及相应文档），指导测试工作的开展。一、虚拟仿真测试（2）测试资源配置根据自动驾驶功能确定虚拟仿真测试所需资源，如人员需求、人员的责任、仿真模型要求、场地要求、设备需求等；对虚拟仿真系统进行参数设置：包括车辆模型配置、静态场景配置、动态场景配置、传感器模拟配置、控制器配置等主要过程。图6-6智能网联汽车自动驾驶功能的虚拟仿真测试流程（3）接口定义根据模拟仿真测试对象确定用软件或者实物来实现驾驶自动化系统的各部分，确定仿真系统各部分之间的接口关系，匹配各子系统和单元间接口，包括车辆模型、环境模型、传感器模型、执行器和控制器之间的接口等。（4）设计测试用例根据自动驾驶功能及ODD（五大应用场景）设计测试用例，确定测试方案，确定虚拟仿真测试平台依据的测试规则，先基础后进阶高级增加测试场景，制定通过条件。（5）执行测试虚拟仿真测试包括单一场景输入测试和路网连续里程测试，通过单一场景输入测试后进行路网连续里程测试。当发现某测试场景结果为不通过时，可终止单项测试或者重启虚拟仿真测试流程。（6）出具测试报告通过软件进行自动化测试结果的数据处理，并根据规范生成测试报告，报告应包括测试对象、测试人员、测试时间、测试结果和测试数据等内容。（7）形成评价结论测试结果应比对标准值和历史数据，形成评价结果的评分。2.虚拟仿真测试基本要求（1）测试要求1）所有的测试项目都应由驾驶自动化系统和算法完成，测试期间不应对系统和算法进行任何变更调整；应说明测试系统的组成及工作原理，自动驾驶功能及设计运行范围ODD，风险减缓策略及最小安全状态等；2）依据自动驾驶功能定义及范围设计测试用例，应至少包括设计运行范围测试、动态驾驶任务测试、目标事件检测和响应测试、故障保护响应、风险减缓策略测试等；3）应保证单一场景输入测试中同一场景重复测试的高度一致性，并在测试报告中详细记录所有测试场景中的数次重复测试详细的关键过程数据及结果：在多个相同场景下，通过在封闭场地和道路测试中获取实车决策输出，验证虚拟仿真结果的有效性；4）路网连续里程测试应第四章场景库测试场景设计要求，遍历预期ODD内的测试场景，验证驾驶自动化系统的ODD边界，验证驾驶自动化系统应对极限场景的能力和鲁棒性，验证驾驶自动化系统的高里程通过性；通过路网连续里程测试发现驾驶自动化系统存在风险项，应对其在封闭场地进行复现确认，经确认一致后，应将风险项在测试报告中说明。

（2）通过条件1）单一场景通过指标包括合规性指标和安全性指标。重点考察驾驶自动化系统运行时能否遵守道路交通法律法规、道路标识规则等相关规定；驾驶自动化系统能够避免碰撞等安全事故。一级指标二级指标三级指标四级指标合规性遵守交通规则不压线车辆与标线的相对位置

按照道路指示标志行车指示标志识别性、距离/速度/加速度值、车道线识别及相对位置满足在用的其他标准法规的要求如AEB、LKA等

安全性不发生交通事故不与车辆发生碰撞本车与周边车辆的相对速度和位置不与行人发生碰撞本车与行人的相对速度和位置表6-1虚拟仿真单一场景通过指标2）连续场景通过指标包括场景覆盖度和安全运行里程，重点考察驾驶自动化系统应对多功能、连续性场景时的系统性能。1．封闭场地测试项目封闭场地测试用例围绕五大应用场景建设：高速/环路、市内运行、城际/郊区、泊车/取车、封闭园区。根据智能网联汽车声明的设计运行范围ODD及自动驾驶功能，在五大应用场景测试用例库中选取确定测试用例，测试智能网联汽车的真实表现。如表6-2，举例说明了智能网联汽车自动驾驶功能典型测试用例，其中测试用例设计元素可参考文献[74]附录1高速公路应用场景下安全评价指标示例。二、封闭场地测试表

6-2智能网联汽车自动驾驶功能典型测试用例示例序号智能网联汽车自动驾驶功能典型测试用例1跟车行驶2循线行驶3变道行驶4障碍物检测及响应5对动物的识别及响应6行人和非机动车识别及避让7对交警指挥手势检测和响应8应急车辆避让9超车10交通标志和标线识别及响应11道路尽头调头12靠路边停车13交叉路口通行14环形路口通行15停车场通行16坡道停走17匝道汇入汇出18施工区域通行19收费站通行20通过隧道21通过公交车站22通过学校区域原则上，针对高级别智能网联汽车，应在连续运行场景中针对自动驾驶功能进行测试，以评价其真实的使用性能和体验。但实际上，封闭场地的连续场景测试，对测评机构的硬件设施能力要求较高，因此在现有测评能力不足的情况下，连续场景也可以拆分为单一测试场景进行测试。23特殊天气行驶（雨、雪、雾）24夜间行驶25自动泊车26路径规划27驾驶人状态监控2．封闭场地测试场景设计根据企业申报的智能网联汽车设计运行范围ODD及自动驾驶功能，选取封闭场地测试项目，针对每个测试项目，设计封闭场地测试场景、测试方法与评价标准。封闭场地测试场景和测试用例设计原则上充分考虑场景的典型性、危险性以及对法律法规的符合性。测试车辆应在不进行软硬件变更的条件下通过所有规定的测试用例，验证产品驾驶自动化系统、人机交互功能的合规性和安全性。以城市道路场景中交通标志识别及响应测试为例，说明自动驾驶功能封闭场地测试场景、测试方法及通过标准：（1）测试场景设置测试道路为至少包含一条车道的长直道，并于该路段设置各类交通标志牌，测试车辆对于标志牌的识别能力并做出相应执行，如图6-7所示。（2）测试方法及通过标准①禁止掉头标志识别及响应测试方法。测试车辆在自动驾驶模式下，在距离禁止通行标志100m前达到30km/h的车速，并匀速沿车道中间通过标志；标准要求车辆能够识别禁止掉头标志牌。②禁止通行标志识别及响应测试方法。测试车辆在自动驾驶模式下，在距离禁止通行标志100m前达到30km/h的车速，并匀速沿车道中间在禁止通行标志处停车；标准要求测试车辆能够识别禁止通行标志牌。图6-