人工智能 深度学习算法评估 征求意见稿

1人工智能深度学习算法评估本文件确立了人工智能深度学习算法的评估指标体系，描述了评估方法等内容。本文件适用于指导深度学习算法开发方、用户方以及第三方等相关组织对深度学习算法及其训练得到的深度学习模型开展评估工作。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T41864-2022信息技术计算机视觉术语GB/T41867-2022信息技术人工智能术语ISO/IEC25059:2023软件工程系统和软件质量要求与评估（SQuaRE）人工智能系统的质量模型（Softwareengineering—SystemsandsoftwareQualityRequirementsandEvaluation—QualitymodelforAIsystems）3术语和定义GB/T41864、GB/T41867、ISO/IEC25059:2023界定的以及下列术语和定义适用于本文件。3.1深度学习deeplearning通过训练具有许多隐藏层的神经网络来创建丰富层次表示的方法。[GB/T41867-2022,3.2.27]3.2深度学习模型deeplearningmodel一种包含多个层次神经网络结构的机器学习模型。3.3深度学习算法deeplearningalgorithm使用深度神经网络结构进行学习和推理、以完成特定功能的代码片段。3.4测试数据testdata评价数据evaluationdata用于评估最终机器学习模型性能的数据。[GB/T41867-20223.2.3]3.5精度precision预测类别为正样本的集合中真实类别为正样本的比率。2注：精度一般每一类分别计算。[GB/T41864-20223.9.8]3.6召回率recall被正确预测的正样本占全部正样本的比率。注1：召回率和精度一般具有反比关系：一方升高时另一方趋向于降低。注2：也称为真阳性率。[GB/T41864-20223.9.20]3.7准确率accuracy预测正确的样本数占总样本数的比率。3.8对抗样本adversarialexamples在数据集中添加细微干扰形成的输入样本，能以较高概率诱导深度学习算法给出错误的输出，甚至是给出特定结果。4评估指标体系4.1评估指标构成基于深度学习算法内外部影响考虑，结合用户实际应用场景需求，本文件给出深度学习算法的评估指标体系，包括基础性能、效率、可解释性、鲁棒性、安全性、公平性等6个质量特性，见图1。在实施评估过程中，应根据不同类型的深度学习算法，设置不同质量特性下的评估指标。图1深度学习算法评估指标体系4.2基础性能4.2.1概述基于不同深度学习算法的任务和输出，采用不同的评估指标去衡量基础性能。4.2.2评估指标基础性能的评估应包括但不限于下列指标：a）准确率：预测正确的样本数占总样本数的比率。b）精度：预测类别为正样本的集合中真实类别为正样本的比率。c）召回率：被正确预测的正样本占全部正样本的比率。d）错误率：对于给定的数据集，预测错误的样本占总样本的比率。3e）F1值：精度和召回率的调和平均数，衡量二分类模型精度的一种指标，兼顾了分类模型的精度和召回率。f）KL散度：两个概率分布间的差异的非对称性度量，它比较了真实分布和理论（拟合）分布之间的差异。g）ROC曲线：受试者工作特性曲线，由不同设定条件下的真正率和假正率值画出的响应曲线，是反映敏感性和特异性连续变量的综合指标。h）PRC曲线：精度召回率曲线，是一种同时显示不同阈值下深度学习算法精度和召回率的图形化方法。一般x轴表示召回率，y轴表示精度。i）CRC曲线：累积响应曲线，也称为增益曲线或增益图，是显示跨多个阈值的总数据中真阳性率和阳性预测百分比的图形方法。附录A给出了深度学习算法针对不同任务选取的基础性能指标示例。4.3效率4.3.1概述深度学习算法的效率通常指的是算法在达到给定性能目标时所消耗的资源与时间的多少。4.3.2评估指标效率的评估应包括但不限于下列指标：a）平均处理时长：用于定义和评价在相同测试环境下，深度学习算法模型处理相同任务的时间消耗。在测试阶段，它包含算法模型单训练轮次执行时间、多训练轮次执行时间、达到特定精度执行时间等测试元。b）平均资源开销：用于定义和评价在相同测试环境下，深度学习算法模型处理相同任务消耗的资源量大小。在测试阶段，它包含算法执行时的算力消耗、存储消耗、带宽消耗等测试元。4.4可解释性4.4.1概述深度学习算法可解释性用于评估算法对于结果的解释和理解能力。4.4.2评估指标可解释性的评估应包括但不限于下列内容：a）解释一致性：针对局部替代模型的可解释测试方法，要求待解释的深度学习算法决策结果与其通过可解释性方法输出结果具有一致性，即输出结果一致性，这是深度学习算法具有可解释一致性的基础，若待解释的深度学习算法结果与可解释性方法输出结果没有足够的一致性，则其不能有效地解释深度学习算法，可使用替代模型一致性等指标评估一致性。解释一致性可以使用输出结果一致性进行评估。输出结果一致性是指通过计算输出结果的异众比率[1]来表明数据的一致性，其计算公式如下：Σfi−fnΣfivrΣfi其中，vr表示异众比率，Σfi为变量值的总频数；fn为众数组的频数，n表示数组的数量。4b）解释有效性：要求解释能准确地反映出深度学习算法的决策逻辑。有效的解释应包含深度学习算法预测时所依据信息。解释有效性可以使用判定系数来评估。判定系数[2]又称R2用用yi表示真实的观测值，y-表示真实观测值的平均值，i表示预测值。c）解释因果性：要求生成的解释与待解释深度学习算法预测之间具有因果关系。因果关系是指解释中包含的特征是预测结果的原因。与预测结果有因果性的解释越多，则其解释性越好。解释因果性可以使用特征贡献分数进行评估。特征贡献分数[3]是指用来解释的重要性靠前的k个样本特征分数和与全部特征分数和的比值，其计算公式如下：其中，fScore为特征贡献分数，Σftopk为用来解释的重要性靠前的前k个特征分数之和，Σfi为全部特征分数和。d）解释充分性：要求解释能够覆盖深度学习算法的整体功能。充分的解释应充分且精准覆盖样本空间。解释充分性可以使用离散系数来评估。离散系数[4]是指数据的标准差与平均数的比值，用来比较不同类别数据的离散程度，其计算公式如下：4.5鲁棒性4.5.1概述鲁棒性是在面对非对抗增广的样本时，深度学习算法仍能保持与实验环境中测试性能相当的能力。4.5.2评估指标鲁棒性的评估应包括但不限于下列内容：a）性能波动率：描述模型在原始测试数据集和经过非对抗扰动处理后的新测试数据集之间的性能差异。该指标量化了模型在面对扰动时的稳定性，值越小表明模型在面对扰动时具有较高的稳定性，从而为模型的鲁棒性提供了度量。具体计算公式如下：其中，pFD表示模型的性能波动率，poriginal表示模型在原始测试数据集上的性能指标，pperturbed表示模型在经过非对抗扰动后的新测试数据集上的性能指标。对于多种扰动，模型的鲁棒性可以通过如下公式量化：其中，R表示模型鲁棒性，wi表示第i种扰动的权重，N表示共有N种扰动方法，PFDi表示模型在第i种扰动下的性能波动率。注：这里的性能选取的是基础性能中的评估指标。对于不同任务选取的性能指标不同，例如图像分类任务选取准确率为性能波动指标，目标检测任务选取mAP为性能波动指标；在评估过程中，也可以选取多个性能指标，逐一计算性能波动率。b）扰动稳定性：描述模型在经历非对抗扰动后出现性能退化的样本与其对应的原始样本之间的最小距离。该指标量化了模型在面对扰动时所能容忍的最大变化，值越大表明模型在面对扰动时具有较强的抵御能力，从而为模型的鲁棒性提供了度量。具体计算公式如下：其中，PSDΦ表示模型的扰动稳定性，x表示数据集，x表示样本实例，distφ表示在φ类型的扰动下样本与扰动样本的距离函数。具体实现方式如下：其中，f(x9)表示通过φ类型扰动生成的样本x9的判定结果，y表示真实标签。对于多种扰动，模型的鲁棒性可以通过如下公式量化：其中，R表示模型鲁棒性，Φ表示扰动集合。4.6安全性4.6.1概述深度学习算法的安全性用于评估算法对于对抗样本的防范能力。4.6.2评估指标安全性的评估应包括下列内容：a）攻击成功率：描述在经过攻击方法构建的新测试数据集中，模型预测失败的样本数与总样本数之间的比率。该指标量化了在外部攻击下模型的安全性，值越小表明模型在面对攻击时具有较高的抵抗能力，从而为模型的抵御攻击能力提供了度量。具体计算公式如下：其中，ASR表示攻击成功率，Nall表示样本总数，Nadv表示预测失败的样本数。b）模型窃取程度：描述通过如模型蒸馏或其他方法构建的代理模型与原始模型之间的性能差异。该指标量化了代理模型对原始模型的近似程度，值越大表明模型能够更好地近似或复制原始的模型功能，从而为模型的安全性或难以被复制的程度提供了度量。具体计算公式如下：s6其中，MSD表示模型窃取程度，D表示数据集的样本总数，δ(·)为指示函数，当代理模型的预测与原始模型的预测相同时为1，否则为0。注：当代理模型的预测结果与原始模型的预测结果的差值在设定区间内时，均为预测相同，可赋值为1。c）平均攻击查询次数：用来衡量生成对抗样本所需的平均模型查询次数。在这种情况下，攻击者试图通过在输入样本中引入微小的扰动来欺骗模型，使其产生错误的预测或分类结果。较少的查询次数意味着模型更容易受到攻击。d）攻击隐蔽性：是指对抗攻击生成的对抗样本与原始样本之间的平均相似程度。在攻击隐蔽性方面，攻击者的目标是生成的对抗样本尽可能与原始样本保持相似，以至于人类观察者难以察觉到其存在。攻击隐蔽性越高，意味着对抗攻击可以更有效地欺骗模型。4.7公平性4.7.1概述深度学习算法的公平性用于评估算法对于不同群体的处理是否有歧视和输出质量的差异。4.7.2评估指标公平性的评估应包括下列内容：a）敏感属性独立程度：衡量算法对不同敏感属性群体进行特定预测的比例之间的最大差异。这一指标旨在衡量在算法预测中，受保护属性的可能影响程度。理想情况下，一个公平的算法应该使得对于所有受保护属性群体的预测分布尽可能相同，即敏感属性对算法预测的影响很小。SAID的较低值表明模型预测对不同群体更加一致，体现了较高的公平性。具体计算公式b）模型决策分离程度：衡量在真实类别为特定值时，模型在不同敏感属性群体之间做出错误预测的概率的差异。该指标关注模型在特定真实类别下的错误决策，并比较这些错误在不同敏其中，MDS表示模型决策分离程度，Y表示真实值，l,≠l。c）模型决策充分程度：衡量在模型预测标签为特定值时，模型在不同敏感属性群体之间正确预测该标签的概率的差异。该指标关注在模型预测为特定类别时的正确决策，并比较这些正确预测在不测该标签的概率的差异。该指标关注在模型预测为特定类别时的正确决策，并比较这些正确其中，MDSF表示模型决策充分程度。4.8深度学习算法的评估等级7深度学习算法的评估结果分为优越级、进阶级、条件级、受限级四个等级。针对每一个算法失效，应基于确定的理由来预估潜在危险的严重性等级。深度学习算法失效的危险严重性等级如下：优越级：在该等级下深度学习算法的失效通常是一些小规模的问题，不会对整个系统或应用的性能造成严重威胁。例如，深度学习算法在某些特定情况下的性能略微下降，但不会导致显著问题，整体性能仍在可接受范围内。这类问题通常可以通过微小的调整、超参数优化或数据清洗来解决。进阶级：在该等级下深度学习算法的失效会对系统或应用的性能造成一定程度的负面影响，但不至于导致严重问题。例如，深度学习算法的性能在某些关键任务中低于期望，但在其他任务上表现不错。解决这类问题可能需要更深入的研究、数据增强、迁移学习、模型选择等方法。条件级：在该等级下深度学习算法的失效会对整个系统或应用的性能产生重大影响，可能导致项目失败或严重损害用户体验。例如，深度学习算法的性能不稳定，导致无法在实际应用中可靠地使用。解决这类问题可能需要全面的重新设计、数据收集、模型选择等措施。受限级：在该等级下深度学习算法的失效可能对人们的生命、财产或安全构成直接威胁，可能导致法律问题或损害声誉。例如，自动驾驶汽车系统的算法失效，导致事故发生。解决这类问题可能需要紧急行动、彻底审查、法律干预等措施，需要综合考虑伦理、法规和道德问题。根据算法失效的危险严重性等级，建立深度学习算法的等级目标（见表1其中等级目标从高到低依次分为优越级、进阶级、条件级、受限级四个级别。表1深度学习算法的等级目标外部环境发生扰动或面对不友好的输入，不依赖利益相关外部环境发生扰动或面对不友好的输入，通过利益相关方在友好的外部环境及输入下，待评估算法可以按外部环境发生扰动或面对不友好的输入，通过利益相关方在友好的外部环境及输入下，待评估算法能按深度学习算法评估应面向不同等级目标，基于用户需求或过往经验，设定不同指标要求。深度学习算法评估时，可基于评估指标项得分所在区间，判定该指标项所处等级，详见表A.1。5评估流程5.1概述深度学习算法的评估流程如图2所示，包括评估准备、评估执行、分析评估等三大步骤。其中，评估准备包括测试数据集输入、测试数据集质量审查、选择质量特性、选择评估指标、构建评估模型等子步骤；评估执行包括运行评估任务、获取并计算测试指标等子步骤；分析评估包括算法质量评估（单次、多次、多轮评估）、算法质量综合评估等子步骤。8图2深度学习算法的评估流程5.2评估准备5.2.1测试数据集质量审查被测方应按质量要求提供测试数据集。测试数据集的质量审查应满足以下要求：a）对数据的完整性进行审查，评估数据是否存在缺失值、异常值或未标记的数据点。b）对数据的准确性进行审查，与数据采集、标注等环节的实际情况进行比对验证，或通过领域专家的评估进行验证，评估数据的时间戳、标签或其他标识是否有误。c）对数据的一致性进行审查，评估数据是否具备相同的格式。d）对数据的重复性进行审查，评估数据是否存在重复记录或者冗余特征。9e）对数据的偏差进行审查，评估数据是否存在数据分布和标签分布不均的情况。f）对数据的可用性进行审查，评估数据是否具备参考文档以及数据是否受法律或者隐私限制。当测试数据集质量通过审查，则进入“选择质量特性”步骤；否则，结束本次评估。5.2.2选择质量特性和评估指标选择评估指标包括质量特性选择、评估指标选择两个部分。质量特性选择包括基础性能、效率、可解释性、鲁棒性、安全性、公平性6个选项；评估指标选择是指在每个质量特性下，选择若干个评估指标。不同任务类型（图像分类、目标检测、语音识别、文本情感分析、文本命名实体识别等）的深度学习算法选取的评估指标要求不同，因此在面向算法的评估过程中应确定与之对应的评估指标要求。附录A给出了深度学习算法的评估指标的选取规则。5.2.3构建评估模型构建评估模型是指设置评估指标通过的基准分值，以及评估指标的权重等。a）确定评估指标通过的基准分值指标基准分值的设定应划分为四个等级，用于将算法性能分类为不同等级。例如，对于“准确率”的指标可以划分为四个等级，即：l优越级：准确率大于等于99%；l进阶级：准确率在95%到99%之间；l条件级：准确率在90%到95%之间；l受限级：准确率低于90%。注：深度学习算法对于不同应用场景，同一指标的基准分值可能不相同。例如，准确率用于医疗场景和用于手写体识别场景中，其四个等级的阈值设定并不相同。附录A给出了深度学习算法评估不同指标的推荐阈值。b）设置评估指标的权重评估指标的权重为百分比小数，精度为小数点后两位，所有的权重之和应等于1。默认每个选取的评估指标的权重一样，即100%/(选取的评估指标数量)。当获得的商的小数部分大于2位时，四舍五入取前两位，最后一个评价项的权重作为调整项，使其等于[100-（前面所有评估指标权重和）]。质量特性的权重可以通过相同方法进行设置。c）得到本轮评估的等级阈值通过评估指标设定的基准分值和权重，计算可得每个质量特性的等级阈值。进一步的，通过对质量特性的加权求和，计算得到本轮算法评估的等级阈值。5.3评估执行5.3.1运行评估任务运行一次评估任务包括算法测试环境部署、被测算法加载、被测算法测试执行等三个部分。测试环境部署：包括硬件环境（如服务器）搭建、软件环境（如操作系统、数据库）搭建、兼容性测试、网络环境部署等；被测算法加载：读取或解析被测算法的文件（如程序包或数据包被测算法测试执行：使用选定的被测数据集运行算法文件。5.3.2评估指标的获取和计算深度学习算法评估测试数据集与相关质量特性及评估指标的关联性如图3所示。图3深度学习算法评估测试数据集与相关评估指标的关联性测试数据集的输出包含样本及其标签，用于数据集质量评估、深度学习算法结果预测、非对抗样本生成及对抗样本生成；原始数据集的输出包含样本及预测值，用于基础性能、效率、公平性、可解释性等质量特性及其评估指标的计算；非对抗样本生成的输出包含增广样本及其标签，用于鲁棒性等质量特性及其评估指标的计算；对抗样本生成的输出包含对抗样本，用于安全性等质量特性及其评估指标的计算。5.4分析评估结果5.4.1算法质量评估算法质量评估包括单次算法质量评估、多次算法质量评估、多轮算法质量评估几个部分。单次算法质量评估：是指使用一个测试数据集执行一次算法测试过程；多次算法质量评估：是指使用多个测试数据集，每个测试数据集执行一次算法测试过程；多轮算法质量评估：是指使用同一测试数据集执行多次算法测试过程，且每次算法测试过程选定的评估指标要求并不相同。5.4.2算法质量综合评估评估结果等级的判定准则应满足以下要求：a)计算每个评估指标的结果；b)通过对比评估指标的基准分值（见4.8计算得到选定的评估指标的评估得分；c)对于选定的评估特性的评估得分加权求和计算，权重为评估模型中设定的评估指标权重（见5.2.3b），得到每个质量特性的评估得分；进一步的，对比每个质量特性的评估得分与评估模型中质量特性的等级阈值（见5.2.3c），判定每个质量特性归属于哪个评估等级；d)对于质量特性的评估得分加权求和，计算得到深度学习算法的总得分；e)将深度学习算法的总得分与算法评估的等级阈值（见5.2.3c）做对比，判定该深度学习算法归属于哪个评估等级。附录B给出了深度学习算法评估实施案例。深度学习算法评估指标选取要求和阈值要求表A.1给出了深度学习算法的评估指标的选取要求和阈值要求。适用于不同类型、不同等级的深度学习算法在不同的应用场景下选择合适的评估指标，设置评估阈值，开展评估活动。表A.1评估指标选取要求和阈值要求算法类型评估等级评估指标适用场景基础性能效率鲁棒性安全性可解释性公平性平均处理时长平均资源开销性能波动率扰动稳定性攻击成功率模型窃取程度平均攻击查询次数攻击性解释一致性解释有效性解释性解释充分性敏感属性独立程度模型决策分离程度模型决策充分程度图像分类优越级进阶级条件级受限级语音识别优越级进阶级条件级受限级文本识别优越级进阶级条件级受限级注：不同算法类型的基础性能质量特性将由语音识别选取字错误率、句错误率、字匹配率等；文本识别选取字符识别准确率、表A.2给出了根据深度学习算法不同任务类型，选择不同的基础性能评估指标的示例。表A.2基础性能评估指标的选取示例测试数据集类型深度学习算法的任务类基础性能的评估指标分类（二分类）F1分数、准确率、精确率、召回率、G-mean、特异度、误诊率、错误率等分类（多分类）加权平均精确率、加权平均召回率、加权平均F1分数、宏观平均精确率、宏观平均召回率、宏观平均F1分数、微观平均精确率、微观平均召回率、微观平均F1分数、准确率、召回率、F1分数等目标检测（单类/多类）IOU、mAP、AP明细、置信度等目标跟踪（单类/多类）IOU、MOTA、MOTP、IDP1、IDP、IDR、主要跟踪目标数量、碎片总数、mAP、AP等行人重识别（可见光）mAP、处理效率平均时长、召回率（Top1/Top5/Top10）视频目标检测（单类/多类）IOU、mAP、AP明细、置信度目标跟踪（单类/多类）IOU、MOTA、MOTP、IDP1、IDP、IDR、主要跟踪目标数量、碎片总数、mAP、AP文本情感分析F1分数、准确率、精确率、召回率、G-mean、特异度、误诊率、错误率命名实体识别加权平均精确率、加权平均召回率、加权平均F1分数、宏观平均精确率、宏观平均召回率、宏观平均F1分数、微观平均精确率、微观平均召回率、微观平均F1分数、准确率召回率、F1分数语音语音识别平均词错误率、平均词信息丢失率、平均匹配错误率、平均字符错误率、平均词信息保留结构化数据分类F1分数、准确率、精确率、召回率、G-mean、特异度、误诊率、错误率深度学习算法评估实施案例附录B给出了深度学习算法评估实施案例。B.1深度学习算法说明红外目标检测算法是一种通过分析红外图像来检测和识别目标物体的算法。其原理是利用物体发出的红外辐射与背景的差异来识别目标，因为物体的红外辐射受到温度的影响，而背景的红外辐射受到环境温度的影响，因此可以通过测量红外辐射的强度来识别目标。B.2评估准备a)测试数据集质量审查测试数据集为红外图像数据集。b)选择质量特性和评估指标质量特性选择基础性能和可解释性；其中，基础性能的评估指标选择F1分数、准确率、精确率、召回率、错误率等；可解释性的评估指标选择解释一致性、解释有效性、解释因果性、解释充分性等。c)构建评估模型表B.1基础性能的评估指标评估指标评估结果评估得分测试结果等级说明F1分数优越级≥0.99，进阶级≥0.9，条件级≥0.8，受限级<0.8准确率优越级≥99%，进阶级≥90%，条件级≥80%，受限级<80%精确率优越级≥99%，进阶级≥90%，条件级≥80%，受限级<80%召回率优越级≥99%，进阶级≥90%，条件级≥80%，受限级<80%错误率优越级≤10%，进阶级≤20%，条件级≤30%，受限级>30%总评优越级[75,100]，进阶级[50,75)，条件级[25,50)，受限级[0,25)权重设置：基础性能=20%F1分数+20%准确率+20%精确率+20%召回率+20%错误率。表B.2可解释性的评估指标评估指标评估结果评估得分测试结果等级说明解释一致性优越级≥0.99，进阶级≥0.9，条件级≥0.8，受限级<0.8解释有效性优越级≥99%，进阶级≥90%，条件级≥80%，受限级<80%解释因果性优越级≥99%，进阶级≥90%，条件级≥80%，受限级<80%解释充分性优越级≥99%，进阶级≥90%，条件级≥80%，受限级<80%总评优越级[75,100]，进阶级[50,75)，条件级[25,50)，受限级[0,25)权重设置：可解释性=25%解释一致性+25%解释有效性+25%解释因果性+25%解释充分性。本轮算法评估的等级阈值=75%基础性能+25%可解释性。注1：表B.1和表B.2中的测试结果表示每个评估指标测试运行的结果。注2：表B.1和表B.2中的评估得分表示每个指标