人工智能 可信赖规范 第4部分：机器学习模型（征求意见稿）

准T/CESAXXXX—2024机器学习模型Artificialintelligence–Trustworthinessspecification–Part4:Machinelearningmodels2022-XX-XX发布2022-XX-XX实施中国电子工业标准化技术协会发布I 引言可信赖、人工智能系统风险管理（简称人工智本文件基于第1部分中对人工智能可信赖的通用要求，结合机器学习模型自身特性和实现其可信赖1注1：依赖于语境，也依赖于具体的产品或服务、数据以及所用技术，应用不同的可信性赖特征并对其进行验证，注2：可信赖的特征包括：可靠性、韧性、安全性（信息安全、功能安全）、隐私性、可问责、透明性、真实性、2如图1所示，依据人工智能系统可信赖技术的通用要求，机器学习模型可信赖通用框架主要私保护、可靠性、透明性、可问责性和公平性共5项核心特征，关键技术域基于上述机器学习模型可信赖通用框架的关键技术域中提出的6项关键技术要素，并结合机器学习b)韧性：机器学习模型能够抵抗对抗样本、后门攻击、数据投毒等外部恶意攻击，并具备快速d)可追溯性：机器学习模型在全生命周期中具备数据、模型的可溯源能力，保障模型推理结果e)无偏见性：机器学习模型在全生命周期中通过数据均衡性检测、模型偏见控制等方式抑制非○○○\\○○○\\○○○\\○○○○○○○\\\○○○○○3b)可用性：应确保机器学习模型及其相关数据时刻可被授权用户进行访问和使用，包括但不限c)完整性：应确保机器学习模型及其相关数据不被未经授权的方式替换、篡改或破坏，包括但a)应确保机器学习模型具备功能正确性、容错性和鲁棒性，能够在各种干扰信息的环境下保持b)应确保机器学习模型具备抵御恶意外部攻击的韧性，并在适当条件下具备快速恢复性能表现a)机器学习模型应具备适当的可解释管理机制，可针对不同的利益相关方提供便于理解的不同4b)机器学习模型应在开发过程中具备一定的可解释性，保障建模前、建模过程和建模后的可解5.2.4可问责性a)机器学习模型应具备适当的可追溯机制，可实现模型在设计开发、训练、部署、推理、更新b)机器学习模型应具备适当的可审计机制，如采用模型开发流程的审计日志和模型上线后的运a)机器学习模型应在模型概念构建阶段具备适当的算法公平性设计，如在模型设计立项阶段引b)机器学习模型应在模型评估阶段进行合理、科学的偏见检测和控制手段，并对公平性进行增5.3.1鲁棒性a)在验证测试和部署运行阶段，训练完的机器学习模型对不同场景类型数据、含噪声信息的数b)在验证测试阶段，针对部分含神经网络结构的机器学习模型具备对异常情况的稳定性，包括d)在设计开发阶段，针对大量无标注数据的场景，利用数据提升机器学习模型鲁棒性，包括但55.3.2韧性1）应通过数字世界白盒测试判断恶意攻击能力的上限，包括不同的优化方法，损失函数，c)在部署运行阶段，机器学习模型应具备非鲁棒性防御能力，如对特定攻击机制进行防御、主5.3.3可解释性1)宜在模型训练时加入先验约束可解释性，以增强c)在验证测试和部署运行阶段，针对训练完的机器学习模型，通过算法赋予可解释性，包括但a)在机器学习模型设计开发、验证测试等阶段应具备设计需求文档、评估报告、审计日志等相b)在机器学习模型全生命周期中，机器学习模型相关数据应具备可溯源机制，如数字水印等技c)在机器学习模型全生命周期中，机器学习模型的版本可追溯、可问责，包括模型的版本管理d)在机器学习模型全生命周期中，机器学习模型应具备针对错误推理结果的记录功能，使机器6a)在设计开发阶段，机器学习模型相关训练数据集和测试数据集应具备一定的均衡性，以规避a)机器学习模型相关训练数据集和测试数据集应满足GB/T35273—2020中对个人信息控制者和b)在机器学习模型的全生命周期中应确保模型和相关数据的完整性，如采用身份验证或权限控c)在机器学习模型的全生命周期中应确保模型和相关数据的可用性，如采用差分隐私、联邦学d)在机器学习模型的全生命周期中应确保模型和相关数据的保密性，如在模型训练或推理过程b)针对部分含神经网络结构的机器学习模型，检查是否采用5.3.1b7d)针对大量无标注数据的场景，检查是否采用5.3.1d）中的a)检查是否采用5.3.2a）中的方法测试数字世界、物2)检查模型训练开发文档中是否针对特殊应用或业务的需求，已优先考虑采用更具解释性4)检查模型可解释性评估报告是否已充分考虑针对赋予可解释性的算法自身的可信度评a)在机器学习模型开发流程中，检查是否具备设计需求文档、评估报告、审计日志等相关开发e)检查模型部署运行日志中是否具备完善的运营数据，包括用户使用记录、模型推理日志、模a)在机器学习模型开发流程中，检查是否具备训练数据集、测试数据集的均衡性检测结果或报8a)检查机器学习模型相关训练数据集、测试数据集是否满足GB/T35273—2020中对个人信息控b)数据完整性：检查模型开发阶段，模型所需开发环境是否均具备适当的身份验证或权限控制c)数据可