2023信息安全技术人工智能计算平台安全框架

信息安全技术人工智能计算平台安全框架目 次前言 错误!未定义书签。引言 III范围 1规性用件 1术和义 1缩语 3AI计平概述 3AI计算台组架构 3AI计算台参方 3AI计算台安风险 4AI计平安框述 4全架构 4全能 6全块 6全制 6务口 7安模块 77AI计算台自安相关全块 7AI核心产保相安全块 8安机制 108.110AI计算台自安相关制 11AI核心产保相机制 12服接口 23附录A（料）AI计算平相参信息 25附录B资性）AI计算平安框应参考 28参考献 32I引 言与传统的通用计算场景不同，人工智能计算场景引入了人工智能技术、人工智能加速处理器架构、模型资产等新的因素。在考虑人工智能计算平台的安全问题时，需要重点考虑这些新变化带来的影响。而现有的标准没有考虑这些变化因素，难以直接应用于人工智能计算场景。IV信息安全技术人工智能计算平台安全框架范围本文件规定了人工智能计算平台安全框架的安全功能、安全机制、安全模块以及服务接口。本文件适用于指导人工智能计算平台的设计与实现，也为平台使用方应用人工智能计算平台安全功能提供参考。（文件。GB/T20272—201922239—2019GB/T37939—2019信息安全技术网络存储安全技术要求GB/T39680—2020信息安全技术服务器安全技术要求和测评准则GB/T39786—2021信息安全技术信息系统密码应用基本要求GB/T41867—2022信息技术人工智能术语GB/T42018—2022信息技术人工智能平台计算资源规范GB/T25069—2022、GB/T41867—2022界定的以及下列术语和定义适用于本文件。3.1人工智能加速处理器artificialintelligenceacceleratingprocessor具备适配人工智能算法的运算微架构，能够完成人工智能应用加速运算处理的集成电路元件。注1：图像处理器、神经网络处理器是典型的人工智能加速处理器。注2：通用中央处理器不属于人工智能加速处理器。[来源：GB/T42018—2022，3.8]3.2人工智能服务器artificialintelligenceserver信息系统中能够为人工智能应用提供高效能计算处理能力的服务器。[来源：GB/T42018—2022，3.5]3.3人工智能计算平台artificialintelligencecomputingplatform1[来源：GB/T42018—2022，3.1，有修改]3.4人工智能模型artificialintelligencemodel一种基于输入数据或信息生成推理或预测结果的计算结构。注：“机器学习模型”是典型的人工智能模型。[来源：GB/T41867—2022，3.2.11，有修改]3.5人工智能核心资产artificialintelligencecoreasset在人工智能计算场景中对个人、组织或政府具有重要价值的信息与数据，包括人工智能模型、训练/推理数据集、训练/推理脚本等。[来源：GB/T25069—2022，3.806，有修改]3.6对抗样本adversarialexamples在正常数据集中通过故意添加细微干扰获得的、可导致人工智能算法模型以高置信度给出与正确输出有偏差的样本。3.7模型萃取modelextraction3.8属性推断propertyinference用公开可见的属性和结构，推理训练数据隐蔽或不完整的属性数据的行为。3.9安全功能securityfunction为实现安全要素的要求，并正确实施相应安全策略所提供的功能。[来源：GB/T25069—2022,3.8]3.10安全机制securitymechanism实现安全功能，提供安全服务的基本方法。[来源：GB/T25069—2022,3.11]3.11安全模块securitymodule实现安全机制的可识别区分的组成部分。2[来源：GB/T25069—2022,3.815，有修改]3.12服务接口serviceinterface调用安全机制以实现安全功能的特定界面与方法。缩略语下列缩略语适用于本文件。AI：人工智能（ArtificialIntelligence）CPU：中央处理器（CentralProcessingUnit）FPGA：现场可编程逻辑门阵列（FieldProgrammableGateArray）GPU：图像处理器（GraphicsProcessingUnit）NPU：神经网络处理器（Neural-NetworkProcessingUnit）SDK：软件开发工具包（SoftwareDevelopmentKit）AIAI在AI计算场景中，一个典型的AI计算平台组成架构如图1所示，包括：AI（SDK等）AI模型训练、推理及AIAIAIAI注：基础资源层包括GB/T42018-2022标准所述的AI平台计算资源。图1AI计算平台典型组成架构AI1AI3AIAIAIAIAIAIAIAIAAIAIAIAIAIAIAI计算平台的安全风险主要包括以下两类，详细的安全风险描述见附录B：AIAI智能技术带来了AIAIAICPUAIAIAIAIAI5.3AIAI24图2AI计算平台安全框架结构图框架中定义的每一个安全功能由对应的安全机制实现，每一个安全机制由一个或多个具体的安全AI3图3安全框架元素逻辑关系图5AI计算平台自身安全功能旨在为平台使用方提供安全的运算环境，削减平台成为网络攻击中薄弱GB/T20272—2019GB/T22239—2019GB/T39680—2020GB/T37939-2019AIAI本文件新增定义的安全功能包括可信验证功能、恶意程序检测功能和AI加速处理器故障监测与恢复功能，各安全功能的作用与目的如下：AICPUAIAIAIAIAIAIAIAI训练AIAIAIAIAIAIAIAIAIAIAIAIAICPUAI异构算力安全协同功能：保障AI训练、推理等计算任务均在CPU与AIAIAIAIAIAIAAI各个安全模块的具体定义与描述见第7章“安全模块”。6AI各个安全机制的具体描述见第8章“安全机制”。AI各个服务接口的具体描述见第9章“服务接口”。概述本章节根据安全模块所属的安全机制进行组织分类，给出了人工智能计算平台中各个安全模块的具体定义与功能。AI可信度量根模块具备的功能包括但不限于：CPUAI度量值管理模块具备的功能包括但不限于：接收AI支撑AI恶意程序检测模块具备的功能包括但不限于：/AI故障监测模块具备的功能包括但不限于：/7故障处理模块具备的功能包括但不限于：/AIAI加解密模块具备的功能包括但不限于：///推理任务涉及的AI/推理脚本进行访问控制，防范AIGB/T39786-2021/CPU侧和AI加速处理器侧均存在设备根密钥模块实例，具备的功能包括但不限于：AI完整性校验模块具备的功能包括但不限于：AI8运行环境隔离模块具备的功能包括但不限于：CPUAIAICPU侧和AI加速处理器侧均存在AI加速资源安全隔离模块实例，具备的功能包括但不限于：AICPU侧和AI加速处理器侧均存在可信度量模块实例，具备的功能包括但不限于：）证；（CPUAICPU侧和AI加速处理器侧均存在安全管理模块实例，具备的功能包括但不限于：CPU侧和AI加速处理器均存在安全通信模块实例，具备的功能包括但不限于：9故障监测模块具备的功能描述见7.2.3.1。7.2.3.2。训练任务中断恢复具备的功能包括但不限于：AIAI推理攻击检测模块具备的功能包括但不限于：能够接收来自AIAIAI日志安全管理模块具备的功能包括但不限于：AIAI务；概述104图4安全机制总览AIAIAIGB/T366396.1。该机制不涉及服务接口。AI/AIAI该机制不涉及服务接口。AI11该机制概述如下：AIAIAI推5/图5AIAI加速处理器故障监测与处理机制涉及的模块交互流程如图6所示，模块交互步骤描述如下：/图6AI8.3AI12AI该机制概述如下：AIAI12AI图7AIAI核心资产加解密机制涉及的安全模块交互流程如图13所示，交互步骤描述如下：13图8AI//AI核心资产加解密；训练/若因AI核心资产跨节点流转等原因，训练/训练/信道；基于安全传输信道，管理节点的密钥管理模块将数据加密密钥传输到训练/训练/训练//AIAIAIAIAIAIAI该机制不涉及服务接口。14该机制概述如下：AI运行环境隔离机制涉及与AI/（、7图9运行环境隔离机制涉及的模块交互关系图10运行环境隔离机制涉及的模块交互流程运行环境隔离机制涉及的安全模块交互流程如图8所示，交互步骤描述如下：/15CPUCPU（）CPUAIAICPUAIAIAIAIAIAIAIAIAIAI加速处理器侧AICPUAIAI///AICPUAICPUAIAIAI该机制概述如下：AI1AI离模块”建立，非本安全机制重新定义的安全模块；AI机制重新定义的安全模块；CPUAICPUAI916图11异构算力安全协同机制涉及的模块交互关系异构算力安全协同机制初始化阶段涉及的安全模块交互流程如图10所示，交互步骤描述如下：图12异构算力安全协同机制初始化阶段涉及的模块交互流程CPUCPU17CPU侧可信度量模块将本地安全隔离环境度量值交由远程或本地度量值验证模块进行验CPUCPUAICPUAIAIAICPUAIAIAIAICPUCPUAIAIAICPUAICPUAI异构算力安全协同机制运行阶段涉及的安全模块交互流程如图11所示，交互步骤描述如下：CPUAICPUAIAIAICPUAIAIAICPUAICPUAIAICPUAICPUCPUAI18图13异构算力安全协同机制运行阶段涉及的模块交互流程该机制概述如下：14图14训练任务中断恢复机制涉及的模块交互关系19训练任务中断恢复机制涉及的模块交互流程如图15所示，模块交互步骤描述如下：图15训练任务中断恢复机制涉及的模块交互流程任务；20该机制概述如下：AIAIAIAI5.5AI图16AI推理攻击检测机制涉及的模块交互关系AI推理攻击检测机制涉及的安全模块交互流程如图17所示，交互步骤描述如下：AI应用根据从AIAIAIAIAIAIAIAIAI21图17AI推理攻击检测机制涉及的模块交互流程该机制概述如下：AI18AI，AIAI（22图18日志验证与审计机制涉及的模块交互关系日志验证与审计机制涉及的模块交互流程如图19所示，交互步骤描述如下：AIc）图19日志验证与审计机制涉及的模块交互流程231表1服务接口总结序号服务接口名称接口所属安全机制承载接口的安全模块接口作用1.故障监测接口AI加速处理器故障监测与处务中断恢复机制故障监测模块供平台使用方设定需监测的故障类型等信息；2.故障处理接口故障处理模块/代替故障服务器等；3.密钥管理接口AI核心资产加解密机制密钥管理模块密钥创建、导入、导出、备份、删除、更新等；4.用户管理接口响应平台使用方请求，进行用户管理操作，包括但不限于创建、删除、设定角色等；5.响应策略获取接口AI推理攻击检测机制AI推理攻击检测模块供平台使用方获取推理请求响应策略信息；6.完整性度量接口异构算力安全协同机制可信度量模块供平台使用方对安全隔离环境发起完整性度量；7.安全策略配置接口安全管理模块供平台使用方对安全隔离环境进行安全策略配置；8.日志验证及审计接口日志验证与审计机制日志安全管理模块供平台使用方获取日志完整性验证及审计结果信息；9.日志上报接口供平台使用方上报数据处理、模型训练、模型推理等程序运行日志信息；24附录A（资料性）人工智能计算平台相关参考信息AIAIAIAIAIAI发、AIAIA.2ISO/IEC22989图A.1AI人工智能应用生命周期中涉及到的各参与方及其业务活动包括：AIAIAI25AIAIAIAIAIAIAI）；AIAIAIAIAIAIAIAIAIAI分析上述的参与方及业务活动，识别总结各参与方的核心资产如表A.1。表A.1AI计算平台参与方核心资产识别参与方业务活动AI核心资产AI数据提供方数据预处理训练数据AI模型提供方训练数据训练脚本AI模型AI应用提供方模型部署推理脚本AI模型AI应用运行方模型推理、验证推理脚本推理数据AI模型AIAIA.226图A.2安全模块位置分布图CPUAI区分的模块默认位于CPU27附录B（资料性）人工智能计算平台安全框架应用参考附录B对AI计算平台相关参与方提供了使用本文件中定义的安全功能的参考方法。如图B.1所示,各参与方通过服务接口调用AI计算平台提供的相关机制保护其AI核心资产。各参与方如何调用安全机制解决相应安全威胁可具体参考表B.1：AIAIAIAIAIAIAIAIAIAIAIAIAI图B.1人工智能计算平台安全框架应用示意图具体地，人工智能计算平台提供方可参考本文定义的安全框架为AI数据提供方、AI模型提供方、AIAIAIAIAIAI28参与方参与方业务活动AI计算平台能够协助应对的安全威胁AI计算平台提供的安全功能AI数据提供方数据预处理数据集勒索：基于AI计算平台处理数据集过程中，数据集可能遭受勒索病毒威胁，造成数据集不可用；恶意程序检测未授权访问：训练数据集可能被未授权的用户或者程序访问或篡改，导致数据泄露。运行环境隔离不安全的数据传输：数据收集、预处理可能需要跨设备环境传输，不安全的数据传输机制，可能导致数据泄露；AI核心资产加解密能导致数据泄露；AI核心资产加解密数据集篡改：经过预处理后的数据集遭篡改,目标是破坏被攻击数据集的质量/完整性，进而污染训练阶段生成的机器模型，在有针对性的投毒攻击中，攻击者希望对特定示例进行错误分类，从而导致采取或省略特定操作；AI核心资产完整性校验AI模型提供方模型训练/验证训练任务中断导致模型参数丢失：大模型训练过程中，因为设备/网络/集群等故障，导致模型训练任务中断，导致训练的模型参数丢失；训练任务中断恢复不安全的传输：模型训练可能需要跨设备环境传输，不安全的传输机制，可能导致模型训练结果、训练数据泄露；AI核心资产加解密不安全的存储：不安全的存储环境或配置管理缺陷，可能导致模型、训练数据泄露；AI核心资产加解密模型窃取：AICPU、AI加速dumpAI模型、训练/推理数据、训练/推理脚本等关键信息窃取；软件层面，也可能因为模型明文存储或加密机制安全强度不足，导致模型遭窃取；模型训练/推理单元（虚机、容器）不安全（虚机、容器漏洞等），遭恶意程序入侵，窃AI模型、训练/推理数据、训练/理脚本等，或攻击者利用计算单元脆弱性，突破资源隔离机制（容器逃逸等），劫持控制本服务器，窃取其他用户的AI模型、训练/推理数据、训练/推理脚本等；运行环境隔离AI核心资产加解密异构算力安全协同AI应用提供方模型部署模型文件伪造：模型部署之前未校验模型来源，鉴别模型文件真实性，导致应用部署了伪造的模型对业务带来不利影响；AI核心资产完整性校验B.1AI

29表B.1安全威胁与AI安全模块映射关系(续)参与方业务活动AI计算平台能够协助应对的安全威胁AI计算平台提供的安全功能模型文件篡改：模型部署环境可能存在漏洞，导致模型文件被恶意篡改，植入后门或者窃取信息；AI核心资产完整性校验模型窃取：AI应用从开发训练环境部署到推理运行环境，甚至可能是边缘侧环境，存在模型窃取风险；AI核心资产加解密AI应用运行方模型推理模型窃取：AICPUdumpAI模型、训练/推理数据、训练/推理脚本等关键信息窃取；软件层面，也可能因为模型明文存储或加密机制安全强度不足，导致模型遭窃取；模型训练/推理单元（虚机、容器）不安全（虚机、容器漏洞等），遭恶意程序入侵，窃AI模型、训练/推理数据、训练/理脚本等，或攻击