人工智能 可信赖规范 第3部分：机器学习框架（征求意见稿）

准T/CESAXXXX—2020人工智能可信赖规范第3部分：机器学Artificialintelligence–Trustworthinessspecification-Part3:Machinelearningframework已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利2020-XX-XX发布2020-XX-XX实施中国电子工业标准化技术协会发布I 1 1 1 1 2 3 3 3 5 5 5 5 6 7 8 9 9 人工智能可信赖是人工智能领域的关键技术体系。理解人工智能可信赖技术要求和有效实施测试可信赖、人工智能系统风险管理（简称人工智能风险管理）和人工本文件基于第1部分中对人工智能可信赖的通用要求，结合机器学习框架在人工智能系统架构中位1GB/T35273-2020信息T/CESABBBBB信息技术人工智能可信赖规范第1部分：通则GB/T42018-2022，4186一种框架或系统能在不泄露参与方所拥有原始数据和隐私数据的同时，使多个参与方建立和使用2注2：关于个人敏感信息的判定方法和类型参见GB/T3527AI人工智能（ArtificialIntelligencASLR地址空间配置随机化（AddressSpaceLayoutRandomiBVA边界值分析（BoundaryValueAnalCFI控制流完整性（ControlFlowIntDEP数据执行保护（DataExecutionPrevenECP等价类划分（EquivalenceClassPartitiNBC神经元覆盖界限（NeuronBoundaryCoverag3注1：示意图为说明机器学习框架在机器学习系统中的位置，图中实线框起部分本文件使用T/CESABBBBB中第4章图1定义的可信赖技术框架和要素含义，可信赖框架包含通用要a）通用要求域包含利益相关方对机器学习框架的可信赖期望，通用要求域的期望可被核心概念b）核心概念域包含机器学习框架可信赖体系中的宏观概念要素，每个概念要素都对机器学习框c）关键技术域包含人工智能可信赖技术体系中的基础技术要素，每一个要素具有相对独立的指4○○○○○○○○\\○\\○○\○\\○○\○○\○\○\\5\○○符合本文件的机器学习框架，并不需满足全部可信赖技术要求。不包含某些功能（如端-边协同训6c）机器学习框架提供方应明确相关组织监管、处理机器学习框架的相关功能带来的各种潜在危b)应提供基础的模型构建块（如：卷积神经网络单元、softmax函数等）并提供模型结构参数设72)面向样本扰动的黑盒可解释算法，如：Occlusion、RISE、RISEPlus、LIME、SHAPKe81)通用防御，如：分类精度方差（CAV分类置信度方差（CCV分类校正），913)支持数据增强过程感知，用户可获取数据处理管道的相关信息，包括：当前ep6)在动态图模式下，控制框架计算单元在设备）；6.3.8.2保障机器学习系统韧性，模型推理及部署组件11)支持不小于2种局部差分隐私训练7.2.1机器学习框架及其扩展包的可信赖通用要求测试，参照表2的对应关系，按照7.2.2规定的操作实施，框架不具备测试集时，使用7.2.2提出的测试集。具备时，则使用机器学习框架提供的），），），），），），k）系统能够自动启动故障对应组件时，机器学习框架应能在SLA内，恢复到上次保存的检查点，1l）机器学习框架配置可视化组件，给出生效的组件列表;对应章节规定的操作实施。框架不具备测试集时，使用测试方法中提出的测试集），），），），），），），），7.3.5a)，7.3.5b)，7.3.57.4.11.1a)，7.4.11.1b)，7.4.11.1），f）按照联邦学习流程模板使用说明，设定参与方A和参与方B，其中参与方A持有数据并部子网络Embedding和末级子网络Head，包含Transformer模块的Backbone子网络部署在参h）前向推理过程中，参与方A和参与方B交换的特征张量和梯度张量应采用加密方式传递，A所持1d）任务运行过程中查看日志，应能观察到按照设置的间隔（如Steph）应能观察到页面展示的标量变化轨迹与记录信息保持一致，随着训练的进行损失等标量信息j）按照a)给出的负载，运行模型结构可视化组件;），i)按照7.1a)的要求查看机器学7.4.12规定的操作实施，框架不具备测试集时使用测试过程7.4.2.1a)，7.4.2.1b)，7.4.2.117.4.2.2a)，7.4.2.2b)，7.），），），7.4.3.1a)，7.4.3.1b)，7.7.4.3.1a)，7.4.3.17.4.3.1a)，7.4.3.17.4.3.1a)，7.4.3.1b)，7.7.4.3.2b)，7.4.3.2c)，7.7.4.4.1a)，7.4.4.1b)，7.4.4.1c)，7.7.4.5a)，7.4.5b)，7.4.5），7.4.8.2j)，7.4.8.2l)，7.4.），7.4.8.2a)，7.4.8.2b)，7.4.8.2c7.4.11.1a)，7.4.11.1b)，7.4.11.17.4.12.1a)，7.4.12.1b)，7.4.12.17.4.12.1a)，7.4.12.1j)，7.4.12.7.4.12.1m)，7.4.12.1n)，7.7.4.12.1a)，7.4.12.1b)，7.4.12.17.4.12.1r)，7.4.12.1s)，7.4.12.17.4.12.1a)，7.4.12.1b)，7.4.12.17.4.12.1c)，7.4.12.1e)，7.4.12.2），g）查看7.1.1a)所规定的材料，应能观察到机器学习框架提供支持自定义调整参数的神经网络测试机器学习算法库提供的可解释算法，具体包含以下步骤：a）按照7.1.1a)规定的方式，查看机器学习框），），），2d)机器学习框架配置图像数据增强算法，加载a)中B.1的配置，按照6.3.2.2a)的f)机器学习框架配置分词算法，加载a)中B.2的配置，应能观察到按照算法预期完成），j）应能观察到提供满足6.3.5.1e)要求的可视化套件;p）确定大模型部署负载（见附录B.4，B.5和B.6并按照负载c）确定机器学习测试负载（见附录B.1，B.2或B.3按照负载配置测试环境，运d）调用任务实时监控工具，运行机器学习任务，在运行过程中，观察能实施采集并反馈6.32e）调用模型信息获取接口，运行机器学习模型训练任务，在运行过程中，检查能否满足6.），4)应能通过程序提示，观察到随着训练过程迭代，step或epoch的相关事件点，执行不同的6)在动态图模式下，控制框架计算单元在设备）；2)学习率设置：将原任务学习率r0放大10倍得到学习率r1,将），c）设置缩放系数y1在[-65504，65504]之间，设置缩放系数y2大于65504件自动处理溢出，在系数y1时不会出现下溢，正常训练；在使用y2时，无溢出的），2学习框架的训练任务，应能自动恢复；l）测试者调用恢复训练接口，应能从保存点处，重新恢复训练;），），c）查看模型在a)规定的数据集上的准确率；调用6.3.11.2a)1）接口实施逆向攻击并调用l）应能按照预期完成不同参与方不直接交换样本特征的模型协同训练，记录过程损失值和参数s）按照联邦学习流程模板使用说明，设定参与方A和参与方B，其中参与方A持子网络Embedding和末级子网络Head，包含Transformer模块的Backbone子网络部署在参u）前向推理过程中，参与方A和参与方B交换的特征张量和梯度张量应采用加密方式传递，A所持2模型参数时，直接得到推理结果，且与未加密的模保障部分机器学习任务的可信赖，也能在一定范围内避免对利益相关方造成严重负面影1)面对复杂多变的外部环境或极度不友好的输入，应能按照预期保障机器学习任务的可信3类○○○///件/○○////○○//○///○○/3计算机视觉模型见表B.1，自然语言处理模型见表B.2，声音处理模型见表注：Bert-large是基于变换器双注：Wide&Deep是一种结合广义