《面向异构计算的协同学习系统技术要求》

ICS35.240

CCSL70

团体标准

T/CESAXXXX—202X

面向异构计算的协同学习系统

技术要求

Technicalrequirementsforcollaborativelearningsystemforheterogeneous

computing

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请

证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请

号和申请日期。

202X-XX-XX发布202X-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX—202X

面向异构计算的协同学习系统技术要求

1范围

本文件规定了异构智能计算场景下的协同学习系统在开发和部署所需要的相关技术能力要求，包括

功能要求、兼容性要求、可信要求和数据隐私保护要求。

本文件适用于异构智能计算场景下，协同学习系统的研发和应用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T41867-2022信息技术人工智能术语

3术语和定义

下列术语和定义适用于本文件。

3.1

异构计算heterogeneouscomputing

一种计算方式，它使用可由具有不同类型指令集和体系架构的计算单元组成的独立的或分布式系统

进行计算。

注：常见的计算单元类别包括CPU、GPU、NPU、DSP等处理器以及ASIC、FPGA等芯片。

3.2

深度学习deeplearning

通过训练具有许多隐层的神经网络来创建丰富层次表示的方法。

注：深度学习是机器学习的一个子集。

[来源：GB/T41867-2022，3.2.27]

3.3

异构智能计算heterogeneousintelligentcomputing

一种面向深度学习任务的异构计算范式，涉及到在不同类型指令集和体系架构的计算单元上进行深

度学习相关的计算任务。

3.4

协同学习collaborativelearning

由多个计算节点共同参与，为了完成某个深度学习训练任务进行联合训练的范式。

3.5

隐私保护privacypreserving

对原始数据的全部或者部分对象进行保护的一类算法，使得算法处理后的结果无法直接观测到被保

护的对象信息。

1

T/CESAXXXX—202X

3.6

安全审计secureauditing

对于协同学习系统的正常运行和异常分析需要具有的安全能力。

3.7

数据投毒攻击datapoisoningattack

一种攻击方式，攻击者通过对深度学习训练数据的修改或者引入新数据来影响训练过程，从而达到

恶意篡改模型训练结果的目标。

3.8

模型投毒攻击modelpoisoningattack

一种攻击方式，攻击者通过对本地训练模型结果的参数修改来操纵全局模型训练过程，从而达到恶

意篡改模型训练结果的目标。

3.9

搭便车攻击free-ridingattack

一种攻击方式，攻击者假装参与协同学习训练过程，实际上并不消耗或只消耗部分的本地数据和计

算资源。通过向服务器发送随机更新或与聚合模型相似的更新，伪装成参与协同学习训练的正常用户，

以获得相应利益。

3.10

女巫攻击sybilattack

一种攻击方式，单个攻击者通过多个合谋的身份加入协同学习系统，从而巧妙地分配攻击，以增强

隐蔽性和攻击效果，通常用于数据投毒攻击。

4系统参考架构

4.1逻辑角色

协同学习系统主要包括参与节点和中心节点两种逻辑角色。

4.2参与节点

一组以分布式方式参与协同学习的不必同属于同一参与者的异构设备，能够执行深度学习训练任

务，拥有各自的训练数据且不要求不同参与节点间的数据符合独立同分布假设。它们的目标是在各自数

据不离开本地设备的前提下，一起协作完成深度学习模型的训练任务。

4.3中心节点

一个或多个计算节点，能够直接连接每个参与节点组成星状分布式网络。它的目标是不必被参与节

点完全信任的前提下组织、协助和保障各个参与节点完成协同学习任务，并应对可能存在的非正常状况，

如异常参与节点或者网络连接。

4.4参考架构

在面向异构计算的协同学习架构中，主要包括参与节点和中心节点。参与节点和中心节点彼此交互，

经过多轮训练来完成协同学习的训练任务。在每一轮训练开始时，中心节点负责从所有参与节点中选择

（部分）参与节点来参与本轮训练，并将当前的全局参数分发给这些参与节点。这些参与节点基于接收

到的全局参数，分别在本地的数据上进行本地训练，得到训练后的本地参数。随后，这些参与节点将本

轮训练得到的本地参数提供给中心节点，中心节点通过同步或者异步的方式来聚合来自不同参与节点的

2

T/CESAXXXX—202X

本地参数，得到下一轮的全局参数并开始下一轮训练。在每一轮训练中，参与节点的本地训练和中心节

点的聚合过程都有日志记录。系统参考架构见图1。

图1：面向异构计算的协同学习系统参考架构

5系统技术要求

5.1概述

异构智能计算场景下的协同学习系统的主要能力是协调多个可能的异构计算设备完成一个共同的

深度学习训练任务，并保障训练过程中的数据隐私和模型安全。本文件主要从功能要求、兼容性要求、

可信要求和数据隐私保护要求对相关系统提出技术要求，见表1。

表1：面向异构计算的协同学习系统技术要求指标

技术要求具体要求

数据处理

参与节点选择

容错机制

功能要求

通信方式

通信压缩

日志记录

异构数据兼容

异构模型兼容

兼容性要求

异构计算平台兼容

任务异构调度兼容

训练可信

可信要求聚合可信

安全审计

通信数据保护

数据隐私保护要求本地数据隐私保护

中心聚合隐私保护

3

T/CESAXXXX—202X

5.2功能要求

5.2.1数据处理

系统应具备对参与节点的本地数据的深度学习训练的数据预处理能力。

5.2.2参与节点选择

系统对于参加训练的节点选择符合以下要求：

a)应具备从众多参与节点中随机选择部分参与节点来参与每轮训练的能力；

b)应具备基于计算任务类型、计算数据量大小选择合适的参与节点参与训练的能力；

c)应具备基于计算任务需求，包括安全性、时延、成本等多个因素选择合适的参与节点参与训练

的能力；

d)宜具备根据各个参与节点的训练表现来选择节点参与训练的能力；

e)宜具备基于各个参与节点的贡献来评估节点数据价值的能力。

注：参与节点的训练表现包括但不限于训练时间、模型精度、网络开销等。参与节点贡献评估可以分为：通过数据

质量评估和通过数据数量评估。

5.2.3容错机制

系统对于参与节点的异常情况，容错机制符合以下要求：

a)应具备容忍部分参与节点出现异常情况的能力，即参与节点发生异常时不会造成系统崩溃；

b)宜具备当参与节点协同训练出现异常时，恢复至任务下发时的初始状态能力；

c)宜具备参与节点备份能力，以解决当参与节点出现异常时快速替代异常参与节点执行计算任务

的能力。

注：参与节点异常情况可能包括异常终止计算，因网络问题导致的临时下线，以及因训练缓慢带来的超时问题等。

5.2.4通信方式

系统支持的中心节点和参与节点间进行协同训练时，通信方式符合以下要求：

a)应具备中心节点和参与节点间的同步通信方式的能力；

b)应具备中心节点和参与节点间的异步通信方式的能力。

5.2.5通信压缩

系统对中心节点和参与节点间的网络通信压缩符合以下要求：

a)应具备对于中心节点下发到参与节点的模型参数的压缩能力，参与节点通过解压功能可获得原

始模型参数，压缩不降低精度；

b)应具备对于参与节点上传到中心节点的本地参数的压缩能力，中心节点通过解压功能可获得原

始模型参数，压缩不降低精度；

c)应具备控制参与聚合节点数量来减少中心节点接收的数据量的能力。

5.2.6日志记录

系统对整个训练过程的日志记录符合以下要求：

a)应具备对于参与节点的每一轮训练初始参数和训练结果参数进行日志记录的能力；

b)应具备对于中心节点的每一轮聚合过程进行日志记录的能力。

5.3兼容性要求

4

T/CESAXXXX—202X

5.3.1异构数据兼容

系统对不同参与节点的异构数据兼容符合以下要求：

a)应具备允许各个参与节点的非独立同分布数据进行训练的能力；

b)应具备处理、缓解、或解决非独立同分布数据导致的模型精度下降问题的能力；

c)应具备允许各个参与节点的不同数据量大小进行训练的能力；

d)宜具备允许各个参与节点的不同模态数据进行训练的能力。

注：异构数据可能表现在数据稀疏性、特征偏度、数据分布等方面。

5.3.2异构模型兼容

系统对支持的异构模型的兼容符合以下要求：

a)应具备对于多种不同种类的模型进行训练的能力；

b)应具备对于不同模型大小进行训练的能力。

5.3.3异构计算平台兼容

系统对异构计算平台的兼容符合以下要求：

a)应具备允许本地训练任务运行在不同类型指令集和体系架构的计算平台上的能力；

b)应具备允许中心聚合任务运行在不同类型指令集和体系架构的计算平台上的能力；

c)宜具备允许中心聚合任务在多于一个的计算节点上以分布式的方式完成的能力。

5.3.4异构调度兼容

系统对异构调度兼容符合以下要求：

a)应具备允许计算任务在一个计算节点上的不同计算设备上进行计算的能力；

b)宜具备允许计算任务根据硬件资源利用率情况动态决定在一个计算节点上哪个计算设备上进行

计算的能力；

c)宜具备根据各个计算节点的硬件资源利用率情况动态决定哪个计算节点上进行中心聚合任务计

算的能力。

5.4可信要求

5.4.1训练可信

系统对于参与节点的训练过程可信保障符合以下要求：

a)应具备自我身份证明的能力；

b)应具备对于参与节点身份的合法性认证的能力；

c)应仅允许身份合法的参与节点参与训练过程；

d)应具备阻止或检测参与节点进行数据投毒攻击的能力；

e)应具备阻止或检测参与节点进行模型投毒攻击的能力；

f)应具备阻止或检测参与节点的搭便车攻击的能力；

g)应具备阻止或检测参与节点的女巫攻击的能力；

h)当系统提供检测上述某一攻击的能力时，对于训练过程中检测出存在此攻击的参与节点，应将

其身份标记为不合法节点，禁止继续参与此次训练。

5.4.2聚合可信

系统对于中心节点的聚合过程可信保障符合以下要求：