CESA-2022-040《人工智能 异构人工智能加速器统一接口》团体标准（征求意见稿）编制说明

中国电子工业标准化技术协会

一、工作简况

根据中国电子工业标准化技术协会2022年第六批团体标准制修订通知（中电

标通〔2022〕018号），团体标准《人工智能异构人工智能加速器统一接口》制

定工作下达立项通知，计划号CESA-2022-040。

本标准由中国电子技术标准化研究院牵头，华为技术有限公司、北京航空航

天大学联合发起，主要参编单位包括上海人工智能研究院、英特尔（中国）有限

公司、商汤集团股份有限公司、上海依图科技有限公司、深圳云天励飞技术股份

有限公司、浪潮电子信息产业股份有限公司、南京沐曦科技有限公司、四川华鲲

振宇智能科技有限公司、上海天数智芯半导体有限公司、上海燧原科技有限公司、

上海壁仞智能科技有限公司、北京格灵深瞳信息技术股份有限公司、小视科技（江

苏）有限公司、超聚变数字技术有限公司、深圳鲲云信息科技有限公司、北京旷

视科技有限公司、阿里云计算有限公司、百度在线网络技术（北京）有限公司、

昆仑芯（北京）科技有限公司、北京第四范式智能技术股份有限公司、北京希姆

计算科技有限公司、西门子（中国）有限公司、腾讯控股有限公司等国内外人工

智能加速器和机器学习框架企业。标准的归口单位是中国电子工业标准化技术协

会和中国电子技术标准化研究院。

本标准主要工作过程如下：

2022年5月-7月，《人工智能异构人工智能加速器统一接口》标准编制组成

立，对该标准的立项达成共识，共同收集相关资料，多次组织专家进行讨论，形

成标准草案大纲。

2022年6月17日，参加中国电子工业标准化技术协会团体标准立项答辩，团

体标准通过立项评审。2022年07月11日，中国电子工业标准化技术协会下达标准

计划任务（中电标通（2022）018号）。

中国电子工业标准化技术协会

2022年8月-10月，《人工智能异构人工智能加速器统一接口》标准编制工

作组成立。召开首次标准研讨会，确定标准范围、目的、标准化对象、章节目录，

及各章节的初步内容范围。

2022年11月-2023年03月，中国电子技术标准化研究院组织标准起草工作组

多次召开标准研讨会，针对产学研单位对标准文本提出的意见建议，持续对标准

草案进行讨论、迭代。

2023年3月22日-2023年3月24日，召开信标委AI分委会全会，分委会成员单

位就异构人工智能加速器统一接口标准的范围和关键问题，进行广泛讨论，标准

起草工作组听取意见，并做修改。

2023年3月-4月，召开标准研讨会，组内审查标准草案，形成征求意见稿。

二、标准编制原则和确定主要内容的论据及解决的主要问题

《人工智能异构人工智能加速器统一接口》标准定义异构人工智能加速器

的统一接口及其语义和使用方法，提出各加速器为实现此接口所需的接入方法和

试验方法。标准适用于人工智能加速器接口的设计和实现，也可为人工智能加速

器应用提供参考。

编制原则：

异构人工智能加速器统一接口旨在在各人工智能加速器使能软件之上与机

器学习框架之下，建立中间层。对上，屏蔽加速器的异构性，对下，屏蔽机器学

习框架的多种接入方式，以达到让加速器或机器学习框架快速对接而建立或复用

生态的目标。基于此，本标准有以下编制原则：

1）以各人工智能加速器使能软件为基础，研究共同性，并对使用人工智能

加速器执行机器学习计算任务（模型训练、模型推理）执行的必要过程和接口实

施分析，明确人工智能加速器统一接口的范围；

2）接口解决使用各类人工智能加速器训练和推理的问题，标准涉及人工智

能加速器执行控制（如运行时），模型操作（如编译、转化），模型构建等。在

研制过程中，尽量兼容各类人工智能加速器公共或极其类似的接口，率先实施标

准化，跑通系统，并最大程度地降低人工智能加速器接入所需开发资源，加快接

入过程。

拟解决的主要问题：

中国电子工业标准化技术协会

据2020年不完全统计，我国人工智能加速处理器研发机构多达2800多家。每

种加速器都有自建软件及应用生态的任务。这种现象将给人工智能计算企业和产

业带来沉重负担。其核心问题如下：

1）技术生态：人工智能计算生态的严重割裂，加速器的技术生态林立，小

且脆弱；

2）兼容适配：众多加速器需与众多计算框架（如深度学习软件框架）一一

适配，产业整体适配工作量巨大；

3）用户使用：异构加速器整合、使用的复杂度很高。加速器之间的两两互

操作在如此大的规模上，较难实现和维护。

人工智能应用的建立，需要实现各种计算框架及各类加速器相对灵活搭配，

但需尽可能少地侵入各类人工智能加速器的已有技术路线（各种加速器的已有指

令级和算子实现库），不限制创新。

三、主要试验[或验证]情况分析

异构人工智能加速器统一接口的定义参考了国内主流的人工智能加速器使

能软件的设计。在试验方面，标准定义了接入符合性验证方法和指标。基于团体

标准建立周期较短、灵活等特点，本标准的主要目标是跑通系统，完成从加速器

及其使能软件，到统一接口，再到上层机器学习框架和应用全栈跑通的目标，达

成验证的目的。标准的参与企业几乎包含国内和国际所有的（有产品化、商用能

力的）人工智能加速器研制企业及其国内代理。当前已有人工智能加速器企业对

接和使用此接口，已形成了一定产业遵从效益。

四、知识产权情况说明

本标准不涉及知识产权的产出或使用。

五、产业化情况、推广应用论证和预期达到的经济效果

本标准预计达成以下产业预期：

1）技术生态：为异构人工智能加速器提供接入方案。在不要求异构人工智

能加速器改动指令级或算子实现库的情况下，帮助人工智能加速器快速建立生态

2）兼容适配：为机器学习软件框架提供统一接口，为多种加速器与多种框

架的兼容适配提供方案。降低产业整体的适配工作量

3）用户使用：为用户提供统一接口，屏蔽异构加速器的复杂度，降低使用、

中国电子工业标准化技术协会

维护难度。

AI新兴技术领域，此领域的技术发展较快，尤其是芯片领域，正是国内近

两年大力发展的方向；另外，利用中间层屏蔽异构性，是技术界常用的方法，但

针对广泛AI异构加速器统一接口的标准化，在国内尚属首次。ISO/IECTR17903

（中国代表团牵头，在编）讨论过程中，各国专家认为新中间层有利于解决产业

问题，认为此系未来重要的标准化方向。在ISO/IECTR17903中设置了相关章

节，拟描述概念框架和关键问题。国内AI加速器研制机构众多，芯片产业发展

迅速，有大量生态发展需求。国内深度学习框架（5+）或其它工具软件数量较多，

有大量加速器适配工作量。国内AI应用逐步深化，应用逐渐增多，需求强烈。

利用标准化的技术方案降低应用、维护复杂度，是产业效能升级的必要项。

通过人工智能加速器统一接口的研制和产业应用，有望降低产业中各人工智

能加速器与各机器学习框架对接及维护的整体成本。当有m个框架，n种加速器

时，两两对接需要m*n的总体工作量。在使用人工智能加速器统一接口后，m

个框架和n种加速器可分别对接本接口。一旦对接，就天然享有已对接的对侧支

持（如加速器对接后，就能被已对接的框架调用。反之亦然。）使用统一接口，

并不阻碍特定框架对特定加速器的适配和使用。对加速器来讲，对统一接口的接

入，即可获得多框架的支持。对框架来讲，对统一接口的适配，即可获得多加速

器的运行能力。本标准提出一种非侵入式的解决方案，降低产业整体复杂度。

六、转化国际标准和国外先进标准情况

《人工智能异构人工智能加速器统一接口》在《国家新一代人工智能标准

体系建设指南》（国标委[2020]35号文）中，属于C类（基础软硬件平台）。本

标准不转化国外标准。

标准与国外相关标准的比较如下：

标准主要内容与本标准的关系

KhronosOpenCL跨处理器的并KhronosOpenCL3.0Specification不专门针

3.0行编程接口对AI计算，不能覆盖深度神经网络相关操作及

Specification相关推理、训练控制过程。本标准专为人工智能

（链接）领域计算研制，在并行计算方面，与Khronos

OpenCL3.0保持一定兼容。国内机构对Khronos

OpenCL标准的参与受国际关系因素影响较大

中国电子工业标准化技术协会

InteloneAPI1.2Intel企标，定oneAPI标准主要为IntelCPU服务，定义接口

（链接）义了跨处理器的颗粒度和选择，以Intel指令集和调用作为

（主要为第一参考。在并行计算方面，oneAPI与Khronos

CPU-GPU）的编OpenCL3.0保持一定程度的兼容。本标准为公

程接口共标准，且不着重针对CPU-GPU间计算任务的迁

移

ISO/IECTR17903提供机器学习ISO/IECTR17903由ISO/IECJTC1/SC42中

Overviewof计算设备的概国代表团（SAC）牵头，不涉及接口，但在国际

machinelearning览，包含机器学标准讨论中，认为统一接口是技术发展的重要方

computing习设备性能相向，ISO/IECTR17903为本标准提供国际高水

devices（链接）关的特性及其平标准上的理论铺垫

使用方法和指

标

IEEE2937定义了AI服务IEEE2937规定典型AI计算设备的性能测试方

Standardfor器，AI服务器集法，不涉及接口定义。但在系统使用统一接口层

performance群，AI计算中心时，性能可能稍有损失，使用IEEE2937及相关

benchmarkingfor（AIHPC设施）工具（由电子四院等单位研制）实施性能损失评

artificial性能测试方法估，为调优提供依据

intelligence

serversystems

（链接）

七、与现行相关法律、法规、规章及相关标准的协调性

《人工智能异构人工智能加速器统一接口》与现行法律、法规、强制性国

家标准及相关标准协调配套情况如下：

文件相关内容分析、讨论

2020.8，国务从财税、投融资、IPO、研究因国际局势影响，国内芯片产业在2019

院:《新时期促开发、进出口、人才、知识年后，因国内需求拉动，进入了投资、

进集成电路产产权、市场应用、国际合作产业活动高增长阶段。小生态林立，生

业和软件产业等多角度对半导体产业的发态建设困难，投资见效慢、风险大的矛

高质量发展的展提供政策支持，提出中国盾十分突出。

若干政策》芯片自给率要在2025年达异构加速器统一接口，有利于帮助小企

到70%。业快速建立应用生态，减少因为建立生

态或在技术路线上的误判和盲目投入，

可能带来的损失等问题

中国电子工业标准化技术协会

2021.12，国务抢先布局前沿技术融合创国内AI加速器研制机构，在2021年总

院：《“十四五”新，推进言学科和交叉研究[1]

数达到2800多家，异构化明显，小

数字经济发展平台建设，重点布局下一代

规划》移动通信技术、量子信息、生态林立，生态建设总体困难，群体性

第三代半导体等新兴技术，矛盾突出。

推动信息、生物、材料、能异构加速器统一接口，有利于解决群体

源等领域技术融合和群体性性问题。

突破

2021.11，工信推动芯片企业丰富产品体国家政策要求丰富芯片产品体系，是从

部：《“十四五”系，加快模组分级分类研发，芯片应用角度，对芯片研制提出了需

信息通信行业优化模组环境适应性，降低求。部署在相同计算系统中的异构芯片

发展规划》功耗及成本，增强原始创新的协同，需要统一的编程模式和数据交

能力和产业基础支撑能力换方法。

异构加速器统一接口，有利于降低应用

复杂度，也是我国AI产业解决自身问

题原始创造力的体现。降本增效，对产

业发展起到支撑作用。

[1]魏少军.实干推动设计业不断进步.中国半导体行业协会集成电路设计业分会年会

的报告.2021.（链接）

标准与国内相关标准的比较如下：

标准主要内容与本标准的关系

GB/T42018－2022定义了各类人工智能GB/T42018－2022标准在内容上与本

《信息技术人工智能物理计算资源的形标准无覆盖关系，但提出的人工智能

平台资源供给》态、组成、基础技术计算设备可使用各类人工智能加速处

参数，虚拟计算资源理器。本标准旨在促进异构加速器应

的基本特征，并针对用的简化，使其更好地服务于各类人

各类计算设备形态，工智能计算设备

提出了测试方法

20203869-T-469《人工定义了机器学习系统20203869-T-469标准在内容上与本标

智能面向机器学习的的基础架构准无覆盖关系，但提出的机器学习系

系统规范》统的参考架构，为本标准所定义的统

一接口，明确上下层部件、组件及运

行时关系

GB/T42382.1－2023定义了离线模型的表GB/T42382.1－2023标准定义的离线

《信息技术神经网络示和压缩方法模型表示方法针对离线模型，即训练

表示与模型压缩第1好的模型。用于不同格式离线模型的

部分：卷积神经网络》互转。本标准定义异构人工智能加速

器统一接口，与已有标准不存在冲突

中国电子工业标准化技术协会

T/CESA1228.1－2022定义了典型（CPU，T/CESA1228.1－2022标准仅定义典

《信息技术人工智能GPU，NPU，FPGA）人型人工智能加速处理器的虚拟化方法

计算设备调度与协同工智能加速处理器的和基础调度模式，在过程和功能层面，

第1部分：虚拟化与调虚拟化方法和基础调而非接口层面。本标准完成统一接口，

度》度模式可相互配套使用。AI系统的建设，可

使用本标准，而不必实施虚拟化过程，

也可实施虚拟化，形成更精细的算力

切分和调度

CESA-2021-3-018《信定义了深度学习框架CESA-2021-3-018不定义异构加速器

息技术人工智能深与各种人工智能加速统一接口。本标准定义的统一接口，

度学习框架多硬件平器直接适配的技术要可作为一种“抽象”的加速器接入使

台适配技术要求与评求和指标用。

价指标》

八、重大分歧意见的处理经过和依据

无。

九、贯彻标准的要求和措施建议

本文件可作为推荐性标准，标准发布后实施。

标准发布后，将尽快推出、实施人工智能加速器统一接口接入符合性测试，

将对接的技术细节和流程普及到产业，丰富人工智能加速器应用生态，加速国内

各人工智能加速器技术生态的建立，降低产业整体成本。

十、替代或废止现行相关标准的建议

无。

十一、其它应予说明的事项

无。

《人工智能异构人工智能加速器统一接口》

团体标准编制起草组

2023-5-8

中国电子工业标准化技术协会

一、工作简况

根据中国电子工业标准化技术协会2022年第六批团体标准制修订通知（中电

标通〔2022〕018号），团体标准《人工智能异构人工智能加速器统一接口》制

定工作下达立项通知，计划号CESA-2022-040。

本标准由中国电子技术标准化研究院牵头，华为技术有限公司、北京航空航

天大学联合发起，主要参编单位包括上海人工智能研究院、英特尔（中国）有限

公司、商汤集团股份有限公司、上海依图科技有限公司、深圳云天励飞技术股份

有限公司、浪潮电子信息产业股份有限公司、南京沐曦科技有限公司、四川华鲲

振宇智能科技有限公司、上海天数智芯半导体有限公司、上海燧原科技有限公司、

上海壁仞智能科技有限公司、北京格灵深瞳信息技术股份有限公司、小视科技（江

苏）有限公司、超聚变数字技术有限公司、深圳鲲云信息科技有限公司、北京旷

视科技有限公司、阿里云计算有限公司、百度在线网络技术（北京）有限公司、

昆仑芯（北京）科技有限公司、北京第四范式智能技术股份有限公司、北京希姆

计算科技有限公司、西门子（中国）有限公司、腾讯控股有限公司等国内外人工

智能加速器和机器学习框架企业。标准的归口单位是中国电子工业标准化技术协

会和中国电子技术标准化研究院。

本标准主要工作过程如下：

2022年5月-7月，《人工智能异构人工智能加速器统一接口》标准编制组成

立，对该标准的立项达成共识，共同收集相关资料，多次组织专家进行讨论，形

成标准草案大纲。

2022年6月17日，参加中国电子工业标准化技术协会团体标准立项答辩，团

体标准通过立项评审。2022年07月11日，中国电子工业标准化技术协会下达标准

计划任务（中电标通（2022）018号）。

中国电子工业标准化技术协会

2022年8月-10月，《人工智能异构人工智能加速器统一接口》标准编制工

作组成立。召开首次标准研讨会，确定标准范围、目的、标准化对象、章节目录，

及各章节的初步内容范围。

2022年11月-2023年03月，中国电子技术标准化研究院组织标准起草工作组

多次召开标准研讨会，针对产学研单位对标准文本提出的意见建议，持续对标准

草案进行讨论、迭代。

2023年3月22日-2023年3月24日，召开信标委AI分委会全会，分委会成员单

位就异构人工智能加速器统一接口标准的范围和关键问题，进行广泛讨论，标准

起草工作组听取意见，并做修改。

2023年3月-4月，召开标准研讨会，组内审查标准草案，形成征求意见稿。

二、标准编制原则和确定主要内容的论据及解决的主要问题

《人工智能异构人工智能加速器统一接口》标准定义异构人工智能加速器

的统一接口及其语义和使用方法，提出各加速器为实现此接口所需的接入方法和

试验方法。标准适用于人工智能加速器接口的设计和实现，也可为人工智能加速

器应用提供参考。

编制原则：

异构人工智能加速器统一接口旨在在各人工智能加速器使能软件之上与机

器学习框架之下，建立中间层。对上，屏蔽加速器的异构性，对下，屏蔽机器学

习框架的多种接入方式，以达到让加速器或机器学习框架快速对接而建立或复用

生态的目标。基于此，本标准有以下编制原则：

1）以各人工智能加速器使能软件为基础，研究共同性，并对使用人工智能

加速器执行机器学习计算任务（模型训练、模型推理）执行的必要过程和接口实

施分析，明确人工智能加速器统一接口的范围；

2）接口解决使用各类人工智能加速器训练和推理的问题，标准涉及人工智

能加速器执行控制（如运行时），模型操作（如编译、转化），模型构建等。在

研制过程中，尽量兼容各类人工智能加速器公共或极其类似的接口，率先实施标

准化，跑通系统，并最大程度地降低人工智能加速器接入所需开发资源，加快接

入过程。

拟解决的主要问题：

中国电子工业标准化技术协会

据2020年不完全统计，我国人工智能加速处理器研发机构多达2800多家。每

种加速器都有自建软件及应用生态的任务。这种现象将给人工智能计算企业和产

业带来沉重负担。其核心问题如下：

1）技术生态：人工智能计算生态的严重割裂，加速器的技术生态林立，小

且脆弱；

2）兼容适配：众多加速器需与众多计算框架（如深度学习软件框架）一一

适配，产业整体适配工作量巨大；

3）用户使用：异构加速器整合、使用的复杂度很高。加速器之间的两两互

操作在如此大的规模上，较难实现和维护。

人工智能应用的建立，需要实现各种计算框架及各类加速器相对灵活搭配，

但需尽可能少地侵入各类人工智能加速器的已有技术路线（各种加速器的已有指

令级和算子实现库），不限制创新。

三、主要试验[或验证]情况分析

异构人工智能加速器统一接口的定义参考了国内主流的人工智能加速器使

能软件的设计。在试验方面，标准定义了接入符合性验证方法和指标。基于团体

标准建立周期较短、灵活等特点，本标准的主要目标是跑通系统，完成从加速器

及其使能软件，到统一接口，再到上层机器学习框架和应用全栈跑通的目标，达

成验证的目的。标准的参与企业几乎包含国内和国际所有的（有产品化、商用能

力的）人工智能加速器研制企业及其国内代理。当前已有人工智能加速器企业对

接和使用此接口，已形成了一定产业遵从效益。

四、知识产权情况说明

本标准不涉及知识产权的产出或使用。

五、产业化情况、推广应用论证和预期达到的经济效果

本标准预计达成以下产业预期：

1）技术生态：为异构人工智能加速器提供接入方案。在不要求异构人工智

能加速器改动指令级或算子实现库的情况下，帮助人工智能加速器快速建立生态

2）兼容适配：为机器学习软件框架提供统一接口，为多种加速器与多种框

架的兼容适配提供方案。降低产业整体的适配工作量

3）用户使用：为用户提供统一接口，屏蔽异构加速器的复杂度，降低使用、

中国电子工业标准化技术协会

维护难度。

AI新兴技术