CESA -2019-3-001编制说明-人工智能芯片 面向云侧的深度学习芯片测试指标与测试方法

中国电子工业标准化技术协会

一、工作简况

1、主要工作过程

为了推进云侧AI芯片测试技术提高，我院组织相关单位共同研制云侧AI芯片

测试标准，自2019年4月起至今已经召开了3次正式研讨会以及多次电话会议等,

会议贯穿了标准编制启动至标准草案的意见征求，参加会议的单位有来自华为技

术有限公司、清华大学、中国科学院计算技术研究所、上海熠知电子科技有限公

司、上海依图网络科技有限公司、北京中科寒武纪科技有限公司、中国电子科技

集团公司第五十八研究所、北京智芯微电子科技有限公司、北京地平线机器人技

术研发有限公司等单位的代表。本标准于2019年10月初完成了初稿，11月初形成

了征求意见稿。

3、标准编制的主要成员单位及其所做的工作

本标准由中国电子技术标准化研究院牵头组织编制，参与标准编制的成员单

位有华为技术有限公司、清华大学、中国科学院计算技术研究所、上海熠知电子

科技有限公司、上海依图网络科技有限公司、北京中科寒武纪科技有限公司、中

国电子科技集团公司第五十八研究所等单位的代表。中国电子技术标准化研究院

负责标准化工作的组织、协调和标准文本的编制工作。其他成员单位提供了标准

所涉及的技术内容的材料，并全程参与了技术细节的讨论。

二、标准编制原则和确定主要内容的论据及解决的主要问题

1、编制原则

在编制标准过程中，遵循了以下三项原则。

一是遵循国家法律、法规等相关规定，制定过程严格按照程序执行。本标准

的编制过程经历了标准编制筹备阶段、标准草案编制阶段（草案讨论、编制、内

部征求意见、修改、再征求意见等环节），制定过程严格按照国家标准制定程序

要求。目前是到征求意见稿的意见征求。本标准的编制严格遵循GB1.1《标准化

中国电子工业标准化技术协会

工作导则——标准的结构和编写》的要求，并使用中国标准编辑器进行文本的编

辑。

二是充分借鉴和吸收国外相关文献和经验。本标准编制过程中，吸收借鉴了

一些国外的技术文献和经验，这些内容虽然没有正式成为国际标准，但已经成为

了业内广泛使用的方法、规范。

三是结合我国国情和实际情况。本标准本着立足于当前云侧AI芯片应用需

求，基于最新的技术方案，着眼于未来的发展，使标准发挥最大的作用。在标准

的技术内容编写上充分考虑了国产云侧AI芯片的特点和可操作性，以便于标准能

够在实际的应用中得到贯彻实施。

2、确定主要内容的依据

本标准是首个关于云侧AI芯片测试方法的标准，并无类似的国际标准可参

考。在编制本标准过程中，工作组参考了国内外AI芯片基准研制组织和测评组织

有关的技术资料。在标准内容确定过程中，先调研、搜集材料（调研对象包括国

内AI芯片研制的各个单位、从事AI芯片研究的单位及用户单位），组织标准编制

单位的专家代表对搜集整理的材料进行讨论、征求意见，同时进行试实验验证所

选基准的合理性和可行性，最终形成本征求意见稿。

3、编制过程中解决的主要问题（做出的贡献）

目前在国内，由于没有统一的标准规范，使得当前对于AI芯片性能的测评并

不一致，基本是各个AI芯片研制单位或用户单位自己根据情况制定测试方案，自

由选择基准程序，测试方式也各不相同。这种情况导致云侧AI芯片性能测试的数

据不具可比性，影响了云侧AI芯片测评的公正性。针对此问题，本标准提出了云

侧AI芯片基准程序测试的规范，借助标准化的手段形成统一的云侧AI芯片评测方

法。

本标准针对云侧AI芯片性能规定了两方面内容，一方面是规范用于测试云侧

AI芯片性能的测试指标；另一方面是规范与之相对应的测试方法。本标准解决了

国内测评工作无标准可依的问题，为测评人员开展云侧AI芯片测评工作提供了参

考。

三、主要试验[或验证]情况分析

本标准附录推荐使用的《通用云侧深度学习芯片测试参数参照表》是经过多

中国电子工业标准化技术协会

次讨论协商确定的。为了保证这些基准的使用的科学性、规范性和可操作性，正

在计划开展针对选定的基准程序的试验验证，以保证每个条款描述都有实验数据

支持。作为验证基准程序的试验样品选自国内主流云侧AI芯片产品，以通过试

验验证，既保证测试的公平性，又尽可能的测试出被测样品的真实性能。

四、知识产权情况说明

本标准不涉及知识产权问题。

五、产业化情况、推广应用论证和预期达到的经济效果

本标准不涉及本类问题。

六、采用国际标准和国外先进标准情况

本标准未采用国际标准和国外先进标准。

七、与现行相关法律、法规、规章及相关标准的协调性

1、本标准内容简述

本标准规定了进行云侧AI芯片性能测试的基本方法和要求。在标准中主要

规定的是云侧AI芯片基准测试的一般原则，在实际的测评中需要针对具体云侧

AI芯片产品应在上述原则指导下制定相应的测试细则。为了便于指导实际测评，

本标准在附录提供了针对各项性能测试推荐采用的模型、数据集。

八、重大分歧意见的处理经过和依据

由于于原标准名称《人工智能芯片测试指标及测试方法》范围较宽泛，在立

项会上专家建议调整为三项标准：《人工智能芯片面向云侧的深度学习芯片测

试指标与测试方法》、《人工智能芯片面向边缘侧的深度学习芯片测试指标与

测试方法》及《人工智能芯片面向端侧的深度学习芯片测试指标与测试方法》。

九、标准性质的建议

建议本标准作为推荐性标准。

十、贯彻标准的要求和措施建议

本标准适合云侧AI芯片的研制单位与用户单位使用，且无涉密内容，建立

公开发行，供国内云侧AI芯片产品评测人员参考。

在标准具体使用中，应配合云侧AI芯片产品相关技术资料的要求确定需要

测试项目，并在本标准中选择相应的测试方法，按照规定开展测试。

建议本标准面向国内云侧AI芯片测评单位或云侧AI芯片研制单位发行。

中国电子工业标准化技术协会

十一、替代或废止现行相关标准的建议

无。

十二、其它应予说明的事项

无。

团体标准《人工智能芯片面向云侧的深度学习芯片

测试指标与测试方法》编制工作组

2019-11-06

中国电子工业标准化技术协会

一、工作简况

1、主要工作过程

为了推进云侧AI芯片测试技术提高，我院组织相关单位共同研制云侧AI芯片

测试标准，自2019年4月起至今已经召开了3次正式研讨会以及多次电话会议等,

会议贯穿了标准编制启动至标准草案的意见征求，参加会议的单位有来自华为技

术有限公司、清华大学、中国科学院计算技术研究所、上海熠知电子科技有限公

司、上海依图网络科技有限公司、北京中科寒武纪科技有限公司、中国电子科技

集团公司第五十八研究所、北京智芯微电子科技有限公司、北京地平线机器人技

术研发有限公司等单位的代表。本标准于2019年10月初完成了初稿，11月初形成

了征求意见稿。

3、标准编制的主要成员单位及其所做的工作

本标准由中国电子技术标准化研究院牵头组织编制，参与标准编制的成员单

位有华为技术有限公司、清华大学、中国科学院计算技术研究所、上海熠知电子

科技有限公司、上海依图网络科技有限公司、北京中科寒武纪科技有限公司、中

国电子科技集团公司第五十八研究所等单位的代表。中国电子技术标准化研究院

负责标准化工作的组织、协调和标准文本的编制工作。其他成员单位提供了标准

所涉及的技术内容的材料，并全程参与了技术细节的讨论。

二、标准编制原则和确定主要内容的论据及解决的主要问题

1、编制原则

在编制标准过程中，遵循了以下三项原则。

一是遵循国家法律、法规等相关规定，制定过程严格按照程序执行。本标准

的编制过程经历了标准编制筹备阶段、标准草案编制阶段（草案讨论、编制、内

部征求意见、修改、再征求意见等环节），制定过程严格按照国家标准制定程序

要求。目前是到征求意见稿的意见征求。本标准的编制严格遵循GB1.1《标准化

中国电子工业标准化技术协会

工作导则——标准的结构和编写》的要求，并使用中国标准编辑器进行文本的编

辑。

二是充分借鉴和吸收国外相关文献和经验。本标准编制过程中，吸收借鉴了

一些国外的技术文献和经验，这些内容虽然没有正式成为国际标准，但已经成为

了业内广泛使用的方法、规范。

三是结合我国国情和实际情况。本标准本着立足于当前云侧AI芯片应用需

求，基于最新的技术方案，着眼于未来的发展，使标准发挥最大的作用。在标准

的技术内容编写上充分考虑了国产云侧AI芯片的特点和可操作性，以便于标准能

够在实际的应用中得到贯彻实施。

2、确定主要内容的依据

本标准是首个关于云侧AI芯片测试方法的标准，并无类似的国际标准可参

考。在编制本标准过程中，工作组参考了国内外AI芯片基准研制组织和测评组织

有关的技术资料。在标准内容确定过程中，先调研、搜集材料（调研对象包括国

内AI芯片研制的各个单位、从事AI芯片研究的单位及用户单位），组织标准编制

单位的专家代表对搜集整理的材料进行讨论、征求意见，同时进行试实验验证所

选基准的合理性和可行性，最终形成本征求意见稿。

3、编制过程中解决的主要问题（做出的贡献）

目前在国内，由于没有统一的标准规范，使得当前对于AI芯片性能的测评并

不一致，基本是各个AI芯片研制单位或用户单位自己根据情况制定测试方案，自

由选择基准程序，测试方式也各不相同。这种情况导致云侧AI芯片性能测试的数

据不具可比性，影响了云侧AI芯片测评的公正性。针对此问