GB/T 45087-2024人工智能服务器系统性能测试方法

ICS35160

CCSL.61

中华人民共和国国家标准

GB/T45087—2024

人工智能服务器系统性能测试方法

Artificialintelligence—Performancetestingmethodsforserversystems

2024-11-28发布2024-11-28实施

国家市场监督管理总局发布

国家标准化管理委员会

GB/T45087—2024

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

缩略语

4……………………3

测试模式

5…………………4

封闭模式

5.1……………4

开放模式

5.2……………4

训练性能测试

6……………4

测试过程

6.1……………4

训练测试要求

6.2………………………5

训练测试结果

6.3………………………6

测试场景

6.4……………7

测试场景配置要求

6.5…………………11

指标项及测试方法

6.6…………………12

训练用测试系统要求

6.7………………16

推理性能测试

7……………17

测试过程

7.1……………17

推理测试要求

7.2………………………17

推理测试结果

7.3………………………18

测试场景

7.4……………18

场景配置要求

7.5………………………24

指标项及测试方法

7.6…………………24

推理用测试系统要求

7.7………………29

附录资料性人工智能服务器系统性能测试工具示例

A()……………31

附录规范性训练测试要求

B()AUTOML……………32

训练要求

B.1……………32

训练结果日志要求

B.2…………………32

附录规范性测试代码公开规则

C()……………………33

通则

C.1…………………33

训练测试代码公开规则

C.2……………33

推理测试代码公开规则

C.3……………33

附录资料性测试场景类型说明

D()……………………35

图像识别

D.1……………35

Ⅰ

GB/T45087—2024

物体检测

D.2……………35

语义分割

D.3……………35

推荐

D.4…………………35

自然语言处理

D.5………………………35

语音识别

D.6……………35

光学字符识别

D.7………………………36

人脸识别

D.8……………36

多模态

D.9………………36

附录资料性能效及效率指标项和测试方法

E()………37

训练

E.1…………………37

推理

E.2…………………38

参考文献

……………………40

Ⅱ

GB/T45087—2024

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

本文件由全国信息技术标准化技术委员会提出并归口

(SAC/TC28)。

本文件起草单位中国电子技术标准化研究院华为技术有限公司浪潮电子信息产业股份有限公

:、、

司英特尔中国有限公司平头哥上海半导体技术有限公司科大讯飞股份有限公司新华三信息技

、()、()、、

术有限公司超威半导体产品中国有限公司北京航空航天大学中科寒武纪科技股份有限公司南京

、()、、、

南瑞瑞腾科技有限责任公司中国南方电网有限责任公司超高压输电公司石化盈科信息技术有限责任

、、

公司中国电信股份有限公司广东研究院上海燧原科技股份有限公司中国科学院软件研究所北京壁

、、、、

仞科技开发有限公司上海阡视科技有限公司上海超级计算中心上海文鳐信息科技有限公司美的集

、、、、

团上海有限公司国科础石重庆软件有限公司上海人工智能研究院有限公司四川华鲲振宇智能

()、()、、

科技有限责任公司深圳鲲云信息科技有限公司中国铁建股份有限公司中铁第五勘察设计院集团有

、、、

限公司西南科技大学

、。

本文件主要起草人董建徐洋张琦王莞尔曹晓琦黄剑彬梁朝明鲍薇吴韶华王海宁

:、、、、、、、、、、

林晓东马珊珊高慧张艺伯陶玉梅杨雨泽郑会平刘如冰李岚泊纪拓栾钟治程归鹏黄现翠

、、、、、、、、、、、、、

牧军石超叶珩王宁刘东庆李先绪师春雨梅敬青孟令中丁瑞全程秋林吴庚郁华真张丹丹

、、、、、、、、、、、、、、

仲凯韬任沛傅欣杰胡艳玲宋海涛白士玉刘东栾丽红李栋郑中俞文心

、、、、、、、、、、。

Ⅲ

GB/T45087—2024

引言

人工智能服务器系统包含人工智能服务器集群和高性能计算设施等形态是各类深度学习模型

、,

包含大规模预训练模型训练和推理的核心载体是各行业应用人工智能技术提高生产效率的核心工

(),

具人工智能服务器系统专为处理人工智能计算任务设计在架构运算方式和用途用法上与通用服

。,、,

务器系统有较大差别其测试过程负载和指标等皆有独特性本文件提出人工智能服务器系统性能

,、,。

基准测试的方法并对基准测试工具的功能和公平性提出要求

,。

本文件的发布机构提请注意声明符合本文件时可能涉及与人工智能服务器系统性

,,7.4.2、7.7.1

能测试方法相关专利的使用

。

本文件的发布机构对于该专利的真实性有效性和范围无任何立场

、。

该专利持有人已向本文件的发布机构承诺他愿意同任何申请人在合理且无歧视的条款和条件

,

下就专利授权许可进行谈判该专利持有人的声明已在本文件的发布机构备案相关信息可以通过以

,。,

下联系方式获得

。

专利持有人中国电子技术标准化研究院

:

地址北京市东城区安定门东大街号

:1

请注意除上述专利外本文件的某些内容仍可能涉及专利本文件的发布机构不承担识别专利的

,。

责任

。

Ⅳ

GB/T45087—2024

人工智能服务器系统性能测试方法

1范围

本文件界定了服务器系统性能测试模式描述了人工智能服务器系统训练性能和推理性能测试

,

方法

。

本文件适用于人工智能服务器系统的性能测试与评价

。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

信息技术人工智能术语

GB/T41867—2022

3术语和定义

界定的以及下列术语和定义适用于本文件

GB/T41867—2022。

31

.

被测系统systemundertest

处理测试者给出的测试作业并返回符合要求结果的系统

,。

注被测系统由人工智能服务器系统硬件算子实现库机器学习框架软件模型编译组件和其他必要软硬件组成

:、、、。

32

.

被测者testedparty

提供被测系统和测试信息并协助测试实施的机构或个人