T-SHSIC 0101-2023 智算中心算力性能评估测试方法

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

35.240学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载CCS

L70团 体 标 准

0101智算中心算力性能评估测试方法

Performance

Evaluation

Test

of

20230614

20230630

上海市通信学会

学ｗｗ．ｂｚｆｘｗ．ｃｏｍ标准兔兔ｗ下载学ｗｗ．ｂｚｆｘｗ．ｃｏｍ标准兔兔ｗ下载学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载目次

..............................................................................

................................................................................

......................................................................

..........................................................................

............................................................................ 4.1

.................................................................... 4.2

.................................................................... 4.3

.................................................................... 4.4

.................................................................... 4.5

....................................................................

.................................................................... 5.1

........................................................................ 5.2

............................................................................ 5.3

..........................................................................

................................................................... 106.1

....................................................................... 106.2

....................................................................... 11

..................................................................... 137.1

..................................................................... 137.2

................................................................... 137.3

................................................................... 14

................................................................... 158.1

..................................................................... 158.2

................................................................... 168.3

................................................................... 17

....................................................................... 189.1

............................................................... 189.2

................................................................. 209.3

................................................................... 21

.................................. 23............................................................................. 24学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载T/SHSIC

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载前 言

1.1—2020

本文件起草单位：中国电信股份有限公司上海分公司、上海超级计算中心、上海华东电信研究院、上海邮电设计咨询研究院有限公司、华为技术有限公司、上海大学、中国移动通信集团上海有限公司、继、沈阳、曹晓琦、童维勤、李康童、肖晴、姜恺、王思善、朱方、郑荣、代小菊、徐钰峰、朱云峰、上海邮电设计咨询研究院有限公司、华为技术有限公司、上海大学、中国移动通信集团上海有限公司、学ｗｗ．ｂｚｆｘｗ．ｃｏｍ标准兔兔ｗ下载学ｗｗ．ｂｚｆｘｗ．ｃｏｍ标准兔兔ｗ下载学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载智算中心算力性能评估测试方法

intelligent

computing

centerAI

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

PaaS

3.10

a) b)c)测试用例算法模型和数据集由测试者根据目标选择，封闭模式使用业界公开的算法模型和数开放d)

1)•••2)学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载••

•3)• ••

1) 2) 3)训练测试过程中，对已实现的指标测量函数或测试流程控制函数实施改动、继承或重载4)••

•

••5)6)

1)• •• 2)•• •

•3)• ••4)

不发送兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下学载

兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下学载••

1)2)•••••

4.2.2b

1)2)3)

epoch

epoch

HH:mm:ss]–

4) 5)

−λ

k

k)

𝜆𝜆

𝜆𝜆

5s-10s10

ｏｍ标准学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃ下载

ｏｍ标准学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃ下载

1)•••2)• • •• 3)••学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载•

1) • • •• 2)••测试前，除数据集封装格式转化外，不应浏览或记录数据、修改数据（非预处理）、•

1) 2)3)

1)2)

]–[1)2)

3)4)学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载5)

节对智算中心的算力资源管理能力进行评估，主要评估被测试者的算力加速卡支持的虚拟化分片方式、分布式聚合方式及资源管理的开放程度，第节对智算中心的生态支持能力进行评估，主要评a)b)要求被测试者提供支持方式的评估项，应可在测试环境中进行验证，测试环境可由测试者准c)d) e)

a)b)c)d) e)f)

𝑇𝑇dtype

𝐾𝐾

.................................

𝑇𝑇dtype

FP16T——学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载K——

）单柜测试：使用一个机柜中的所有服务器系统中的所有加速卡实施计算，单柜测试可扩展到更

）使用被测系统向智能计算应用提供的张量计算的算子，进行一次或多次的矩阵（稠密矩阵或稀）当测试对象为单机或单柜时，使用被测系统向智能计算应用提供的通信功能，进行必要的并行15OPS

功耗是指在第5.1节峰值算力测试场景下，人工智能加速卡、服务器系统或整机柜单位时间内所消Np0

p1pN+1N𝑃𝑃

𝑃𝑃

1

Ni=1𝑝𝑝i

..................................

兔ｗｗｗ．ｂｚｆｘｗ学兔．ｃｏｍ标准下载

兔ｗｗｗ．ｂｚｆｘｗ学兔．ｃｏｍ标准下载

1%10

-6

OPSdtypeOPSdtype

.............................

MSa/s

BMC

）测试对象为单卡、单机或单柜；单卡功耗指单个加速卡的功耗，单机功耗指单个服务器系统的

速卡𝑆𝑆𝑝𝑝Sp

pOPSdtypedtype

a) b)c) 学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

1

2,,…N,}average−epochtrain

指一次完整的训练过程中，被测系统所消耗的功耗，训练功耗单位为瓦（）。取多次训练测得训

a)b)

a) TensorFlowONNXb) c) d)FP16FP32

a) b)

．ｂｚｆｘｗｗｗ．ｃ兔ｗ学兔ｏｍ标准下载

．ｂｚｆｘｗｗｗ．ｃ兔ｗ学兔ｏｍ标准下载 FP16FP32

𝑇𝑇𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑇𝑇𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑠𝑠ℎ𝑇𝑇𝑠𝑠𝑠𝑠𝑠𝑠𝑓𝑓𝑓𝑓

𝑇𝑇𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑠𝑠ℎ

𝑇𝑇𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑇𝑇𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒ℎ𝑓𝑓𝑇𝑇𝑠𝑠𝑎𝑎𝑒𝑒𝑠𝑠𝑠𝑠𝑎𝑎𝑒𝑒−𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒ℎ）为一次训练任务的时间。执行次，去除最高值和最低值，计算平均值，得到

𝑇𝑇𝑠𝑠𝑠𝑠𝑠𝑠𝑓𝑓𝑓𝑓

Ttraini

）中，通过配套的功率计，测量训练任务消耗的功耗。执行

train

Ptraini

推理学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

率、准确率、F1-score（精确率和召回率的调和平均数）等；自然语言处理场景的BLEU

）开放模式：使用被测者提供的自定义算法模型，样本数据使用自定义数据集。应明确被测模型

要求披露被测系统服务器规格，包括处理器型号，CPU核数、内存容量等；算力芯片规格，包括芯

TensorFlowONNXINT8FP16

ｚｆｘｗ．ｂ．ｃ学兔兔ｗｗｗｏｍ标准下载

ｚｆｘｗ．ｂ．ｃ学兔兔ｗｗｗｏｍ标准下载

𝑇𝑇𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑇𝑇𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑠𝑠ℎinference

finish

startTinference

Tinference

P

...............................P

...............................

OPSdtypedtype

5.15.2节测试方法，分别测试单卡、单机、单柜的峰值算力，记录峰值算力值，

ｗｗ．ｂｚｆｘｗ．ｃ学兔兔ｗｏｍ标准下载���

EDIT

.......................................

Thｗｗ．ｂｚｆｘｗ．ｃ学兔兔ｗｏｍ标准下载���

EDIT

.......................................

Th�

�∏

sThτss

τs (6)

载下，总耗电量与信息设备耗电量的比值。它用来衡量智算中心的电能利用效率。PUE𝑃𝑃𝑃𝑃𝑃𝑃

EDDDIT

GB

GB

吞吐images/ssentences/s合有Ths

S

Ths

为基线吞吐率的加速卡型号及相应的人工智能服务器系统的具体配置环境，以便测试结果可以横向对

兔学兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

兔学兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

a)

b)

*c)

Ths

Thsd)

(6)

给定的标准模型计算任务，比较切分后的实际吞吐量和切分前的人工智能加速卡（服务器）的吞吐量。

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载1)2)3)1)2)3)1) 2)3)

在服务器集群场景中，为提高资源利用率、应用安全性和可移植性，需要支持容器化部署及K8S

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

a)

1) 2) 3) 6.14)5)b)

1)2) 3) 4) 5)

应能提供当前算力设备的运行状态信息采集接口，包括卡运行温度、功率、CPU

利用率、加速卡

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

学兔兔ｗｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载CPU/

a)

b)

c)

d)

Docker

a)

用于软件开发；b)c)

C++

支持用户开发；d) 编译工具链支持，是否提供编译工具链包含编译器、调试和分析工具，对用户程序进行编译、e)

Send/Recv

g)

PythonC++

PaddlePaddleMindSpore

a)

b)

c)

SNa)

b)

a)

b)

Sample

samplea)

b)

blas

a)

b)

a)

b)

a)

sampleb)

a)

b)

兔ｗ兔学ｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载

兔ｗ兔学ｗｗ．ｂｚｆｘｗ．ｃｏｍ标准下载模型

ONNXa)

b)

c)

a)

b)