分布式计算 算力度量方法 征求意见稿

1分布式计算算力度量方法本文件规定了分布式计算的算力度量参数，描述了分布式计算算力GB/T25000.23-2019系统与软件工程系统与软件质量要求和评价(SQuaREGB/T42018-2022信息技术人工智能平台计算资源GB/T41780.1-2022物联网边缘计算第1部分：通用GB/TAAAA-20XX分布式计算计算设GB/TCCCC-20XX分布式计算算2将数据和相关的计算处理分布在两个或更多计算节点并能够调度的信息系能够执行算术运算、逻辑判断、数据处理、存储和检索等通4缩略语3CPU：中央处理器（CentralProcessingDPDK：数据平面开发套件（DataPlanFIB：转发信息库（ForwardInformationBFLOPS：每秒浮点运算次数（FloatingPointOperationsperSFPGA：现场可编程门阵列（Field-ProgrammableGateArraGPU：图形处理器（GraphicsProcessingIOPS：每秒输入输出量（Input/0utputOpIPsec：为IP网络提供安全性的协议和服务的集合（InternetReLU：整流线性单元（RectifiedLinear5概述静态算力度量方法及动态（运行时）算力度量…宽…4…数据处理初始资源信息包含计算配置、计算能力峰计算配置包含计算单元个数、计算核心数、计算单b)计算单元每秒浮点运算次数峰值（例如5b)计算单元每秒浮点运算次数均值（例如6数据存储初始资源信息通过操作系统命令或从设备网7Tb)计算被度量设备中的分布式基准程序的理论操作次数，理论操作次数计算见附录动态计算是指在真实环境中通过运行典型应用场景下基准测试程序来评估分布式计算设备的综合8d)所有被度量设备应选择相同的专用计算任务作b)计算基准程序理论操作次数,理论操作次数计算见附a)在标准环境下按6.2.1、6.3.1、6.4.1、92)被度量系统为板卡的，将板卡挂载到主机，度量程序部4)被度量系统为云服务的，度量程序部署在云分布式计算环境下单个设备除操作系统外无任何执行程序时，设备算力可通过对设备各项初始资源信息参数进行熵值法定权、进而加权求和的方法进行度量。具体度量方法公式3给出的方法形成二级度量参数向量Xv；-1v分布式计算环境下单个设备存在执行程序时，设备算力可通过对设备各项动态算力度量参数进行熵值法定权，进而加权求和的方法进行度量。具体度量量量量量量按公式3给出的方法形成二级度量参数向量Xv；…内存通道数；专用计算单元内存容量剩余量存主频、专用计算单元内存带宽剩余量、专1态算力可通过对系统内设备的各项初始资源信息参数累加进行AHP法定权，进而加权求和的方法进行收集各设备的初始资源信息二级参数，按公式3给出的方法ve)结合b)中所确定的二级参数权重w，按公式10对Ev的各项二级参数算力度量值进行加权求f)将协同计算特征初始资源信息参数追加到Rv中，结合a)中所确定的一级参数初始资源信息权分布式计算系统内存在执行程序时，系统动态算力可通过对系统内设备的各项运行时算力度量参数累加进行AHP法定权，进而加权求和的方法收集协同计算初始资源信息，按公式4给出的方法形成二级度量参数向量Xv；始资源信息v的度量值Rv；1A.1动态计算特征测试流程e)专用计算任务运行完毕后，记录执行时A.2协同计算初始资源信息测试流程f)分布式专用计算任务操作次数与执行时间按的方法计算协同1c)使用深度优先遍历抽象语法树，计算a）中实现的程序运行至结HO——输出高度；矩阵A和矩阵B的矩阵乘法操作数MatMul按公式B.7给出的方法计算。MatMul=H×L×H×W················(B.7)Mul=(H×W)/2·················(B.8)前向传播嵌入层操作数Embed按公式B.9给出的方法Embed=nctx×nvocab×dmodel···············(B.9)nctx——上下文/序列的长度；nvocab——dmodel——残前向传播自注意力层QKV操作数Aqkv按公式B.Aqkv=3×nlayer×dmodel×(dknlayer——自注意力层数；dkeys——键、查询和值投影维度；nheads——自注意力层中注意力头的个数。前向传播自注意力层Mask操作数Amask按公式B.11给出的方法前向传播自注意力层Project操作数Aproject按公式B.12给出的方法计算。Aproject=nlayer×dkeys×nheads×dmodel·········1前向传播Feedforward层操作数Feedfw按公式B.13给出的方法计算。前向传播去嵌入层操作数Dembed按公式B.14给出的方法计算。Dembed=dmodel×nvocab················(B.14)前向传播Transformer操作数Transf按公式B.15给出的反向传播卷积层操作数BCL按公式B.1反向传播Transformer操作数BTransf按公式B.19给出的方a)采用图像分类模型作为基准模型（典型模型如Res）；）；a)采用实例分割模型作为基准模型（典型模型如MaskR-CNNb)使用基准数据集训练（典型数据集如MSCOCO7)）；a)采用语义分割模型作为基准模型（典）；b)使用基准数据集训练（典型数据集如KiTS199)1)MaskR-CNN(MaskRegion-basedConvolutionalNeuralNetwork)模型可在https://github./vision/blob/main/torchvision/models/detection/mask_rcnn.py处获得。2)ImageNet数据集可在/challenges/LSVRC/2012处获得。3)MaskR-CNN(MaskRegion-basedConvolutionalNeuralNetwork)模型可在/pytorch/vision/blob/main/torchvision/models/detection/mask_rcnn.py处获得。4)MSCOCO(MicrosoftCommonObjectsinContext)数据集可在处获得。5)3DU-Net模型可在/mlcommons/training/blob/master/image_segmentation/pytorch-/model/unet3d.py处获得。6)KiTS19数据集可在/neheller/kits19处获得。2a)采用目标检测模型作为基准模型（典型模型如YOLO）；b)使用基准数据集训练（典型数据集如MSa)采用自然语言处理模型作为基准模型（典型模型如BERT1）；b)使用基准数据集训练（典型数据集如Wikipedia12)）；a)采用语音识别模型作为基准模型（典型模型如RN）；b)使用基准数据集训练（典型数据集如LibriSpeech14)）；a)采用推荐系统模型作为基准模型（典型模型如DLRM）；）；7)YOLOV3(YouOnlyLookOnce)模型可在/ultralytics/yolov3处获得。8)BERT(BidirectionalEncoderRepresentationfromTransformer)模型可在/google-research/bert处获得。9)Wikipedia数据集可在处获得。10)RNN-T(RecurrentNeuralNetworkTransducer)模型可在/mlcommonstree/master/rnn_speech_recognition/pytorch/rnnt处获得。11)LibriSpeech数据集可在处获得。12)DLRM(DeepLearningRecommendationModel)模型可在/facebookresearch/dlrm处获13)1TBClickLogs数据集可在/download-criteo-1tb-click-logs-dataset处获b)使用测试人员指定的基准数据集训练；213579