(高清版)GBT 41779-2022 高性能计算机系统能效测试方法

高性能计算机系统能效测试方法2022-10-12发布IGB/T41779—2022本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。本文件起草单位：曙光信息产业(北京)有限公司、曙光数据基础设施创新技术(北京)股份有限公司、中国计量科学研究院、兰州理工大学、中国电子技术标准化研究院、北京工翔科技有限公司、国家节能中心、北京亦庄智能城市协同创新研究院有限公司、国家电网公司信息通信分公司、阿里云计算有限公司、清华大学、中通服建设有限公司、山东省计算中心、北京大学、杭州万泰认证有限公司、国家发展和改革委员会能源研究所、中国石油天然气股份有限公司勘探开发研究院、中科赛能(北京)科技有限公司、北京节能环保中心、中国科学院电工研究所、中国科学院计算机网络信息中心、北京金茂绿建科技有限公司、北京科计通电子工程有限公司、北京领智信通节能技术研究院、润和世联数据科技有限公司、中国石油天然气股份有限公司吉林石化数据中心分公司、中国建设银行股份有限公司、北京纳源丰科技发展有限公司、联想(北京)信息技术有限公司、曙光数创电子设备科技发展(青岛)有限公司、北京通和实益电信科学技术研究所有限公司、建信金融科技公司、山东正云信息科技有限公司、北京林业大学。1高性能计算机系统能效测试方法本文件给出了高性能计算机系统能效的计算公式，描述了高性能计算机系统能效测试的方法。本文件适用于高性能计算机系统能效测试，可用于分析高性能计算机系统的能效状况，供高性能计算机系统的研发、测试、生产等参考使用。本文件提出的高性能计算机系统能效值可作为评价高性能计算机系统能效水平的参数。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T32910.3—2016数据中心资源利用第3部分：电能能效要求和测量方法3术语和定义下列术语和定义适用于本文件。同时使用多个计算节点，用于处理大量数据或解决大规模数值计算问题的计算机系统。注：高性能计算系统由计算子系统、存储子系统、网络子系统以及冷却子系统等组成。计算子系统computingsubsystem高性能计算机系统(3.1)中由若干管理节点(3.3)、计算节点(3.4)组成负责数值运算的子系统。管理节点managementnode负责管理软件运算的基础计算单元。计算节点computingnode负责浮点数值运算的基础计算单元。网络子系统networksubsystem高性能计算机系统(3.1)中负责通信的子系统。存储子系统storagesubsystem高性能计算机系统(3.1)中负责数据存储的子系统。冷却子系统coolingsubsystem高性能计算机系统(3.1)中负责提供计算机工作环境制冷的子系统。2FLOPS每秒所执行的浮点运算次数。注：用于评价高性能计算机系统计算能力。tion维持高性能计算机系统(3.1)正常运行所消耗的所有电能总和。高性能计算机系统能源使用效率highperformancecomputersystemenergyefficiency高性能计算机系统能效HPCEE高性能计算机系统(3.1)的实测每秒浮点运算次数(3.8)与同一时段内系统相应总电能消耗量之比。LU分解LUfactorization在线性代数中矩阵分解的一种，将一个矩阵A分解为一个单位下三角矩阵L和一个上三角矩阵U下列缩略语适用于本文件。GPU:图形处理器(GraphicsProcessingUnit)MIC:多重整合核心架构(ManyIntegratedCore)5HPCEE高性能计算机系统一般由计算子系统、存储子系统、网络子系统以及冷却子系统等组成。计算子系统一般由管理节点、计算节点组成。计算节点包括普通计算节点(如刀片式服务器)和加速计算节点(如含GPU、MIC等的服务器)。高性能计算机节点数应大于或等于10个节点，宜在50个节点以上，节点总数无上限。高性能计算机系统能效测试应包括该系统的计算能力测试和相应系统耗电量测试两部分。高性能计算机系统计算能力通过FLOPS来衡量。计算能力应选取适当的软件测试程序对高性能计算机系统的整体浮点运算性能进行测试。高性能计算机系统能效通过HPCEE来衡量，HPCEE为系统计算能力与相应耗电量之比，其计算公式见公式(1):HPCEE=R/P……(1)R——实测每秒浮点运算次数的值；P——平均功率，单位为瓦特(W);HPCEE——高性能计算机系统能效。在测量高性能计算机系统能效时，耗电量的测量应包括测试同期内所有运行子系统的能耗。36测试环境高性能计算机系统在进行能效测试时，应满足如下环境条件：a)温度：18℃~40℃;b)相对湿度：35%～80%(不应结露);7计算能力测试框架7.1测试方案设计高性能计算机系统的计算能力应通过采用高斯消元法求解一元N次稠密线性代数方程组的方法进行测试。应选取适当的软件测试程序对高性能计算机系统的整体浮点运算性能进行测试。软件测试程序应通过采用高斯消元法求解一元N次稠密线性代数方程组以评估整体浮点运算性能。具体测试方案如下：a)使用随机数初始化得到一元N次稠密线性代数方程组Ax=b;b)指定方程组按公式(2)计算得出求解方程组总浮点运算次数； (2)式中：N——一元N次稠密线性代数方程组的次数；M——该方程组的总浮点运算次数。c)按照7.2的架构设计要求编写程序对方程组求解，并记录总求解时间t;d)用总浮点运算次数M除以总求解时间t,即可得到系统的FLOPS。7.2求解程序架构设计高性能计算机系统计算能力测试程序可按照此框架设计要求自行编写。测试程序应包含如卜内容：a)初始化测试程序应使用随机数初始化得到一元N次稠密线性代数方程组Ax=b,依据公式(2)计算得到总浮点运算次数M并记录。b)方程组求解测试程序应采用高斯消元法，求解初始化后的一元N次稠密线性代数方程组Ax=b。求解过程应分为两个步骤，分别是：将维度为N的矩阵A进行LU分解和求解三角系统。1)LU分解应分为以下步骤：●将矩阵A分解如公式(3):NB),Lu和Lz₂为下三角矩阵，U₁和U₂₂为上三角矩阵。●将公式(3)进行分解计算得：4●将公式(5)变换得到：L₂₁=A₂₁×U-l………………………●将公式(6)变换得到：●将公式(7)变换得到：A₂₂-L₂₁×U₁₂=Lz₂×U²₂……………(10)重复执行上述分解步骤，直至整个矩阵A全部完成LU分解。注：测试程序设计可将矩阵A进行适当分块，并分布至高性能计算机系统的不同的计算节点，进行分布式LU分解。2)求解三角系统应分为以下步骤：●矩阵A的LU分解完成之后，得到公式(11):设y=Ux带入公式(11),得到公式(12):设y=Ux带入公式(11),得到公式(12):求解三角系统公式(12),得到线性代数方程组的解x,即完成一元N次稠密线性代数求解三角系统公式(12),得到线性代数方程组的解x,即完成一元N次稠密线性代数方程组Ax=b的整体求解过程。c)测试时间记录与FLOPS结果输出测试程序应记录高性能计算机系统对方程组求解的总时间t,用总浮点运算次数M除以总求解时间t计算得到系统的FLOPS并输出。7.3测试运行要求测试运行要求如下：a)进行高性能计算机系统能效测试应采用双精度浮点进行计算；b)计算能力测试应连续进行5轮，每轮测试结果及相关信息应按照8.2的要求进行记录；c)一元N次稠密线性代数方程组计算规模N应使得每轮测试实际求解计算时间≥30min。注：高性能计算机系统计算能力测试程序亦可选用TOP500高性能计算机排名所使用的线性系统软件包(Lin-pack)。8测试实施8.1概述高性能计算机系统能效测试是在系统运行计算能力测试程序的同时，使用电能计量仪表对高性能计算机系统的能耗进行同步测量和记录。HPCEE测试方法含测试设备、测试点的选择、测试过程、测试结果记录4个部分。58.2测试设备测试设备要求如下：a)电能测试仪表精度要求应符合GB/T32910.3—2016中7.2的要求；b)温度计的测试精度不大于0.5℃,测试范围为一50℃~100℃;c)湿度计的测试精度不大于2%,测试范围为0%～100%。8.3电能消耗测试点高性能计算机系统总电能消耗测试点应位于图1中测试点A。计算子系统计算子系统网络了系统存储子系统切换开关管理子系统冷却子系统其他辅助设备备用发电机配电系统市电A图1高性能计算机系统电能消耗测试点8.4电能消耗测试过程高性能计算机系统电能消耗测试过程如下。a)测试准备阶段：调试电能表，启动高性能计算机系统，测量系统所在地室外大气环境温度和湿度。判断测试环境是否满足测试条件。按照9.1的要求记录空载能耗。b)计算能力测试：设定求解计算过程所需的方程组规模N并记录，执行计算能力测试程序对高性能计算机系统FLOPS进行测量，记录测试开始及结束时间以及该时段内系统所消耗的电能。c)重复进行步骤b)计算能力测试5次，记录每轮相应测试结果。8.5HPCEE测试结果记录在HPCEE测试过程中，记录系统进行计算能力测试的计算时长和相应系统电能消耗。记录的示例见表A.1。高性能计算机系统的公式(1)中参数R应为计算能力测试程序输出结果。通过表B.1中平均功率P和实测值R,按照公式(1)计算可得HPCEE数值。注：HPCEE测试记录表见附录A,HPCEE的能效分级见附录B。9披露要求9.1空载能耗披露HPCEE时应同时包含系统空载能耗信息，即系统开展计算能力测试前以及测试完成后，各进6行一次时长为30min的系统空载能耗测试，空载功率记录表参照附录A进行记录。注：空载待机状态是指参与计算能力测试的所有子系统都已全部开机，但不运行计算能力测试程序的状态。采用命令Qstat或者Sinfo可查询到所有节点状态标识为idle。9.2测试效率测试效率为实测值R与理论峰值Rmx之比，其中理论峰值按公式(13)计算：Rmx=芯片主频×单指令周期浮点操作数×核心数 计算性能测试效率记录表参照附录A进行记录。7GB/T41779—2022(资料性)测试记录表格示例HPCEE测试记录表、空载功率记录表、计算性能测试效率记录表示例见表A.1、表A.2和表A.3。表A.1HPCEE测试记录表测试次序测试程序计算规模N开始时间点结