半导体集成电路 中央处理器（CPU）性能技术规范 征求意见稿

1GB/TXXXX-XXXX半导体集成电路中央处理器（CPU）性能技术规范本文件规定了通用中央处理器性能测评的技术要求和方法。本文件适用于通用中央处理器性能的测试与评估。2规范性引用文件本文件无规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1基准测试benchmarking通过设计科学的测试方法、测试工具和测试系统，对一类测试对象某项性能指标进行定量的、可对比的测试。测试负载workload模拟真实应用程序进行测试的代码。基准工具benchmarktool用于建立性能基准并评估性能的软件。测试套件testsuite测试负载的集合。参考机器referencemachine在此机器上运行每个测试负载，用于建立每个测试负载的基准值。运行框架framework基准工具的基础架构，包括预定义的类和方法及必要的库文件，以支持工具的开发和维护。配置文件config配置测试所需信息的文件。计算密集compute-intensive主要依赖计算资源，而非磁盘或网络的任务。访存密集memory-intensive主要依赖内存访问，而非磁盘或网络的任务。24缩略语下列缩略语适用于本文件。CPU：中央处理器（CentralProcessingUnit）SUT：被测系统（SystemUnderTest）ANSI：美国国家标准学会（AmericanNationalStandardsInstitute）ISO：国际标准化组织（InternationalOrganizationforStandardization）API：应用程序编程接口（ApplicationProgrammingInterface）FAQ：常见问题（FrequentlyAskedQuestions）CSV：逗号分隔值（Comma-SeparatedValues）PDF：便携式文档格式（PortableDocumentFormat）HTML：超文本标记语言（HyperTextMarkupLanguage）TXT：文本文件（TextFile）JDK：Java开发工具包（JavaDevelopmentKit）5工具设计原则5.1正确性具备对测试负载运行结果的校验功能，确保测试结果的真实有效。（比如，在文件中提供测试负载的预期运行结果作为校验数据，用于对实际运行结果进行校验）5.2真实性测试负载来源于的真实业务场景，每个测试负载至少提供一种数据集。5.3稳定性基准工具运行稳定，无异常闪退、中断等情况。在相同测试条件下，测试套件多次测试应有相似的测试结果，3次连续运行的分数波动小于1%。5.4兼容性a）处理器架构兼容：支持x86_64、AArch64、Loongarch64、SW_64、RISC-V等处理器架构；b）操作系统兼容：支持基于Linux的桌面端/服务器端的操作系统；c）编译器兼容：支持满足C17、C++17、Fortran2008、Java17语言规范的编译器。5.5公平性a）跨平台测试没有倾斜性，优化手段通用；b）禁止使用汇编实现性能相关的测试代码。5.6易用性a）支持单机运行：基准工具能够独立运行，依赖软件较少；GB/TXXXX-XXXX3b）运行时长适中：方便快速搭建测试环境和获取测试结果。5.7全面性基准工具中的测试负载应来源于不同的主流应用场景，能够全面覆盖处理器的各类性能维度，考察处理器不同特征。5.8优化措施5.8.1允许措施a）优化手段通用且商用；b）对于ANSI/ISO编程语言规范中提供的可选优化库或函数，允许通过编译选项启用。5.8.2禁止措施a）禁止通过特殊手段替换测试负载中的实现函数，导致运行代码不是基准的默认实现，获得不公平分数。（比如，使用自定义的API替换测试负载中的实现函数）b）禁止在单个测试负载中使用优化后的库函数，且不能预置计算结果。6性能评估指标6.1单核整型性能处理器单个核心运行整型测试套件的性能分数。——整型负载于参考机器运行的时长[单位：秒(s)]除以整型负载于SUT运行的时长[单位：秒(s)]得到比值ratio，计算测试套件内所有整型负载ratio的几何平均值6.2单核浮点性能处理器单个核心运行浮点测试套件的性能分数。——浮点负载于参考机器运行的时长[单位：秒(s)]除以浮点负载于SUT运行的时长[单位：秒(s)]得到比值ratio，计算测试套件内所有浮点负载ratio的几何平均值6.3多核整型性能处理器多个核心协同运行整型测试套件的性能分数。——整型负载于参考机器运行的时长[单位：秒(s)]除以整型负载于SUT运行的时长[单位：秒(s)]得到比值ratio，比值ratio乘以运行的副本数，计算测试套件内所有整型负载的ratio与副本数乘积后的几何平均值。6.4多核浮点性能处理器多个核心协同运行浮点测试套件的性能分数。4——浮点负载于参考机器运行的时长[单位：秒(s)]除以浮点负载于SUT运行的时长[单位：秒(s)]得到比值ratio，比值ratio乘以运行的副本数，计算测试套件内所有浮点负载的ratio与副本数乘积后的几何平均值。7运行框架功能7.1配置参数功能配置文件应包含基准测试需要的所有配置项（包括通用配置、环境配置、编译配置基于相同的配置文件能保证对测试结果的复现。7.1.1通用配置项用于定义通用配置选项，涉及测试套件、运行模式、数据集类型、执行次数、副本数和工作目录等。7.1.2环境配置项用于定义测试环境信息，涉及硬件信息和软件信息等。7.1.3编译配置项用于定义编译参数选项，涉及编译优化选项、编译可移植性选项、链接标志、链接库选项等。7.1.4配置优先级a）配置文件优先级：手动指定的配置文件优先级高于默认配置文件；b）配置解析优先级：命令行所输入的配置项优先级高于配置文件中的相应配置项。7.2流程控制功能7.2.1环境检验a）检验SUT是否具备必要的依赖；b）检验SUT配置是否满足测试要求；c）检验基准工具的源代码是否完整。7.2.2参数解析支持配置参数解析功能，能够解析命令行和配置文件的参数，并导入对应位置中。7.2.3规则校验支持运行规则符合性校验，包括编译环境、编译选项、优化选项、运行环境等。7.2.4编译构建支持编译构建功能，包括初始化目录、检查重复编译、生成构建文件、编译核心程序等。GB/TXXXX-XXXX57.2.5程序执行支持测试负载运行前生成所需数据，并在运行结束进行正确性校验和结果汇总。7.2.6分数计算a）能够自动对所执行的测试套件进行分数计算；b）测试套件的分数通过对该套件内每个测试负载分值进行几何平均计算得到；c）生成有效的测试报告要求测试套件应执行三次，中位值作为该测试的套件性能分数；7.2.7信息采集支持测试负载运行结果、软硬件环境等信息的提取，并汇总到测试报告中。7.2.8日志记录支持日志记录功能，包括编译信息、运行信息（含出错信息）和结果输出信息。7.2.9调试诊断支持代码的调试诊断功能，能够定位并修复代码中的错误。7.3报告生成功能7.3.1报告防伪测试报告应具有防伪功能，可采用水印、数字签名等加密方式。7.3.2披露信息测试报告应展示必要的软硬件配置信息和优化参数信息，能够复现相似的（或误差波动范围内）测试结果。7.3.2文件格式支持主流文件格式的报告生成，比如PDF、CSV、HTML、TXT等。8负载设计要求8.1负载来源负载应来源于真实应用场景，具有一定的通用性及业务代表性。8.2负载语言宜选取C、C++、Fortran、Java等程序设计语言开发的应用程序作为测试负载。8.3负载特征宜选取计算密集型、访存密集型、跨平台移植友好的应用程序作为测试负载。68.4知识产权测试负载的知识产权应明晰，并在测试负载说明文档中详细描述其知识产权情况。8.5裁剪要求8.5.1热点函数负载裁剪前后热点函数应具有一致性。8.5.2业务场景裁剪后的测试负载仍能代表真实的业务场景。8.5.3计算密集应裁剪掉网络、读写、平台相关性等非核心计算代码，保留核心的计算逻辑，CPU平均占用率应大于95%，并且95%的运行时间消耗在负载源代码上。8.5.4运行内存负载的运行内存应处在一个合理的范围内，在参考机器上进行单核模式的测试时，采用GCC编译器O3优化级别下，负载运行占用内存应不超过4GB。8.5.5指令占比整型负载运行时浮点型指令数占比应小于1%，浮点型负载运行时浮点型指令数占比应大于10%。8.5.6计时区间计时区间仅包括负载核心计算逻辑的运行时间，其中输入数据集准备、输出结果文件处理、校验等不纳入计时。8.5.7运行时长负载的运行时长应处在一个合理的范围内，不应过短或过长。在参考机器上进行单核模式的测试时，采用GCC编译器O3优化级别下，运行时长保持在2mins至20mins。8.5.8文件结构原则上每个负载对应单独文件夹，其中包括数据目录、源代码目录（负载源代码、依赖源代码）、编译输入文件等。8.5.9语言变量为防止源代码、输出结果显示乱码等问题，语言变量应设置为en_US.UTF-8。8.5.10输入数据a）应选取具有业务场景代表性的输入数据；GB/TXXXX-XXXX7b）可采用以动态生成的形式产生输入数据；c）输入数据集不宜过大（建议小于100MB，匹配8.5.8章节的运行时长要求）；d）至少具备一种可正式测试的输入数据集（建议提供不同规模的输入数据达到不同的测试目的）。8.5.11输出结果输出结果正确，与预期结果一致。（比如，文件大小通过MD5比较、图像文件进行相似度检测等）9测试报告披露测试结果的输出应满足以下要求：a）测试结果能够通过CSV、PDF、HTML、TXT等不同文件格式呈现；b）测试报告呈现的测试结果简洁明了，便于识别；c）测试报告应包含测试套件的性能分值以及每个测试负载的运行情况（比如，运行时长、分数等d）测试报告应包含详细的配置信息（比如，CPU型号、内存、硬盘、操作系统、编译环境等）；e）测试报告应包含详细的优化信息（比如，编译选项、操作系统大页、环境变量、固件版本等f）测试报告应包含水印、数字签名等防伪标记。10配套文档支持10.1README文档基准工具应提供README文档，介绍当前版本的基本情况。10.2FAQ文档基准工具应提供FAQ文档，供用户查询当前版本使用过程中的常见问题。10.3License说明基准工具应提供License文件，明确知识产权归属。10.4使用说明文档基准工具应提供使用说明文档，指导用户配置环境、安装工具并进行测试。10.5负载介绍文档10.5.1负载描述说明测试负载的应用领域、实现机制、技术特点、代码来源、历史背景等。10.5.2编程语言说明负载的编程语言，包括语言的标准版本、所需的依赖库等信息。810.5.3业务流程说明负载的运行业务流程。10.5.4来源许可说明负载的来源许可、知识产权、授权情况。10.5.5裁剪描述依据8.5章节要求介绍裁剪后的测试负载信息。（包括运行裁剪后代码的平台信息）10.5.6作者声明说明设计测试负载的单位名称和人员姓名。（包括代码开发者和代码裁剪者）11基准测试要求11.1系统配置要求a）通用要求：SUT的软硬件（处理器、操作系统、编译器等）正式发布，可通过公开渠道获取；b）资源充足：SUT具有足够的内存、硬盘等计算资源。（单核模式：2GB内存容量和20GB硬盘容量；多核模式：核心数×2GB内存容量和核心数×20GB硬盘容量）11.2测试过程要求a）系统干净：SUT无其他程序运行，避免对测试结果产生干扰；b）系统稳定：SUT测试环境稳定，避免测试过程中的异常情况；c）标准测试：依据工具规定的方法测试，确保测试结果客观性；d）重复执行：多次运行测试套件（默认3次），避免偶然因素影响；e）记录分析：记录测试环境（比如：测试人员、测试地点、温湿度、软硬件信息等），测试完成后对测试结果进行分析得出准确结论。11.3测试结果要求a）测试有效：生成的测试报告是有效报告；b）报告完备：生成的测试报告的信息完备，包括但不限于如下信息：——性能得分——测试单位——测试日期——硬件配置——软件配置——优化参数GB/TXXXX-XXXX9——环境变量c）结果复现：依据测试报告呈现的配置信息可复现测试结果。11.4报告发布要求11.4.1结果提交a）配置文件；需提交测试结果的配置文件；b）测试报告：需提交生成的所有测试数据。11.4.1报告评审a）合理性：评审测试分数是否合理；b）完整性：评审报告信息是否完备。11.4.2权威发布a）发布渠道：测试结果应通过官方渠道发布，网站依据提交时间排序，展示计算机型号、整机厂商、CPU产品型号、测试套件、测试分数、测试报告等信息；b）实时监督：正式发布后的测试结果实时接受监督，官方对有异议的测试报告进行处理。（资料性）基准工具测试（CPUBench）B.1基准工具安装B.1.1环境准备测试时，环境温度应为（25±5）℃,相对湿度为15%～80%。a）基准工具运行需要约4GB内存每实例；b）运行单核模式时至少需要20GB硬盘空间，运行多核并发模式时，每实例增加20GB硬盘空间；c）运行时/dev/shm目录至少需要3GB空间；d）C，C++，Fortran编译器版本不低于5.4.0，cmake版本不低于3.14.1，Java版本不低于8；e）安装numactl和python3。B.1.2编译器安装基准工具兼容x86_64、AArch64、MIPS64、LoongArch64、SW_64、RISC-V等指令集架构，内置依赖软件，用户只需安装必要的编译器（如C、C++、Fortran）和JDK环境即可。安装命令如下（以GCC为例）：a）Redhat系yuminstall-yperlgccgcc-c++gcc-gfortranjavab）Debian系apt-getinstall-yperlgccg++gfortrandefault-jdkB.1.3工具安装CPUBench采用免安装模式，将压缩包CPUBench.tar.gz解压至SUT即可。解压命令如下：tar-zxvfCPUBench.tar.gzB.2基准工具运行B.2.1修改配置选项根据被测系统信息及测试目的，修改配置选项（CPUBench/config/config-template.ini文件），包括：a）通用配置：此部分配置对所有测试负载均适用，主要包括测试套件、测试模式、任务数、执行次数、测试者信息、编译器信息和系统信息等内容；b）优化配置：此部分配置主要针对编译参数部分，主要包括编译器路径、动态链接库路径、编译选项、链接选项等内容。GB/TXXXX-XXXXB.2.2基准工具运行切换到工具的根目录后，a）采用默认配置文件运行，输入命令如下：./cpubench.shb）指定配置文件运行，输入命令如下：./cpubench.sh-cconfig.inic）指定要运行的测试套件，既可以通过配置文件设置，也可以通过命令行指定：基于config.ini配置文件，单核整型测试套件的测试，输入命令如下：./cpubench.sh-cconfig.ini-bIntSingle基于config.ini配置文件，单核浮点测试套件的测试，输入命令如下：./cpubench.s