读懂服务器性能指标

1、读懂服务器性能指标用户总希望有一种简单、高效的度量标准，来量化评价服务器系统，以便作为选型的依据。但实际 上，服务器的系统性能很难用一两种指标来衡量。包括TPC、SPEC、SAP SD、Linpack 和 HPCC在内的众多服务器评测体系，从处理器性能、服务器系统性能、商业应用性能直到高性能计算机的性能，都给出 了一个量化的评价指标。 在如此多的标准中， 用户该如何选择最适合自身应用环境的评价体系呢？这里， 我们选择了应用面较广泛的 TPC和 SPEC，作一个深入介绍。 走出误区深入 TPC-C指标TPC体系是影响最大的评测基准之一，尤其近两年，国内媒体对TPC指标的报道可谓海量。但有多少用户

2、真正了解其中的含义呢？本文以TPC-C为例，让用户深入了解这项基准测试。tpmC值在国内外被广泛用于衡量服务器系统的事务处理能力。 但究竟什么是 tpmC值呢 ?笔者曾向一 些用户、 专业媒体记者乃至某些国外大公司的技术人员问过这个问题， 但回答的精确度与 tpmC值的流行 程度差异甚远。不少人将之误写为TPMC，甚至与 TPC组织混为一谈。TPC（Transactionprocessing Performance Council，事务处理性能委员会 ） 是由数十家会员公司创建的非盈利组织，总部设在美国。 TPC 的成员主要是计算机软硬件厂家，而非计算机用户，其功能是制 定商务应用基准程序的标

3、准规范、性能和价格度量，并管理测试结果的发布。TPC不给出基准程序的代码，而只给出基准程序的标准规范。任何厂家或其他测试者都可以根据规 范，最优地构造出自己的测试系统 （ 测试平台和测试程序 ） 。为保证测试结果的完整性， 被测试者 （ 通常是 厂家 ） 必须提交给 TPC一套完整的报告 （Full Disclosure Report） ，包括被测系统的详细配置、分类价格 和包含 5 年维护费用在内的总价格。该报告必须由TPC授权的审核员核实 （TPC 本身并不做审计 ）。TPC在全球只有不到 10 名审核员，全部在美国。TPC推出过 11 套基准程序， 分别是正在使用的TPC-D和 TPC-

4、R，以及因为不被业界接受而放弃的TPC-App、TPC-H、TPC-C、TPC-W，过时的 TPC-A、TPC-B、TPC-S（ Server 专门测试基准程序）、 TPC-E（大型企业信息服务测试基准程序）和 TPC-Client/Server。而目前最为 “流行” 的 TPC-C 是在线事务处理 （OLTP）的基准程序，于 1992 年 7 月完成，后被业界逐渐接受。TPC-C使用三种性能和价格度量，其中性能由tpmC（transactions per minute， tpm）衡量， C 指TPC中的 C基准程序。 它的定义是每分钟内系统处理的新订单个数。TPC-C还经常以系统性能价格比的

5、方式体现，单位是 /tpmC ，即以系统的总价格（单位是美元） /tpmC 数值得出。解读 tpmC从 TPC-C 的定义不难知道， 这套基准程序是用来衡量整个 IT 系统的性能， 而不是评价服务器或某种 硬件系统的标准，而且 tpmC 数值的高低直接受到各个环节的影响，右表大概可以说明系统设置对 tpmC 测试的影响。此处的“ IT 系统”包括服务器、外设 （ 如硬盘或 RAID）、服务器端操作系统、数据库软件、 客户端及其操作系统、 数据库软件和网络连接等。 因此， 如何解读 tpmC 数值会因不同的采购需求有非常 大的差异。tpmC 测试指标与硬件的关联度交易类型复杂程度发生频率访问表的

6、数量（内存、 磁 盘 IO 相关）平均逻辑 IO 数目CPU 的负载（ % ）新订单复杂交易45%84653付款复杂交易43%4811交货4%4708订单查询简单交易4%3121库存查询复杂交易4%340127上述 5 种交易中，除付货交易是事后批处理，其余 4 种皆为联机交易。要注意的是，在处理新订单的同时， 系统还要处理其他 4 类事务请求。通常而言，新订单请求不可能超出全部事务请求的45% ，因此，当一个系统的性能为 1000tpmC 时，它每分钟实际处理的请求数是 2000 多个。以服务器为例。在很多厂家的 TPC测试系统中，服务器的价格只是系统总价格的 25或更小，而硬 盘的价格有可

7、能占到总价格的 30以上，因为 TPC-C要求被测系统必须保存 180 天的事务记录（这一趋 势从一些最新的 TPC-C测试结果来看，会愈演愈烈）。如果同样的服务器被用到用户的环境中，厂家报 的 tpmC 值就意义不大， 因为用户的实际系统与厂家原来用于TPC测试的系统大不一样。 当同样的主机用在不同的系统中时， tpmC 值可能有相当大的变化，现在许多用户还没有意识到这一点。尤其需要服务器采购用户注意的是， tpmC 指标更多的是衡量从 Client 到终端网络的性能区域（如 左图所示），而不是通常误认为的服务器到企业端网络的性能。由此可见，如果用户是建立一套全新的 业务系统， 那么无妨多借

8、鉴 tpmC 的性能指标， 如果只是采购某种或某些硬件设备， 则需要参考更多的指 标。对于 tpmC数值着迷的用户而言， 一个现实问题是， 实现高 tpmC指标的代价是否能够承受， 毕竟 TPC-C 都是很复杂的基准程序，做一个严格的测试非常消耗资源，厂商通常不会给TPC报告出全部花费的金钱和时间。实际上，正因为 tpmC（其他评测指标也大都一样）受系统优化影响较大，业界对于是否应该在测试中进行优化向来争议颇多。 在 1993 年 , 当时三大 IT 公司的专家就对 OLTP性能测试的优化提出过反对意 见 DEC的 Jim Gray （ 现为 TPC-C委员会专家 ） 与 Walt Kohle

9、r 、天腾公司（TANDEN）的 Charles Levine 和 IBM的 Steve Kiss 共同发表了对 OLTP性能测试指标是否应该进行人为优化的看法“一个好的性能测试指标是不会依赖于特殊情况下的优化。最理想的情况应该是：一个测试指标在 测试过程中所表现出的性质和能力 , 以及对测试所做的优化能够确实提供对现实世界中用户实际应用的 性能改进。然而，事与愿违，某些厂商迫于标准测试指标所带来的巨大市场压力，他们花费巨大的精力 在如何改进测试结果的同时还能降低价格比率，而全然不顾所做的这一切优化究竟是否给用户带来了真 实的利益。”相信实践：最佳检验方式众所周知，成熟的企业从不相信任何“国际

10、通用标准”，而是花相当精力，比如预算的5，使用自己的应用来测试系统，从而决定选型。“国际通用标准”的度量可以作为参考值，而不应作为必要条 件。尤其是一定要弄清这些流行度量有什么含义，是在什么样的系统环境中测得的，以及基准程序是否 符合企业真实的业务流程和运作模式。下面就是三种不同的检测模式。在真实环境中运行实际应用这是最理想的方式。 要求制造商或系统集成商配合将系统 （ 含平台、软件和操作流程 ）在一个 实际用 户点真正试运行一段时间。这样，用户不仅能看到实际性能，也能观察到系统是否稳定可靠、使用是否 方便、服务是否周到、配置是否足够、全部价格是否合理。使用用户定义的基准程序如果第一种方式不可

11、行，用户可以定义一组含有自己实际应用环境特征的应用基准程序。业内有两 个典型的例子：其一是，近年来由于层应用模型的风靡， SAP SD 基准获得了众多厂商和用户的认可， 于是在很多地方都能看见对 SAP测试数据的引用；其二是，国家税务总局曾经开发自己的基准程序，以 帮助税务系统进行服务器选型。这种方式在中国尤其重要，因为中国的信息系统有其特殊性。使用通用基准程序如果前两种均难实行，那么使用如 TPC-C之类的通用基准程序未尝不可。但用户应当尤其注意 实际应用是否与基准程序相符？绝大多数基准程序都是在美国制订的，而中国的企事业单位与美国的运 作方式常常不一样， 在使用 TPC-C时， 用户应该清

12、楚地知道： 自己的应用是否符合批发商模式 ?事务请求 是否与测试模式近似？对响应时间的要求是否那么高？如果都不是，则 tpmC 值的参考价值就不太大了。 那么不妨看看其他的更合适的测试指标，例如SPECweb2005等。主流基准测试概览基准名称基本描述侧重点TPC-C单位为 tpmC ，对系统在线事务处理能力进行 评价，含义为每分钟内系统处理新订单的个 数。主要是服务器 OLTP ，主要是模拟企业MIS 、ERP 系统来考验服务器联机业务 处理能力TPC-H单位为 QphHsize ，表示系统在处理特定资 料量的数据库时，系统在一小时之内能完成主要目的是考验基于特定查询的决策支持能力，强调服务

13、器在数据挖掘、分析查询的数量。处理上面的能力。SPECCPU2000单位为比值，是系统执行测试程序的时间与参考系统的比值。考察系统 CPU 运算能力和内存性能。SPECweb2005指标为整数，含义为系统能同时相应的最大Http 连接数。侧重 CPU 、内存、系统 I/O 和网络的整 体性能。SPECjAppServer2004单位为 jops 配置，即基于 java 平台的应用 服务器每秒能执行的 java 操作数。衡量 JIEE 1.3 应用服务器的性能Linpack指标为实数， 指 HPC 采用高斯消元法求解一 元 N 次稠密线性代数方程组的每秒处理次 数。衡量 HPC 单机或集群的浮点

14、性能。HPCC包括 7 个子项，为 HPL 、双精度矩阵乘法、 内存带宽、并行矩阵转置、随机存储、傅立 叶变换与通信带宽延迟。全面衡量 HPC 系统性能，缺陷是比较复 杂，测试时间较长。SAP SD指标涵义为一定数量规模的 SAP SD 客户端 发出 SAPS 请求，系统的响应时间与每小时 能完成的订单数量。衡量单一系统同时执行应用程序与数据 库的能力。主流基准测试概览基准名称基本描述侧重点TPC-C单位为 tpmC ，对系统在线事务处理能力进行 评价，含义为每分钟内系统处理新订单的个 数。主要是服务器 OLTP ，主要是模拟企业MIS 、ERP 系统来考验服务器联机业务处 理能力TPC-H单

15、位为 QphHsize ，表示系统在处理特定资 料量的数据库时， 系统在一小时之内能完成查 询的数量。主要目的是考验基于特定查询的决策支 持能力， 强调服务器在数据挖掘、 分析处 理上面的能力。SPECCPU2000单位为比值， 是系统执行测试程序的时间与参 考系统的比值。考察系统 CPU 运算能力和内存性能。SPECweb2005指标为整数，含义为系统能同时相应的最大Http 连接数。侧重 CPU 、内存、系统 I/O 和网络的整 体性能。SPECjAppServer2004单位为 jops 配置，即基于 java 平台的应用 服务器每秒能执行的 java 操作数。衡量 JIEE 1.3 应

16、用服务器的性能Linpack指标为实数，指 HPC 采用高斯消元法求解一 元 N 次稠密线性代数方程组的每秒处理次数。衡量 HPC 单机或集群的浮点性能。HPCC包括 7 个子项， 为 HPL 、双精度矩阵乘法、 内 存带宽、并行矩阵转置、随机存储、傅立叶变 换与通信带宽延迟。全面衡量 HPC 系统性能，缺陷是比较复 杂，测试时间较长。SAP SD指标涵义为一定数量规模的 SAP SD 客户端 发出 SAPS 请求，系统的响应时间与每小时能 完成的订单数量。衡量单一系统同时执行应用程序与数据 库的能力。 突出重点SPEC关注 CPU和 WebSPEC体系中最广为人知的两个子项，是衡量与 TPC

17、 体系注重在线处理能力和数据库查询能力不同，CPU、内存性能的 CPU2000和 Web服务器性能的 web2005。除了 TPC家族， SPEC家族也是广为人知的一大体系。SPEC指标体系由 Standard PerformanceEvaluation Corp. 制定，目前主要包括针对 CPU性能的 SPEC CPU2000（已有 CPU2006，但尚无数据）、 针对 Web服务器的 SPECweb200、5 针对高性能计算的 SPEC HPC2002与 SPEC MPI2006、针对 Java 应用的 jAppServer2004 与 JBB2005 以及对图形系统、网络和邮件服务器的测

18、试指标。其中 CPU2000和 web2005 两类是被引用最广泛的指标。CPU2000 注重 CPUSPECC PU2000 是一组针对 CPU 和内存的测试，它主要测试的对象是CPU、内存，不测试硬盘、 I/O效率和网络等部分。 SPECC PU2000 由许多源代码程序组成， 这些程序都从实际的应用 （主要来自配置 1 4颗 CPU的工作站应用）中取出来的，例如 164.gzip 就是 gzip 压缩程序。这些程序区分成“整数”和 “浮点数”两组。 SPECint2000 就是“整数”部分，而 SPECfp2000 则是“浮点数”部分。“整数”部 分有 12 个程序，使用 C 或 C+

19、语言，它们不使用 CPU的浮点单元； 而“浮点数”部分有 14 个程序， 使用 FORTRAN 77/90 和 C语言，这些程序的主要运算是浮点数的。SPECint2000 和 SPECfp2000 的结果， 以执行时间为准。 每个程序的执行时间和一个参考平台 （Sun Ultra5/10 300MHz ）相比，计算出其倍数。如果执行时间和参考平台相同，结果就是100。如果只花了一半时间完成，结果就是 200。“整数” 的 12 个程序的结果， 取其平均值， 得到的就是 SPECint2000 的 测试结果。“浮点数”的 14 个程序也是一样。由于 SPECC PU2000的测试程序都是源代码形式（以保证跨平台测试），所以编译器效率就显得十分 重要。 SPECC PU2000规定，测试结果有“ Base”和“ Peak”两种结果。“ Base”测试中，对于编译时的 最佳优化参数有所规定（所有的程序都需使用同样的参数，且参数数目不能超过四个），而“ Peak”测 试则比较宽松。另外，因为 SPEC CPU2000的程序都是针对单 CPU的系统设计，因此，在多