IBM关于如何衡量服务器性能的说明-050405-v2.doc

IBM关于如何衡量服务器性能的说明目 录一目前采用的基准测试值共有以下几种：2二各种基准测试值所反映服务器相关能力的说明（见下图）：2三TPCC的相关说明、实际测试值和推算值31、实际测试的TPC-C数据32、IBM推算服务器TPCC值的方法和说明43、IBM对此种推算方法的说明：5四对TPCC的一些相关事实的陈述：5本文主要说明以下几个方面的问题：1. 目前业界通常使用哪几种基准测试值来衡量服务器性能2. 这几种基准测试值有哪些特点和局限3. 为什么TPCC被广泛采用来衡量服务器的性能4. TPCC值的详细说明和两个来源：实际测试值和推算值5. IBM有哪些实测值6. IBM用什么方法来推算其他的TPCC值，及推算方法的说明7. 对TPCC一些相关事实的陈述8. 附件1：IBM 系列服务器的rPerf 值列表9. 附件2：IBM 系列服务器的TPCC值列表10. 附件3：实测TPCC值-按发布时间排序表正 文衡量一台服务器的处理能力，没有统一的标准和尺度，最准确的是将自己的实际应用在所选择的服务器上实际运行后，可得出处理能力的对比。如果不具备测试的条件，一般可根据业界的各种基准测试作为参考。一目前采用的基准测试值共有以下几种： 衡量CPU整型和浮点处理能力的SPEC CPU 2000 衡量用作web服务器时处理能力的 SPEC web99 衡量Java虚拟机处理能力的SPEC jbb2000， 衡量OLTP处理能力的tpmc 以及第三方应用软件开发商所设立的测试数值，如Oracle App测试、SAP测试等。二各种基准测试值所反映服务器相关能力的说明（见下图）： SPEC cpu（整形和浮点）：仅反映CPU的运算速度：（CPU） SPECweb99：作为web服务器时的性能：（CPU加内存） SPECjbb2000：运行Java应用的性能：（CPU加内存） TPCC：反映处理数据库应用的性能：（CPU加内存加I/O）。正是因为它衡量的是整机的性能（CPU加内存加I/O），所以越来越广泛地被引用评估服务器的性能。三TPCC的相关说明、实际测试值和推算值TPC-C作为一种由第三方非盈利机构（）颁布的基准测试指标，越来越多地被各平台厂商、应用系统提供商和最终用户所引用，并被作为核心评估OLTP类应用的指标，应用于平台选型、系统规模设计等评估环节。TPC-C - TPC Benchmark C 吞吐量，用来衡量在至少20分钟内有效的TPC-C配置运行过程中，每分钟所处理的平均事务数。TPCC值共有两个来源：1、实际测试的TPC-C数据正因为TPC-C被用户和厂商广泛认可和接受，是评定OLTP类服务器性能优劣的重要参考，所以，IBM公司和HP公司每当推出新型号的重要服务器时，都花费大量的人力和物力去测试其TPC-C值，并且公布其测试的TPC-C数据于TPC委员会，所有测试过的数据可在网站上查阅。以下从网站上摘录了部分IBM、HP公布的TPC-C数字，供大家参考。厂家服务器型号TpmCDatabase发布时间HPHP rx8620 ，16路 1.5G 安腾 CPU301,225Microsoft SQL Server 2000 Enterprise Ed. 64-bit12/18/2003HPHP Superdome ，64路 1.5G 安腾 CPU1,008,144Oracle Database 10g Enterprise Edition11/4/2003HPHP Superdome ，64路 875M PA-8700 CPU541,674Oracle Database 10G Enterprise Edition7/30/2003HPHP rp8400 ，16路 750M PA-8700 CPU140,240Sybase Adaptive Server Enterprise v12.512/21/2001IBMIBM eServer p5 595 64p 3,210,541IBM DB2 UDB 8.211/18/2004IBMIBM eServer p5 570 16P 809,144IBM DB2 UDB 8.17/12/2004IBMIBM eServer p5 570 8P 429,900IBM DB2 UDB 8.18/31/2004IBMIBM eServer p5 570 4P 194,391Oracle 10g7/12/2004IBMIBM eServer pSeries 690 Model 7040-681 1,025,486IBM DB2 UDB 8.12/17/20042、IBM推算服务器TPCC值的方法和说明因为测试一个TPCC值要花费大量的人力物力（几百万美元）和大量的时间（一般要几个月），所以不可能对所有的型号和各种配制都实测一个TPCC值。对于非满配的服务器和没有参加测试的服务器，IBM公司采用实验室开发的rPerf (Relative performance)模型来评估服务器的商务处理能力，该模型在假设服务器不存在网络和IO瓶颈的情况下，模拟出系统的中央处理器、高速缓存和内存等的综合处理能力，rPerf均在服务器推出时给出估计值，并且设定IBM pSeries 640-B80服务器为基准参照系统(即其rPerf1)，测算出其它服务器处理能力相对于B80的倍数。因此，参照实测的IBM服务器的TPC-C值，利用实验室给予的rPerf值可以推导出每款IBM pSeries服务器的TPC-C参考值，具体公式为：配置A的TPC-C值 =（实测配置的TPC-C / 实测配置的rPerf值）* 配置A的rPerf值以下列举了IBM各款服务器基于rPerf的TPCC推测值。Power 5 系列服务器ModelCPU主频TPCCrPerfp595641.9G3,210,540 306.21p595481.9G2,497,052 238.16p595321.9G1,783,563 170.11p595241.9G1,367,109 130.39p595161.9G950,654 90.67p595641.65G2,863,389 273.1p595481.65G2,227,069 212.41p595321.65G1,590,749 151.72p595241.65G1,219,273 116.29p595161.65G847,798 80.86p590321.65G1,590,749 151.72p590241.65G1,219,273 116.29p590161.65G847,798 80.86p59081.65G437,005 41.68备注：以上表格中黄底红字斜体的TPCC值为实测值，可以在TPCC官方网站上查到，其余TPCC值为基于rPerf推算值。3、IBM对此种推算方法的说明：1 因为估计网络和I/O复杂度太高，不具有可操作性，所以IBM 的rPerf模型不考虑网络和I/O，用它来推算TPCC值时假定网络和I/O处于理想状况。2 内存越大，服务器的实际性能肯定越好。估算非满配服务器的TPCC值时，假定内存也处于理想状况。因为考虑不同大小内存对TPCC的影响同样复杂度太高，不具有可操作性。在实际使用时内存至少要与CPU配成2：1的关系，即1个CPU配至少2GB内存。四对TPCC的一些相关事实的陈述： 请见IBM的实测的TPCC值，测试时间和测试环境厂家服务器型号TpmCDatabase发布时间HPHP Superdome ，64路 1.5G 安腾 CPU1,008,144Oracle Database 10g Enterprise Edition11/4/2003HPHP Superdome ，64路 875M PA-8700 CPU541,674Oracle Database 10G Enterprise Edition7/30/2003IBMIBM eServer p5 595 64p 3,210,541IBM DB2 UDB 8.211/18/2004IBMIBM eServer p5 570 16P 809,144IBM DB2 UDB 8.17/12/2004IBMIBM eServer p5 570 8P 429,900IBM DB2 UDB 8.18/31/2004IBMIBM eServer p5 570 4P 194,391Oracle 10g7/12/2004IBMIBM eServer pSeries 690 Model 7040-681 1,025,486IBM DB2 UDB 8.12/17/2004 IBM P690的1,025,486 TPCC值测试于2004年2月17日，到2004年11月18日P595测出3,210,541 TPCC值为止，占据TPCC单机排行榜长达9个月之久。由此可以看到：1 HP的PA-8800系列服务器发布时间约为2004年2月份。在九个月的时间内，HP一直没有公布一个PA-8800系列服务器的TPCC值。但是同样在此九个月内，HP一共发布了14个其它HP服务器的TPCC实测值（请看附件3：TPCC按发布时间排序表，此数据可以在上用按提交时间顺序排序来得到）。2 如果有人认为HP在此时间内没有付诸行动测试PA-8800系列服务器的TPCC值，那肯定是不对的，因为HP作为一家国际著名服务器提供商，一直非常重视TPCC的测试工作（请见以下各厂家提交TPCC值数量统计表），何况在此九个月的时间内HP确实测试并发布了14个TPCC值。2004/7/20以后 总计提交20个TPCC值2000-6-21 到 2005-2-24 总计提交160个TPCC值各厂家提交数总数百分比各厂家提交数总数百分比HP122060.00%7116044.38%IBM32015.00%2316014.38%DELL22010.00%1616010.00%Itautec Philco32015.00%5016031.25%3 为什么不公布PA-8800系列服务器的TPCC值呢？只有一个合理的解释：测了很多次，但测试结果一直不令人满意，与其发布还不如不发布，随便编造更合算。4 起码有一点是确定的：HP PA-8800系列64个CPU的SUPERDOME实测TPCC值一定没有超过103万，否则，HP一定会发布出来超过IBM P690占居榜首位置（IBM和HP曾经在2003年展开了长达一年之久的TPCC大战，直到IBM的P690的102万公布为止）。而不必用一个群集的TPCC值放在那里蒙人。请见TPCC榜首排列情况和发布时间。 RankCompanySystemtpmCSystem AvailabilityDatabaseOperating SystemTP MonitorDate Submitted1IBMIBM eServer p5 595 64p 3,210,54005/14/05IBM DB2 UDB 8.2 IBM AIX 5L V5.3 Microsoft COM+ 11/18/042HPHP Integrity rx5670 Cluster 64P1,184,89304/30/04Oracle Database 10g Enterprise Edition Red Hat Enterprise Linux AS 3 BEA Tuxedo 8.1 12/08/033IBMIBM eServer pSeries 690 Model 7040-6811,025,48608/16/04IBM DB2 UDB 8.1 IBM AIX 5L V5.2 Microsoft COM+ 02/17/044HPHP Integrity Superdome1,008,14404/14/04Oracle Database 10g Enterprise Edition HP UX 11.iv2 64-Bit Base OS BEA Tuxedo 8.0 11/04/03以往数据HPHP Integrity Superdome786,64610/23/03Microsoft SQL Server 2000 Enterprise Ed. 64-bit Microsoft Windows Server 2003 Datacenter Edition 64-bit Microsoft COM+ 08/27/03以往数据IBMIBM eServer pSeries 690 Turbo 7040-681768,83902/29/04Oracle Database 10g Enterprise Edition IBM AIX 5L V5.2 TXSeries Developers for AIX V5 09/12/03以往数据IBMIBM eServer pSeries 690 Turbo 7040-681763,89811/08/03IBM DB2 UDB 8.1 IBM AIX 5L V5.2 BEA Tuxedo 8.0 06/30/03以往数据HPHP Integrity Superdome707,10210/23/03Microsoft SQL Server 2000 Enterprise Ed. 64-bit Microso