计算机性能评测概述

1、计算机性能评测概述钱宇辉2005年1月6日智能中心性能评测组http:/ 性能评价“If a systems performance is hard to evaluate, then the system is hard to understand”软件工程软件测试性能测试（性能、负载、强度测试）自动化技术测试自动化测试自动化技术不是测试技术，但是在我们开发测试软件的时侯可以参考。参考文献1，4，11测试的重要性 “就软件业而言，一个软件之所以能够成功，必须仰赖多方面的配合，这些配合项目除了要达到产品需求，符合市场预期，功能优于竞争对手，产品服务令人满意之外，最重要的是软件质量必须能够赢得使

2、用者的信任。对软件质量来说，软件测试是提高软件质量最实际、最彻底的方法之一。” 参考文献8性能概念的理解 两种观点： 1. 时间、吞吐量2. 还包括了：可用性、可靠性、可扩展性、资源利用率 随着需求的发展，以后可能还会包括别的性能。参考文献9，10 三种性能评测方法的比较 模拟（simulation）、建模分析（modeling）、测量（measurement） 考虑的方面 建模 模拟 测量 待测系统处于何种状态 任何 任何 系统做出之后 测试所需时间 少 适中 不确定，受被测系统和测试工具的影响 所用工具 数学 计算机语言 设备 精确度 低一般 不确定，受环境影响 评价折衷的能力* 强 适中

3、 弱 开销 小 一般 大 市场信任度 低 一般 高 三种性能评测方法的比较（接上）*评价折衷的能力强，表示容易寻找最优参数值，否则反之。 市场信任度对于厂家做评价尤其重要。比较好的办法就是同时使用两种或更多的评测技术，如果不同技术得出的结果相同，评测结果的市场可信度就会大大提高。参考文献3性能评测的粒度级别（参照软件评估中的粒度级别） 系统级：对整个系统总的看法。体系结构级：系统的最高抽象级别。设计级：体系结构组件的设计。编码级：最细的粒度级别，考虑实现特殊设计的单行代码。参考文献2测试对应的软件开发阶段 早期的测试设计V模型 参考文献4需要测试功能设计编码测试测试测试验收测试系统测试集成测试

4、单元测试测试编码测试运行测试对应的软件开发阶段 测试设计不能等到测试运行时才进行，可在获得所需信息后的任何时候开始。这样发现缺陷的效果好，在软件进行下一阶段前可将缺陷改正，对系统的修改不是破坏性的，修改成本小。以上的同样适用于性能测试。在中科院计算技术研究所管理标准质量手册中，附件G给出了测试服务过程流程图，规定了本单位在做项目时的测试流程和责任分配。5 然而，“世界上不存在完备的测试”。？探查性测试 这个有必要提一下。很多人都希望在寻找性能缺陷并且优化性能时有一个好用的方法论的指导。但是，目前主要还是利用以前的测试经验和相关技术知识的积累来进行经验性的猜测。（例：网安的测试）目前性能评测领域

5、的研究热点 集群系统的新的性能评价标准基于web的性能评测技术文件系统、memory、database的性能评测技术 目前，在性能评测领域的研究人员一般都热衷于发展新的方法论。包括：数学建模、分析、使用仪器的技术、模型验证和确认、负载描述、模拟、统计分析、随机建模、实验设计、可靠性分析、优化、队列理论。 参考文献1，6，7工具 这是比较重要的部分，还没来得及研究总结。大概包括：建模（分析）工具：Matlab模拟（分析）工具测量（分析）工具：所有的benchmark都是。 需要做的事这是从学科建设的角度考虑测试知识的积累和共享，这个可以通过企业信息化来实现，比如我们的所务平台。参考文献 1. W

6、eb测试应用，美Hung Q. Nguyen 著，冯学民、唐映、杨海燕等译，电子工业出版社，2003年4月，第1版。2. 软件质量和软件测试，德Dirk Huberty 等著，马博、赵云龙译，清华大学出版社，2003年11月，第1版。3. 高端路由器测试技术，王乐春、龚正虎、白建军、夏建东等编，人民邮电出版社，2002年12月，第1版。4. 软件测试自动化技术与实例详解，美Mark Fewster & Dorothy Graham 著，舒智勇、包晓露、焦跃等译，电子工业出版社，2000年1月，第1版。5. 中科院计算技术研究所管理标准质量手册，QB/JS-ZK10000-A，中科院计算技术研究

7、所，2003年12月1日发布。6. 高性能机群计算：结构与系统（第一卷），美Rajkumar Buyya编，郑纬民、石威、汪东升等译，电子工业出版社，2001年6月，第1版。 参考文献 7. Performance Evaluation Review, a.c.sigmetrics, acm press, vol.32, No.2, Sep. 2004. 8.软件测试与质量管理，许育诚编著，王慧文改编，飞思科技产品研发中心监制，电子工业出版社，2004年6月，第1版。 9.TESTING AND QUALITY ASSURANCE FOR COMPONENT-BASED SOFTWARE,Jerry Zeyu Gao,H.-S. Jacob Tsao,Ye Wu,2003,ARTECH HOUSE,INC. 10.Computer Systems Performance Evaluation and Prediction,Paul J. Fortier,Howard E. Michel,July,2003,Digital Press. 11. SIGMETRICS2004/PERFORMANCE2004会议论文集备注 此备注写于作完报告之后本ppt中所提到的“测试”都是指软件工程中的测试（Tes