软件性能测试设计与实现-周光明培训资料

软件性能测试设计与实现-周光明软件性能测试目的软件性能测试应用场合1、公司内部验证软件产品能力；2、客户项目要求验证软件性能；3、产品之间性能对比测试；软件性能测试目的1、发现软件缺陷，如内存泄露、线程死锁等问题；2、验证软件能力，获取基准性能指标；3、性能调优，容量规划设计；4、发现软件性能缺陷，指出改进方向；性能测试介入性能测试介入阶段1、产品需求调研阶段；

根据客户应用场景，确定产品应用性能指标2、开发设计阶段；

分析软件设计中会造成性能瓶颈的因素3、功能稳定阶段；

开展全面的性能测试，验证产品性能业务模型业务模型1、常规业务模型2、突发事件或峰值业务模型获取业务模型

1、客户业务流程介绍

2、服务器日志记录业务模型的意义1、构建跟客户应用场景类似的测试场景2、分析获取性能测试指标3、预估应用压力及峰值压力场景业务模型举例：公司邮件服务器，最高峰时有200人在线，考察某一时间点，其中40%的用户什么都没做，20%的用户写邮件，20%的用户在看邮件，剩下的20%在不停地点击收邮件按钮。思考时间（ThinkingTime)对于交互式的应用系统，要考虑思考时间，用于更真实的模拟用户操作。避免不具有实际业务含义的业务模型。性能测试需求性能测试需求描述要求1、准确：对于性能指标要准确、清楚的描述；2、一致：对于性能指标的确认达成统一；3、特定：性能测试的需求是有条件的；性能测试需求必须要包含多少用户(who)在什么时间(when)或持续多久(when)进行了什么业务(what),最终需要关注怎样的指标(how)查询客户端工业库服务器网络结果显示时间网络传输时间服务器处理时间单客户端查询历史数据耗时常用性能指标CPU占用率、内存占用率、网络带宽占用率存储速度：每秒300,000条数据记录的存储速度检索速度：每秒20,000条数据记录的检索速度数据容量：长达数年的历史数据保存和归档并发客户：支持256个并发客户同时存储和检索实时及历史数据平均无故障时间：长时间稳定无故障运行7*24小时性能测试需求的获取开发设计、产品需求设计文档客户根据业务流程提出同类产品的性能指标行业标准、研究报告基准性能测试注意：考虑突发事件以及峰值情况的确定1、习惯性的集中登录；2、突发事件造成大量访问；3、集中事务处理日期段；4、节假日等……性能测试模型业务模型建立：建立一个能够逼真模拟系统实际运行场景的业务模型；测试数据模型建立：准备测试数据和基础数据，确保数据容量和真实性符合实际运行情况；监控模型建立：设计需要监控的性能指标，从而发现性能瓶颈；测试模型建立：采取基准测试、单业务负载测试、混合负载测试、并发测试的顺序来执行；执行模型建立：建立规范的测试流程，明确各个角色的职责；风险模型建立：预估风险，并就风险作出处理方案；性能测试场景设计性能测试场景设计1、结果导向分析法2、分析影响性能表现的因素3、针对影响因素设计相应测试场景对于待测系统处理机制的深入了解，是性能测试成功设计和执行的保证。性能测试环境搭建1、硬件环境；2、待测软件设置；3、操作系统环境；4、网络环境；测试环境搭建常见错误：1、无视软硬件资源不足；2、无视与客户硬件环境不一致；3、无视软件参数配置不合理；需注意该点在性能对比测试中的误区注意：性能测试一定要充分利用一切可以利用的资源和工具基准性能测试1、目的通过模拟生产环境运行的业务压力量和使用场景组合，测试系统是否满足要求的测试方法。2、特点验证系统具有宣称的能力在已确定的环境下进行根据典型场景设计测试方案和用例4、注意事项满足系统运行的基本要求记录基准性能指标负载测试1、目的通过在被测系统上不断增加负载压力，直到性能指标超过预定指标或某种资源使用已达到饱和状态。2、特点其主要目的是找到系统处理能力的极限在给定环境下运行，需要考虑被测系统的业务压力量和典型场景，使得测试结果具有业务上的意义可用来了解系统的性能容量，或者配合性能调优来使用3、注意事项增加负载的策略停止增加负载的标准压力测试1、目的测试系统在系统资源（如CPU、内存使用率、网络带宽等）一定饱和状态下，系统的处理能力，以及系统是否会出现错误。2、特点其主要目的是检查系统处于压力情况时应用的表现一般通过模拟负载等方法，使得系统的资源使用达到较高水平一般用于测试系统的稳定性3、注意事项设置有意义的饱和状态并发测试1、目的通过模拟用户的并发访问，测试多用户并发访问同一应用，同一个模块或数据记录时是否存在死锁或其他性能问题2、特点其主要目的是发现系统中可能隐藏的并发访问时的问题，如内存泄露、线程死锁或资源竞争方面的问题需要相关的工具配置和支持3、注意事项在线用户数和并发用户数的区别理想情况下是使用多台机器真实模拟用户并发场景使用测试工具模拟并发客户端，要支持快速部署和启动测试疲劳强度测试1、目的通过给系统加载一定的业务压力情况下，让程序持续运行一段时间，测试系统在这种条件下是否能够稳定可靠的运行2、特点其主要目的是验证系统是否支持长期稳定的运行需要在压力状态下运行一段时间需要关注系统的运行状况3、注意事项保持一定的运行压力软硬件环境支持其长时间稳定运行故障恢复测试1、目的主要针对程序在运行过程中出现故障并恢复后，验证是否能够继续使用系统，以及这种情况发生后用户将会受到什么影响2、特点其主要目的是验证系统出现故障并恢复后系统是否可以继续使用3、注意事项根据业务模型设计故障产生的阶段考虑恢复后对操作的影响分析故障恢复后的性能表现：恢复时间、恢复后能够正常访问、性能不出现严重下降配置测试1、目的通过对被测系统的软硬件环境的调整，了解各种不同环境对系统性能影响的程度，从而找到各项资源的最优分配原则2、特点了解各种不同因素对系统性能影响的程度，从而判断最值得进行的调优操作对系统性能有了初步了解后进行一般用于性能调优3、注意事项熟悉产品各模块处理机制调优结束的标准执行—分析—调整—执行—分析……性能测试分析性能表现的拐点、性能瓶颈由基准性能测试的表现分析软件性能缺陷模块或产品之间的性能表现对比分析

KDC采集器和OPC采集器性能表现对比拐点分析法：利用性能计数器曲线图上的拐点进行性能分析的方法。查询性能表现性能调优确定基准环境，基准负载、和基准性能指标调整系统运行环境和实现方法，执行测试记录测试结果，进行分析性能调优硬件环境的调整主要对系统运行的硬件环境进行调整，包括硬盘、CPU、内存、网络带宽等软件参数设置的调整主要对软件系统的参数进行调整，比如调整工业库的缓冲池大小等应用级别的调整主要对应用实现本身进行调整，包括采用新的数据访问方式或是修改处理逻辑的实现方式等性能调优常见错误

1、避免一次调整过多的参数

2、没有保证每次执行时数据环境的一致

3、必须存在可用于衡量调优是否取得效果的标准，避免调优过程一直持续下去性能改进分析性能缺陷开发设计阶段、项目实施阶段性能改进举例：1、数据库没有使用索引，查询数据时会扫描全表。建议改进方向为考虑为数据库创建索引，优化查询操作。2、数据展示优化。性能测试结束标准达到要求的性能需求经过了稳定无故障测试系统资源成为瓶颈案例分析：工业库查询性能测试结束标准1、达到性能需求2、系统资源成为瓶颈3、多客户端并反访问稳定正确工业库存储性能测试案例分析1、确定存储性能测试指标1>服务器端的存储速度；2>服务器端的系统资源占用情况（CPU、内存、磁盘等）3>缓存数据文件变化4>数据丢失率工业库存储性能测试案例分析1、影响存储性能的因素1>机器硬件配置；2>缓冲池大小3>变量缓存块TagDataBuffer的大小4>刷新线程

5>压缩属性设置

6>线程池开启工业库存储性能测试案例分析1、性能测试场景设计负载测试；配置测试；混合业务模型测试；疲劳强度测试；故障恢复测试2、性能测试结束标准系统资源达到饱和；缓存数据文件不断增加；满足客户项目需求工业库存储性能测试案例分析性能测试工具的引入考虑工具的稳定性和可靠性易于部署能够统计一定的性能