性能测试管理

1、性能测试管理性能测试管理培训教程培训教程课题内容：性能测试管理课题内容：性能测试管理 主讲人：曾祥鹏主讲人：曾祥鹏大纲大纲n第一章：性能测试启动n第二章：性能测试建模n第三章：性能测试计划n第四章：性能测试准备n第五章：性能测试执行n第六章：性能测试分析第一章第一章 性能测试启动性能测试启动n第一节：技术调研n第二节：准入评审n第三节：测试启动技术调研技术调研n在系统代码开发完成之后和功能测试完成之前n测试组织派专人采用现场或非现场的方式n调研以下内容被测系统的技术实现与其它系统接口关系及其技术实现本系统测试数据与相关系统测试数据的关系n目的：初步确定测试技术方案及相关的测试数据准备方案技术调

2、研技术调研-实例实例nXXX系统技术架构WebSphere + S1 + DB2Browser Base Client使用EAI/ECTIP/UDI作为外部系统接口技术调研技术调研-实例实例n初步测试技术方案使用LoadRunner作为压力测试工具使用Web/HTTP协议开发测试脚本使用Spotlight for DB2监控数据库使用Diagnostic for J2EE监控应用服务使用Server Monitor监控操作系统资源EAI/ECTIP实时交易需要开发相关挡板程序n初步测试数据准备方案UDI需事先准备全量数据准入评审准入评审n在性能测试正式启动之前，需要对两个方面进行评审被测系统是

3、否符合准入标准实施性能测试的可行性和必要性n目的：考察被测系统是否具备性能测试的条件。不符合测试条件的系统会导致测试难以实施，或者测试结果严重失真勉强测试会使测试工作失去意义，浪费大量的时间、人力和软硬件资源。测试启动测试启动n确定测试的负责人和组织结构。n明确测试的总体目标和范围n确认测试所需资源的情况n测试主管单位要下发相关调查表，获取业务方或开发方对性能测试的需求信息：典型交易列表性能测试需求性能指标测试环境数据量要求第二章第二章 性能测试建模性能测试建模 n第一节：为什么需要建模n第二节：性能测试模型的两种形式n第三节：用户行为模型n第四节：系统业务模型n第五节：性能测试模型的工具实现

4、为什么需要建模为什么需要建模n真实模拟实际系统运行状况n所有性能测试工作都以此模型作为依据 n合理控制项目周期并发量与每秒交易量并发量与每秒交易量(TPS)的联系的联系n性能测试误区并发量越大系统压力越大n并发量与每秒交易量的联系并发量用于考察系统的用户支撑能力每秒交易量才是衡量大多数系统的真实压力的正确指标随着并发量的增加TPS并不是线性增长的性能测试模型的两种形式性能测试模型的两种形式n用户行为模型描述高峰时期用户行为特点(瞬时模型)优点：对与大多数性能测试工具而言实现简单缺点：用户行为较难统计分析n系统业务模型描述高峰时期系统业务特点(时段模型)优点：相对于用户行为模型而言较容易获得缺点

5、：设置复杂，需要较高的工具技能建立性能测试模型建立性能测试模型-用户行为模型用户行为模型n用户行为模型高峰日高峰时段高峰时段用户行为统计建立性能测试模型建立性能测试模型-系统业务模型系统业务模型n系统业务模型高峰月高峰日高峰时段高峰时段业务统计建立性能测试模型建立性能测试模型-系统业务模型系统业务模型月份月份业务量业务量122043222123322143422122520342619873716543837643929832102421211209821221098建立性能测试模型建立性能测试模型-系统业务模型系统业务模型日期日期业务量业务量日期日期业务量业务量111211713452103

6、718167831023191786498720154351543211231610222210947126723987810982489991376251022101675261034111324271213121099281112131256291345141098301274151021311012161121建立性能测试模型建立性能测试模型-系统业务模型系统业务模型时间交易量0511203040526237438649971021211324122431321114167151431612217901811197209215223234业务名称业务名称自定义搜索分类搜索新建帐户新建订单

7、更新订单业务量业务量12210120729业务配比业务配比37.65%31.17%6.17%22.22%2.78%性能测试模型的工具实现性能测试模型的工具实现n用户行为模型的工具实现模型建立困难，实现容易。n系统业务模型的工具实现主流模型，详细讨论。系统业务模型的工具实现系统业务模型的工具实现n用户支撑能力测试/用户体验测试调研用户使用方式，确定Think Time基准测试确定各交易基准执行时间调整Interval时间风险n系统处理能力测试调研系统处理量需求基准测试确定各交易基准执行时间调整Interval时间风险第三章第三章 性能测试计划性能测试计划 n第一节：测试计划n第二节：关键文档n第

8、三节：风险评估测试计划测试计划n测试经理根据测试启动阶段得到的测试模型编写测试方案和测试计划n用于指导整个测试实施过程 关键文档关键文档n性能测试方案n性能测试计划n典型交易列表n性能测试需求表性能测试方案关键点性能测试方案关键点n测试目的（清晰明确，没有歧义）。n测试范围（交易列表，路径图等）。n性能指标（要可测量，量化指标最好给出具体数值，无法定量的给出说明）。n数据量 （给出具体数值和参考依据，无法定量的给出说明）。n测试环境（分为网络、硬件、软件和拓扑图）。n测试工具和监控工具及其相关环境。n风险控制（风险描述、严重程度、规避办法、负责人等明确清晰）n测试策略（符合项目实际情况，具有可

9、执行性）n挡板（根据情况可裁减）n时间戳（根据情况可裁减）n角色分工（无遗漏，职责描述清楚）n测试执行过程等（符合项目实际情况，没有遗漏，具备可执行性）性能测试计划关键点性能测试计划关键点n阶段任务描述（阶段，子阶段划分清晰；阶段关联关系明确；里程碑定义准确）n时间安排（满足项目预期周期要求，具有弹性）n文档定义（各阶段输入输出文档定义清晰）n所需资源（人力资源，资金资源等符合项目要求）典型交易列表关键点典型交易列表关键点n典型交易选取合理（符合关键业务，操作频繁，业务量大，覆盖所有测试需求路径，对性能影响大的原则）n相关交易码准确（配置管理最新版本）n业务约束和逻辑约束明确给出，无遗漏和错误

10、n典型交易数量选取合适，能满足并发分配需求（例如，不能选50个交易，要求测30个并发）n具备可测试性（能事先手工验证）测试环境需求表关键点测试环境需求表关键点n符合项目实际测试需求情况n各项资源需求填写准确，无遗漏，错误或歧义n具备可实现性风险评估风险评估n可能影响测试过程的因素n可能影响测试结果的因素n规避方法实例实例nXXX项目性能测试方案nXXX项目性能测试计划nXXX项目典型交易列表nXXX项目环境需求表第四章第四章 性能测试准备性能测试准备n第一节：测试环境准备n第二节：压力发生环境准备 n第三节：测试脚本准备及其预验证 n第四节：测试数据准备 n第五节：测试工具和监控工具准备 n第

11、六节：测试场景设计n第七节：挡板和时间戳 n第八节：执行确认测试准备测试准备n测试主管单位根据测试方案和计划中所列工作项进行，确保测试可以执行。包括以下工作：，包括被测应用的主机和应用环境的申请、部署，压力发生环境准备，监控系统准备和网络环境申请和部署，提供符合测试需求可使用的测试环境，包括被测应用系统、压力发生系统、监控系统、网络系统的配置，根据业务模型确定典型交易列表和场景。对于无法采用压力发生工具直接发起交易的性能测试，需要设计开发压力传递系统，将交易压力正确、有效地加载至被测系统，包括测试脚本的开发，包括基础数据的获得、数据量评估和基础数据改造。，根据脚本参数化字段，从基础数据中抽取有

12、效的、正确的交易发起数据。包括获得抽取规则、抽取执行和数据验证，保证所有数据可以通过脚本正确执行。，保证参数化的测试脚本与基础数据结合能够在测试执行环境下正确运行。对于测试方案中确定需要通过时间戳系统记录交易在某个交易路径上的相应时间的情况，需要开发针对性的时间戳程序和相应的时间戳日志分析程序。包括挡板程序的设计、开发、部署和调试。另一方面，需要为挡板准备返回报文 测试环境准备测试环境准备n参测项目组：提供测试环境需求信息被测系统的部署和配置n测试主管单位：明确测试所需环境协调各参测项目组和环境组完成环境准备工作压力发生环境准备压力发生环境准备 n参测项目组：提供环境配置信息（例如，jdk的版

13、本、加密/解密程序版本、路径） n测试主管单位：明确软硬件环境需求协调相关方面完成压力发生环境的软硬件条件准备测试脚本准备及其预验证测试脚本准备及其预验证 n参测项目组：提供脚本录制时所需数据解决录制过程中出现的系统问题。 n测试主管单位：录制脚本并调试，确保脚本能在测试环境中正确运行。n脚本是否能够真实模拟实际操作Think TimeTransaction参数化集合点关联检查点Run time Settingsn脚本是否存在并发问题2X2验证测试数据准备测试数据准备 n参测项目组：明确数据量要求提供参数化数据提取脚本配合性能测试组生成基础数据和测试数据进行数据备份和恢复等支持。保持测试过程基

14、准一致-数据恢复策略 n测试主管单位：明确脚本执行所需参数化字段和数据量协调各参测项目组完成数据准备工作确认数据可用性。测试工具和监控工具准备测试工具和监控工具准备 n参测项目组：提供测试工具的需求信息。 n测试主管单位：明确测试所需监控工具和测试环境协调各参测项目组完成测试工具准备工作。nJ2EE深层诊断工具nDatabase诊断工具n网络诊断工具n服务器监视工具测试场景设计测试场景设计n依据性能测试模型设计场景n场景真实性场景调度（运行参数）负载均衡IP欺骗n执行策略（下一章讨论）挡板和时间戳挡板和时间戳 n参测项目组：提供挡板和时间戳脚本和说明。 n测试主管单位：提供挡板和时间戳需求。执

15、行确认执行确认 n由性能测试小组中的测试工程师完成以下执行前确认工作：用例和场景确认测试环境确认测试数据确认测试脚本确认测试工具和监控工具确认挡板和时间戳的确认实例实例nXXX项目测试计划第五章第五章 性能测试执行性能测试执行 n第一节：基准测试n第二节：单交易负载测试n第三节：混合场景测试n第四节：性能表现测试n第五节：稳定性测试n第六节：测试执行过程中的关键点n第七节：诊断与调优测试执行测试执行n测试执行阶段主要包括以下工作项：获得各个典型交易在无压力条件下性能表现：获得各个典型交易在负载条件下的性能表现：按照场景序列一次获得各场景负载条件下的性能表现：根据已知的目标负载压力，获得被测系统

16、的性能表现：通过长时间、较大压力的负载运行，获得被测系统的稳定性表现基准测试基准测试n测试环境确认之后，对业务模型中涉及的每种业务做基准测试n目的是检查业务本身是否存在性能缺陷n同时为将来的混合场景性能测试性能分析提供参考依据n测试方法：测试方法：编写测试客户端向应用服务器发送业务请求并接收返回结果的脚本在系统无压力情况下重复100次，每次迭代间等待1秒取业务的平均响应时间作为衡量指标。单交易负载测试单交易负载测试n单交易负载测试是逐一对业务模型中的业务或个别重要交易进行单交易多并发测试n目的是考察系统交易编码是否存在性能隐患n测试方法：测试方法：编写测试客户端向应用服务器发送业务请求并接收返

17、回结果的脚本使用20%系统标准并发量进行测试。混合场景测试混合场景测试n混合负载测试是按照业务模型的约定在一定量的并发情况下测试以下指标：业务的平均交易响应时间应用服务器、数据库服务器的资源使用情况、交易正确率等通过性能测试，可以模拟实际生产环境中在业务处理高峰期系统的压力情况，得到此时的系统性能表现数据，为系统的实际上线运行提供可靠的参考。n测试方法：测试方法：按照业务模型比例设置测试场景。逐步增加并发量记录每次测试环境参数：包括数据库配置参数，应用系统配置参数。收集系统性能变化曲线。 性能表现测试性能表现测试n性能测试是按照业务模型的约定在一定量的并发情况下测试以下指标：业务的平均交易响应

18、时间应用服务器、数据库服务器的资源使用情况、交易正确率等通过性能测试，可以模拟实际生产环境中在业务处理高峰期系统的压力情况，得到此时的系统性能表现数据，为系统的实际上线运行提供可靠的参考。n测试方法：测试方法：按照业务模型比例设置测试场景约定并发量记录测试环境参数：包括数据库配置参数，应用系统配置参数。收集系统性能参数。 稳定性测试稳定性测试n稳定性测试的重点是测试系统日常业务高峰期压力下运行的稳定性。n测试方法：测试方法：采用性能表现测试的脚本及场景设置选取固定运行时间为24小时(根据系统特点定)记录交易平均响应时间、交易正确率，应用服务器、数据库服务器CPU利用率、内存使用情况等参数考察应

19、用服务器、数据库服务器是否出现宕机、交易正确率小于95等情况。测试执行过程中的关键点测试执行过程中的关键点n执行记录n结果搜集n数据恢复n环境清理诊断与调优诊断与调优n分析系统性能瓶颈n优化系统性能n解决过程中出现的问题开发专家测试专家应用服务器专家数据库专家操作系统专家网络专家存储专家第六章第六章 性能测试分析性能测试分析 性能测试分析n结合有关工具生成的数据报告和测试日志n对测试的结果进行分析总结n对项目上线、调优方案、系统性能验证等提供参考依据。n测试报告的重点在于对测试结果的分析例如测试到的业务响应时间是否满足预期要求？服务器资源使用率是否在预期范围内？对于发现并发问题的业务，需要分析

20、是由于何种原因造成了并发问题，为系统调整提供合理依据。性能测试参数经验值建议n命名用户数 命名用户数是指在应用系统中注册的所有系统用户。该用户数取决于系统应用范围和业务范围，可以通过统计应用系统数据库中用户登记表获取。对于类似网站浏览式应用一般通过类似系统的类比估算获得。n在线用户数 在线用户数是指同时登录应用系统的用户数量该数量可通过检查系统应用与数据库连接获得在线用户数量取决于系统命名用户数。对于已投产系统，该数量一般通过系统跟踪监控获取新投产系统通过经验值进行估算。性能测试参数经验值建议n并发用户数 并发用户数是指在系统运行期间同一时刻进行业务操作的用户数量。该用户取决于用户操作习惯、业务操作间隔和单笔交易的响应时间。在性能测试中通过对Thinktime、interval等参数的设置测算。使用频度较低的应用系统并发用户数一般为在线用户数的5%左右使用频度较高的应用系统并发用户数一般为在线用户数的10%左右。n交易 交易分为业务层面和技术层面两种定义。业务层面交易是指完成一次完整的业务操作，例如进行一次取款、查询操作。技术层面的交易是指进行一次应用程序至应用程序、或者应用程序至数据库的系统操作。一般的一笔业务交易由多笔技术交易组成，根据业务交易的复杂度和系统应用架构的不同，其比例大致为1：2-