性能测试计划

DZ论坛性能比照测试方案文档编号保密等级作者赵智乾最后修改日期2010-3-25审核人最后审批日期批准人最后批准日期修订记录日期版本修订说明修订人2010-3-251.0赵智乾

目录1 测试简介 11.1 背景 11.2 测试目的 11.3 测试范围 11.4 性能测试指标要求 1 页面响应时间 1 交易吞吐量 2 资源使用指标 2 最大并发用户数 22 测试环境 22.1 网络环境图 22.2 软硬件配置 33 测试方案 43.1 交易选择 43.2 测试数据 43.3 资源监控指标 53.4 测试类型与场景 5 基准测试 5 性能测试 6 稳定性测试 83.5 结果数据收集 83.6 结果分析 94 测试实施方案 94.1 测试时间和地点 94.2 参加测试人员 94.3 测试工作方案 94.4 测试约定 10测试简介背景测试目的本次比照测试要在当前使用的硬件架构和增加负载均衡设备后新的硬件架构作出定性和定量比拟，通过测试找出当前硬件架构的性能瓶颈、负载均衡新硬件架构性能关系，并通过分析找出替代方案，并为今后类似部署架构提供参考与指导。通过对当前硬件部署架构的压力测试，得出负载量与响应时间的关系曲线，确定满足要求的最大负载量；通过对部署了负载均衡设备的硬件部署架构的压力测试，得出负载量与响应时间的关系曲线，确定满足要求的最大负载量；比照两中硬件部署架构的性能与最大负载量，给出性能比照，给出比照测试的分析与结果。测试范围测试对象选定“DZ论坛”，测试范围主要为“用户注册”、“用户发帖”、“用户回帖”局部。性能测试指标要求本次性能测试需要测试的性能指标包括：1、最大并发用户数：有多少用户能在同一时间内访问系统，表达的是业务并发用户数。2、WEB最大连接数：《性能测试调研表〔DZ论坛〕》能够最多承受多少人同时访问。3、页面平均响应时间：《性能测试调研表〔DZ论坛〕》完全展示页面的平均响应时间。4、吞吐量：在单位时间内最大页面处理量，公式为吞吐量=时间*吞吐率。5、资源使用指标：《性能测试调研表〔DZ论坛〕》应用效劳器和数据库系统各效劳器CPU占用率、内存占用率、I/O占用率；LoadRunner压力产生器CPU占用率、内存占用率。最大并发用户数最大并发用户指系统能够支持的，在同一时刻内，登录系统并在时间上并行进行业务操作的用户数量。最大并发用户是考察系统对前端系统或用户端并发交易请求支持能力的一个技术性指标。一般情况下，它反响了系统的并行处理能力和应用扩展能力。1)验证性测试：多个用户并发，系统处理稳定性、正确性、以及平均交易响应时间。2)测试系统能承受的最大并发用户数：通过不断的增加并发数，测试系统能够承载的最大并发用户量。WEB最大连接数通过测试测出系统WEB最大连接数。判断《性能测试调研表〔DZ论坛〕》能够最多承受多少人同时访问。本次性能测试中的WEB同时接入最大数的测试方法是测试登录到《性能测试调研表〔DZ论坛〕》的最大登录用户数。通过登录交易的测试出最大连接数。目前准备两台LoadRunner测试效劳器，一台安装最大5000个用户的license，测出WEB最大连接数。页面响应时间本次性能测试中的页面响应时间是指在一定的负载压力下，从《性能测试调研表〔DZ论坛〕》Web前端发起交易请求到到收到响应结果这个过程所消耗的时间，采用一定时间段内的统计平均值ART来表示。本次性能测试中，对所有选择的典型交易的ART指标要求为：ART≤10秒〔该值是通过目前生产系统的交易〕吞吐量《性能测试调研表〔DZ论坛〕》的吞吐量是指在单位时间内最大交易处理量，公式为吞吐量=时间*吞吐率。吞吐率用对Web应用系统而言用HPS〔HitsperSecond，每秒点击数〕来描述。点击定义为《性能测试调研表〔DZ论坛〕》业务上的页面请求。本次性能测试需要统计出在峰值情况下，《性能测试调研表〔DZ论坛〕》每秒内最大的处理点击页面请求能力。资源使用指标在正常的并发测试测试中，《性能测试调研表〔DZ论坛〕》各效劳器主机的资源使用指标要求：CPU使用率≤80%内存使用率≤80%I/O使用率≤50%为保证运行Web客户端的LoadRunner压力产生器和控制器不成为瓶颈，其资源使用指标要求：CPU使用率≤80%内存使用率≤80%测试环境网络环境图独立小型机方式模拟现在生产运行方式，应用效劳器与数据库效劳器，单台应用效劳器使用Power系列机型，配置尽量与生产环境一致，数据库效劳器使用Power系列机型，配置尽量与生产环境一致。结构如下列图。本次性能测试的网络环境为100Mbps局域网，使用现有的网段，不考虑防火墙，忽略网络延迟，交易请求以及结果返回的网络传输时间可以忽略不计。软硬件配置资源数量型号/配置/软件名称/软件版本号硬件环境数据库效劳器1IBM570应用效劳器〔模拟生产环境〕1IBM570磁盘阵列1160GLR控制台1台式机PentiumD2.8G/1G内存LR压力产生器5台式机PentiumD2.8G/1G内存软件环境应用效劳器软件4domino6.0forAIX数据库效劳器软件1Oracle.4.0LR压力产生器操作系统5WindowsXPLR控制台操作系统1WindowsXP测试方案交易选择测试数据根底数据来自luzee“DZ论坛”生产数据。数据规模同生产环境。为保证在LoadRunner进行大量测试的过程中各页面不因数据准备不充分而出错，应进行一些必要的准备工作，比方：数据备份和恢复：在执行性能测试前，备份测试环境中的数据库。假设调优后性能回归测试根据需要进行数据恢复；用户登录密码统一重置；资源监控指标本次性能测试进行的资源监控包括：CPUUtilization〔CPU使用率%〕、Pagingrate(内存使用率%)。监控的效劳器包括：信息发布平台应用效劳器、信息平台数据库效劳器、Autonomy应用效劳器。测试类型与场景基准测试典型交易基准测试是单交易单用户测试，目的是对选择的每个典型交易在无压力情况下〔无额外进程运行并占用系统资源〕情况下，获取系统处理单笔交易的耗时，为下一步模拟多个用户、混合交易的性能测试提供一个根本数据参考。基准测试要到达以下目标：验证测试脚本及测试参数的正确性。获取系统处理单笔交易性能数据，主要是单笔交易平均响应时间测试方法使用一个Vuser，分别运行每个典型交易的脚本，设置脚本的迭代次数1次，验证所有脚本是否运行正确、所有交易事务是否成功返回，并获取每个典型交易的平均交易响应时间ART。测试场景脚本场景设计如下：编号场景名并发用户数加压方式持续时间退出方式思考时间/迭代延迟负载生成器数量1翻开首页1同时运行完成运行完成无12保存文档1同时运行完成运行完成无13优化后翻开首页1同时运行完成运行完成无14优化后保存文档1同时运行完成运行完成无1效劳器端场景设计如下：编号场景名并发用户数加压方式持续时间退出方式思考时间/迭代延迟负载生成器数量1AIX场景1同时运行完成同时无1性能测试混合多用户并发测试是最典型也是最有效的性能测试手段，选择的典型页面按一定的占比，通过不同数量的并发用户向效劳器端发送页面请求，获取各页面响应在比拟接近真实生产场景的情况下的交易平均响应时间，同时监控效劳器的资源状况，根据需要进行性能调优。测试方法步骤1：多用户负载测试使用手动场景，按全部典型页面及其占比组合测试脚本，分别设置并发用户数为50、100、300、500、时的并发测试，加压方式为逐渐加压〔每15秒增加20个用户〕，用户逐渐退出〔每15秒退出20个用户〕，场景持续运行时间5分钟，各脚本无思考时间，无迭代延迟时间。记录场景稳定时的ART、HPS以及系统资源消耗平均值。步骤2：最大并发用户数测试根据上一步的测试结果，使用手动场景，使用混合页面请求模式，设置初始并发用户数量，在执行场景的过程中继续加压〔运行虚拟用户〕，直到ART、CPU%、MEM%、交易成功率等指标有其中一个不满足要求为止，记录此时的并发用户数，即为最大并发用户数。步骤3：基于最大交易响应时间的最大并发用户数测试设计一个基于目标的场景，最小Vuser数50，最大Vuser数800。记录场景ART稳定时的虚拟用户数量和各效劳器的资源消耗情况，此时的虚拟用户数即为满足交易响应时间条件下的最大并发用户数。测试场景综合场景设计编号脚本场景效劳器场景并发用户数加压方式持续时间退出方式思考时间/迭代延迟负载生成器数量1用户登录AIX50并发运行完成脚本结束无12保存文档AIX50并发运行完成脚本结束无13用户登录AIX100并发运行完成脚本结束无14保存文档AIX100并发运行完成脚本结束无15用户登录AIX300并发运行完成脚本结束无16保存文档AIX300并发运行完成脚本结束无17用户登录AIX500并发运行完成脚本结束无18保存文档AIX500并发运行完成脚本结束无19优化后用户登录AIX100并发运行完成脚本结束无110优化后保存文档AIX100并发运行完成脚本结束无111优化后用户登录AIX300并发运行完成脚本结束无112优化后保存文档AIX300并发运行完成脚本结束无1优化后用户登录AIX500并发运行完成脚本结束无1优化后保存文档AIX500并发运行完成脚本结束无1优化后用户登录AIX800并发运行完成脚本结束无1优化后保存文档AIX800并发运行完成脚本结束无1结果数据收集性能测试执行过程中应收集的测试场景执行结果数据包括：LoadRunner的Controller中的场景执行结果数据；核心主机记录的资源〔CPU、MEM〕监控数据文件。结果分析对上述收集到的结果进行分析，得出三种部署方案的性能比拟：二种方案最大在线用户数；二种方案的最大并发用户数；二种方案响应时间曲线、资源利用曲线及其比拟结果；是否有新的瓶颈〔如数据库效劳器〕出现；用户数量与应用效劳器资源的关系曲线。测试实施方案测试时间和地点时间：2014年6月10日地