性能测试的组织

性能测试的组织第1页，课件共63页，创作于2023年2月3.1性能测试工具3.2性能测试团队的人员构成3.3性能测试流程第2页，课件共63页，创作于2023年2月3.1性能测试工具性能测试工具的作用性能测试脚本录制时的协议类型性能测试工具的选择与评估第3页，课件共63页，创作于2023年2月性能测试工具的作用性能测试工具只能帮助你实施性能测试，并不能帮助你完成性能测试的需求、设计和分析（性能测试工具能够根据你的要求以各种方式提供报表，这些报表可以被用来分析系统性能状况）。第4页，课件共63页，创作于2023年2月

性能测试脚本录制时的协议类型

一般的性能测试工具都提供了多种协议支持，但具体在什么时候使用何种协议，如何选择也是一个问题。性能测试工具录制的是服务端和应用之间的通信数据，因此，选择何种协议取决于应用和客户端之间的通信协议。

Web应用：HTTP/HTTPS协议；数据库应用：协议取决于数据库本身的类型；

Socket应用：socket协议；除了这些，还有RMI、Corba、WebService等多种类型的协议。第5页，课件共63页，创作于2023年2月性能测试工具的选择与评估对需要进行性能测试的组织来说，决定使用哪种性能测试工具也不是一个简单的问题。这个问题通常会有两个层面的意义：第一，创建还是购买？第二，如果购买，如何选择一种商业工具？第6页，课件共63页，创作于2023年2月1、创建还是购买？

总之，”购买“的方式可以以较低的总体成本快速获得可用的软件，但如果被测试对象本身有一定的特殊需求，最好使用”创建“的方式构建适合的测试工具。工具类型优点缺点商业化工具稳定性好适应性较广成本较低学习培训成本较高某些特殊需求不能满足创建工具最适合应用易学习和使用稳定性可靠性不足成本高第7页，课件共63页，创作于2023年2月2.测试工具的评估和选择过程测试工具的评估可被描述为“从很多可用的工具中选择一个工具”，对于商业的性能测试工具，一般可以按照下列的过程进行评估：（1）列出需要的工具功能列表工具能支持被测系统运行的平台（软硬件环境、数据库环境）吗？工具能支持被测系统使用的协议吗？工具是否能够支持我们的特殊要求，例如防火墙、负载均衡、动态页面生成等？工具能够提供对我们关心的服务器、应用服务器或是数据库类型计数器的监控吗？工具使用的脚本语言功能完善吗？第8页，课件共63页，创作于2023年2月（2）工具比较

该步骤的主要目的是比较所有可供选择的工具，比较内容包括：功能比较。评价各种不同工具与所需要工具的功能的符合程度，可以在列出需要工具的功能时，一并给出每个需要功能的优先级权重，这样在进行符合度评价时，可以得出每个工具的功能符合度加权值，利用该加权值进行比较。工具能获取支持的比较。这方面的比较包括：开发商或是代理商对工具的支持力度如何？该产品的平均更新周期有多长？是否能方便地在应用中获取工具的使用支持？产品的支持方式包括哪些？时效性如何？供应商的信誉。这方面的信息主要通过其他客户对供应商的评价来获得。第9页，课件共63页，创作于2023年2月（3）成本分析

工具的价格是成本的主要构成，工具的价格和产品的License方式直接相关。评估工具成本的时候，最先要弄清楚的就是工具的License方式。在了解工具License方式的基础上，就可以根据需要选择产品部件，估算需要支付的产品价格了。

工具的学习曲线和必要的培训成本也是必须考虑的一个因素。永远不要相信测试工具供应商作出的“我们的工具非常简单易学，只需要很短时间就能让你学会”这种承诺。客观来说，目前的商业工具在产品架构和界面可操作性方面差别不大，学习曲线主要从系统支持的脚本语言类型是否被使用者熟悉，系统手册以及产品开发商或是代理商是否提供培训支持等。第10页，课件共63页，创作于2023年2月3.2性能测试团队的人员构成要顺利开展软件性能测试，首要的条件是有一支合适的性能测试队伍。软件性能测试的组织和执行需要涉及较多的技术和技能，因此我们在学习性能测试流程之前，先需要掌握性能测试团队的人员构成。根据经验，在一个性能测试团队中应该包括这样一些角色：测试经理、测试设计人员、测试开发人员、测试执行人员、测试分析人员和支持人员（系统、网络、数据库工程师）。第11页，课件共63页，创作于2023年2月角色职责技能备注测试经理1.和用户等项目干系人交互，确保测试的外部环境2.制定测试计划3.监控测试进度4.发现和处理测试中的风险1.计划执行和监控能力2.风险意识和能力3.外交能力和灵活变通能力负责整个测试项目测试设计1.定义性能规划2.识别用户的性能需求3.建立性能场景1.业务把握能力2.性能需求分析和识别能力设计测试方案和用例第12页，课件共63页，创作于2023年2月角色职责技能备注测试开发1.实现已设计的性能场景2.脚本开发、调试3.确定测试时需要监控的性能指标、性能计数器1.脚本编码和调试能力2.理解性能指标和性能计数器负责实现测试设计人员设计的方案和用例测试执行1.部署测试环境2.执行脚本和场景3.根据监控要求记录测试结果、记录性能指标和性能计数器值1.搭建测试环境的能力2.测试工具使用（执行）的能力3.性能指标和性能计数器值获取和记录的能力第13页，课件共63页，创作于2023年2月角色职责技能备注测试分析1.根据测试结果、性能指标的数值、性能计数器值进行分析2.能根据性能规划，分析出系统性能瓶颈，或是给出优化建议1.掌握性能测试工具的使用方法2.掌握应用系统性能领域相关知识，理解所采用的架构3.熟悉常用的性能分析方法4.具有一定的编码经验支持角色（系统）系统支持，协助解决测试工程师无法解决的系统问题处理系统问题的能力和技能，最好由专职的系统管理员担任这个角色第14页，课件共63页，创作于2023年2月角色职责技能备注支持角色（网络）网络方面的支持，协助测试工程师解决网络方面的问题，在必要时为测试分析角色提供网络方面的分析支持网络方面的能力和技能，最好由专职的网络管理员担任这个角色支持角色（数据库）数据库方面的支持，在必要时为测试分析角色提供数据库方面的支持数据库方面的能力和技能，最好由专职的DBA担任这个角色第15页，课件共63页，创作于2023年2月3.3性能测试流程测试前期准备测试需求&计划测试设计与开发测试执行结果分析报告大数据量测试疲劳强度测试失效恢复测试负载&压力测试第16页，课件共63页，创作于2023年2月性能测试流程测试流程1.测试前期准备4.测试执行3.测试设计&开发结果分析问题定位测试报告与评估保证系统稳定组建测试团队测试需求分析测试计划制定搭建环境部署测试场景执行测试测试脚本录制测试调试开发负载场景设计2.测试需求&计划2.测试需求&计划2.测试需求&计划2.测试需求&计划5.结果分析&报告第17页，课件共63页，创作于2023年2月测试流程–测试前期准备性能测试一般是软件系统已经开发完成或是部署完成之后的测试，要求被测对象至少具有一定的稳定性，在功能上基本满足了需求。对一个很不稳定或是还处于“半成品”状态的软件系统进行测试，没有太大的意义。在这个阶段需要完成的任务主要有：保证系统稳定1组建测试团队2第18页，课件共63页，创作于2023年2月在进行性能测试前，首先要做的工作就是验证系统基础功能，来确保当前需要进行性能测试的应用系统已经具备了进行性能测试的条件。如果性能测试本身属于验收测试的一部分，只需要把性能测试安排在功能验收测试完成之后即可；如果性能测试不在验收测试阶段运行，则必须保证在性能测试之前进行至少一次系统的功能覆盖测试。保证系统稳定1第19页，课件共63页，创作于2023年2月该活动的主要目标是建立一个可以进行性能测试的团队。在测试前期准备阶段，需要根据项目的大致情况，确定人员需要的技能，从而从组织中或是通过招聘挑选合适的人员组成测试组。组建测试团队2第20页，课件共63页，创作于2023年2月测试流程–测试需求&计划

该阶段需要完成的主要任务有：测试需求分析1测试计划制定2第21页，课件共63页，创作于2023年2月测试需求就是应用需求的衍生测试用例也必须覆盖所有的测试需求测试需求的来源是多方面的，如需求文档、用户备忘录或系统日志等。测试需求分析1第22页，课件共63页，创作于2023年2月测试需求分析关键内容：测试的对象；系统配置，例如“预计有多少用户并发访问？”“用户客户端的配置如何？”“使用什么样的数据库？”“服务器怎样和客户端通信？”“网络设备的吞吐能力如何，每个环节承受多少并发用户的访问？”等相关问题；系统的使用模式；测试需求分析1第23页，课件共63页，创作于2023年2月用户的提问与我们的测试目标：测试需求分析1目标回答问题测量对最终用户的访问时间要花多少时间做完一笔交易？确定最优硬件配置什么样的配置提供了最好的性能？检查可靠性系统能在无错情况下承担多大或多长时间的负载？检查软、硬件升级这些升级对系统性能影响多大？评估新产品服务器应该选择哪些软件和硬件？测试系统负载在没有较大性能衰减的前提下，系统能够承受多大负载？分析系统瓶颈哪些因素降低交易响应时间第24页，课件共63页，创作于2023年2月测试需求分析方法：（充分分析系统有价值的信息）任务分布图交易混合图用户概况分析测试需求分析1第25页，课件共63页，创作于2023年2月任务分布图

测试需求分析1有哪些交易任务在一天的某些特定时刻系统都有哪些主要操作第26页，课件共63页，创作于2023年2月第27页，课件共63页，创作于2023年2月交易混合图高峰期有哪些操作？中间件操作有多少？数据库操作有多少？如果任务失败，那么商业风险有多少？第28页，课件共63页，创作于2023年2月第29页，课件共63页，创作于2023年2月用户概况分析哪些任务是每个用户都要执行的？针对不同角色的用户，他们的任务是什么？针对每个用户，不同任务的比例如何？第30页，课件共63页，创作于2023年2月第31页，课件共63页，创作于2023年2月要素：测试目标测试案例测试成员测试时间测试环境

测试计划制定2第32页，课件共63页，创作于2023年2月1、测试计划制定-测试目标测试目标首先是基于需求分析抽取出用户的需求其次，寻找用户的性能关注点，用户对系统性能的关注往往集中在少数几个业务活动上，如通过日志分析和用户调查分析获取第33页，课件共63页，创作于2023年2月系统日志分析：指通过应用系统的日志了解用户的活动，分析出用户最关注、最常用的业务功能，以及达到业务功能的操作路径；用户调查分析：是在不具备系统日志分析条件（例如，该系统尚未交付用户运行实际的业务）时采用的一种估算方法，可以通过用户调查问卷、同类型系统对比的方法获取用户最关注、最常用的业务功能等内容。第34页，课件共63页，创作于2023年2月测试目标可能描述为以下几种：该应用能够以1秒的最大响应时间处理200个并发用户对业务A的访问；峰值时刻有400个用户，允许响应时间延长到3秒。通过性能调优测试，本系统的A业务和B业务在200并发用户的条件下，响应时间提高到3秒，此时服务器的CPU占用不能超过75%，内存使用率不超过70%。第35页，课件共63页，创作于2023年2月2、测试计划制定-测试案例设计测试案例好的案例具有以下几个性质：有效性：可以发现缺陷可重用性：可以重复使用的案例，保证测试的一致性可维护性：当测试环境、测试数据发生变化后，测试案例经过简单维护，可以继续使用第36页，课件共63页，创作于2023年2月第37页，课件共63页，创作于2023年2月3、测试计划制定-测试成员前面已讲述。第38页，课件共63页，创作于2023年2月4、测试计划制定-测试时间第39页，课件共63页，创作于2023年2月5、测试计划制定-测试环境测试环境的基本原则：符合软件运行的最低要求，不一定选择将要部署的环境选用比较普及的操作系统和软件平台营造相对简单、独立的测试环境无毒的环境第40页，课件共63页，创作于2023年2月5、测试计划制定-测试环境负载压力性能测试，测试环境还需要注意以下几点：必须考虑测试工具的硬件和软件配置需求，比如支持工具的操作系统、工具是否支持当前的应用协议等测试环境与实际生产环境有无差异，硬件配置是否是影响性能的主要因素测试环境中应该包括安装、备份及恢复过程排除网络问题给环境带来的影响第41页，课件共63页，创作于2023年2月5、测试计划制定-测试环境好的测试环境的标准：一个稳定、可重复的测试环境能够保证测试结果的正确保证达到测试执行的技术需求保证得到可重复的和易理解的测试结果第42页，课件共63页，创作于2023年2月5、测试计划制定-测试环境测试数据：在测试环境中需要输入一些适当的测试数据，包括：初始数据系统运行所必须的初始化数据业务数据提供负载压力背景脚本中参数数据脚本中参数数据真实模拟负载第43页，课件共63页，创作于2023年2月测试流程–测试设计与开发该阶段需要完成的主要任务有：测试脚本录制1测试调试开发2负载场景设计3第44页，课件共63页，创作于2023年2月

以测试工具LoadRunner为例测试脚本录制1第45页，课件共63页，创作于2023年2月

作用：用于设计测试活动需要使用的场景测试场景从不同角度的剖面模拟实际业务的运行负载场景设计3场景包含内容：业务和业务比例测试指标的目标需要在测试过程中进行监控的性能计数器

测试场景可以是多个测试目标的体现，下表描述了一个测试场景的内容。第46页，课件共63页，创作于2023年2月场景名称场景业务及用户比例分配测试指标性能计数器用户登录登录业务，100%用户总用户数200人响应时间（<5s）服务器CPUUsage服务器内存Usage标准日常工作入账业务，40%用户查询业务，30%用户统计业务，30%用户总用户数200人响应时间(入账<6s)(查询<5s)(统计<10s)服务器CPUUsage服务器内存Usage……………………表测试场景示例第47页，课件共63页，创作于2023年2月测试流程–测试执行该阶段需要完成的主要任务有：搭建测试环境1部署测试场景2执行测试和记录结果3第48页，课件共63页，创作于2023年2月硬件环境设备、网络拓扑软件环境应用部署、测试工具数据环境数据规模搭建测试环境1第49页，课件共63页，创作于2023年2月部署脚本场景运行时设置如循环次数、业务比例、运行时间等等性能指标和资源监控设置（重点关注）部署测试场景2第50页，课件共63页，创作于2023年2月在执行测试的过程中，应该使用一些性能指标来关注性能测试。常用的性能指