性能测试理论

1、1软件(run jin)性能测试共五十二页21. 性 能 测 试 介 绍2. 性 能 测 试 过 程3. 性 能 测 试 举 例内容(nirng)概要共五十二页31.1 什么是软件性能1.2 性能指标介绍(jisho)1.3 什么是性能测试1.4 性能测试类型性 能 测 试 介 绍共五十二页4什么是软件(run jin)性能 系统的性能是个很大的概念，覆盖面非常广泛，对一个(y )软件系统而言，包括执行效率、资源占用、稳定性、安全性、兼容性、可扩展性、可靠性等等。 用户视角的软件性能 管理员视角的软件性能 产品开发人员视角的软件性能共五十二页5什么(shn me)是软件性能1.1.1 用户视角

2、的软件性能(xngnng) 从用户角度来说，软件性能就是软件对用户操作的响应时间。 1.1.2 管理员视角的软件性能 系统的响应时间； 系统运行时服务器的状态，如CPU利用情况、内存使用情况等； 系统是否能够实现扩展； 系统支持多少用户访问； 系统性能可能的瓶颈在哪里； 系统是否支持7*24小时的业务访问。共五十二页6 什么是软件(run jin)性能1.1.3 产品开发人员视角的软件性能 用户关心的响应时间； 管理员关心的系统可扩展性等； 架构设计是否合理； 数据库设计是否合理； 代码是否存在性能方面的问题； 系统中是否有不合理的内存使用(shyng)方式。共五十二页7什么(shn me)是

3、性能测试性能(xngnng)测试主要是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能(xngnng)指标进行的一种测试。 共五十二页8为什么要进行性能(xngnng)测试1评估系统的能力，测试中得到的负荷和响应时间数据可以被用于验证所计划的模型的能力，并帮助作出决策。2识别体系中的弱点：受控的负荷可以被增加到一个极端的水平，并突破它，从而修复(xif)体系的瓶颈或薄弱的地方。3系统调优：重复运行测试，验证调整系统的活动得到了预期的结果，从而改进性能。4.检测软件中的问题：长时间的测试执行可导致程序发生由于内存泄露引起的失败，揭示程序中的隐含的问题或冲突。5验证稳定性（

4、resilience）可靠性（reliability）：在一个生产负荷下执行测试一定的时间是评估系统稳定性和可靠性是否满足要求的唯一方法。共五十二页9性能(xngnng)测试注意事项1服务器端和客户端一定要同一个局域网内，否则网络因素会成为性能测试的瓶颈。2在性能测试脚本中要注意检查点的设置，否则都不清楚脚本是否真的成功执行操作。3设置参数化和关联是性能测试脚本调通的关键。4录制脚本时通常会包括一些think time,因此在回放脚本时，注意在runtime setting中设置忽略think time，否则会影响测试数据的准确性，如：响应时间(shjin)的准确性。5尽量每个页面设置一个tr

5、anscation,否则不知哪个页面最慢。6运行性能测试时在runtime setting中关闭日志功能，调试脚本时可以打开日志功能。7性能测试前的数据准备很重要：比如：系统数据库存在60000个用户和系统数据库存在60个用户，分别在两种情况下执行登陆性能测试，性能测试的结果也不会一样的。8 在性能测试时用户登陆的用户名和密码，每个用户尽可能不要一样！共五十二页10性能指标介绍(jisho)并发用户数响应时间(shjin)吞吐量资源利用率点击率事务处理时间共五十二页11并发(bngf)用户数并发用户数是指在某一给定时间内，某个特定点上进行会话操作的用户数，即同时(tngsh)进行请求的客户的数

6、量 共五十二页12响应(xingyng)时间响应(xingyng)时间指的是客户端发出请求到得到响应的整个过程所经历的时间。共五十二页13请求响应时间：指的是客户端发出请求到得到响应的整个过程的时间。在某些(mu xi)工具中，请求响应时间通常会被成为“TLLB”，即“Time to last byte”,意思是从发起一个请求开始，到客户端接收到最后一个字节的响应时间所耗费的时间。请求响应时间过程的单位一般为“秒”或者“毫秒”.事务响应时间:事务可能由一系列请求组成,事务的响应时间主要是针对用户而言,属于宏观上的概念，是为了向用户说明业务响应时间而提出的.例如:跨行取款事务的响应时间就是由一系

7、列的请求组成的.事务响应时间和后面的业务吞吐率都是直接衡量系统性能的参数.响应(xingyng)时间共五十二页14吞吐量吞吐量是指单位时间(shjin)内系统处理的客户请求的数量，直接体现软件系统的性能承载能力。 一般来说，吞吐量用请求数/秒或页面数/秒来衡量，从业务的角度，吞吐量也可以用访问人数/天或处理的业务数/小时等单位来衡量。从网络的角度来说，也可以用字节数/天等单位来考察网络流量。共五十二页15源利用率资源利用率是指系统资源的使用程度，比如服务器的CPU利用率、内存利用率、磁盘利用率、网络带宽利用率等。.资源利用率是分析系统性能(xngnng)指标进而改善性能(xngnng)的主要依

8、据,因此是WEB性能测试工作的重点.资源利用率主要针对WEB服务器,操作系统,数据库服务器,网络等,是测试和分析瓶颈的主要参考.在WEB性能测试中,更根据需要采集相应的参数进行分析. 共五十二页16点击率点击率:HPS，每秒钟用户向WEB服务器提交的HTTP请求数.这个指标是WEB应用特有的一个指标 。点击率越大, 对服务器的压力越大.点击率只是一个性能参考指标,重要的是分析点击时产生的影响 这里的点击并非指鼠标的一次单击操作,因为在一次单击操作中,客户端可能向服务器发出(fch)多个HTTP请求. 共五十二页17性能测试(csh)类型负载测试压力(yl)测试疲劳强度测试基准测试共五十二页18

9、负载(fzi)测试负载测试：主要(zhyo)用于描述常规的性能测试，通过模拟生产运行的业务压力和使用场景组合来测试系统的性能是否满足生产要求。 通俗的说，这种测试方法就是要在特定的运行条件下验证系统的能力状况。共五十二页19压力(yl)测试压力测试：对系统不断施加压力的测试，是通过确定一个系统的瓶颈或者不能接收用户请求的性能点，来获得系统能提供的最大的服务级别的测试。通俗(tn s)地讲，压力测试是为了发现在什么条件下应用程序的性能会变得不可接受。共五十二页20压力(yl)测试用户量压力(yl)测试数据量压力测试共五十二页21疲劳强度测试(csh)疲劳强度测试通常是采用系统稳定运行情况下能够支

10、持的最大并发用户数或 者日常运行用户数，持续执行一段时间业务(yw)，通过综合分析交易执行指标和资源监控指标来确定系统处理最大工作量强度性能的过程。 疲劳强度测试可以反映出系统的性能问题，例如内存泄漏等。 共五十二页22基准(jzhn)测试当软件系统中增加一个新的模块的时候，需要做基准测试，以判断新模块对整个软件系统的性能影响。按照基准测试的方法，需要打开/关闭新模块至少各做一次测试。关闭模块之前(zhqin)的系统各个性能指标记下来作为基准（Benchmark），然后与打开模块状态下的系统性能指标作比较，以判断模块对系统性能的影响。 共五十二页23性能(xngnng)测试过程测试需求分析制定

11、(zhdng)测试策略制定测试方案执行测试方案测试结果分析编写测试报告共五十二页24测试(csh)需求分析测试(csh)需求分析主要有以下的几个关键点：测试的目的是什么 性能符合性验证：验证是否满足应用的需要。 性能能力验证：确定性能极限、是否存在性能瓶颈。 性能调优：对系统的性能进行调试、优化。共五十二页25测试需求(xqi)分析测试要素分析： 用户数量 测试执行的功能 用户分布（即执行每种功能的用户数） 硬件环境（包括(boku)网络环境） 软件环境 数据量其它分析 系统运行中所出现的问题有什么特征或规律 疲劳测试执行时间多少 性能需求的指标是什么等共五十二页26制定(zhdng)测试策略

12、测试目的不同，则相应的测试策略不同。 性能符合性验证负载测试、疲劳强度测试。 性能能力(nngl)验证压力测试、疲劳强度测试。 性能调优测试-调整-测试。负载测试、压力测试、疲劳强度测试。共五十二页27制定测试(csh)方案测试需求测试策略测试场景测试环境测试准备人员及时间安排(npi)问题与对策共五十二页28执行(zhxng)测试方案搭建测试环境录制脚本、编辑(binj)脚本布置测试场景执行测试场景共五十二页29测试(csh)结果分析性能符合性验证：查看测试结果是否满足要求，比如响应时间、资源利用率、吞吐量等等。性能能力验证：查看测试结果是否满足要求，记录软件系统的性能变化曲线。 对于确定是

13、否存在性能瓶颈，首先判断是否存在硬件（包括(boku)网络）瓶颈问题，若不存在硬件瓶颈问题，则按照应用软件到系统软件（应用服务器、数据库服务器、操作系统）的顺序进行分析，确定瓶颈点。性能调优：同性能能力验证确定性能瓶颈分析方法。共五十二页30测试结果(ji gu)分析硬件瓶颈分析方法 内存分析方法 处理器分析方法 磁盘(c pn)I/O分析方法 网络分析方法共五十二页31测试(csh)结果分析内存分析方法 1.首先查看可用内存（MemoryAvailable Mbytes）计数器指标。若值较小则可能(knng)有内存问题，需进一步分析。 2.注意Pages/sec、Pages Read/sec

14、和Page Faults/sec计数器的值。 Pages/sec和Page Faults/sec的值持续很高，很可能内存问题，若Pages Read/sec的值超过5，则可判断存在内存问题。 3.根据Physical Disk计数器的值分析性能瓶颈。如果磁盘的Average Disk Queue Length计数器增加的同时Pages Read/sec并未降低，则可判断内存有问题。 共五十二页32测试结果(ji gu)分析处理器分析方法 1.首先查看System%Total Processor Time计数器的值。该值体现的是CPU的平均利用率，若超过90%，则说明存在处理器方面的瓶颈。 2.

15、其次查看每个CPU的Processor%User Time计数器的值。若应用服务器的%User Time值较大，可以考虑是否(sh fu)能通过算法优化等方法降低这个值。若数据库服务器的%User Time值较大，可考虑对数据库系统进行优化。 3.查看SystemProcessor Queue Length计数器的值。当该值大于CPU数量的总数+1时，说明存在处理器方面的问题。共五十二页33测试(csh)结果分析磁盘I/O分析方法 1.查看%Disk Time计数器的值。该值较大，则可能存在磁盘瓶颈问题。 2.与ProcessorPrivileged Time合并进行(jnxng)分析。若%D

16、isk Time值较大，而ProcessorPrivileged Time的值适中，则可判断存在磁盘问题。若ProcessorPrivileged Time较大，持续超过80%，则可能是内存泄漏。 3.根据Disk sec/Transfer进行分析。该值超过60ms，则磁盘存在问题。共五十二页34测试(csh)结果分析网络分析方法 1.查看Network Interface Bytes Total/sec计数器的值。用Bytes Total/sec计数器的值和网络的带宽(di kun)进行比较，若超过50%，则说明网络存在性能瓶颈问题。 共五十二页35测试结果(ji gu)分析软件瓶颈分析方法

17、 分析事务响应时间、吞吐量，确定是否存在性能问题，若发现存在性能问题，则找出响应时间不符合要求或者出现多个失败的事务，对其进行分解，然后(rnhu)对其进行网页细分，以确定影响性能的元素。共五十二页36编写(binxi)测试报告测试指标：描述与测试场景对应的事务(shw)平均响应时间、事务(shw)吞吐率、资源消耗指标、运行的用户数等信息。结果分析与总结：根据测试目标，描述最后分析得到的结果，并给出相应的建议。共五十二页37性能(xngnng)测试举例 性能(xngnng)测试工具介绍 性能测试举例共五十二页38 性能(xngnng)测试工具介绍 常见(chn jin)性能测试工具介绍 性能测

18、试工具的选择共五十二页39常见(chn jin)性能测试工具CompuWare 公司(n s)的QALoad；Mercury Interactive公司的LoadRunner；Microsoft公司的WAS ；RadView公司的WebLoad ；IBM公司的RPT ；开源工具：OPENSTA等。共五十二页40LoadRunner1、简介 LoadRunner 是一种预测系统行为和性能的负载测试工具。通过模拟上千万用户实施并发负载及实时性能检测来确认(qurn)和查找问题，能够对整个企业架构进行测试。通过使用 Loadrunner，企业能够最大限度的缩短测试时间，优化性能和加速应用系统的发布周

19、期。LoadRunner 能支持广范的协议和技术，功能比较强大，可以为特殊环境提供特殊的解决方案。 共五十二页41LoadRunner2、特征）轻松创建虚拟用户；）创建真实的负载；）定位(dngwi)性能问题；）分析结果以精确定位问题所在；）重复测试保证系统发布的高性能；）支持Enterprise Java Beans的测试； 7 ）支持无线应用协议； 8 ）支持Media Stream应用。共五十二页42性能(xngnng)测试工具的选择 创建(chungjin)还是购买 如何选择一种商业工具共五十二页43创建(chungjin)还是购买创 建购 买能够开发出最适合应用的测试工具依赖于工具本

20、身提供的特性，较难扩展易于学习和使用依赖于工具的易用性和所提供的文档工具的稳定性和可靠性不足稳定性和可靠性优一定保证可形成组织特有的测试工具体系很难与其他产品集成共五十二页44如何选择一种商业(shngy)工具需要注意的几点：工具是否支持被测系统运行的平台（软硬件环境、数据库环境）；工具能否支持被测系统使用的协议；工具是否能够支持我们的特殊要求，如防火墙、负载均衡等；工具是否能够提供(tgng)对我们关心的服务器类型计数器的监控；工具的价格。共五十二页45性能(xngnng)测试举例某网站测试需求 可以支持100个并发(bngf)用户执行各种查询操作，要求各查询操作的响应时间在5秒以内，服务器

21、CPU利用率在80%以下。共五十二页46性能(xngnng)测试举例性能需求分析 测试目的：验证是否满足应用要求（性能符合性验证）。 测试要素： 并发(bngf)用户数-100。 测试功能-仪器信息与使用预约、大型精密仪器机组查询、交流平台搜索、会展信息搜索。 用户分布-平均分配。 数据量、软件、硬件环境委托方负责准备。 共五十二页47性能(xngnng)测试举例测试策略 负载测试单项业务模式、混合业务模式。 说明：混合业务模式和实际应用是非常接近的，需要进行测试。 对于单独业务模式，虽然实际情况中很难出现(chxin)，但这是一种极限的情况，也应该把这种情况下的测试结果呈现给用户。共五十二页48性能测试(