性能工程系列之一性能测试篇

性能工程系列之一性能测试篇第1页，共33页，2023年，2月20日，星期六主要介绍内容性能测试是什么（what）为什么要做性能测试（why）性能测试什么时候做（when）性能测试人力资源组成（who）性能测试环境搭建（where）性能测试怎么做（性能测试过程）（How）性能测试工具简介性能测试中的关键点第2页，共33页，2023年，2月20日，星期六性能测试是什么？定义：性能测试是指通过特定方式，对被测系统按照一定策略施加压力，获取系统响应时间、TPS、吞吐量、资源利用率等性能指标，以期保证生产系统的性能能够满足用户需求的过程。第3页，共33页，2023年，2月20日，星期六性能测试是什么？-性能测试术语命名用户数命名用户数是指在应用系统中注册的所有系统用户。该用户数取决于系统应用范围和业务范围，可以通过统计应用系统数据库中用户登记表获取。对于类似网站浏览式应用一般通过类似系统的类比估算获得。在线用户数在线用户数是指同时登录应用系统的用户数量该数量可通过检查系统应用与数据库连接获得在线用户数量取决于系统命名用户数。对于已投产系统，该数量一般通过系统跟踪监控获取新投产系统通过经验值进行估算。第4页，共33页，2023年，2月20日，星期六性能测试是什么？-性能测试术语并发用户数并发用户数是指在系统运行期间同一时刻进行业务操作的用户数量。该用户取决于用户操作习惯、业务操作间隔和单笔交易的响应时间。在性能测试中通过对Thinktime、interval等参数的设置测算。使用频度较低的应用系统并发用户数一般为在线用户数的5%左右使用频度较高的应用系统并发用户数一般为在线用户数的10%左右。交易交易分为业务层面和技术层面两种定义。业务层面交易是指完成一次完整的业务操作，例如进行一次取款、查询操作。技术层面的交易是指进行一次应用程序至应用程序、或者应用程序至数据库的系统操作。一般的一笔业务交易由多笔技术交易组成，根据业务交易的复杂度和系统应用架构的不同，其比例大致为1：2-1：10。第5页，共33页，2023年，2月20日，星期六性能测试是什么？-性能测试术语交易处理能力（TPS与HPS）TPS是估算应用系统性能的重要依据其意义是应用系统每秒钟处理完成的交易数量。一般的，评价系统性能均以每秒钟完成的技术交易的数量来衡量。系统整体处理能力取决于处理能力最低模块的TPS值。依据经验，应用系统的处理能力一般要求在10-100左右。不同应用系统的TPS有着十分大的差别，一般需要通过性能测试进行准确估算。HPS：HitsperSecond每秒点击次数，是指在一秒钟的时间内用户对Web页面的链接、提交按钮等点击总和它一般和TPS成正比关系，是B/S系统中非常重要的性能指标之一。交易响应时间交易响应时间是指完成一笔业务交易所需的时间。传统上是指统计“端到端”的交易完成时间。简单交易的响应时间一般不得高于5秒，复杂交易的响应时间一般在20秒左右。第6页，共33页，2023年，2月20日，星期六性能测试是什么？-性能测试术语资源使用率资源使用率是指在系统负载运行期间，数据库服务器、应用服务器、Web服务器的CPU、内存、硬盘，外置存储，网络带宽的使用率。据经验，低于20%的使用率为资源空闲，20%-60%的使用率为资源使用稳定，60%-80%的使用率表示资源使用饱和，超过80%使用率的资源使用率必须尽快进行资源调整和优化。批量处理时间批量处理时间是指应用系统完成批量操作所消耗的时间资源批量处理完成时间取决于业务接受程度一般的批量处理时间应在数小时内完成。其他指标在性能测试过程中还有大量与软件产品或者硬件设备相关的测算指标这些指标随着设备或者软件的不同有着较大差别随着性能测试的深入将逐渐积累汇总这些指标。第7页，共33页，2023年，2月20日，星期六性能测试是什么？-性能测试术语响应时间：响应时间指的是从客户端发起一个请求开始，到客户端接收到从服务器端返回的响应结束，这个过程所耗费的时间。响应时间=网络响应时间+应用程序响应时间第8页，共33页，2023年，2月20日，星期六性能测试是什么？-性能测试术语吞吐量：吞吐量指的是单位时间内处理的客户端请求数量。第9页，共33页，2023年，2月20日，星期六为什么要做性能测试？缺陷发现越早，成本越低未作性能测试失败实例第10页，共33页，2023年，2月20日，星期六为什么要做性能测试？编码阶段：防微杜渐-在编码阶段就进行开发员级的单元性能测试，尽早发现性能问题，降低缺陷修复的成本系统运营维护阶段：整体保障-当代码被修改、数据库配置改变、应用服务器配置改变等情况发生后，不仅需要功能回归测试，还要进行性能回归测试，避免由于一个小小的SQL语句缺陷而导致严重的系统性能问题第11页，共33页，2023年，2月20日，星期六性能测试什么时候做？新系统上线新系统上线后，全国推广前已有系统版本更新后或者已发现性能问题后已有系统硬件更换或者升级后**准入评审：在性能测试正式启动之前，需要对两个方面进行评审被测系统是否符合准入标准实施性能测试的可行性和必要性目的：考察被测系统是否具备性能测试的条件。不符合测试条件的系统会导致测试难以实施，或者测试结果严重失真勉强测试会使测试工作失去意义，浪费大量的时间、人力和软硬件资源。第12页，共33页，2023年，2月20日，星期六性能测试人力资源组成？第13页，共33页，2023年，2月20日，星期六性能测试人力资源组成？限制因素：参与人员杂技术难度高实施时间紧工作压力大需要一支层次分明、责任明确、执行力强的队伍明确规定各角色人员的工作职责定期召开工作分析和工作总结会，确认阶段工作结果建立协调上级领导进行决策的机制建立协调上级领导进行强制执行的机制建立测试组工作时间共享的机制建立项目组工作过程文档/结果共享的机制第14页，共33页，2023年，2月20日，星期六性能测试环境搭建软环境环境配置，包括被测应用系统、压力发生系统、监控系统、网络系统的配置测试场景准备，根据业务模型确定典型交易列表和场景压力发生系统准备。对于无法采用压力发生工具直接发起交易的性能测试，要设计开发压力传递系统，将交易压力正确、有效地加载至被测系统测试脚本录制，包括测试脚本的开发测试基础数据准备，包括基础数据的获得、数据量评估和基础数据改造。参数化数据抽取，根据脚本参数化字段，从基础数据中抽取有效的、正确的交易发起数据。包括获得抽取规则、抽取执行和数据验证，保证所有数据可以通过脚本正确执行。脚本预验证，保证参数化的测试脚本与基础数据结合能够在测试执行环境下正确运行时间戳系统准备。对于测试方案中确定需要通过时间戳系统记录交易在某个交易路径上的相应时间的情况，需要开发针对性的时间戳程序和相应的时间戳日志分析程序。挡板系统准备。包括挡板程序的设计、开发、部署和调试。另一方面，需要为挡板准备返回报文

第15页，共33页，2023年，2月20日，星期六性能测试环境搭建硬环境被测应用的主机和应用环境的申请、部署压力发生环境准备网络环境申请和部署监控系统准备测试人员办公网络环境……注意：环境搭建完毕后的环境确认是非常重要的！第16页，共33页，2023年，2月20日，星期六性能测试怎么做？规划阶段： 测试时间、测试目标、测试组织建模阶段： 收集数据、性能指标、测试范围预验证阶段： 风险评估、技术验证准备阶段： 测试环境、测试数据、测试脚本、测试程序执行阶段： 响应时间基准测试、负载测试、压力测试、容量 测试、Benchmark测试、稳定性测试调优阶段： 收集/分析测试结果数据、性能调优报告阶段： 测试成果确认、测试目标完成确认、收集测试环 境最终配置信息、测试报告编制第17页，共33页，2023年，2月20日，星期六性能测试怎么做？第18页，共33页，2023年，2月20日，星期六性能测试工具简介数据库监控工具网络监控工具（基础监控措施）操作系统监控工具（基础监控措施）性能测试工具测试管理工具应用服务监控工具存储服务监控工具第19页，共33页，2023年，2月20日，星期六性能测试工具简介自动化压力测试工具MercuryLoadRunnerIBMRationalRobotCompuwareQALoad……基于J2EE的应用监控工具MercuryDiagnosticQuestPerformasureIBMWSAM（forWebspere）……数据库监控工具QuestSpotlightVeritasi3……操作系统监控工具OS命令行开源工具，如IBMNMonitor……网络监控工具硬件串联监控软件镜像监控存储监控工具各厂商自带工具工具只是辅助手段领域专家＋合理的工具＝正确的分析第20页，共33页，2023年，2月20日，星期六性能测试工具简介VirtualUserGenerator控制Vuser产生压力，并搜集测试结果建立Vuser使用图表或报告显示结果的辅助分析工具LoadRunnerControllerLoadRunnerAnalysis第21页，共33页，2023年，2月20日，星期六性能测试工具简介LoadGenerator1Controller服务器虚拟用户虚拟用户脚本脚本LoadGenerator2第22页，共33页，2023年，2月20日，星期六性能测试工具简介调整系统分析结果第五步LoadRunnerVUGENLoadRunnerCONTROLLER&

ANALYSIS运行测试场景第四步建立测试场景第三步建立虚拟用户脚本第二步第一步建立测试计划第23页，共33页，2023年，2月20日，星期六性能测试工具简介

VuGen

ClientServerDatabaseAPICallsDBAPIcallsLRDStatementRecordresultvalues

Column1value1value2

Column2resultsetcodeDatabaseAPICallsLRDStatementAPIcallsresultscodecode建立虚拟用户脚本第24页，共33页，2023年，2月20日，星期六性能测试工具简介DBAPIcallsPlaybackresultvaluesAPIcallsresultServer

VuGen...LRDStatement......LRDStatement...

Column2

value2

Column1value1resultset回放虚拟用户脚本第25页，共33页，2023年，2月20日，星期六性能测试工具简介MiddlewareJacadaTuxedo6Tuxedo7Wirelessi-modeVoiceXMLWAPE_BusinessFTPLDAPSiebel-WebSoapPalmWeb/WinsocketDualprotocolWeb(HTTP/HTML)LegacyRTEERPSAPBaanOracleNCAPeopleSoft8PeopleSoftTuxedoSiebel(DB2CLI,Oracle,MSSQL)Client/ServerJoltInformixMSSQLServerODBCOracle(2-Tier)Sybase(Ctlib,Dblib)WindowsSocketsDB2CLIDomainResolution(DNS)EnterpriseJavaBeansEJBTestingRmi-JAVADistributedComponentsCOM/DCOMCorba-JavaRmi-JavaCustomCVuserJavaScriptVuserJavaVuserVBScriptVuserVBVuserMailingServicesInternetMessaging(IMAP)MSExchange(MAPI)POP3SMTPLoadRunner支持平台第26页，共33页，2023年，2月20日，星期六性能测试中的关键点获取测试需求确定测试目标进行业务调研建立测试模型测试模型数据模型业务模型监控模型风险模型执行模型第27页，共33页，2023年，2月20日，星期六性能测试中的关键点业务调研例：年业务量调研月份业务量122043222123322143422122520342619873716543837643929832102421211209821221098第28页，共33页，2023年，2月20日，星期六性能测试中的关键点业务调研例：月业务量调研日期业务量日期业务量111211713452103718167831023191786498720154351543211231610222210947126723987810982489991376251022101675261034111324271213121099281112131256291345141098301274151021311012161121第29页，共33页，2023年，2月20日，星期六性能测试中的关键点业务调研例：日业务量调研时间交易量051120304052623743864997102121132412243132111416715143161221790181119720921522