软件效率测试-初级培训.ppt

软件效率测试,目标,本次培训的目标： 了解效率测试的概念 了解效率测试的常用手段 了解效率测试的步骤 掌握脚本录制方法 掌握脚本的调试和修改方法 掌握测试报告的编制方法 了解测试数据的分析方法 理解基本的性能指标,效率测试的定义,谈及系统的性能，其覆盖面非常广泛，对一个系统而言包括执行效率、设备效率和网络效率等 性能测试用来保证产品发布后系统的性能满足用户需求，性能测试在软件质量保证中起着非常重要的作用,效率测试的目的,评估系统的能力 识别体系中的弱点 系统调优 验证可伸缩性（resilience）和可靠性（reliability） 用性能测试手段发现系统存在的问题 设备选型 提供部署方案的参考,效率测试的常用手段,基准测试 并发测试 递增测试 场景测试 极限测试,疲劳测试 数据存储容量测试 吞吐量测试 ,基准测试,基准测试是指测试环境确认以后，对业务模型中涉及的每种业务做基准测试。目的是获取单用户执行时的各项性能指标，为多用户并发和混合场景的性能测试性能分析提供参考依据。,并发测试,并发测试是指并发不同数目的虚拟用户执行检查点操作，目的是对检查点进行压力加载测试。预测系统投入使用后在一定用户压力情况下的系统响应时间,根据此响应时间分析、确定系统存在的性能瓶颈，为系统的优化和调整提供依据。,递增测试,递增测试是指每隔一定时间段（如5秒、10秒）并发不同数目的虚拟用户执行检查点操作，对检查点进行递增用户压力加载测试，从而模拟系统真实的使用情景，使用户预知系统投入使用后的性能水平。,场景测试,根据历史数据统计结果以及系统用户的分布和使用频率，模拟不同用户执行不同操作，如10%的用户执行登录操作，50%的用户执行查询操作，40%的用户执行数据库更新操作，最大限度地模拟系统的真实场景，使用户预知系统投入使用后的真实性能水平。从而，对系统做出相应的优化及调整，避免实际情况中出现系统长时间不响应及崩溃的情况。,极限测试,极限测试是指对系统核心功能点及可能存在压力瓶颈的功能点进行性能极限测试，即该功能点所能承受的最大用户并发数。通过极限测试，用户可预知系统投入使用后，能否满足实际的需求。,疲劳测试,该测试是指对系统核心功能点进行疲劳强度测试，即用系统稳定运行情况下能够支持的最大并发用户数，持续执行一段业务时间（如48小时），记录交易平均响应时间，交易正确率，应用服务器和数据库服务器CPU利用率、内存使用情况等参数，考察应用服务器和数据库服务器是否出现宕机、内存泄漏等情况。该测试通常需要和场景测试进行结合，从而可以最大限度地模拟真实环境下，系统长时间连续运行条件下，系统是否能够保持在稳定运行状态。,吞吐量测试,模拟多用户进行执行提交任务操作，测试系统单位时间内可执行任务数是否可以达到预期的指标。,数据存储容量测试,数据库存储一定容量后，在不同的数据存储量情况下，重新执行各项操作，求得系统响应时间。比较不同数据存储容量情况下，执行不同任务操作的系统响应时间，使用户预知未来一段时间随着数据存储容量的变化，执行不同任务操作响应时间所发生的变化。,网络性能测试,含义 测试网络带宽、延迟、负载和端口的变化对用户的响应时间的影响 实际应用 主要是测试用户数目与网络带宽的关系,效率测试局限,不能穷尽所有的情况或案例 不能100%的达到需求,效率测试的步骤,分析系统并制定测试目标 选择相关技术和工具 准备测试环境 录制脚本并设计测试用例 设计测试场景 运行测试用例并确定系统健康运行 监测后台资源 分析测试结果并制作报告,分析系统并制定目标,分析系统 系统类别 系统构成 系统功能 制定目标 确定客户需求和期望 确定实际业务需求 确定系统需求 测试点通常按照4-8原则，时间占到整个测试周期的2/3以上 登录、查询、数据更新操作、文件上传等,选择相关技术和工具,对各种性能测试工具进行评估 选择符合现有软件架构的性能测试工具,设计测试场景,虚拟用户的操作步骤要尽量类似真实用户的操作 操作的数据要类似于真实用户实际使用数据，以防止应用缓存技术对负载测试带来的负面影响 在案例设计时要充分考虑到需求中用户对模块使用的频率,准备测试环境,系统使用何种操作系统 需要监控哪些指标 需要安装哪些服务 是否需要准备数据 需要哪些用户 同一个用户是否可以重复使用,录制脚本并设计测试用例,从登录开始 加入检查点 尽可能模拟用户的数据 一定要退出系统（logout） 并发时加入同步点,修改调试脚本,发现脚本中动态内容出现的位置并用变量进行替换 替换的方式分为： 创建数据池文件（txt、cvs or dat） 使用Central数据池 数据不能重复 使用Local 数据池 数据可循环使用 通过ActiveData菜单插入变量值,运行测试用例并确定系统健康,通过并发两个用户确定脚本的可并发性 不能只进行一次测试（初始化、缓存、网络）,配置选项（选择脚本、用户数、机器） 执行测试 查看执行状态（进度、错误信息） 查看测试结果（数据是否正确、license） 采集数据停止测试,监测后台资源,网络访问方式、Agent方式、SNMP方式 CPU 内存 磁盘 网络,分析测试结果并制作报告,收集相关信息 进行数据统计分析 寻找性能瓶颈 响应时间是否满足要求 事务响应时间随用户变化图有无剧烈变化 套用效率测试模板,测试工具培训基础,QALOAD QALoad 是进行性能测试，负载测试和强度测试的工具 QALoad 可以对应用负载测试一直达到应用最大并发用户数 QALoad 可以对应用进行强度测试，从而找到应用可承载的最大并发用户数 QALoad 可以测量应用的响应时间，给出应用的最终用户性能体验 其它用途：系统优化，监测服务器资源，容量规划，基准性能指标，与其他工具结合获得更多的功能,QALOAD所支持的协议,通信层 Winsock, IIOP, WWW, WAP, Net Load 数据层 ODBC, MS SQL Server, Oracle, Oracle Forms Server, Sybase, DB2, ADO 应用层 SAP, Tuxedo, Uniface, QARun, JAVA,QALOAD体系结构,Workbench,Player Machines,Conductor,Analyze,20 vus,50 vus,75 vus,Application Under Test,QALoad的三大组成组件,安装环境,Windows 环境+最新的补丁 IE JDK Visulstudio +补丁 PDF阅读器,工具演示,录制脚本 修改脚本 设置测试场景 运行测试脚本 分析测试数据 制作测试报告,性能测试关注的主要指标,响应时间 并发或在线用户数 吞吐量(应用和数据库) 内存（Memory） 磁盘（Physical Disk） 处理器（Processor） 网络,响应时间,在某数据量的情况下，完成某功能模块所需要的时间,内存（Memory）,Committed Bytes in Use Available Bytes Page Faults/sec Pages/sec,磁盘（Physical Disk）,Disk Time Idle Time Avg. Disk Queue Length Current Disk Queue Length,处理器（Processor）,Processor Time User Time Processor Queue Length,网络,Bytes Total/sec Packets/sec,回顾效率测试流程,准 备 测 试 环 境,选 择 测 试 工 具,录 制 脚 本 并 设 计 用 例,设 计 测 试 场