性能测试进阶2-方案篇

收集系统信息明确性能测试目标设计场景选择关键的应用场景确定关键场景的使用路径区别每种用户的数据和不同点确定不同场景的相对分布指标性能测试方案制定Operational

ViewDeployment

ViewPersistent

Data

View1收集系统信息系统说明文档设计文档例如，MRD、概要设计、详细设计等其他技术细节参与角色PM、RD、OP、DBA等信息来源View

ItemsChecklist硬件部署网络状况·终端用户与web服务器的网络连接·web/应用服务器与数据库服务器的网络连接-多台web服务器跨机房的部署(南北分流)web/app/database服务器的配置·processors·disk·memory·RAID条件·memory

utilization·key

processes

resource

utilization·processor

utilization·network

utilization·server

status架构主要组件间的接口·有proxy

cache·主从资源使用的可接受标准·processorsserver

log是否可用·web

server·负载均衡·数据传输方式·memory

·disk·app

server

·database

server业务与负载负载变化规律业务特点与负载变化的规律·峰值

·较高·业务的类型·系统登录的用户数·较低·每秒业务量

·系统总用户量·业务可接受的平均、最大、90%响应时间·是否有

任务产生额外负载

·是否存在外部依赖(依赖外部模块响应时间)数据现状与增长预期当前数据分析·数据大小

·数据组织方式(·每个业务对应的主要数据库对象(·系统中最大的几张表大小是多少-physical

-logical)-可能是一张表或一组表

)·数据归档和整理的频率数据量增长预期·未来一段时间的数据增长预期Checklist示例2

明确性能测试目标Application

response

timeHow

long

does

it

taketocomplete

a

taskConfiguration

SizingWhich

configuration

providesthe

best

performance

level?AcceptanceIs

the

system

stable

enough

togointo

production?RegressionDoes

the

new

version

of

thesoftware

adversely

affectresponse

time?Reliability–

How

stable

is

the

systemunder

a

heavywork

load?Capacity

planningAt

what

pointdoesdegradation

in

performanceoccur?Bottleneck

identificationWhat

is

the

cause

ofdegradation

in

performance?Product

evaluation–

What

is

the

best

server

for100

users?基于expectations, ation,

observation,

log

files,

以及其他可以用的数据（例如正式上线前的试用期数据）建立真实的负载模型基础：并发用户和 用户的区别识别每类用户的典型应用场景了解建立真实负载模型的常用指标将用户使用场景和用户数据视为一个整体考虑

指标的重点3

设计性能场景设计并发量/ 用户数的依据有明确规定的，采用规定的并发量采用类似系统的并发量作为参考使用经验值进行估算系统中可用同时

人数的15%作为并发量的参考值并发量/用户数明确指定了性能目标的场景例如，某功能在xx人并发 的情况下响应时间不大于1s每类用户典型的应用场景典型、频繁、用户量大Business-critical场景出现性能问题将造成较大的经济损失，如下单Performance-intensive场景技术 （RD）关注的场景架构相关、算法相关等业务

（PM）关注的场景合同规定的应用场景对委托开发或第 测试选择关键场景确定关键 路径的方法识别有明显性能影响并且组成一个或多个关键应用场景的 路径根据设计文档和用户手册进行识别自己熟悉相关功能关键路径用户使用方法用户所占比例路径分析无论关键的应用场景和路径多么精确，如果没有考虑到和用户相关的数据以及用户间的差别，那也是不精确的。例如：客户关系管理系统中，销售总监和一线的经理可以使用相同的报表功能。但是能够查看的数据范围，差别很大。那么性能差别将是非常巨大的。用户数据考虑要素用户的数据权限如，拥有不同数据权限的用户其操作的数据量不同用户的规模不同功能对于的用户群规模不同，其对系统的压力也不同。用户的使用如，think

timeTips：从系统日志中分析用户行为和数据是一个很好的方法用户数据分析通过对 日志和业务日志的分析，可以很好的协助我们建立真实的工作负载模型PageviewspersecondUsersessionspersecondSessiondurationPage

request

distributionInteractionspeedUserabandonment建立真实负载模型的指标明确关键的路径明确用户及规模明确用户数据明确关键场景的相对分布明确测试方法并发量/

用户数持续时长常规

指标重点关注的

指标实现场景模型在理解测试需求、系统架构的基础上，确定重点的性能指标。应用程序级统计数据Webserver与application

server数据库服务器提示：结合业务特征，预期性能表现，与实际 数据进行对比。任何不合理的现象要给出解释指标Response

timeHits/secondThroughputConnectionsLoadrunner的统计数据每个组件的性能热点的重点多层架构的性能指标描述CPUSys:

系统处于

态的时间Us：系统处于非

态的时间Io

wait：由于等待IO而处于空闲的时间Idle：空闲CPU时间IOBi:磁盘读速率(KB)Bo:磁盘写速率(KB)MemoryFree:空闲内存

Swap：使用的虚拟内存Buff：用作buffer的内存Cache：用作cache的内存SystemIn:每秒中断数（包括时钟）Cs:上下文切换率SwapSi:从磁盘读入内存的大小So:从内存写入磁盘的大小工欲善其事必先利其器Linux服务器性能Apache/tomcat应用服务器JVM状态线程池吞吐量数据库服务器缓存线程池日志（慢查询）临时表磁盘IO应用服务器示例(1)数据库状态示例(2)明确性能需求明确系统架构明确环境部署明确系统测试方法、测试场景设计明确性能 的重点明确可能存在的风险测试计划性能测试方案要素Discussion“单元测试”与综合测试关键业务的测试目标业务的响应时间该业务支持的并发量该业务的资源消耗综合场景综合场景的测试是web测试中必不可少的，主要是模拟真实场景系统的性能表现场景的业务组成各业务的比例运行的时间Web系统测试实践举例项目背景某大公司全新的业务管理系统，全新上线。经小规模试用两周后，需评估推广后，系统的压力状况和所需的最低软硬件需求。案例：XX系统容量规划理解系统架构确定关键场景确定关键路径测试场景设计测试方法测试方案理解系统的主要特点理解每个性能场景与不同组件的关系预期性能热点，指导选择可能会造 能问题的关键业务，并做出正确的性能特征理解系统架构架构分析系统进行了读写分离，从库可按需增加预计系统的主库是系统中的主要瓶颈可接受的性能指标：CPU

IDLE不低于30%重点关注指标各关键业务的响应时间错误率Web服务器稳定性数据库服务器（主从）系统资源消耗、主从延迟UC性能表现Memcached效率架构分析结果录入用户量大使用频繁（写操作）数据库表数据量大查看 详情典型的数据库读操作同时满足用户量大、使用频繁、数据库表数据量大跟进记录录入同

录入跟进记录查询同查看详情XX系统的关键业务（部分）对系统的业务分析，主要来自于apache的和业务系统的 日志子系统 并发数统计子系统按功能点并发数统计日志子系统分时段 量统计每台服务器日

量统计应用服务器响应时间统计系统业务分析量概况周量3000020000100000800007000060000500004000018152229364350576471788592991061131201271341411481551627天量量功能统计(Top

N)通过对功能点的的用户行为。包括统计和URL分析，可以得到较为完整的功能点分布、使用

等系统并发量统计根据

日志，可以给出整体并发量和各功能点的最大并发量应用服务器的响应时间通过对响应较慢的URL的分析，可能需要在测试场景中加入相应测试用例。Web服务器负