农商银行新一代综合柜面业务系统性能测试报告

1、 北京农商银行北京农商银行新一代综合柜面业务系统新一代综合柜面业务系统性能测试报告性能测试报告文文 档档 编编 号号保保 密密 等等 级级作作 者者最后修改日期最后修改日期审审 核核 人人最后审批日期最后审批日期批批 准准 人人最后批准日期最后批准日期修订记录修订记录日期日期版本版本修订说明修订说明修订人修订人2011-10-120.1编写测试报告中的方案部分王晓华2011-10-130.2对测试脚本、测试数据、测试场景进行描述王晓华2011-10-250.3整理测试执行结果王时磊2011-10-280.4数据分析和修订王晓华目目 录录1 1 测试简介测试简介 .11.1项目背景 .11.2测

2、试目标 .11.3测试范围 .11.4性能测试指标要求 .12 2 测试方案测试方案 .22.1压力模型 .22.2交易选择 .22.3测试脚本 .32.4资源监控 .32.5测试场景 .43 3 测试环境测试环境 .53.1网络拓扑图 .53.2软硬件配置 .53.3测试工具 .64 4 测试实施情况测试实施情况 .74.1测试时间和地点 .74.2参加测试人员 .74.3测试实施进度 .75 5 测试结果测试结果 .85.1基准测试 .85.1.1测试结果.85.1.2分析图表.85.2并发测试 .95.2.1测试结果.95.2.2分析图表.106 6 数据分析数据分析 .237 7 系统

3、评价系统评价 .258 8 测试遗留问题测试遗留问题 .259 9 附录附录 .259.1性能测试记录表 .269.20210 交易处理脚本 .261 1测试简介测试简介1.11.1项目背景项目背景为解决原有字符终端柜面系统不能处理非线性数据（如图像）的缺陷、解决业务中的柜员离柜问题，并对交易前端的功能性梳理和整合，北京农商银行将实施现有字符终端向图形终端的改造，实施新一代综合柜面业务系统项目。在新一代综合柜面业务系统全面推广上线前，需要对新系统平台进行性能测试，获取系统的并发处理能力、交易响应时间等性能指标。1.21.2测试目测试目标标 本次性能测试的测试目标为： 获取新一代综合柜面业务系统

4、在测试环境中的性能指标数据发现性能瓶颈，协助开发人员进行性能调优，对系统上线提供性能建议和评估1.31.3测试范围测试范围新一代综合柜面系统的架构示意图如下图所示，图中红线虚框为本次性能测试的范围，包括 ABS 处理平台的后台应用服务器和数据库服务器。新一代综合柜面系统ABS核心业务系统图形终端SocketSocketAS400新柜面系统应用服务器新柜面系统数据库服务器性性能能测测试试范范围围1.41.4性能测试指标要求性能测试指标要求指标分类序号指标描述是否需求性能指标需求数值备注1每秒事务数 TPS否通过性能测试获取系统处理能力峰值2典型交易平均交易响应时间 ART否获取实际指标值3批处理

5、效率否柜面系统无大数据量批处理任务4最大并发用户数是50全行柜面终端数约为2800系统处理能力5交易成功率是99%6CPU 占用率是80%7内存使用率是80%系统资源利用率8I/O 使用率是80%2 2测试测试方案方案2.12.1压力模型压力模型本次性能测试采用如下的简易压力模型：通过 LoadRunner 模拟图形终端各柜员向 ABS 平台发起交易压力通过测试环境中的核心业务系统响应柜面交易请求新一代柜面综合系统（后台）S So oc ck ke et tL Lo oa ad dR Ru un nn ne er r模模拟拟图图形形终终端端发发起起交交易易压压力力S So oc ck ke e

6、t t新柜面系统应用服务器新柜面系统数据库服务器核心业务系统AS4002.22.2交易选择交易选择根据和开发组的沟通，选择如下前端处理比较复杂的典型交易：10210个人客户信息建立100%无处理较复杂的交易2.32.3测试脚本测试脚本根据上述的系统架构示意图，通过 LoadRunner 的 Socket 协议录制柜面前端向柜面系统应用服务器发起的柜面交易，发现 Socket 交互次数（一组 send 和 receive 算一次交互）特别多（0210 交易 51 次 Socket 交互） ，而且脚本回放时报接收报文长度不匹配错误。新柜面系统开发组提供了一个测试用的 Jar 包，将图形前端 ABC

7、 和后台应用服务器 ABS之间的通讯过程进行了封装，通过解析描述型的交易数据文件后向后台提交交易，为此，使用 LoadRunner 的 Java 协议，测试脚本中通过调用 Jar 包中的对象提交柜面交易。使用此测试脚本方案暂时也有如下缺点：无法实现交易数据的参数化脚本中只能定义各柜面交易执行全过程的长事务，无法对交易中各阶段进行分解分析（比如页面控件响应时间、交易提交响应时间、打印响应时间等）测试脚本中无法获取交易执行结果：交易提交后不返回响应特征码，从测试脚本中无法判断交易执行的情况，需要分析后台日志文件或数据库流水表分析交易是否成功（性能测试交易量巨大可能会引起大量的交易结果分析工作量）L

8、oadRunner 统计分析数据失真（因失败交易也当成成功交易进行统一分析）2.42.4资源监控资源监控根据压力测试模型，本次性能测试需要监控如下主机的一些性能指标数据：新柜面系统应用服务器主机（新柜面系统应用服务器主机（Linux 操作系统）操作系统） CPU CPU Utilization（CPU 使用率%） Memory Paging rate（内存页交换速率） I/O Disk Traffic（磁盘交换速率）新柜面系统数据库服务器主机（新柜面系统数据库服务器主机（AIX 操作系统）操作系统） CPU CPU Utilization（CPU 使用率%） Memory Paging rat

9、e（内存页交换速率） I/O Disk Traffic（磁盘交换速率）LoadRunner 控制器和压力产生器主机（控制器和压力产生器主机（Windows XP 操作系统）操作系统） CPU % Total Processor Time（总的 CPU 使用率） Memory Available Mbytes（物理内存的可用数，单位 Mbytes） Memory Page Faults/sec（页面错误导致的页交换计数） I/O %Disk Time（磁盘驱动器读写请求已用时间所占百分比）主机资源指标数据监控的方法： 优先通过 LoadRunner 进行监控 通过操作系统内部指令（如 top、v

10、mstat 等）2.52.5测试场景测试场景设计如下类型的测试场景： 基准测试基准测试：获取系统处理各典型交易在无压力情况下单笔交易的耗时，为并发场景提供一个基本数据参考。 并发测试并发测试：检验服务器端对每个典型交易多个并发用户的处理能力，获取系统处理性能指标值。各测试场景设置信息如下：编编号号场景类型场景类型场景名场景名并发用并发用户数户数加压方加压方式式持续持续时间时间退出方退出方式式思考时思考时间间/ /迭迭代延迟代延迟交易交易组合组合备注备注1基准测试JZ_0210_1_1001同时运行完成同时无02102并发测试BF_0210_1010同时运行完成同时无02103并发测试BF_02

11、10_2020同时运行完成同时无02104并发测试BF_0210_3030同时运行完成同时无02105并发测试BF_0210_4040同时运行完成同时无02106并发测试BF_0210_50_10m50每 15 秒加 10VU10m每 15秒减 10VU无02107并发测试BF_0210_100_10m100每 15 秒加200VU10m每 15秒减 20VU无02108并发测试BF_0210_150_10m150每 15 秒加300VU10m每 15秒减 30VU无02109并发测试BF_0210_200_10m200每 15 秒加 40VU10m每 15秒减 40VU无021010并发测试

12、BF_0210_250_10m250每 15 秒加 50VU10m每 15秒减 50VU无021011并发测试BF_0210_300_10m300每 15 秒加 60VU10m每 15秒减 60VU无0210注：根据全行柜面终端数约 2800 的统计数据，最大并发数为终端数的 10%15%（经验值） ，选择最大 300 并发的场景。3 3测试环境测试环境3.13.1网络拓扑图网络拓扑图本次性能测试环境的网络拓扑图如下：（其中核心系统使用测试环境中的172.16.12.6 主机）LR控制器/压力产生器(172.16.15.14)新柜面系统数据库服务器(192.156.33.18)待待测测系系统统

13、新柜面系统应用服务器(192.156.33.6)核心业务系统(172.16.12.6)3.23.2软硬件配置软硬件配置新一代柜面系统应用服务器新一代柜面系统应用服务器主机型号CPU4C8U，Intel(R) Xeon(R) CPU E5506 2.13GHz物理内存8G硬盘容量276GIP 地址192.156.33.6硬件配置网络设备100M 局域网卡类型名称版本操作系统SUSE LinuxEnterprise Server 10 (x86_64)软件配置应用软件JDK/JRE1.6.0_23新一代柜面系统数据库服务器新一代柜面系统数据库服务器主机型号IBM 8202-E4BCPUPower

14、6，4C8U3000MHz物理内存16G硬盘容量70GIP 地址192.156.33.18硬件配置网络设备100M 局域网卡类型名称版本操作系统AIXVersion 5.3软件配置数据库Oracle 10g10.1.0.2.0核心业务系统主机核心业务系统主机主机型号IBM AS400CPU物理内存硬盘容量IP 地址172.16.12.6硬件配置网络设备100M 局域网卡类型名称版本操作系统OS 400软件配置数据库LRLR 控制器控制器/ /压力产生器压力产生器主机型号PCCPU2C 2.2G物理内存1G硬盘容量160GIP 地址172.16.15.14硬件配置网络设备100M 局域网卡类型名

15、称版本操作系统Microsoft XP ProfessionalSP2软件配置应用软件HP LoadRunner 8.1 英文版 3.33.3测试工具测试工具序号序号工具工具名称名称用途及说明用途及说明厂商厂商版本版本1LoadRunner性能测试工具，Java 协议（License 并发数为 300）HP8.1 英文版4 4测试实施情况测试实施情况4.14.1测试时间和地点测试时间和地点时间： 2011 年 10 月 08 日 2011 年 10 月 21 日地点： 北京农商银行空港办公区 3 楼测试机房4.24.2参加测试人员参加测试人员参加本次性能测试的人员包括：王 鹏：测试经理，性能测

16、试总体协调高 伟：开发组支持，测试脚本录制和调试王晓华：性能测试专家，制订方案、指导测试王时磊：性能测试工程师，测试工具、测试场景准备、测试执行4.34.3测试实施进度测试实施进度编号编号任务任务开始日期开始日期结束日期结束日期责任人责任人1讨论和制订测试方案2011-10-082011-10-10王晓华2测试工具准备2011-10-082011-10-08王时磊3测试脚本编制、调试2011-10-082011-10-13王时磊4测试场景准备2011-10-122011-10-12王时磊5测试环境准备2011-10-132011-10-13王鹏6测试执行2011-10-212011-10-21

17、王时磊7编写测试报告2011-10-252011-10-28王晓华5 5测试结果测试结果5.15.1基准测试基准测试5.1.15.1.1测试结果测试结果使用测试工具 LoadRunner 运行测试脚本，统计出测试结果如下（TPS、ART、CPU%均为平均值）：编编号号场景名称场景名称并发并发用户用户数数交交易易总总数数成功成功交易数交易数失败失败交易交易数数交易交易成功率成功率TPSTPS（笔（笔/ /秒）秒）ARTART（秒）秒）应用应用服务服务器器 CPUCPU % %数据数据库服库服务器务器CPUCPU % %1JZ_0210_1_1001100100 0 100.00%2.10.418

18、3.0%1.1%在无压力的情况下，0210（个人客户信息建立）的平均交易响应时间为 418ms，其中该交易包括如下完整的交易处理过程（可参见附录 2 中 0210 交易处理脚本）：输入交易码后，获取 Frame 框架显示内容各输入场输入数据时与后台系统的交互提交交易，获取核心系统返回结果5.1.25.1.2分析图表分析图表测试工具 LoadRunner Analysis 的 TPS 图表：测试工具 LoadRunner Analysis 的 ART 图表：5.25.2并发测试并发测试5.2.15.2.1测试结果测试结果使用测试工具 LoadRunner 运行测试脚本，统计出测试结果如下（TPS

19、、ART、CPU%均为平均值）：编编号号场景名称场景名称并发并发用户用户数数交交易易总总数数成功成功交易数交易数失败失败交易数交易数交易交易成功率成功率TPSTPS（笔（笔/ /秒）秒）ARTART（秒）秒）应用应用服务服务器器CPUCPU % %数据数据库服库服务器务器CPUCPU % %1BF_0210_10_10m1011,45111,4510100.00%19.00.52412.9%3.4%2BF_0210_20_10m2015,53215,5320100.00%25.70.77917.5%6.4%3BF_0210_30_10m3015,96715,966199.99%26.41.13

20、618.2%7.3%4BF_0210_40_10m4015,98715,9870100.00%26.41.49718.0%7.7%5BF_0210_50_10m5022,15221,79136198.37%30.61.45221.6%7.7%6BF_0210_100_10m10023,62919,2144,41581.32%32.62.86120.9%6.5%7BF_0210_150_10m15022,68319,7472,93687.06%31.24.46621.1%7.2%8BF_0210_200_10m20026,13319,0777,05673.00%36.04.95522.8%6.9

21、%9BF_0210_250_10m25028,69616,06612,63055.99%39.55.69323.7%7.2%10BF_0210_300_10m30022,40922,3159499.58%30.88.75722.3%6.2%在并发场景时，出现了如下两种交易失败导致交易成功率不高：1) 并发数达到 50 时，ABS 交易流水表出现记录状态为x的记录（未收到核心系统对交易的处理结果） ，并发数为 10、20、30、40 时基本正常2) 并发数达到 100 及以上时，ABS 交易流水表中记录数小于 LoadRunner 中记录的实际发送的交易笔数（部分交易数据丢失，未发往核心系统）另

22、外，从表中可以看出： 在当前测试环境配置下，新柜面系统的最大处理能力约为 40tps 在 50 并发时，0210 交易的平均交易响应时间为 1.452 秒 在各并发场景下，应用服务器和数据库服务器的 CPU 占用率均不高5.2.25.2.2分析图表分析图表场景场景 BF_0210_10_10m 结果分析图结果分析图1)交易吞吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线场景场景 BF_0210_20_10m 结果分析

23、图结果分析图1)交易吞吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线场景场景 BF_0210_30_10m 结果分析图结果分析图1)交易吞吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线场景场景 BF_0210_40_10m 结果分析图结果分

24、析图1)交易吞吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线场景场景 BF_0210_50_10m 结果分析图结果分析图1)交易吞吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线场景场景 BF_0210_100_10m 结果分析图结果分析图1

25、)交易吞吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线场景场景 BF_0210_150_10m 结果分析图结果分析图1)交易吞吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线场景场景 BF_0210_200_10m 结果分析图结果分析图1)交

26、易吞吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线场景场景 BF_0210_250_10m 结果分析图结果分析图1)交易吞吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线场景场景 BF_0210_300_10m 结果分析图结果分析图1)交易吞

27、吐量 TPS-虚拟用户数量 VU 合并曲线2)交易响应时间 ART-虚拟用户数量 VU 合并曲线3)应用服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线4)数据库服务器主机 CPU 占用率-虚拟用户数量 VU 合并曲线6 6数据分析数据分析对并发场景，根据不同并发数对主要性能指标（TPS、ART、CPU%）进行图表分析如下：交交易易处处理理能能力力趋趋势势图图0.010.020.030.040.050.0并发用户数TPSTPSTPS 19.0 25.7 26.4 26.4 30.6 32.6 31.2 36.0 39.5 30.81020304050100150200250300交交易

28、易响响应应时时间间趋趋势势图图0.0002.0004.0006.0008.00010.000并发用户数秒ARTART 0.520.771.131.491.452.864.464.955.698.751020304050100 150 200 250 300C CP PU U使使用用率率趋趋势势图图0.0%5.0%10.0%15.0%20.0%25.0%并发用户数CPU%CPU%CPU% 12.9 17.5 18.2 18.0 21.6 20.9 21.1 22.8 23.7 22.31020304050100 150200250300数数据据库库C CP PU U使使用用率率0.0%5.0%10.0%并发用户数CPU数据库CPU数据库