中国电信余额管理平台入网检测-性能分册.doc

中国电信股份有限公司 余额管理平台入网检测性能分册余额管理平台入网检测性能分册中国电信集团公司 二八年三月前 言本测试规范描述中国电信集团对余额平台（abm）性能测试所需的测试环境、测试内容、测试过程和测试结果的要求。本测试规范根据中国电信余额管理平台技术方案制定，各项测试条目和测试结果以上述技术文件的要求为依据。测试内容涵盖了中国电信余额管理平台的压力测试、疲劳测试，并对测试结果的要求作了详细的规定。本规范由中国电信集团公司提出并归口。本方案起草单位： 中国电信股份有限公司广州研究院本方案主要起草人： 张新胜 周琴芳 池炜成 邓俊韬本方案解释单位： 中国电信集团企业信息化部目录目录iii1测试环境41.1测试组网41.2测试工具要求41.2.1模拟器监视机41.2.2主机资源监控工具42业务模型63数据准备方案73.1.1用户数据准备要求73.1.2操作日志数据准备要求74性能测试用例84.1压力测试84.1.1单业务压力测试84.1.2组合业务压力测试124.2疲劳测试13 15 1 测试环境1.1 测试组网所有设备搭建在一个受控的以太局域网内，所有主机要具备百兆实际网络带宽，盘阵通过光纤与abm主机直接连接。1.2 测试工具要求测试工具的性能应超过系统性能指标。测试工具能够实时检测系统的cpu占有率、内存占有率、处理时延等资源利用情况。测试工具可以保存检测到的数据并随时查看。测试工具可以模拟大量用户的操作，以达到增加平台负载的测试目的。1.2.1 模拟器监视机负责监视所有模拟器的工作状态。满足以下要求：1) 模拟abm向所有模拟器每15秒钟发出一个请求；2) 记录下所有请求的响应时间；1.2.2 主机资源监控工具主机资源监控工具用于监控被测试系统的主机资源状况。以下是对资源监控工具的基本要求：1. 可以获取被测试系统宿主机的资源信息；2. 支持进程级的监控，即资源的消耗能定位到具体的进程；3. 支持自定义负载，即通过一定的规则将一组进程作为一个监控对象，收集其对资源的占用情况；4. 能够获取关键资源的动态使用信息，如使用率、吞吐率等；关键资源包括但不限于：cpu、io、内存、网络接口；5. 能够获取主机静态信息，静态信息包括但不限于：主机型号信息、操作系统版本信息、主要配置信息，如：cpu主频、内存大小、网卡及磁盘的型号和相关参数等；6. 监控工具本身对被监控主机的资源消耗不能超过5（任一指标）。2 业务模型业务百分比：在线呼叫40，准实时信控50%,销帐10；其中：在线呼叫：包含开始、中间、终止请求，有中间更新的会话请求占20%准实时信控：包含账本准实时扣费销帐：包含资料查询、余额查询、帐本扣费，比例为1:1:1。3 数据准备方案3.1.1 用户数据准备要求参测厂家根据评测方要求准备以下数据：1. 模拟数据为600万预付费用户数据、1200万后付费用户2. 每个模拟用户准备3个账本。其中余额不足帐本占5，非金额帐本30。3. 上述帐本中有共享规则的帐本，专款专用帐本和单一帐本的比例为1：1：3。3.1.2 操作日志数据准备要求参测厂家根据评测方要求准备以下数据：系统在线保留15天的操作日志数据数据，大致估算的日志量每天为：后付费用户数30预付费用户数40120030600406亿；15天共80亿条。4 性能测试用例4.1 压力测试4.1.1 单业务压力测试4.1.1.1 ocs业务压力测试测试编号abm-perf-01项目abm承受来自ocs业务的压力测试测试目的测试abm系统针对ocs业务的最大处理能力。预置条件1. abm系统已经按照厂家的部署说明文档部署妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负载均衡）； 2. 所有模拟器已经就绪；3. abm系统上业务和用户数据已经按照“数据存储要求”的最大数据量进行配置；4. ocs业务模拟压力测试脚本已经开发完成，并且通过了预测试；5. 测试数据已经恢复到预测试前状态；测试过程1、 控制ocs模拟器，使得它产生的组合压力符合话务模型给出的ocs业务构成比例；2、 从m（根据测试情况届时需要调整起始虚拟用户数）开始，每隔15分钟增加n个（根据测试情况届时需要调整递增虚拟用户数）虚拟用户；直至满足任意退出条件；退出条件1. 直至系统的失败率达到0.001；2. 最繁忙的一个主机的cpu使用率达到80%；预期结果1. 系统不出现宕机；2. 系统各项业务最大吞吐率大于话务模型中系统忙时吞吐率；3. 系统吞吐率不出现随着虚拟用户数增加而降低的现象；4. 在相同的虚拟用户数情况下，系统各项指标基本一致；5. 响应时间分布满足规范要求。考察指标1. 整个测试过程系统是否出现宕机；2. 最大吞吐率；3. 响应时间；4. 失败率；备注1. 所有指标的统计粒度是15分钟；2. 最大吞吐率取达到退出条件之前满足以下要求的吞吐率的峰值；a) 对ocs业务请求的响应时间要求： 95% 100 ms 98% 200 ms 99.9% 300 ms 99.999% 1000 ms3. 失败率统计一切失败情况，如业务失败、超时、too busy等；4. ocs业务请求失败超时时间为1秒4.1.1.2 hb业务压力测试测试编号abm-perf-02项目abm承受来自hb的压力测试测试目的测试abm系统针对hb业务的最大处理能力。预置条件1. abm系统已经按照厂家的部署说明文档部署妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负载均衡）； 2. 所有模拟器已经就绪；3. abm系统上业务和用户数据已经按照“数据存储要求”的最大数据量进行配置；4. hb业务模拟压力测试脚本已经开发完成，并且通过了预测试；5. 测试数据已经恢复到预测试前状态；测试过程1. 控制hb模拟器，使得它产生的组合压力符合话务模型给出的hb业务构成比例；2. 从m（根据测试情况届时需要调整起始虚拟用户数）开始，每隔15分钟增加n个（根据测试情况届时需要调整递增虚拟用户数）虚拟用户；直至满足任意退出条件；退出条件1. 直至系统的失败率达到0.001；2. 最繁忙的一个主机的cpu使用率达到80%；预期结果1. 系统不出现宕机；2. 系统各项业务最大吞吐率大于话务模型中系统忙时吞吐率；3. 系统吞吐率不出现随着虚拟用户数增加而降低的现象；4. 在相同的虚拟用户数情况下，系统各项指标基本一致；5. 响应时间分布满足规范要求 。考察指标1) 整个测试过程系统是否出现宕机；2) 最大吞吐率；3) 响应时间；4) 失败率；备注1) 所有指标的统计粒度是15分钟；2) 最大吞吐率取达到退出条件之前满足以下要求的吞吐率的峰值；a) 对hb准实时信控业务请求的响应时间要求： 95% 100 ms 98% 200 ms 99.9% 300 ms 99.999% 1000 ms3) 失败率统计一切失败情况，如业务失败、超时、too busy等4) hb销帐中的余额查询请求失败超时时间为2秒，hb其它业务请求失败超时时间为1秒4.1.1.3 销帐业务压力测试测试编号abm-perf-03项目abm承受来自hb销帐业务的压力测试测试目的测试abm系统针对hb销帐业务的最大处理能力。预置条件1. abm系统已经按照厂家的部署说明文档部署妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负载均衡）； 2. 所有模拟器已经就绪；3. abm系统上业务和用户数据已经按照“数据存储要求”的最大数据量进行配置；4. hb销帐业务模拟压力测试脚本已经开发完成，并且通过了预测试；5. 测试数据已经恢复到预测试前状态；测试过程1. 控制hb销帐业务模拟器，使得它产生的压力符合话务模型给出的hb销帐业务构成比例；2. 从m（根据测试情况届时需要调整起始虚拟用户数）开始，每隔15分钟增加n个（根据测试情况届时需要调整递增虚拟用户数）虚拟用户；直至满足任意退出条件；退出条件1. 直至系统的失败率达到0.001；2. 最繁忙的一个主机的cpu使用率达到80%；预期结果1. 系统不出现宕机；2. 系统各项业务最大吞吐率大于话务模型中系统忙时吞吐率；3. 系统吞吐率不出现随着虚拟用户数增加而降低的现象；4. 在相同的虚拟用户数情况下，系统各项指标基本一致；考察指标1. 整个测试过程系统是否出现宕机；2. 最大吞吐率；3. 响应时间；4. 失败率；备注1. 所有指标的统计粒度是15分钟；2. 最大吞吐率取达到退出条件之前的吞吐率的峰值；3. 失败率统计一切失败情况，如业务失败、超时、too busy等；4. hb销帐中的余额扣费业务请求失败超时时间为500ms，hb其它业务请求失败超时时间为1秒4.1.2 组合业务压力测试测试编号abm-perf-04项目abm承受来自ocs、hb的压力测试测试目的测试abm系统针对ocs、hb业务的最大处理能力。预置条件1. abm系统已经按照厂家的部署说明文档部署妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负载均衡）； 2. 所有模拟器已经就绪；3. abm系统上业务和用户数据已经按照“数据存储要求”的最大数据量进行配置；4. ocs、hb业务模拟压力测试脚本已经开发完成，并且通过了预测试；5. 测试数据已经恢复到预测试前状态；测试过程1. 控制ocs模拟器，使得它产生的组合压力符合话务模型给出的ocs业务、hb业务构成比例；2. 从m（根据测试情况届时需要调整起始虚拟用户数）开始，每隔15分钟增加n个（根据测试情况届时需要调整递增虚拟用户数）虚拟用户；直至满足任意退出条件；退出条件1. 直至系统的失败率达到0.001；2. 最繁忙的一个主机的cpu使用率达到80%；预期结果1. 系统不出现宕机；2. 系统各项业务最大吞吐率大于话务模型中系统忙时吞吐率；3. 系统吞吐率不出现随着虚拟用户数增加而降低的现象；4. 在相同的虚拟用户数情况下，系统各项指标基本一致；5. 响应时间分布满足规范要求 。考察指标1. 整个测试过程系统是否出现宕机；2. 最大吞吐率；3. 响应时间；4. 失败率；备注1. 所有指标的统计粒度是15分钟；2. 最大吞吐率取达到退出条件之前满足以下要求的吞吐率的峰值；i. 对ocs业务请求的响应时间要求： 95% 100 ms 98% 200 ms 99.9% 300 ms 99.999% 1000 msii. 对hb准实时信控业务请求的响应时间要求： 95% 100 ms 98% 200 ms 99.9% 300 ms 99.999% 1000 ms3. 失败率统计一切失败情况，如业务失败、超时、too busy等；4. ocs业务请求失败超时时间为1秒5. hb销帐中的余额查询请求失败超时时间为2秒，hb其它业务请求失败超时时间为1秒4.2 疲劳测试测试内容：选取最常用的操作和流程，通过专门的性能测试工具模拟大量用户操作使得平台系统达到一定负载强度，进行长时间性能测试。测试结果可以体现系统是否有资源累积导致性能下降，并验证平台系统运行稳定度和故障率。测试编号abm-perf-05项目abm前台业务的疲劳测试测试目的测试abm系统长时间处理前台业务过程中的健壮性。预置条件1. abm系统已经按照厂家的部署说明文档部署妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负载均衡）； 2. 所有模拟器已经就绪；3. abm系统上业务和用户数据已经按照“数据存储要求”的最大数据量进行配置；4. 前台业务模拟压力，包括来自ocs、hb系统的压力，测试脚本已经开发完成，并且通过了前台业务组合场景的预测试；5. 测试数据已经恢复预测试前状态。测试过程1. 同时控制ocs模拟器、hb模拟器，使得它们产生的组合压力符合话务模型给出的前台业务构成比例，同时使得它们产生的吞吐率达到系统最大吞吐率的80%；2. 持续上述压力16个小时；1. 预期结果2. 系统不出现宕机；3. 系统各项指标基本保持一致，不随时间发生明显的变化；4. 失败率不超过0.001%；5. 对ocs业务请求的响应时间满足：a) 95% 100 msb) 98% 200 msc) 99.9% 300 msd) 99.999% 1000 ms6. 对hb准实时信控业务