内蒙移动经营分析系统-客服服务

内蒙古移动经营分析系统 2.0 客户服务 子系统 功能测试方案 2008 年 05 月 本文档及其所含信息为机密材料 并且由中国移动集团公司和 TERADATA（中国）有限公司共同拥有。 本文档中的任何部分未经中国移动集团和 TERADATA（中国）有限公司书面授权， 不得将材料泄露给第三方 ,也不得以任何手段、任何形式进行复制与传播 Copyright 2008 TERADATA 版权 保留所有的权利 目 录 1 前言 . 3 1.1 编写目的 . 3 1.2 参考资料 . 3 1.3 使用对象 . 3 1.4 测试方法 . 3 2 前端应用 . 错误 !未定义书签。 2.1 服务效率分析 . 5 系统请求与接通情况分析 . 10 服务成功率分析（自动应答成功率分析） . 12 服务成功率分析（人工应答成功率分析） . 14 在线人员业务处理量分析 . 16 10086 客服热线外呼量分析 . 17 2.2 服务质量分析 . 19 客户排队时长分析 . 19 工单服务质量分析 . 21 客户挂机满意度分析 . 23 2.3 服务内容分析 . 25 服务处理内容分析 . 25 10086 客服热线投诉分析 . 26 业务咨询热点分析 . 28 业务办理分析 . 30 客户投诉即席查询 . 31 竞争对手业务咨询即席查询 . 34 2.4 服务流程分析 . 37 首层按键请求量分析 . 37 人工转 IVR 请求量分析 . 39 人工转多媒体分析 . 41 1 前言 1.1 编写目的 本文档是内蒙古移动经营分析 2.0 系统的功能测试方案，包括了 客服系统（服务效率分析，服务质量分析，服务内容分析，服务流程分析） 的测试方案，是用于系统验收的基础文档。 1.2 参考资料 中国移动省级经营分析系统业务规范 客户服务分册 v2.0 2、 NMCC经分 2.0_功能规格说明书 V2.0 3、 NMCC经分 2.0概要设计 _客服应用子系统 V2.0 4、 NMCC经分 2.0详细设计 _客服应用子系统 V2.0 5、 NMCC经分 2.0测试 计划 _客服应用子系统 V2.0 1.3 使用对象 本文档的接收与使用对象为： 内蒙古移动 业务支撑 部 以本文档作为项目交付物进行接收。 1.4 测试方法 软件测试的基本方法，软件测试的方法和技术是多种多样的。 对于软件测试技术，可以从不同的角度加以分类： 从是否需要执行被测软件的角度，可分为静态测试和动态测试。 从测试是否针对系统的内部结构和具体实现算法的角度来看，可分为白盒测试和黑盒测试。 1、黑盒测试 黑盒测试也称功能测试或数据驱动测试，它是在已知产品所应具有的功能，通过测试来检测每个功能是否都能正常使用，在测试时 ，把程序看作一个不能打开的黑盆子，在完全不考虑程序内部结构和内部特性的情况下，测试者在程序接口进行测试，它只检查程序功能是否按照需求规格说明书的规定正常使用，程序是否能适当地接收输入数锯而产生正确的输出信息，并且保持外部信息（如数据库或文件）的完整性。黑盒测试方法主要有等价类划分、边值分析、因 果图、错误推测等，主要用于软件确认测试。 “黑盒 ”法着眼于程序外部结构、不考虑内部逻辑结构、针对软件界面和软件功能进行测试。 “黑盒 ”法是穷举输入测试，只有把所有可能的输入都作为测试情况使用，才能以这种方法查出程序中所 有的错误。实际上测试情况有无穷多个，人们不仅要测试所有合法的输入，而且还要对那些不合法但是可能的输入进行测试。 2、白盒测试 白盒测试也称结构测试或逻辑驱动测试，它是知道产品内部工作过程，可通过测试来检测产品内部动作是否按照规格说明书的规定正常进行，按照程序内部的结构测试程序，检验程序中的每条通路是否都有能按预定要求正确工作，而不顾它的功能，白盒测试的主要方法有逻辑驱动、基路测试等，主要用于软件验证。 “白盒 ”法全面了解程序内部逻辑结构、对所有逻辑路径进行测试。 “白盒 ”法是穷举路径测试。在使用这一方案时，测 试者必须检查程序的内部结构，从检查程序的逻辑着手，得出测试数据。贯穿程序的独立路径数是天文数字。但即使每条路径都测试了仍然可能有错误。第一，穷举路径测试决不能查出程序违反了设计规范，即程序本身是个错误的程序。第二，穷举路径测试不可能查出程序中因遗漏路径而出错。第三，穷举路径测试可能发现不了一些与数据相关的错误。 内蒙移动经分 2.0 系统的测试方法采用黑盒子测试。 2 测试案例 2.1 客服总体 KPI 案例 名称 总体 KPI KPI_CCC_SVC_STAT_DAILY 案例 编号 UT_DBO_VM_MON_M_01 测试人 李元平 测试日期 2008-02-20 质量监督人 审核意见 项目经理确认 测试环境及工具 测试环境： ETL 服务器： 10.220.7.51 服务器 OS： AIX-UNIX 本地查询： Windows 平台 测试工具： 查询工具： Teradata SQL Assistant 7.1 表结构查看工具： Teradata Administrator 测试需求内容描述 测试内容 目标：脚本能够正确执行，生成满足需求的数据。 1、 脚本能否正常结束，生成表中数据； 2、 指标数据的分量与合计是否平 衡； 3、 指标数据与其它表是否平衡； 4、 与 KPI 比较数据是否一致。 具体测试内容 : （ 1）执行脚本，检查数据是否生成，日志有无错误 nohup perl kpi_ccc_svc_stat_daily0400.pl 20080705.dir 1 kpi_ccc_svc_stat_daily 0400.pl.log & （ 2） 指标数据是否一致 ： SELECT SUM(Call_Quan) FROM PVIEW.VW_MID_CCC_CALL_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND Call_Type_Code = 10 -主叫 AND CAL_Date = 20080705 SELECT SUM(CNNCT_Quan) FROM PVIEW.VW_MID_CCC_CALL_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND Call_Type_Code = 10 -主叫 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 03 -业务办理 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 01 -咨询 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 02 -查询 AND CAL_Date = 20080705 SELECT SUM(Complain_Total) FROM PVIEW.VW_MID_CCC_COMPLAIN_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT SUM(FST_Solve_Quan) FROM PVIEW.VW_MID_CCC_MANU_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT ZEROIFNULL(CAST(SUM(FST_Solve_Quan)/CAST(NULLIFZERO(SUM(CNNCT_Quan) AS DEC(18,6)*100) AS DEC(18,4) FROM PVIEW.VW_MID_CCC_MANU_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT SUM(Call_Quan) FROM PVIEW.VW_MID_CCC_CALL_QUAN_DAILY WHERE -City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 Call_Type_Code = 10 -主叫 AND SERV_METH_Code = 2 -人工 AND CAL_Date = 20080705 SELECT SUM(CNNCT_Quan) FROM PVIEW.VW_MID_CCC_CALL_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND Call_Type_Code = 10 -主叫 AND SERV_METH_Code = 2 -人工 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 02 -查询 AND SERV_METH_Code = 2 -人工 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 02 -查询 AND SERV_METH_Code = 2 -人工 AND Sucs_Flag = 0 -成功 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 03 -业务办理 AND SERV_METH_Code = 2 -人工 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 03 -业务办理 AND SERV_METH_Code = 2 -人工 AND Sucs_Flag = 0 -成功 AND CAL_Date = 20080705 SELECT ZEROIFNULL(CAST(SUM(CNNCT_Quan_15_Seconds)/CAST(NULLIFZERO(SUM(CNNCT_Quan) AS DEC(18,6)*100) AS DEC(18,4) FROM PVIEW.VW_MID_CCC_MANU_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT ZEROIFNULL(CAST(SUM(CNNCT_Quan_20_Seconds)/CAST(NULLIFZERO(SUM(CNNCT_Quan) AS DEC(18,6)*100) AS DEC(18,4) FROM PVIEW.VW_MID_CCC_MANU_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT ZEROIFNULL(CAST(SUM(CNNCT_Quan_30_Seconds)/CAST(NULLIFZERO(SUM(CNNCT_Quan) AS DEC(18,6)*100) AS DEC(18,4) FROM PVIEW.VW_MID_CCC_MANU_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT ZEROIFNULL(CAST(SUM(Complain_PROC_intm_Quan)/CAST(NULLIFZERO(SUM(Complain_Total) AS DEC(18,6)*100) AS DEC(18,4) FROM PVIEW.VW_MID_CCC_COMPLAIN_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT ZEROIFNULL(CAST(SUM(Rpt_Complain_Quan)/CAST(NULLIFZERO(SUM(Complain_Total) AS DEC(18,6)*100) AS DEC(18,4) FROM PVIEW.VW_MID_CCC_COMPLAIN_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT ZEROIFNULL(CAST(SUM(Upgrade_Complain_Quan)/CAST(NULLIFZERO(SUM(Complain_Total) AS DEC(18,6)*100) AS DEC(18,4) FROM PVIEW.VW_MID_CCC_COMPLAIN_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT ZEROIFNULL(SUM(Comm_DUR)/CAST(NULLIFZERO(SUM(ACPT_Person_Quan) AS DEC(18,4) FROM PVIEW.VW_MID_CCC_MANU_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND CAL_Date = 20080705 SELECT ZEROIFNULL(SUM(Queue_Wait_DUR)/CAST(NULLIFZERO(SUM(Queue_CNNCT_Quan+Queue_GiveUp_Quan) AS DEC(18,4) FROM PVIEW.VW_MID_CCC_CALL_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND Call_Type_Code = 10 -主叫 AND SERV_METH_Code = 2 -人工 AND CAL_Date = 20080705 select ZEROIFNULL(CAST(SUM(Queue_GiveUp_Quan)/CAST(NULLIFZERO(SUM(Queue_CNNCT_Quan+Queue_GiveUp_Quan) AS DEC(18,6)*100) AS DEC(18,4) from $TVIEWDB.VW_MID_CCC_CALL_QUAN_DAILY WHERE CAL_Date = 20080705 AND City_ID IN ($CityList) -本省用户 AND Call_Type_Code = 10 -主叫 AND SERV_METH_Code = 2 -人工 GROUP BY 3; SELECT SUM(Call_Quan) FROM PVIEW.VW_MID_CCC_CALL_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND Call_Type_Code = 10 -主叫 AND SERV_METH_Code = 1 -自动 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 02 -查询 AND SERV_METH_Code = 1 -自动 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 02 -查询 AND SERV_METH_Code = 1 -自动 AND Sucs_Flag = 0 -成功 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 03 -业务办理 AND SERV_METH_Code = 1 -自动 AND CAL_Date = 20080705 SELECT SUM(REQ_Quan) FROM PVIEW.VW_MID_CCC_SVC_QUAN_DAILY WHERE City_ID IN (470,471,472,473,474,475,476,477,478,479,482,483) -本省用户 AND SERV_REQ_Code = 03 -业务办理 AND SERV_METH_Code = 1 -自动 AND Sucs_Flag = 0 -成功 AND CAL_Date = 20080705 预期输出 频度 日期 机构 指标 单位 实际值 比上期 比上期 (%) 比同期 (%) 本期累计 累计比同期 (%) 日 20080705 全区 总呼叫量 次 2,910,459 103,555 3.69 -7.81 15,610,013 32.43 日 20080705 全区 总接通量 次 2,879,357 103,033 3.71 -7.16 15,398,777 32.85 日 20080705 全区 业务办理量 次 99,708 -6,517 -6.14 1.46 507,042 2.27 日 20080705 全区 业务咨询量 次 75,733 6,035.00 8.66 -15.76 361,528.00 -23.58 日 20080705 全区 业务查询量 次 2,504,128 62,891 2.58 -5.38 14,015,867 -0.68 日 20080705 全区 投诉 /建议量 次 157 -86 -35.39 -21.11 1,137 32.21 日 20080705 全区 一次解决量 次 76,308 -274 -0.36 -1.3 381,449 1.08 日 20080705 全区 一次解决率 % 63.18 -1.13 -1.76 -3.6 64.94 -1.71 日 20080705 全区 人工请求总量 次 129,790 392 0.3 -13.45 691,554 21.93 日 20080705 全区 人工应答总量 次 114,068.00 1,124 1 2.97 556,323 28.61 日 20080705 全区 人工查询请求量 次 306,125 -13,947 -4.36 13.74 1,610,960 7.84 日 20080705 全区 人工查询成功量 次 304,927 -13,846 -4.34 14.55 1,600,951 7.86 日 20080705 全区 人工办理请求量 次 61,894 -9,924 -13.82 -0.32 328,381 3.98 日 20080705 全区 人工办理成功量 次 61,654 -9,940 -13.88 0.34 326,655 4.1 日 20080705 全区 人工 15 秒应答及时率 % 13.65 1.18 9.47 -9 12.26 -1.74 日 20080705 全区 人工 20 秒应答及时率 % 17.3 1.42 8.97 -9.33 15.4 -4.62 日 20080705 全区 人工 30 秒应答及时率 % 27.73 1.67 6.42 -10 25 -9.08 日 20080705 全区 投诉处理及时率 % 56.69 -0.93 -1.61 22.62 58.14 -7.07 日 20080705 全区 重复投诉率 % 12.1 4 54.78 50.52 8.62 -3.73 日 20080705 全区 升级投诉率 % 0 0 0 0 0 0 日 20080705 全区 平均通话时长（人工服务） 秒 0 0 -1.59 6.18 0 4.7 日 20080705 全区 平均排队时间 秒 0 0 -7.47 -41.47 0 -16.55 日 20080705 全区 排队放弃率 % 16.02 -0.28 -1.71 -37.51 22.15 -5.27 日 20080705 全区 在线利用率 % 100 0 0 0 100 0 日 20080705 全区 自动请求总量 次 2,780,669.00 103,163 3.85 -7.53 14,918,459 32.96 日 20080705 全区 自动查询请求量 次 2,198,003 76,838 3.62 -7.54 12,404,907 -1.69 日 20080705 全区 自动查询成功量 次 272,794 4,660 1.74 -0.04 1,729,900 -3.56 日 20080705 全区 自动办理请求量 次 37,814 3,407 9.9 4.52 178,661 -0.72 日 20080705 全区 自动办理成功量 次 11,955.00 1,145 10.59 6.65 55,218 -6.58 测试用例描述 2.2 服务效率分析 系统请求与接通情况分析 输入数据描述 1、 统计日期： 20080705 测试 过程 1、 执行脚本 2、 执行 sql语句 测试结果描述 1 数据一致；测试通过； 问题原因及解决方案 是否已经解决 案例名称 系统请求与接通情况分 析RPT_CCC_REQ_CON_ANLZ 案例编号 UT_DBO_VM_MON_M_01 测试人 李元平 测试日期 2008-02-20 质量监督人 审核意见 项目经理确认 测试环境及工具 测试环境： ETL 服务器： 10.220.7.51 服务器 OS： AIX-UNIX 本地查询： Windows 平台 测试工具： 查询工具： Teradata SQL Assistant 7.1 表结构查看工具： Teradata Administrator 测试需求内容描述 测试内容 目标：脚本能够正确执行，生成满足需求的数 据。 5、 脚本能否正常结束，生成表中数据； 6、 指标数据的分量与合计是否平衡； 7、 指标数据与其它表是否平衡； 8、 与 KPI 比较数据是否一致。 具体测试内容 : （ 1）执行脚本，检查数据是否生成，日志有无错误 nohup perl rpt_ccc_req_con_anlz0400.pl 20080325.dir 1rpt_ccc_req_con_anlz0400.pl.log & （ 2） 指标数据是否一致 ： select * from tpview.vw_rpt_ccc_req_con_anlz where cal_date=20080325 ; select CAL_Date ,City_ID ,Brand_ID ,Comm_Period ,CUST_Class ,Consume_Level ,Stay_DUR_Level ,Language_Class ,Operator_Type ,SERV_METH ,sum(REQ_Quan ) ,sum(CNNCT_Quan) from tnmart.RPT_CCC_REQ_CON_ANLZ where cal_date=20080325 group by 1,2,3,4,5,6,7,8,9,10 ; 3） KPI中无相同指标 预期输出 请求量（次） 2726709 接通量（次） 2684103 接通率（ %） 98.44% 测试用例描述 输入数据描述 2、 统计日期： 20080325 测试过程 2、 执行脚本 2、 执行 sql语句 服务成功率分析（自动应答成功率分析） 测试结果描述 2 数据一致；测试通过； 问题原因及解决方案 是否已经解决 案例名称 自动应答成功率分 析 RPT_CCC_AUTO_RES_SUC_ANLZ 案例编号 UT_DBO_VM_MON_M_01 测试人 李元平 测试日期 20080704 质量监督人 审核意见 项目经理确认 测试环境及工具 测试环境： ETL 服务器： 10.220.7.51 服务器 OS： AIX-UNIX 本地查询： Windows 平台 测试工具： 查询工具： Teradata SQL Assistant 7.1 表结构查看工具： Teradata Administrator 测试需求内容描述 测试内容 目标：脚本能够正确执行，生成满足需求的数据。 9、 脚本能否正常结束，生成表中数据； 10、 指标数据的分量与合计是否平衡； 11、 指标数据与其它表是否平衡； 12、 与 KPI 比较数据是否一致。 13、 前端界面宏测试 具体测试内容 : （ 1）执行脚本，检查数据是否生成，日志有无错误 nohup perl rpt_ccc_auto_res_suc_anlz0400.pl 20080704.dir 1rpt_ccc_auto_res_suc_anlz0400.pl.log & （ 2） 指标数据是否一致 ： select * from tpview.vw_rpt_ccc_auto_res_suc_anlz where cal_date=20080704 ; select CAL_Date ,City_ID ,Brand_ID ,Comm_Period ,CUST_Class ,Consume_Level ,Stay_DUR_Level ,Language_Class ,Operator_Type ,SERV_REQ_Type ,sum(REQ_Quan ) ,sum(Sucs_Quan ) ,sum(Failure_Quan) from tnmart.rpt_ccc_auto_res_suc_anlz where cal_date=20080704 group by 1,2,3,4,5,6,7,8,9,10 ; 3） KPI中无相同指标 5)EXEC TNMART.MC_RPT_CCC_AUTO_RES_SUC_ANLZ(20080704,20080704); 预期输出 请求量（次） 193037 成功量（次） 190262 失败量（次） 2775 成功率（ %） 98.56% 测试用例描述 输入数据描述 3、 统计日期： 20080704 测试过程 3、 执行脚本 2、 执行 sql语句 测试结果描述 3 数据一致；测试通过； 问题原因及解决方案 服务成功率分析（人工应答成功率分析） 是否已经解决 案 例名称 人工应答成功率分 析 RPT_CCC_MANUAL_SUC_ANLZ 案例编号 UT_DBO_VM_MON_M_01 测试人 李元平 测试日期 20080704 质量监督人 审核意见 项目经理确认 测试环境及工具 测试环境： ETL 服务器： 10.220.7.51 服务器 OS： AIX-UNIX 本地查询： Windows 平台 测试工具： 查询工具： Teradata SQL Assistant 7.1 表结构查看工具： Teradata Administrator 测试需求内容描述 测试 内容 目标：脚本能够正确执行，生成满足需求的数据。 14、 脚本能否正常结束，生成表中数据； 15、 指标数据的分量与合计是否平衡； 16、 指标数据与其它表是否平衡； 17、 与 KPI 比较数据是否一致。 18、 前端界面宏测试 具体测试内容 : （ 1）执行脚本，检查数据是否生成，日志有无错误 nohup perl rpt_ccc_manual_suc_anlz0400.pl 20080704.dir 1 rpt_ccc_manual_su