质量提升大会战操作手册（IMS业务）.doc

集团业务产品质量提升大会战操作手册IMS业务分册1. 总则1.1 产品质量评测目标为提升IMS业务产品质量，全面提高集团客户IMS业务的使用体验，提高IMS产品的可用性、可服务性、可靠性，特进行质量评测。1.2 产品质量评测方法1.业务拨测：通过语音专线业务集团客户已有固定终端（话机和传真）和移动终端实际使用进行测试，获得相关测试结果的方法。每市分公司每月需联系1位友好客户并在客户经理陪同下在客户侧进行业务拨测。2.用户评价：通过用户实际使用并反馈评价的方法获得相关测试结果的方法。3.数据统计：通过IMS业务核心网、统一Centrex平台、相关业务平台和设备、省BOSS、网关系统提取数据获得测试结果的方法。1.3 测试样本量要求为使IMS业务测试得到更加科学、客观的数据，要求每测试场景下使用每终端至少测试10次。如果未签约融合V网业务的集团客户，需要进行以下（1）-（6）种会话场景的拨测;如开通传真业务，则增加（7）-（9）项拨测。（1） IMS内部电话（IAD/IP PBX内部）呼叫（2） IMS内部电话（不同IAD/IP PBX之间）呼叫（3） IMS电话呼叫中国移动手机（4） IMS电话呼叫他网用户（联通/电信/铁通）（5） 中国移动手机拨打IMS电话（6） 他网用户(联通/电信/铁通)拨打IMS电话（7） IMS传真之间拨打互通（8） IMS传真拨打他网用户（联通/电信/铁通）传真（9） 他网用户(联通/电信/铁通)传真拨打IMS传真签约融合V网业务的集团客户需要进行以下（1）- (11）种会话场景的拨测；如开通传真业务，则增加（12）-（14）项拨测。（1） IMS内部电话（IAD/IP PBX内部）短号呼叫，群内呼叫，4位短号（2） IMS内部电话（IAD/IP PBX内部）长号呼叫，群外呼叫（3） IMS内部电话（不同IAD/IP PBX之间）长号呼叫，群外呼叫（4） IMS电话呼叫VPMN手机短号，群内呼叫，6位短号呼叫（5） IMS电话呼叫VPMN手机长号，群内呼叫（6） IMS电话呼叫普通手机长号，群外呼叫（7） IMS电话呼叫他网用户（联通/电信/铁通）（8） VPMN手机拨打IMS电话短号，群内呼叫（9） VPMN手机拨打IMS电话长号，群外呼叫（10） 普通手机拨打IMS电话长号（11） 他网用户(联通/电信/铁通)拨打IMS电话长号（12） IMS传真之间拨打互通（13） IMS传真拨打他网用户（联通/电信/铁通）传真（14） 他网用户(联通/电信/铁通)传真拨打IMS传真2. 操作手册2.1. 可用性1. 计费准确率指标定义统计周期内，已开通业务的集团客户中话单与其订产品价格/资费策略一致的集团客户数/总开通集团客户数指标来源BOSS统计（同时需参考业务拨测统计平均值）预置条件1） 用户开通IMS业务2） 用户设置资费策略、套餐计划等测试步骤测试步骤以BOSS统计为主，业务拨测为辅：每月检查BOSS侧记录的IMS业务话单与其定产品价格是否一致，不一致则记录。每月抽查2个IMS电话业务友好用户，并在统计周期内同时进行以下11种场景会话，每呼叫一次查看BOSS所出话单的通话时长、资费策略是否与用户所定产品价格是否一致，是否正确计入用户的套餐计划。分别按照以下11种呼叫场景进行测试，每种呼叫至少进行5次。1） IMS内部电话（IAD/IP PBX内部）短号呼叫，群内呼叫，4位短号2） IMS内部电话（IAD/IP PBX内部）长号呼叫，群外呼叫3） IMS内部电话（不同IAD/IP PBX之间）长号呼叫，群外呼叫4） IMS电话呼叫VPMN手机短号，群内呼叫，6位短号呼叫5） IMS电话呼叫VPMN手机长号，群内呼叫6） IMS电话呼叫普通手机长号，群外呼叫7） IMS电话呼叫他网用户（联通/电信/铁通）8） VPMN手机拨打IMS电话短号，群内呼叫9） VPMN手机拨打IMS电话长号，群外呼叫10） 普通手机拨打IMS电话长号11） 他网用户(联通/电信/铁通)拨打IMS电话长号如果任何一次通话中出现话单与实际通话时长、用户设置的资费策略、套餐计划等不符合均可记录为计费不准确。测试记录1） 计费准确率已开通集团客户中的话单与其订产品价格一致的集团客户数/总开通集团客户数X100%如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注最终结果以BOSS统计数据为准，业务拨测数据做验证。2. 业务开通时长指标定义从业务提交订单、BOSS受理业务开通历时时间（天）指标来源业务订单统计和业务拨测统计平均值预置条件1） 集团客户开通IMS业务，安装IAD/IP PBX；2） 集团客户开通统一Centrex业务，分别分配有长号、短号，且部分为手机号码。 测试步骤1） 省BOSS受理用户业务开通申请，记录业务开通开始时间2） 下发业务开通订单，检查是否有网络资源，网络资源安装3） BOSS下发数据，IMS网元设备进行业务数据配置4） 用户端开通业务并测试成功。5） 业务开通成功，记录业务开通结束时间测试记录记录数据：1） 从业务提交订单到功能开通的时间，根本每省每月新开通IMS业务开通时长取平均值。本省本月没有新增用户，则不用上报数据。2） 开通用时最长的环节，并记录所用时长。备注目标值：有传输资源7个工作日，无传输资源20个工作日3. 订单成功率指标定义业务成功受理的订单数量/提交的总订单数量X100%指标来源业务平台和BOSS统计预置条件1） 集团客户申请IMS业务测试步骤1） 统计每省每月集团客户申请、变更、暂停、恢复、取消IMS业务的订单数量2） 通过业务平台和省BOSS反馈来确认订单是否受理3） 每月抽取两个友好用户通过业务拨测来确认订单是否生效测试记录用户记录数据：1） 订单提交成功的数量、订单提交失败的数量和总的订单数量2） 成功率成功次数/总测试次数X100%如测试中发生失败，需在备注项记录失败提示信息，如无提示信息需详细描述失败现象备注2.2. 易用性1. 业务办理申请渠道的丰富性指标定义用户对IMS业务办理各种渠道丰富性的满意度指标来源业务拨测预置条件1） 用户已经办理IMS业务2） 提供多种渠道进行IMS业务办理测试步骤1） 通过客户经理进行业务办理申请2） 客户经理受理业务申请，并进行业务办理（可进行业务咨询、受理、开通）3） 通过10086-8进行业务预办理申请4） 10086-8受理业务申请，并进行业务办理（可进行业务咨询、预受理、转客户经理）5） 通过营业厅进行业务办理申请6） 营业厅受理业务申请，并进行业务办理（可进行业务咨询、受理、开通）7） 通过网站进行业务办理（可进行业务介绍、预受理）8） 通过其他途径（例如通过第三方代理方式）测试记录通过业务拨测收集，记录支持的方式：1） A-客户经理（可进行业务咨询、受理、开通）2） B-10086-8（可进行业务咨询、预受理、转客户经理）3） C-营业厅（可进行业务咨询、受理、开通）4） D-网站（可进行业务介绍、预受理）5） E-其他（例如通过第三方代理方式）备注2. 投诉处理渠道的丰富性指标定义用户对IMS业务投诉处理渠道丰富性的满意度指标来源业务拨测预置条件1） 用户已经办理IMS业务2） 提供多种渠道进行IMS投诉受理测试步骤1） 通过客户经理进行业务投诉2） 客户经理受理用户投诉，如需进行操作则通过工单向相关部门反馈3） 通过10086-8进行业务投诉4） 10086-8预受理用户投诉，如需进行操作则通过工单向相关部门反馈或者转接客户经理5） 通过营业厅进行业务投诉6） 营业厅工作人员受理用户投诉，如需进行操作则通过工单向相关部门反馈7） 通过自助网站进行投诉8） 通过其他途径进行投诉测试记录通过业务拨测收集，记录支持的方式：1） A-客户经理（可进行投诉受理、投诉处理）2） B-10086-8（可进行投诉受理、转客户经理）3） C-营业厅4） D-网站5） D-其他（例如通过第三方代理方式）备注3. 缴费方便性指标定义用户对IMS业务缴费方便性的满意度指标来源用户调研预置条件1） 用户已经办理IMS业务2） 提供多种渠道进行IMS业务缴费测试步骤1） 客户通过营业厅进行缴费2） 客户经理上门收取3） 客户通过银行托收方式进行缴费4） 客户通过银行转账方式进行缴费5） 客户通过网银进行缴费测试记录客户对缴费方便程度的满意度。通过向用户调研,获取用户对缴费方便性的评价,其中非常优秀为5分,优秀为4分,良好为3分,差为2分,非常差为1分。备注2.3. 稳定性/可靠性1. 业务中断频次（次/集团客户）指标定义测评IMS业务中断频次（次/集团客户），业务中断指由我公司系统或我公司人员原因造成客户业务主要功能不可用。指标来源投诉处理工单预置条件1） 客户已经订购集团客户IMS业务2） 客户侧终端（电话机、传真机）正常测试步骤1） 从投诉处理系统（或客户经理处）获得IMS业务的投诉处理工单，其中关闭工单时填写投诉影响范围，导致业务中断的工单记为一次业务中断；2） 统计一个月内IMS业务中业务中断频次（次/集团客户）测试记录一个月内平均每集团客户业务中断频次一个月内所有客户中断次数总和/所有集团客户数量备注目标值0.5（次/集团客户）2. 业务恢复时长（小时）指标定义测评语音专线业务中断后的业务恢复时长，指主要功能从不可用到可用的时长，取统计期内业务恢复时长的平均值指标来源投诉处理工单预置条件1） 客户已经订购集团客户IMS业务测试步骤1） 从业务投诉处理系统（或客户经理处）获得IMS业务的投诉处理工单，其中关闭工单时填写业务恢复时间，统计投诉时间和投诉处理完成时间，计算业务恢复时长2） 统计一个月内IMS业务中断后业务恢复平均时长测试记录记录数据：1） 对于业务恢复时长：指主要功能从不可用到可用的时长，取平均值。备注目标值4小时（不含在途时间）3. 呼叫接续成功率（%）指标定义测评IMS业务语音通信时的呼叫成功率，指呼叫被成功接续，取拨测的平均值指标来源业务拨测统计平均值预置条件1）集团客户开通IMS业务，安装IAD/IP PBX；2） 集团客户开通统一Centrex业务，分别分配有长号、短号，且部分为手机号码。测试步骤分别按照以下8种呼叫场景进行测试，每种呼叫至少进行10次。1） IMS内部电话（IAD/IP PBX内部）短号呼叫，群内呼叫，4位短号2） IMS内部电话（IAD/IP PBX内部）长号呼叫，群外呼叫3） IMS电话呼叫VPMN手机短号，群内呼叫，6位短号呼叫4） IMS电话呼叫普通手机长号，群外呼叫5） IMS电话呼叫他网用户（联通/电信/铁通）6） VPMN手机拨打IMS电话短号，群内呼叫7） 普通手机拨打IMS电话长号8） 他网用户(联通/电信/铁通)拨打IMS电话长号测试记录记录数据：1）记录每次是否成功接续，显示对方电话号码。备注目标值100%4. 话音质量指标定义测评IMS业务语音通信时的业务质量，只指标来源业务拨测统计预置条件1）集团客户开通IMS业务，安装IAD/IP PBX；2）集团客户开通统一Centrex业务，分别分配有长号、短号，且部分为手机号码。测试步骤分别按照以下8种呼叫场景进行测试，每种呼叫至少进行10次。1）IMS内部电话（IAD/IP PBX内部）短号呼叫，群内呼叫，4位短号2）IMS内部电话（IAD/IP PBX内部）长号呼叫，群外呼叫3） IMS电话呼叫VPMN手机短号，群内呼叫，6位短号呼叫4） IMS电话呼叫普通手机长号，群外呼叫5） IMS电话呼叫他网用户（联通/电信/铁通）6） VPMN手机拨打IMS电话短号，群内呼叫7） 普通手机拨打IMS电话长号8） 他网用户(联通/电信/铁通)拨打IMS电话长号测试记录记录数据：1）记录每次话音质量情况。备注目标值：话音