基于客户感知的网络质量评估体系

基于客户感知的网络质量评估体系（试行稿） 中国移动浙江公司移动通信网络 经过多年的建设和经营， 网络 质量 逐步达到业界较好水平，近几年也 一直处于全国领先位置，但是， 随着 网络技术业务的快速发展和行业竞争的日趋激烈，网络运维工作中出现了 许多新特点和新情况，客观上对网络维护管理提出了更高的要求，需要通过不断变革和提升来适应发展的需要。 从近几年的实践来看， 网络运维管理水平处于不断提升和改善当中，但部分矛盾和管理需求日显突出，主要表现在： 1、 虽然网络 传统 KPI 指标表现优秀，但 由于客户要求的不断提高、网络业务的日趋多样和 复杂， 客户网络投诉上升较快 ， 如何有效降低客户网络投诉，提升客户网络满意度，已成为亟待突破的运维管理瓶颈 ； 2、 传统 KPI 的持续优化和提升，业已 接近理论极限，再度提升边际收益极低， 而 对于弱覆盖、话音质量差、上网速度慢等用户感知明显的质量问题， 又 缺少量化的评估分析和跟踪改进 手段 ，原有网络质量评估体系的合理性亟需提升 ； 3、 数据 业务 发展迅速， 并因其 种类多、变化快、涉及的网元多、用户行为复杂等特点，用传统的网络质量评估方式很难有效反映客户感知 ，网络 质量评估面临新课题 ； 4、 网络同质化日趋严重 ，如何保持相对竞争对手的持续的 网络差异化优势面临挑战 。 为适应新的发展和竞争形势， 根据省公司管理层的指示， 省公司网络部 提出 ，要 坚持以客户为中心，探索 和 建立“客户感知关键元素”、“网络测试评价手段”和“业务端到端全程衡量指标”三维一体的网络客户感知质量评估体系 ， 实现网络质量评估由技术评价向客户评价的拓展和延伸 。 2008 年上半年， 省公司 网络部 在部分 分公司前期实践的基础上 ， 系统 组织了基于客户感知的网络质量评估体系研究和探索， 进一步 明确了体系构建的思路、目的、目标、原则及理论依据等，提出了具体的指标构建 和 评估方法。 一、 建立基于客户感知的网络质 量评估体系的目的： 1. 从客户感知的角度更好的评估和掌控全网运行质量，找出省、市 、 县各级网络业务质量的短木板。 2. 为实现运维工作从面向设备维护向面向业务维护 拓展和 转型打好基础。 3. 指导维护优化工作，改善网络客户感知，降低网络客户投诉。 二、 建立基于客户感知的网络质量评估体系的原则： 1. 客户化原则：围绕客户感知设计评估指标体系 2. 端到端原则：以业务为导向梳理全过程衡量指标 3. 可测量原则：所有指标都要能客观测量和统计 三、建立基于客户感知的网络质量评估体系的理论参考依据： 1、 欧洲电信标准协会 (European Telecommunications Sdandards Institute 简称ETSI )是独立的欧洲地区信息和通信技术 (ICT)标准化组织 ，它将 基于客户感知的通信服务技术相关衡量指标（ ETR003 KQI）定义为如下六个方面： 可用度 Availability 可靠度 Reliability 速度 Speed 安全 Security 简约 Simplicity 弹性 Flexibility 这六个方面涵盖了客户对通信服务技术层面的各种体验要素，是建立基于客户感知的网络质量评估体系的基本元素。 2、 电信管理论坛 TMF GB923 Wireless Service Management Handbook (无线通讯服务管理手册 ) 是电信管理论坛应映 2.5G/3G 新一代无线数据通讯服务的兴起所提出的一套 KPI/KQI 设计思路与架构，以及相对应的服务质量管理模型。 GB923 提及 KQI（ Key Quality Indicator）必须要基于服务级别需求，在产品服务设计的时候就必须要考虑 KQI，以及其往下展开来相对应的网络资源 KPI，并落实到实际的服务质量分析与考 核系统，以建构完整的无线通讯服务管理架构。 四 、 建立基于客户感知的网络质量评估体系的基本思路： 贯彻以客户为中心的服务理念，参考 ETSI 标准和 TMF GB923 标准，综合考虑网络整体健康度的宏观管理指标和系统设备运行状况的各项关键指标， 围绕客户感知梳理和构建涵盖主要业务关键环节的关键指标体系， 探索和建立“两个层面、三维一体”的基于客户感知的网络质量评估体系。 宏观管理指标方面，主要是对网络故障的严重程度、发生频度和覆盖广度进行综合监控和评估， 并在可行和必要的前提下对主要网元和网络组网的负荷指标进行预警管理， 从全网宏观层面客观反应客户感知。 系统设备运行状况方面，主要从三个维度实施研究和评估：维度一：从业务使用感受的角度提取一系列客户感知关键元素；维度二：从端到端业务维护的角度梳理关键业务环节相关指标；维度三： 通过不断丰富和创新网络测试、统计和分析手段，全面反映网络服务质量。上述 三个维度相互关联，形成整体，形成客户感知型的网络质量评估体系。 五、 基于客户感知的网络质量评估体系的具体指标构建： 参考上述理论依据， 省公司网络部根据 多年运维管理实践经验和部分分公司的先期实践经验， 组织各专业管理骨干及部分分公司技术专家 与生产一线管理骨干，梳理了现网各类网络统计 KPI、网络测试 KPI 等各环节指标，并通过梳理 KQI 与 KPI 的对应关系，对指标库进行精选和整合，力求选中的指标更符合客户感知，并同时是网络专业运行的关键指标。通过多次讨论和反复修改，最后初步确定 从网络能力与 故障 、传统 KPI 指标、 主动测试指标（包括各类海量自动拨测系统） 、 语音质量指标 、 客户投诉指标 、 新业务数据业务指标 等 6个方面， 形成 基于客户感知的网络质量评估体系 的具体指标集。相关的指标具体描述如下： 1、 网络能力与 故障 方面： HLR 利用率 VLR 利用率 交换核心处理器 负荷 短信中心负荷 彩信中心负荷 WAP 网关负荷 GGSN 处理负荷 SGSN 处理负荷 IP 承载网带宽利用率 业务受阻等效损失话务量 短期一般重复故障 重大故障 指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考 基于客户感知的网络质量评估体系 KPI 集（试行稿） 。 2、传统 KPI 指标 彩信端到端接通率 客户网络满意度 掉话率 GPRS 拥塞小区比例 基站退服率 无线接入性 BSC 平均中断时长 (分钟 /BSC) 网管系统下派单处理及时率 传输 155M 及以上系统万 2M 中断时长 (小时 /万 2M) 半速率话务占比 机房关键电源系统设备可用度 基站电源系统可用度 城域网光缆百公里阻断时长 (小时 /百公里 年 ) 指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考 基于客户感知的网络质量评估体系 KPI 集（试行稿） 。 3、主动测试指标 测试网络覆盖率 测试 MOS 话音质量 测试网络接通率 测试网络掉话率 测试单通、回声、串话率 指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考 基于客户感知的网络质量评估体系 KPI 集（试行稿） 。 4、语音质量指标 LAC 寻呼平均劣化时长（分钟） 小区劣化比例 上行话音质量 (0-5 级 ) 下行话音质量 (0-5 级 ) 小区间切换成功率 指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考 基于客户感知的网络质量评估体系 KPI 集（试行稿） 。 5、客户投诉指标 每万用户投诉比 投诉处理全程及时率 投诉平均历时 监控部门投诉直接处理率 投诉解决率 重复派单率 客服满意度 客户回访满意度 指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考 基于客户感知的网络质量评估体系 KPI 集（试行稿） 。 6、 新业务、数据业务指标 手机上网 /全曲下载 /手机炒股业务 ： 接入网站时长 信息刷新时长 ATTCAH 成功率 PDP 激活成功率 上下行 TBF 建立成功率 PDP 掉线率 PCDH 信道复用度 彩信业务： push 消息下发成功率 彩信下发成功率 点对点彩信端到端时延 彩铃业务： 接续时间 彩铃接通率 彩铃播放正确率 来电助手业务： 漏电提醒准确率 短信接收及时率 开机提醒准确率 开机短信接收及时率 指标的定义、数据来源、目标值设定、计分方式、权重、指标负责人等请参考 基于客户感知的网络质量评估体系 KPI 集（试行稿） 。 六、 基于客户感知的网络质量评估体系的具体评估方法： 通过对“网络能力与故障指标、传统 KPI 指标、 主动测试指标 、 语音质量指标 、 客户投诉指标 、 新业务数据业务指标 ”等 6 个方面的指标进行汇总统计， 对统计结果进行层层分解和多角度审视，寻找网络客户感知的短板。评估体系主要 输出 如下 ： 1、全省网络客户感知质量指数和 6 维度短板分析 1) 全省网络客户感知 质量指数 通过对 6 类指标的全省统计汇总，计算出全省网络客户感知质量指数，并对每月情况进行跟踪关注，便于观察全省网络运行情况对客户使用感知的影响程度。 质量指数 跟踪示意图： 8284868890929496981月 2月 3月 4月 5月 6月 7月 2) 各地市质量指数横向比较 对 6 类指标按地市进行统计汇总，计算出各地市网络客户感知质量指数，进行横向比较并对每月情况进行跟踪关注，反映各地市网络客户使用感知的综合情况和变化情况 。 质量指数 横向比较示意图： 707580859095100杭州宁波温州台州金华绍兴嘉兴湖州衢州舟山丽水 3) 全省网络客户感知 6 维度短板分析 具体分为三个层次。 一个层次是 6 类指标的综合比较，找出 哪 类指标相对表现相对较差，并可以对每一类指标 进行每月跟踪分析。 网络 客户感知质量指数 网络能力与故障（ 10%） 传统 KPI（ 40%） 各类主动测试（ 10%） 语音质量指标（ 10%） 客户投诉指标（ 15%） 新业务数据业务（ 15%） 示意图： （ 6 类指标当月表现综合比较） 020406080100网络能力与故障传统KPI测试指标语音质量指标投诉指标新业务数据业务 第二 个层次是每 1 类指标进行展开分析，特别是对相对表现较差的那类指标进行展开分析， 进一步 定位 短 板指标，从而根据指标的具体定义和所涉及的网络范围进行 针对性 优化。 示意图： （以测试类指标为例） 60708090100测试网络覆盖率测试MOS话音 质量测试网络接通率测试网络掉话率测试单通、回声、串话率 第三个层次是对每一类指标按地市进行横向比较。 示意图：（如语音质量类指标综合得分横向比较） 7580859095100杭州宁波温州台州金华绍兴嘉兴湖州衢州舟山丽水 2、各地市 网络客户感知质量指数和 6 维度短板分析 各地市网络客户感知质量指数和 6 维度短板分析方法与全省的分析相仿，横向比较的单位（或地域范围）可延伸到县 公司或区域公 司（在评估体系逐步完善和相关数据可以获取的前提下），以便进一步定位网络短板的范围和程度，明确优化改进的方向。 七、 试行 基于客户感知的网络质量评估体系的 相关说明 由于网络质量的评估是一个复杂的系统工程，特别是基于客户感知的质量评估是一项全面创新的工作，各项评估指标筛选、权重设置、数据获取和分析 等 ，都没有现成的模式可供借鉴， 虽然在形成试运行体系的过程中，省公司已组织了各专业骨干人员的多次讨论和修改，但是， 在评估体系的 试运行 和摸索完善阶段， 肯定会 存在一些问题， 如指标的合理性、关键性和可测量性方面，如指标的权重设定 、目标值设定、测量范围设定等方面。 为了顺利推动基于客户感知的网络质量评估体系试运行工作，需要特别说明以下相关事项 ： 1、 为了更好地在评估体系中体现客户的实际使用感知 ，在指标目标值的设定中采用了全省统一标准（不考虑各地历史质量指标数据），并尽量避免不同厂家设备之间的差别， 更多采用端到端的指标，更多采用用户投诉的实际数据。同时，传统指标还占有较大权重，主要是考虑到传统指标是多年积累网络设备质量的代表性指标，能够在很大程度上反映网络运行的基本情况。 2、 试运行基于客户感知的网络质量评估体