客户感知评估体系的建立和应用

1、客户感知评估体系的建立和应用一、项目背景随着移动通信的迅速发展和市场竞争的不断加剧，网络质量成为增强企业竞争力的关键因素。各个移动通信运营商更加重视从客户的角度去衡量全网的质量水平，借此有效提升客户感知价值，而目前的网络质量评估工作主要存在以下不足。1、产业竞争日益激烈，网络运维分析需发挥最大效用，为市场发展提供强有力支撑。而目前的网络运维分析对象主要面对网元自身，与市场行为、用户行为不挂钩，不能体现业务端到端质量，无法有效体现客户真实感知价值、支撑市场竞争。 2、传统网络指标滞后于用户感知，甚至与用户感知相背离，时常出现网络、设备并无任何异常，但用户感知业务质量已出现劣化。单通、串话、噪声、

2、上网速度慢、业务开通成功率低等影响业务感知的现象，无法用故障和传统的kpi表征。甚至，时常会出现网络、设备并无任何异常，但用户感知业务质量已出现劣化。因此，网络评估分析工作需要面向客户感知转变。 3、客户对网络质量的感知受主、客观多种因素的影响。网元好不代表端到端质量好、均值好不代表局部地区好、测试好不代表单用户好、统计好不代表感受好。真实的端到端客户感知度无法有效评估！ 4、传统话统指标基于网元设备的处理过程，没有面向客户感知设计，指标的统计点不对应实际客户感知，更加不能实现对用户客户感知的端到端管理。尤其是发展迅速的手机上网业务和wlan业务，缺乏有效的分析掌控点，客户感知度较差。 5、网

3、管系统以常规报表为主，每日质量分析、异常问题分析，必须提取、查看多张报表，进行手工分析，效率低下，且分析经验都存在分析人员的脑子里，得不到有效固化和传递。本项目的研究是为了解决上述问题，也为了更好的从客户角度衡量全网的质量水平，让网络维护优化工作更加面向客户，以提升客户对网络的感知，提高公司竞争力。二、实现方案或方案优选过程一、参考tmf gb923，以客户感知为导向，从端到端业务流程和服务流程入手，找到关键业务体验点，结合业务遍历环节， 建立从qoekqikpi评估模型，见下图。层层剖析到需要监控分析的末端kpi，据此构建一套涵盖qoekqikpi的客户感知评估体系。本项目建立的客户感知模型

4、，以客户体验感知价值为目标，以关键的端到端业务质量为评估控制的关键所在。通过各项网元性能为纽带，将日常运维的网元保障工作和业务质量进行贯通，通过评估控制业务质量指标，促进运维水平和客户感知价值的双向提升。在该客户感知模型中，客户感知（qoe）是面向最终用户的体验。kqi是决定电信业务qoe的关键质量指标，kpi是网元设备测量的性能指标。kqi与kpi都来自于客观性能测量数据。kpi和kqi最大的区别，就是kpi从网元设备的角度出发关注过程，而kqi则从终端用户角度出发关注的业务质量的结果。kqi 可以由几个kpi聚合而成，或者由某个kpi通过一定的算法模型进行表征，也有可能与某个kpi相同。二

5、、从全业务运营角度出发，多维度拓展分析数据源，研究拨测信息、信令监测信息、话单信息、traffica呼叫记录等信息，从中抽取客户感知相关kqi和kpi，按照qoekqikpi评估模型，进行数据挖掘、关联，逐步建立涵盖gsm网络语音、td网络语音、视频、gprs数据上网、wlan等各项业务用例客户感知评估指标体系。（一）借鉴tmf无线业务测量 (wsmt，wireless service measurement team)，提出的业务质量设计流程，由上至下将业务逐层分析，最终把用户对业务的质量体验分解成组成产品的各个服务的质量，并将服务与网络、非网络数据进行映射，最终由这些数据聚合成可供测量的k

6、ql。具体过程如下：（二）按照上述设计思路，我们以语音业务为例，设计的语音业务集合。首先通过业务场景、业务流程和业务资源分析，建立关键业务体验点和资源要素的矩阵分析。再通过矩阵分析结果，从客户感知的大维度，设计业务集合。维度qoe指标kqi 接入性网络信号覆盖覆盖率接通性端到端（）主叫接通率端到端被叫接通率端到端主叫接通时长保持性通话连续性掉话率完整性语音质量mos单通比率串话比率回声比率三、从结果向过程寻找量化关系，科学计算感知要素占比，运用加权算法进行客户感知度量化评估，引入相对价值评估模型对感知度进行对比校正。同时，研究建立自动钻取式挖掘分析模型，实现端到端业务qoekqi的自动评估和劣

7、化原因智能分析。（一）运用关联规则、趋势、聚类等数据挖掘手段计算出影响用户感知的要素占比，根据加权定义各个kpi对业务的影响程度，运算得到最终的业务kqi和qoe评估结果情况。1、根据业务特征，基于评估模型，从结果向程寻找量化关系，运用关联规则、趋势、聚类等数据挖掘手段进行跟踪评估，对影响用户感知的主要因素进行排序，计算各类感知要素占比，确定各项kpi、kqi的权重。2、根据业务特征，数据挖掘结果，确定各类别指标的权重，运用加权算法进行客户感知度量化评估。预先加权定义各个kpi对业务的影响程度，运算得到最终的业务kqi评估结果情况。 总体qoe算法如下：，其中：表示分项qoe权重，表示kqi所

8、对应的qoe。kqi和kpi之间的评估算法与此类似。可以通过每一项kpi的完成值计算得出各项kqi的指数得分。具体各类业务场景例如彩信业务、短信业务、td视频等数据业务，分区域的场景如高校区域、商业区域也可以按照此方法得出评估结果。（二）在本网自身价值评估模型的基础上，引入相对价值评估法，进行客户感知度对比校正。相对价值评估法就是，在评估本网客户感知价值的同时，将评估体系应用到竞争对手的网络中，评估相同时间、空间和业务用例条件下本网和他网客户感知价值的差异。并用此评估结果对最终客户感知度进行校正。当比较评估的结果显示本网客户感知价值低于他网时，将立即给予该地域下被评估业务客户感知问题警示，快速

9、进行网络优化。（三）研究从整体到局部的钻取关联分析模型，实现客户感知劣化的逐层智能分析。从时间、空间、资源、关联关系、外部因素等多个维度，总结日常分析方法和经验，梳理研究分析规则。总体思路如下：分析模型举例如下：将自动分析规则在系统固化，实现系统根据自动分析触发条件和分析规则，进行自动钻取式挖掘分析，并呈现分析结论，从而实现业务的qoekqi自动评估和劣化原因智能分析。（四）研究用户群体、区域特征、时间变化等外部因素对客户感知的影响，将用户使用行为，感知需求、感知体验的差异、资源使用情况进行关联分析，建立差异化场景客户感知评估模板。四、将体系研究成果和市场支撑、客户服务紧密联系起来，对当前热点

10、的上网业务和wlan业务进行重点评估应用，对vip客户进行分时段和分区域的差异化评估。让客户感知评估成为支撑市场发展、提升客户满意度的有力武器。（一）gprs数据上网业务客户感知评估应用：根据影响客户感知的现象，从接入能力、有效能力、完整能力、速度能力、服务能力五个维度入手，进行上网业务客户感知评估。、按照手机gprs上网端到端流程，见下图。从网元侧分段梳理出贴近客户感知的kpi指标全集。手机gprs上网（wap业务）主要有以下几个过程： pdp激活（pdp context setup） wap网关连接过程（wap gateway connect） wap get/post过程（wap get

11、/post）每个过程的连接情况和涉及网元为具体pdp激活pdp激活主要是为了建立终端与ggsn之间的ip连接。涉及到通过apn查询sgsn地址，radius认证等。涉及的网元包括：sgsn、dns、ggsn、radius server、wap网关wap网关连接wap网关连接过程是终端向wap网关发送申请，及wap网关的响应过程。涉及的网元包括：sgsn、ggsn、wap网关wap get/post过程在wap网关连接建立后，终端会向wap网关发送get/post申请，请求获取某个uri的内容或发布内容。wap网关在收到请求后会检查自己的db，以确认此连接是否被允许。检查通过后，wap网关会向d

12、ns server请求uri的ip地址，然后根据ip地址发出http get请求。此过程涉及的网元包括：sgsn、ggsn、wap网关、dns server因此从网元侧得到手机gprs上网（wap业务）所有kpi指标，包括性能、告警、投诉、业务测试等，如下。 kpi1: pdp context activate successful rate （pdp激活成功率） kpi2: pdp context activate delay kpi3: wap connect successful rate kpi4: wap connect delay kpi5: wap get/post succes

13、sful rate kpi6: wap get/post response delay kpi7: server response delay kpi8: wap gw process time delay kpi9: wap dl/ul throughput kpi10: wap dl/ul packets lost ratio ggsn中断时长（告警指标） 整理这些kpi指标，再按照接入能力、有效能力、完整能力、速度能力、服务能力的维度，确定和上述qoe相关的kpi指标。这些kpi和kqi是贴近客户感知的真正核心内容，是需要进行重点监控和评估分析的。kqi手机上网业务质量 qoeattac

14、h成功率pdp激活成功率tbf建立成功率sgsn负荷ggsn负荷wap网关负荷gb gn gi接口负荷ggsnsgsnwap中断时长edge覆盖率弱覆盖比率上下行电平值kpi接入能力覆盖能力完整能力速度能力开通服务能力wap gw连接成功率radius成功率dns查询成功率wap get成功率wap post成功率tbf drop rateattach延迟pdp激活时延wap gw连接时延wap get 时延wap post时延wap gw处理时延dl/ul throughputwap dl/ul丢包率apn设置错误域名错误用户无gprs功能投诉工单处理及时率问题解决时长gprs上网万人投诉比

15、2、根据业务特征和数据挖掘结果，确定各类别指标的权重。预先加权定义各个kpi对业务的影响程度，运算得到最终的业务kqi评估结果情况。总体客户感知指数也可以由各类kqi客户感知指数均衡获得。具体各类业务场景例如彩信业务、短信业务、td视频等数据业务，分区域的场景如高校区域、商业区域也可以按照此方法得出评估结果。（二）业务客户感知分析评估应用wlan业务是近期发展迅速、用户使用的一个热点。我们遵循wsmt业务质量设计流程，从用户使用业务类型、业务流向两个方面入手，研究wlan业端到端务客户感知评估体系，并通过wlan自动拨测和巡检卫士进行体系的系统固化。1、从用户主要业务需求游戏、视频以及web浏

16、览业务入手，梳理客户感知指标，进行感知门限普查，确定客户感知差异化等级标准。2、根据wlan业务现网路由情况，研究业务在不同的路由方向上，客户感知度的差异，解决网络资源瓶颈问题。3、通过自动拨测和移动业务监测系统对客户感知评估体系进行系统固化和应用。自动拨测系统可模拟用户行为对热点区域的wlan业务的客户感知进行自动拨测，主动实时监控wlan系统运行状态，及时发现并处理影响客户感知的事件。系统流量走向如下图：（三）量化vip客户每次通话质量vip客户的通信质量是客户感知评估关注的一个重点。通过跟踪高端客户的通话质量、通信行为、网络感知、手机性能等，时刻掌握高端客户通信质量，可以发现网络的潜在问

17、题，优先及时地解决客户遇到的问题或者隐患。本项目评估体系中的话单数据及相关统计数据可以为vip客户的每次通话质量给出一个感知评估。感知评估全面考察客户每一次从起呼到接通以及完成通话的通信质量，通过对每次通话质量的感知评估判断重要客户对网络的满意情况，做到在客户没有投诉之前就处理、解决好网络问题，提升客户对移动网络服务的感知。感知评估的思路如下：当一个客户在网络质量良好的情况下完成通话，感知度为100，当出现不同的网络异常情况时减去相应的权值，最后得到客户对于网络的感知度。例如以天为单位，关联重要客户级别（钻石vip、金牌vip等），查询时间区间内的掉话次数、掉话率与通话时长来，用相关算法计算保

18、持性qoe评估。三、主要成果和应用情况（一）制定客户感知网络质量评估体系梳理上述研究成果，同时收集涵盖各个场景评估案例，从评估手段、评估方法、评估结果等多角度总结和固化评估经验，制定了客户感知网络质量评估体系技术文档。成为指导全省运维人员提高运维水平、支撑市场客服、提升客户满意度的有力武器。（二）应用情况1、经过对于网络质量评估体系的研究，特别是围绕客户感知对原来的质量指标和评估模型进行了较大程度的更新后，新的网络质量评估体系越来越贴近实际客户感知，更能将客户急需解决的问题逐渐显性化。在提升优化水平、做好市场支撑、疑难问题处理等方面取得显著成效。（1）用户感知网络优化能力提升 使网络优化真正从

19、网元层面转向用户层面，网优工作真正面向用户服务； 细致到一对一的用户感知性能的管理； 先于用户发现突发的问题，切实提升用户的满意度。及时发现并杜绝各类安全隐患问题41起，隐患解决时长缩短一半。先于客户发现业务降质问题40余件，定位时间从10分钟缩短到1分钟。1分钟10分钟09年11月10年5月全网e2e接通率、掉话率、彩信e2e接收成功率、数据业务下载速率等重要指标明显提升，网络质量明显改善。（2）市场营销支撑： 针对性的用户感知评估，可以作为很好的营销铺垫； 掌握重要用户群的分布和移动规律，提升营销效果； 重要用户的“呼叫社会性”，争取重要客户掌握主动； 手机终端能力分析，利于新业务的有效推

20、广； 识别特定的区域内的重要用户群，对于营销和网络设备资源投入很有指导意义。体系成果能评估特定区域、特定用户群的行为特点，用来协助市场部门开展gprs手机上网提升专项活动，对客户开展针对性的营销工作，取得了良好效果。疑难问题处理支撑： 为突发小概率事件提供详实的分析数据； 对包括信令监测、业务监测等信息源的全方位整合，利于快速准确解决疑难问题。利用评估体系的不同场景评估成果，在高校开学、春节、世博等通信保障工作中排查出业务高峰时存在严重影响客户感知的的网元设备16起，用户接入安全隐患2起。顺利度过业务高峰的冲击。及时发现解决单通、串话、无声音等业务质量问题36起，终端设置不当影响业务使用问题2

21、5起，山寨机干扰网络问题9起，第三方业务平台故障7起。2、通过流程优化，扩展到客户感知服务体系，致力于提高网络服务能力，支撑市场和客服，以提高客户满意度为最终目标。对解决影响客户感知的网络隐患，提升客户满意度方面取得显著成效。四、效益分析（一）经济效益分析1、项目直接收益：（541.2+91.3）*2=1265万元该项目研究的客户感知评估分析体系，有助于快速发现、定位和处理业务降质情况，挖掘网络故障、隐患，降低业务影响，有效吸收话务量。（1）网元数15130故障率（ 0.07次/月/网元-0.02次/月/网）平均每次故障影响业务量123爱尔兰优惠后量收比9.7元/爱尔兰6个月=541.2万元。半年挽回损失541.2万元。（2）保证网间网内业务有效吸收，重要节假日和活