面向业务的端到端客户感知评估监控分析系统.doc

成果上报申请书成果名称面向业务的端到端客户感知评估监控分析系统成果申报单位 北京 省（自治区/直辖市）公司成果承担部门/分公司网络部、网络优化中心、网络运行支撑中心 部门 /北京 分公司项目负责人姓名项目负责人联系电话和email项目参与人姓名成果专业类别*无线&核心网所属专业部门*网络线条成果研究类别*相关网络解决方案省内评审结果*关键词索引（35个）客户感知导向、端到端业务质量管理、用户级场景级评估、深层问题原因定位、四可系统应用投资万元（指别的省引入应用大致需要的投资金额）产品版权归属单位北京公司对企业现有标准规范的符合度：符合现有企业标准规范如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个：无成果简介： 本课题以网络质量管理工作从传统的基于网元的以kpi为中心的管理向以客户感知为导向的端到端的业务管理转变为根本思想，创建了面向2g语音业务和数据业务的端到端客户感知评估方法和模型，有效建立了网络指标与用户感知之间的有机联系，解决了“网元好端到端质量好，均值好局部地区好，测试好单用户好，统计好感受好”的评估难题，并提供了面向业务、面向场景、面向用户、面向网络的客户感知监控分析能力，实现了多维度的深入的客户感知综合分析和追溯功能，快速准确的定位用户感知的问题原因，更好地指导了网络的优化工作，同时提升了工作效率，为改善客户感知，提升客户保有率和公司口碑发挥了巨大作用，是保证网络质量这一企业生命线的导航仪和推进器。省内试运行效果： 针对语音和数据业务分别定制的端到端客户感知评估监控分析系统上线后，已经在多项重要的网络专项优化工作中发挥了积极的作用，如1）edge加宽加厚：已在现网近3500小区的edge加宽加厚改造中引入了qoe体系评估，用于改造方案的修正；2）pdch承载效率提升：在cbd等区域的pdch承载效率提升专项优化中引入了qoe体系，修正了优化算法，使得提升资源利用率的同时确保了用户感知的稳定；3）tfd/tfu参数优化：有效评估了参数优化的qoe指标变化，为最优参数选择提供了准确参照系；4）外部sp评估：top20访问量网站的时延及其规律分析，为数据业务的用户感知提升明确了方向；5）利用自定义场景的客户感知监控分析，灵活地为各种通信保障活动提供了有效的评估和网络质量保障；6）面向用户的监控分析为集团客户和vip客户提供了端到端的业务保障，为打造一流的客户感知奠定了基础；7）系统有效缩短了用户投诉的处理时长，即提升了用户满意度，又节省了优化人员的宝贵时间；8）有力的指导了网络优化工作的开展，提升了优化工作对用户感知和资源利用率的贡献度，加强优化工作的精准度和均衡性。该系统的引入从根本上转变了网络质量评估和管理的思维模式，是当前复杂的网络环境和日益激烈的市场竞争形式下，为保证网络优势和客户满意度的必要转变，是网络评估优化工作中更精确的导航。该系统在提高工作精准度的同时还大大提升了工作效率，压缩了问题持续时间，是网络优化工作的推进器。因此本成果具有突出的现实意义和实用价值，推广价值和效益明显，建议推广。文章主体（3000字以上，可附在表格后）：见下文。面向业务的端到端客户感知评估监控分析系统一、 背景情况随着移动通信网络的日益复杂化，网络中逐渐出现了“网元好端到端质量好，均值好局部地区好，测试好单用户好，统计好感受好”的脱节现象，客户满意度的提升不再与单纯的网络kpi的提升成正比，网络质量的评估优化等一系列管理工作迫切需要从传统的基于网元的以kpi为中心的管理向以客户感知为导向的端到端的业务管理转变！ 在此背景下，本成果的主要意义在于：i. 建立面向业务的端到端客户感知评估体系，实现了从基于网元的kpi管理到基于客户感知的端到端业务管理的转变，解决“网元好端到端质量好，统计好感受好”的问题；ii. 实现了分场景，且最低粒度为小区级的用户感知评估和监控，解决“均值好局部地区好”的问题；iii. 实现了对集团客户，甚至是单用户的感知评估和监控，解决“测试好单用户好”的问题；iv. 设计大量的分析型kpi，实现对造成不良感知或用户投诉真正原因的快速定位，提高问题的发现速度和优化效率，提升用户感知；v. 以用户感知的评估指导网络优化调整工作的开展，保证资源受限的情况下一切调整不以牺牲用户感知为代价；vi. 实现了“可视、可管、可分析、可溯源”的“四可”客户感知监控分析系统，支撑“面向用户、面向业务、面向网络、面向场景”的客户感知评估管理工作开展。二、 技术方案1、 概述从面向业务的端到端客户感知的评估、监控、分析工作的实际需求出发，本成果的技术方案主要包括以下技术点：i. 设计层次丰富、结构清晰的客户感知模型，既实现了客户感知评估的简明性，又满足了问题原因分析定位的复杂性；ii. 针对不同业务，通过业务矩阵分解，建立端到端的客户感知评估体系；iii. 挖掘丰富的数据源，实现全面完整的客户感知评价；iv. 深入分析问题原因与症状之间的映射关系，实现问题原因的快速定位；v. 采取专家问卷调查等多种手段制定评分规则，保证评估体系是客户感知的真实反映；vi. 设计开发满足“四可”、“四面向”的客户感知监控分析系统。2、 层次丰富、结构清晰的客户感知模型设计为达到既实现了客户感知评估的简明性，又满足了问题原因分析定位的复杂性的目的，客户感知的模型从上至下共设计了5个层次：指标名称说明要求主要用途kqi依据itu e800规范框架，结合实际评估经验，将端到端用户感知分为覆盖性、接入性、完整性和保持性4大项，由逻辑kpi汇聚运算得出有05评分标准网络质量评估逻辑kpi构成kqi指标的子项，根据需要而构建，由评估型kpi汇聚运算得出有05评分标准评估型kpi构成逻辑kpi的指标，可直接使用已有的厂家kpi，也可根据需要而counter构建有05评分标准分析型kpi在为某项评估性kpi指标确定问题所在的时候，用来细分原因定位root位置。可以来自各种数据counter或者某种判断逻辑有告警门限原因分析与定位raw counter用于计算评估kpi和分析型kpi的原始测量数据(raw data)客户感知评估体系中用于评估网络质量的指标包括kqi、逻辑kpi、评估型kpi，三者之间有逐级对应的汇聚计算关系。当上层指标不好时，可以量化计算每个下层指标所造成的影响。从网络层级上看，kqi、逻辑kpi和评估型kpi的构建都是从小区级开始的。更高层级（包括场景、bsc、mss、行政区域等）的指标都是以下一层网络的指标经汇聚运算得出。qoe体系中的分析型kpi则用于当某项评估型kpi不良时，细分问题的根源位置。通常某项评估型kpi的好坏，与其所关联的分析型kpi的好坏有直接或间接的关系，但二者之间并没有直接的汇聚计算关系。对于语音业务，共设计了网络覆盖、接入性、保持性、完整性4项kqi，7项逻辑kpi，12项评估型kpi，对于数据业务，共设计了接入性、保持性、完整性3项kqi，9项逻辑kpi，38项评估型kpi，而两项业务均设计了百余项分析型kpi，各层次kpi的繁简程度直接体现了一方面满足客户感知评估的简明性，另一方面满足问题原因分析定位的复杂性的要求。3、 面向业务的端到端客户感知评估体系建立针对不同的业务，遵循以下六个步骤实现端到端客户感知评估体系的建立： 分析业务场景 分析用户体验时间轴 确定业务拓扑图 开发业务矩阵 kqi/kpi模型 确定kqi测量方法其中业务矩阵是把业务生命周期分解成底层技术相关的动作，及其所流经的服务资源。下图即为分解得到的语音和数据业务的业务矩阵。4、 丰富数据源的挖掘利用得到各业务的业务矩阵，确定所需的counter和测量点后，还要根据数据源状况，采选合适的测量数据进行关键指标的构建，因此数据源对于所得评估体系最终与客户感知的相符程度也起着至关重要的作用。本成果中不仅利用了omc提供的大量统计作为数据源，还深度挖掘了设备厂家的统计工具及第三方的监测统计手段，并采用了诺西的traffica系统和中创的信令监测系统分别作为语音和数据业务的数据源之一。除此之外，还结合实际的工作经验和需求，定制了寻呼黑洞，异常短呼的分析结果作为数据源，同时还纳入了用户投诉数据来帮助进行用户感知的评估和问题分析。丰富的数据源奠定了全面准确反映用户感知的基础。5、 问题原因的快速定位为使客户感知评估体系能够在发现问题的同时帮助快速的定位问题原因，提高网络优化效率，一方面设计并定义了丰富的分析型指标，利用分析型kpi构成分析问题库，包括覆盖、负荷、干扰、移动性和rtt clear code等类型的指标。每个评估型kpi都会和分析问题库中的相应内容进行关联，对每一项评估型kpi，进行分析型kpi的归类和收集，及关联关系的建立，使其与评估型kpi形成合理的映射关系，集成在一起可以便在发现问题后很方便地进行优化上的原因分析和查找。因此分析问题库就是一个优化的经验库。另一方面专题深入分析了traffica clear code与掉话等问题原因的细分映射关系，利用traffica clear code准确快速的定位至问题原因。6、 评分规则的科学制定如何将评估体系中的kpi科学的映射到客户感知一直是相关研究的重点和难点所在，在本成果中，为准确把握客户感知，采用了设定门限的0-5分的归一化评分方式，即对各评估型kpi，根据其所处的不同区间评价为0-5分六档，其中5分为客户感知优秀，3-4分为客户感知良好，1-2分为客户感知不良，0分代表客户感知差。为使评分门限能够准确的反映客户感知，本成果中采用了多种方式方法，综合制定了评分门限，主要采取的方法有：i. 面向一线维护优化专家开展客户感知评分标准问卷调查，每种业务均回收问卷约150份；ii. 各评估型kpi现网情况的统计和分布分析；iii. 利用典型案例对客户感知评估体系的验证；iv. 利用用户投诉中预估覆盖小区与客户感知的评估结果对照7、 “四可”、“四面向”系统的设计开发基于成果中建立的面向业务的端到端客户感知评估体系，设计了系统功能和界面，部署并开发了相应的硬软件，实现了“可视、可管、可分析、可溯源”的“四可”客户感知监控分析系统，支撑“面向用户、面向业务、面向网络、面向场景”的客户感知评估、监控、分析等一系列管理工作的开展。该系统实现了对客户感知的监控和评估，还可以方便的实现从客户感知kqi逻辑kpi评估型kpi分析型kpiraw counter逐级的钻取和分析，快速的定位问题原因，及时的改善网络环境，第一时间回复用户投诉，切实提升用户感知。同时，还可以自定义的开展集团客户或单个用户的感知评估，自定义场景的评估，更有利于通信保障等专项工作中的客户感知保证。 三、 效果面向业务的端到端客户感知评估监控分析系统上线后，一举突破了当前语音和数据业务网络质量评估单纯依靠路测和无线侧kpi、与用户感知脱节的初级优化阶段，实现了端到端、用户级的业务感知评估、监控与原因深度定位分析：1） 实现了语音和数据业务用户感知的实时端到端量化评估与监控：系统上线后，可以分别从用户、场景、业务和网元维度，准实时（最小15分钟粒度）地量化评估不同业务的用户感知，对影响感知的网络质量变化监控更及时、更准确。2） 实现了语音和数据业务用户投诉相关的端到端网络分析：通过gn信令、traffica数据、wap网关日志、omc统计的自动关联，实现了投诉问题原因的快速定位，以往需要23天的vip投诉处理时长可以缩短到4小时以内，同时问题定位的准确度也提升明显，以往复测无法复现的问题也可以通过qoe系统进行准确的信令回溯和原因定位。3） 客户感知评估体系指导下的网络优化更有效：与传统kpi导向的网络优化相比，以客户感知为导向的网络优化使得网络调整更加精确。以egprs信道配置优化为例，在qoe体系指导下，改变了以往单纯依靠pdch复用度等kpi进行调整的方法，充分考虑了每个小区的用户感知度得分，使得egprs信道资源更多的向感知差小区倾斜。在cbd区域试用结果显示，pdch承载效率提升达16，而用户感知的接入性、完整性、保持性指标保持稳定，达到了即提高资源利用率同时又尽量减少对客户感知的影响的目的。1、 分场景、分用户的端到端客户感知量化评估a. 分场景的qoe评估本成果能够提供灵活的自定义场景的客户感知监控分析，在对不同场景分析的同时，还可以通过多个场景的比较发现短板，集中力量优化。如下图所示，就是对北京东城区和朝阳区核心区域内各场景的评估，该地区域人口密度较高，覆盖场景较多，如娱乐场所、商务区、住宅等。本文分别针对娱乐场所、商务区、高端住宅和道路四个场景进行了接入性、保持性、完整性和网络覆盖等方面的qoe的评估，通过评估可得这几类场景的整体客户感知均处于良好水平，即各场景的各项kqi得分都在3分以上，说明整体状况良好。同时，通过各场景间的比较可以看出：高端住宅的客户感知水平较其他场景为差，这主要是由于区域内的高端住宅覆盖不足造成。道路的覆盖水平虽然与商务区和娱乐场所一样，但其他各项客户感知水平相对低一些。通过发现各种场景的短板，可以开展更针对性地优化。b. 分用户日常监控该系统能够针对单个vip用户，或用户团体进行用户感知的评估和监控，并可以设置告警。通过系统界面可以很方便清晰地查看和分析集团客户和vip客户对不同业务的客户感知情况。系统界面将用户的感知评分通过不同的颜色进行标识，红色表示用户感知差，处于用户不可接受状态，黄色表示用户感知较差，需要关注，绿色则表示用户感知良好。 集团用户的客户感知监控通过该界面，首先可以将集团用户进行分级，针对不同的级别分别查看分析各用户的接入性、保持性、完整性和覆盖方面的感知问题。 vip用户的客户感知监控通过用户号码定义vip客户或vap（敏感用户），进行客户感知的监控和评估。同时，可以方便的查看vip用户的感知单项告警，通过对vip用户的感知进行监控和告警，有望在投诉之前进行针对性的改善，从而减少vip投诉的概率，极大的改善用户感知。2、 实现对感知不良、用户投诉等问题的快速分析定位本成果在设计客户感知评估体系时就提供了大量的底层原始kpi进行原因钻取，因此利用本评估体系可以快速定位造成用户感知不良或投诉的真正原因。本系统可以实现问题的监控和发现、逐步深入的问题原因分析、以及在问题处理后的总体回溯，大大提高了问题发现及处理的及时率和处理效率，提升了客户的感知。举例说明： 发现问题利用qoe系统对小区级的客户感知进行评估，发现小区1443(日坛北路3)覆盖kqi尚可，但其他3项都不好，说明该小区下的用户感知并不好。 分析原因沿着该体系逐步向下钻取，从逻辑kpi到评估型kpi的分析可以看出，造成kqi不佳的主要恶劣指标是上行误码率和掉话，其他指标也普遍不太好。进一步查找分析型kpi发现，上行干扰非常严重，导致各方面的客户感知都不好。通过逐层深入的分析最终定位了该小区客户感知不好的真正原因是上行干扰严重。 关联投诉通过对该小区对应时段投诉的检索，发现了确实出现了投诉，说明了qoe是可以提前对投诉做出预期的：投诉工单流水号： eoms24297033，手机号：135*1027位置：朝阳区朝外大街99号2层3层，描述：接打电话都不行。 处理问题通过对用户感知的全面评估，找出短板，迅速定位原因，则能很快针对上行外部干扰的现象进行处理：对该站所在的900/1800小区进行合理的话务分流，并适当控制功率。 总体回溯通过系统的回溯可以看到，优化调整后，该小区的qoe感知有了快速明显的回升。通过对用户感知的全面监控，可以发现单个/几个kpi监控难以发现的问题，较早的定位可能发生投诉的地点，在发生投诉之前改善网络，从而保证良好的用户感知。下面的应用是随意选取北京网内的2155个小区某个时段的数据，套用qoe模型计算各项指标值和评分，检查这些小区当天及前3天的话音业务投诉数据，与qoe指标进行比较，进行qoe指标与投诉的关联性验证。如下图所示，选取位于东城区和朝阳区的2155个小区的2011年3月31日19：00的数据，计算这些小区的qoe评分。从计算结果可以看出，大部分小区的客户感知良好，但是图中的红色和黄色标识的小区，客户感知存在某些方面的问题，需要重点关注。按照投诉信息中的预估覆盖小区统计，所选取的区域内有投诉的小区共62个，且并未即时解决。分别计算全部小区和有投诉小区的低于3分的评估性kpi的数量，统计结果如下：注：语音qoe模型中评估型kpi共13个，采用0-5的评分方式，3分以下为不良，3分以上为良好。从统计可以发现，有投诉小区的不良评估型kpi数量明显高于整体水平，其客户感知较差。从以上的分析可以看出，以用户感知平台为导向，能较为有效的指导投诉工作，提前解决投诉的隐患区域，提升用户感知。3、 为网络优化工作提供更精确的导航（面向用户感知）单个kpi指标的改善，已经不能代表用户真实感知的必然改善。qoe系统设计初衷，就是尽可能的模拟用户行为，反映用户的真实感知，基于此的评分体系，可以更全面的评估网络优化工作的真实效果，更准确的导航网络优化工作的方向。下面以2个应用为例说明。a. 提升保持性客户感知北京金盏乡地域广阔，人口密集，且旅游资源丰富，是我们网络优化的重点地段。利用客户感知的评估体系，发现金盏乡地区的客户保持性表现不好，因此2011年4月下旬开始对金盏乡网格进行集中优化，金盏乡网格共计5.39个小区，覆盖类型多样，通过优化该网格内掉话率明显好转，用户的保持性得分明显提高。采取的优化措施：类别调整内容pc参数调整（基于质量）udr=1,udp=3,udn=4,uur=1,uup=3,uun=4,ldr=4,ldp=1,ldn=1,ldn=1,lur=4,lup=1,lun=1；（基于电平）udr=-70,udp=3,udn=4,uur=-75,uup=3,uun=4,ldr=-85,ldp=1,ldn=1,lur=-90,lup=1,lun=1邻区优化对网格内部分小区进行了邻区优化优化后的效果评估：4月27日始，对金盏乡网格进行了部分优化措施后，网格tch掉话率（旧）由1.13%下降到0.9%左右。利用客户感知评估体系对优化效果进行了评估：保持性：客户在进行通话的时候，异常中断的概率，反应用户在通话过程中对保持性的感知评分（满分为5分，4分以上优秀，3分良好，2分及以下较差）经过对功控参数和邻区的调整，金盏乡区域整体的保持性kqi从3.4分提高到3.9分，改善率大约在14.7%（早晚忙时改善率走势基本保持一致）。保持性得分优秀的小区数量有所增加，得分差的小区数量明显减少。b. 提升完整性客户感知回龙观是北京密集住宅区的一个典型代表，长期以来是用户感知较差的区域，是网络优化的重点整治地段。从4月初开始，对回龙观网格进行了为期两周的集中优化工作。回龙观网格共198个小区，分南北区。其中微蜂窝小区24个，宏蜂窝小区174个。该区域主要为居民社区。集中优化主要措施优化措施具体内容数量是否完成实施覆盖调整天线下倾7是邻区优化删除447是邻区优化添加441是频率优化改频12是硬件问题硬件告警除处理11是参数优化sl合理性优化987是amh门限优化335是pri合理性优化45是900-1800话务推移（hcs）25是优化后的效果评估：实施多项优化调整措施后，回龙观网格整体的上行话音误码率kpi得分较之前提高约19.04%，下行话音误码率kpi得分3较之前提高约11.16%，客户感知提升明显。完整性：指用户对语音业务使用过程中“声音不连续”、“听不清”等现象的感知类指标。每个时间片的语音质量基于系统采集的测量报告、切换事件等信息，经过语音质量评估算法得到。 （满分为5分， 4分以上优秀， 3分良好，2分以下较差）从小区的分分布来看，上行提升较下行明显，上行各得分区间的小区数量都有明显改善。优化调整后，从上行的得分等级来看，“优秀”、“良好”的小区比例明显增加，“差”的小区明显减少，用户感知明显得到提升。从朝阳区金盏乡和昌平回龙观地区的优化工作来看，利用客户感知的评估体系指导优化工作，不仅掉话率等网络指标有了改善，而且确确实实改善了用户感知，全面契合了面向用户