互联网业务质量指标体系及测试评估系统

1、互联网业务质量指标体系及测试评估系统一、项目背景互联网作为全业务发展的重要基础，业务质量直接影响3G、WLANT口有线宽带业务的发展。然而当前网络指标无法反映业务质量、用户业务感知无法量化评估、优化工作只能围绕网络指标分段分层开展的问题，凸显出互联网业务质量指标不完善、监控手段的匮乏。 网络指标与用户感知不对应：尽管网内时延、抖动等各项指标优秀，但是用户实际上网感知网速慢的问题突出； 业务感知无法定量评估：用户业务质量感知、和竞争对手的业务质量对比、各种优化手段对业务质量的提升效果无法定量评估； 业务质量劣化无法预警：日常维护优化工作主要围绕网络指标分段分层开展，无法通过数据统计分析对业务质量

2、劣化进行预警。各种问题说明互联网业务质量指标体系不完善，不能反映真实的业务质量状态和用户感知。指标体系不够全面：现有监控指标体系侧重于网络性能指标监控，无法反映现网业务的真实情况，单靠网络性能指标无法准确反应用户的真实感知。 故障发现速度慢：现有指标监控体系不完善，不能快速发现业务质量故障和性能劣化情况，不能根据指标波动对业务质量进行预警。本课题从互联网业务感知角度出发，对主流互联网业务流程深入分析提炼，建立了互联网业务质量指标体系，对主要业务指标、采集方法、评估标准进行了规范。同时为使指标落地，自主开发了互联网业务质量测试评估系统，通过软探针采集数据，在服务端呈现报表，构建了完整的互联网业务

3、质量监控系统，通过全网各种业务质量数据自动采集和监控，实现分业务、分地区、分时段业务质量评估，解决了监控手段不足的问题。二、技术方案（一）概述本项目研究的目标在于量化互联网用户体验感知，形成可采集、可监控、可提升的业务质量指标体系，并通过开发业务质量测试评估系统，达到持续监控优化互联网业务质量、提高用户感知的目的。项目从网络、业务、用户感知等层面现状分析，梳理出影响用户业务感知各项主要因素，并且在对各项目主要业务应用协议流程深入分析的基础上，总结对用户感知关联密切的项目，整理制订了互联网业务质量指标集。为了实现指标的落地，本课题开发了业务质量监控系统，通过业务测试探针和集中管理系统，实现对业务

4、质量指标的采集和监控。后续围绕业务质量监控系统，以质量指标的提升为目标，将逐步优化互联网运维管理流程，建立业务质量预警机制，实现由被动维护向主动维护的转变。（二）方案介绍本项目的总体研究思路和步骤为：第一步，用户感知分析：从投诉分析、用户回访等渠道，分析用户对网络的感知以及影响用户业务感知的各种因素。第二步，建立指标体系：全面分析互联网业务类型，总结主要业务，从应用协议流程分析入手，总结对用户感知关联密切的项目。第三步，开发应用系统：开发互联网业务质量采集与测试评估系统，实现业务质量指标自动采集，以自主开发软件方式为主，在全网分级、分层部署软探针，实现覆盖范围广、成本低的业务质量监控体系。第四

5、步，形成一体化运维体系：将监控系统融合到已有网络优化运维流程中，形成质量监控、质量优化、质量评估与提升的互联网业务质量运维管理体系。建立指标体系用户感知分析开发监控系统优化运维端呈用广5亚标帮南,T翳一用户对业若晶质的Q3E吟口度和认可度3务应用层，EliJItil. 升-业警*1标鼻优季赛网的业电T 承锻能力水平网络KPIs用户业第 网络三层标矢踪与耀开J一皿一 网络 KPIs业务KPIs安全,用户晒知指标HTTP . MOSh ft-Factor, MD1.r.3业弟物议才示(DN五口 H C PICM R U PHTC B RT吐一同元网络相博匚PU.内后带重，耐延，我国搴)网络KPIs

6、r提升用、户感知)安全冏值以下重点介绍两部分内容:由互联网业务质量指标体系；中互联网业务质量测试评估系统的研究情况。1、建立标准：互联网业务质量指标体系为了衡量用户感知，量化互联网业务质量，我们对互联网业务类型进行了深入分析，从信令协议过程入手，制订了完整的互联网业务质量指标体系；另一方面为了将互联网业务质量指标落地，与现实网络维护工作相结合，从网络的实际拓扑和维护分工，互联网质量指标体系从管理上同样采取分层结构。(1)、业务质量指标体系通过对当前互联网主要业务的梳理，对各项主要业务协议流程、网络层次建立了评估模型，并且按照不同的业务类型，分别定义了各环节的指标及指标分层组合关系，随后通过现网

7、模拟，确定了各项指标的测试获取方法；最后为了使评估结果更加直观，通过各项KPI指标的加权组合，为各项业务制订了综合评分的规则，并且对测试结果对应的业务质量等级确定了取值范围。Service Link工w中止弄明确评估范围Service规则等评估对象Major指标层次 关系定义定义指标及层次关系 定义指标计算规则；规范测量设备或 软件部署方案；通过模型描述评估对象 （网络/业务）；SAP A约定网络及业务存量对 象命名规则及权重设置Layered Networks规范测量方法及 参数，以及测量 结果处理规则；符合度为0） 或者有MajorSLA符合度SLA良好控制线= 100 ,即没有<=

8、SLA符合度一项 Critical、< 100 ,即没有Major不符合条Critical条款突款（或只有L1破，有少量Minor条款不满Major条款突破SLA中控制线<=0 <=：符'ISLA符合度<< SLA中拴制:SLA良好控制线,即有Critical,即没有Critical |条款突破（S定义一致的评价标准（SLA/SLO/指标阈值/指标权重）结合目前业务开展情况和中长期的业务规划，业务质量指标体系现阶段重点考虑了WEB漠用思如具 铝k资j金哥指导艮浏览、文件下载、在线游戏、自有业务、IPTV内容:请点击下方文件查看中国移动CMNE悯络及业务指标

9、体系技术规范（建议稿）瞿I中国移动CMNET络及业（2）、CMNE分层指标体系为了将互联网业务质量指标落地，集团公司、省公司、地市公司有明确的运维范围与职责的划分，在CMNET0络及业务指标体系时，需要与目前的运维体系相一致。CMNET质量指标体系宏观分级结构分级指标体系的实施建议按照“整体规划，分步实施，逐级衔接关联，持续优化的过程实施。整体规划整体规划可以保证指标体系的一致性，保证同级运维实体间指标的可对比性。制订统一的技术规范是整体规划得以落实的关键，技术规范的定义的主导权与解释权归属于集团公司，技术规范定义后，各级省、地市分公司需要对技术规范进行理解，提出意见与建议，以保证技术规范的有

10、效性。分步实施在统一的技术规范指导约束下，集团、省、地市可分别独立实施，条件成熟的省公司、地市公司可以先行。同一公司在实施过程中，可以分业务逐步实施，比如先实施IP网络及HSI业务，再逐步补充其他业务如VoIP业务或IPTV业务。逐级衔接关联地市公司指标体系可以向上与省级指标体系衔接，省级公司指标体系可以向上与集团公司指标体系衔接。衔接的过程可以是逐步进行的。持续优化整个指标体系（包括技术规范与运行系统）应被视为一种宝贵的“智力资产”，提升运营能力的核心竞争力，需要持续经营，持续优化。技术规范需要长期维护，并及时修订，以满足网络及业务质量提升的要求，新的网络技术、新业务要求指标体系及时跟进。2

11、、指标落地：互联网业务质量测试评估系统为实现互联网业务质量指标体系的落地，项目组开发了“互联网业务质量采集与测试评估系统”，以自主开发软探针方式为主，在全网部署，将IP网络网格化，从用户侧、城域网、省网、骨干网各层各级，采集网络质量、业务质量，从而实现“点-线-面”结合,既能查看整体业务质量，同时也能按时间、按地区进行统计和分析。互联网业务质量测试评估系统架构包括三个部分：* 服务端：运行在服务器上，实现集中控制功能，探针管理、任务配置、指标采集与分析、告警监控等功能。* 探针/客户端（Probe）：自主开发软件，安装在PC终端上，接收服务端指令，进行质量测试（网络质量、业务质量），上传至服务

12、端。* 网管系统：即IP综合网管，从服务端获取告警和报表数据，实现业务质量告警、报表的集中输出和呈现。互联网业务质量测试评估系统包括质量指标体系设置、业务路径与网络链路自动关联、探针关联关系及故障定位、业务质量告警、业务质量评估等五个主要的功能模块。质量指标体系设置指标体系主要完成各种典型业务与KPI指标的定义、各指标的权重等，并且根据接入方式、用户体验，定义指标评价范围：优、良、中、差。业务路径与网络路径自动关联系统在进行业务测试时，自动跟踪业务路径，与网络设备和链路进行关联，完整记录业务运行情况，可协助维护人员快速进行故障定位和处理。端水号；HI例岩林；古青街泄泄试崂何=<110mn

13、J:23：4：iiaj地州反法辿寻兴1kTIM1球1用CEtK五瘠1Tm而2311.13.224,201中国江赤道繁州市3211.143,224o205中IE工苏省南州市向福跖CHNIETaSRgV&n-nt-erface4042llrl43,224-137中IE江野省案州市Ubn®45221.131.M.137中QH江私省案州市5f2WZME5QODEGQabfl£thcrnEt5/0/0$中QEkT,瑞?加74gg中回口:西拿3中IS北京市北京市91。211a136r3,126中03北京而北原市11211-136.5.1S2牛IE化惠而北京

14、市1242中国13：2Q9.85.241.M要田14209.65.253-69集国15美SI:hi.1才3.71/口壮Min图：业务路径与设备关联关系探针关联关系设置及故障定位探针关联是为了进行故障定位使用，在实际网络中，探针与探针、探针与业务目标之间存在关联和归属关系，明确探针关系，可以进行更精确的网络质量评估和故障定位。归属地的关联：如省、市、县、小区等;运营商、网络层次的关联;探针之间的归属关联：在接入网络层次中，探针有属于它的上级和下级，这样可以更加精确地进行故障定位。探针关联设置详细功能参加以下文档。探针关联设置及故障定位.doc业务质量告警业务质量告警主要

15、报告告警条件设置和告警类别两部分功能。告警条件主要包括单项KPI指标告警、指定用例告警、专项任务告警三种类型；告警类别主要包括基线告警、门限告警、可用性告警、系统状态告警等四种：基线告警：当前指标与前一段（7天）周期同时段（小时）指标值进行比较超过一定的百分比，优先级（严重50、一般20、次要10）实现：配置页面，配置内容为：告警时间段（默认7天）、告警等级阀值：（严重50%一般20%次要10%）。查询纬度：时间段、告警等级、下降比率门限告警：按照用例类型、源-目（归属运营商、地理区域归属省是否一致）指标、进行设置。（一般告警）实现：门限配置页面，按照用例类型进行配置，每个用例按照，探针与目的

16、地址的运营商和地理区域是否一致和指标进行设置。可用性告警：用例执行情况、对失败原因的区分告警（一般告警）实现：根据客户端实际情况输出告警原因，进行告警。系统状态告警：探针掉线，系统关键进程（严重告警）业务质量评估根据指标体系定义，可以根据自定义条件，实现特定区域、时间、业务类型、目标网站所属区域（如运营商、地理区域等）的质量评估，从而实现业务质量变化的预警。业务质量评估指标定义方向详见以下文档。可编辑word,供参考版!£质量评估得分计算方法.doc三、主要创新点本项目主要创新点体现在三个方面：制订了互联网业务质量指标规范、自主开发了业务质量测试探针和监控系统产品、创新性解决了业务质

17、量和网络质量的自动关联问题。1、制订了互联网业务质量指标规范：量化用户互联网业务体验指标，将互联网业务质量评估和测试、监控工作规范化、标准化、自动化，全面解决了目前用户感知评估和监控的问题。目前该规范已经通过集团公司在5个省份的试点验证，正在申请中国移动企业标准。2、自主开发了业务质量测试探针和监控系统：自主开发软探针和管理系统，软探针基于通用PC平台，不依赖于厂家硬件设备，不仅提高了测试工作效率，彻底排除了由于人为因素干扰测试结果准确性的问题，同时实现了自主知识产权。3、创新性地提出了业务质量监控与网络质量自动关联的方法：实现了业务故障快速定位功能，领先于业务同行业水平。四、效果分析1、互联

18、网业务质量测试评估系统主要应用场景互联网业务质量测试评估系统主要解决目前业务质量分析手段不足的问题，主要用在统计产生互联网业务质量报表，实现业务质量的监控，并且能够实现互联网业务质量的评估和测试。典型的业务质量监控告警输出示例如下：生化指标由置亲附古L的修二ZDLQ-O9-O2.加1U4M1用黄萧般；谓选岭'缗侬H：啦".区.布丁fm1名东富用mt常当1产"蜜9当萨rm1所W优钝1WMM12也眦h耐/海RJBR抖动OUh)41也中32DfeO4HI-D32L：3£H3朝It而尊&Betiu生包0D20g42DiQG9-D32L：3G：13由k薄薄n

19、MR再包嘱】020»SJDiO-W-03A；知;“丽_而H以才回tcb3.5播节琳野海Hl=I平均wr(msli4.246.40DO轴3B.M*72Dka-D32L:3«：1Sttrffln丽叱睡时4.54737.75时羽制建g2VIQ-O9-O32L-3OJ.3夜15路AAR力看FTCE%*】23窕例W35.-H1%嵇金制编侬word,供殄名版!支中由说35f_业务质量评估和报表主要包括业务质量指标变化趋势、竞争对手质量评估对比、网内不同区域业务质量横向对比，典型示例如下：例1:江苏移动中国移动的HTTP业务质量评估2 力 9 ri>-D9- . H2 43 10-

20、D9-09MiAM an，5 百如ppw b rUfrWffwSSHaTWre人Kit fwt EicrnzA -smw，nmwmiJt.A-Saa http u 工他口工 MutEl4JIvli = _zr» io-(tt»oi 4p jo j c <» !-0m I f 匚” _1 E ! hg CL. c0 一Krrj»!-«Ki = j iwtaeJwWTm - g qq 7.» s y”:“丁 先 II W可编辑word,供参考版!才431-04f>32a1IK例2:江苏移动中国电信的HTTP业务质量评估用又才H

21、*誓“*frtFiHtia：至2D10-ML14中®电值*蠲LT哉白：Htf址信*Jy青遭:白皿r30t3若崎：1K7ML科宇一MH_*SB：:海弹.iBg:_¥*由同修1RY时升至21V»591jtw|iWMaixfit*平均安何砰业壬昌日d界73JS7L«02175M加*gg修“啥哥UJLL754s距】HrTPji®«K皿收注依耕iqHTT电L#用l±MJ4HFII每册国57-35H"喳货aw血7mI例3:常州各区域探针的质量比较洌法区上弹务国询：扭，酝Sm户代frths舅可.9a并7量入方式»it&

22、#171;”目的酒雪瓢修逢普*月如摊PW0W：2J10-K-13x也H他Mt：_幽市:-*-!wz:.irtPifii口司里BU：V阳丽同I；：0。ymmY&W2J*fl59-HKUMjw««不总时加izAim厘剧就母计J*觥电疆7皿笛10013咖探t向tR奇7S.4J2010411m«w>K71XRwaw_|斤翻用1«(_«i5i_12、互联网业务质量测试评估系统试点应用情况在互联网业务质量测试评估系统开发测试阶段，对系统功能逐步验证的同时，进行与竞争对手质量专项对比评估，并且对产生质量差异的原因进行了初步分析；此外，针对内容引

23、入、缓存加速、第三方出口三种典型的优化加速手段的实际效果进行了评估，获取了大量测试数据。按照质量评估办法，对网站进行业务质量评分，按优、良、中、差分级，对业务体验差网站进行分析。请点击下方文件查看四份分析报告。网络竞R争性玮估根因分析.doc内容引入髡理性评估分析.doc缓存加速效果评估分析.doc果评估分析.doc五、应用推广情况本项目中制定了互联网网络与业务质量指标集和互联网业务质量指标体系，已经由集团公司组织在天津、黑龙江、上海、江苏、福建等5个省公司进行了试点验证。目前在申请中国移动企业标准，并在2010年中国移动网络年中工作会上进行了介绍。本系统7月份开始由常州开发实施，实现互联网业务质量自动测试和监控，