集中性能管理体系

感知端到端质量、保障端到端能力

推动端到端能力运营——基于集中性能管理的主动运维体系建设实践中国移动福建公司2015年11月汇报提纲总体思路1工作进展2应用实践3“深化网络运维体制改革，推动传统包站式维护向集中管理、统一派单、计次服务的现代维护模式转变，加快以省为单位的集中故障、集中性能、集中网优和集中代维管理。”——李跃总裁在中国移动2014年工作会议上的讲话总部关于深化网络运维体制改革指示四项改革目标一致、息息相关、环环相扣故障管理是实时、高效、标准的网络运维流程体系，为性能管理和网络优化提供了流程落地的保障性能管理是故障管理的延伸，强化了端到端业务质量及客户感知问题的分析定位网络优化是解决性能问题的重要途径和有效支撑代维管理是其他三项改革的末梢环节，既解决各项流程的最终落地，又是保障集中化管理效率的重要因素此外，资源管理是网络运维工作的基础，是支撑集中化改革和集约化经营的必要条件四项改革关系示意图资源管理代维管理非实时性能网络优化通过故障管理落地实时处理非实时处理（部分）通过网络优化落地故障管理故障管理流程落地实时性能性能管理延伸支撑支撑支撑资源管理资源管理资源管理资源管理资源管理资源管理资源管理资源管理支撑支撑

“性能管理”，驱动各环节联动重点打造性能管理为核心的带头作用，各环节协同工作，拓展了针对网络运营数据的分析，始于客户感知、终于客户感知，打造面向未来的核心能力

统一的闭环管控流程，以故障流程和性能流程为抓手，实现问题快速解决，应用有效落地，形成各环节多维联动，促进整个运维生态体系的健康循环“流程管控”，构建生态循环以性能管理为驱动力，以故障管理为基础，实现优化管理、代维管理等各环节联动，促进网络运维从基于网元的管理向基于客户感知的端到端业务感知的一体化保障体系转变，实现端到端能力运营我省总体思路多部门协同合力，打造闭环管理格局多部门通力协作，以总部的网络运维集中体制改革为契机，“打破”传统的以专业划分的独立网管系统建设体系，基于大数据中心，通过数据挖掘把网络大数据转化成丰富的场景应用，支撑网络维护、网络优化、规划建设、市场支撑、客户服务等，切实提升业务质量和客户感知网管中心网优中心网络部业务支撑系统部集中故障集中性能集中代维集中优化大数据中心强闭环：通过技术闭环实现数据无损传递，达到数据聚合；通过管理闭环实现知识共享，达到决策聚合效率高：确保从前端到后端的跨部门无缝协作，端到端问题解决时长大幅缩短标准化：统一规范，实现流程、工单、应用、接口、三标准化，确保数据无障碍流转跨部门协同合作汇报提纲总体思路1工作进展2应用实践3集中性能：我省性能管理愿景集中性能：运用新方法，实现端到端全流程分析预判以大数据分析为基础，提出五元五阶分析法（FEFP），通过捕捉基于信令的业务全流程完整记录，获取“五个任何”（任何小区、有任何用户、持任何终端、使用任何应用获得的任何量化的效果和品质）的关键信息，第一次实现端到端质量的全流程、无死角分析五元：用户、终端、小区、网络、业务五阶：量化的用户上网的五大步骤（网络附着、管道建立、域名查询、链接建立、业务执行）涵义基于大数据中心的多维度数据上卷与下钻，实现面向用户感知的全方位的知识挖掘体现端到端能力保障和能力运营的最小变量级，足够完备的保证各应用输出。优势数据仓库模型时间点月季度年节假日工作日用户按职业聚类按事件聚类按年龄聚类按ARPU聚类IMEI（终端）类型厂家操作系统小版本制式（5模10频，3模6频，…)操作系统版本价格出场时期小区按核心网聚类按商业特征聚类按地理特征聚类按厂家聚类按无线性能聚类覆盖指数聚类干扰指数聚类切换指数聚类容量指数聚类结构指数聚类按流量聚类按用户密度聚类按网元聚类按POOL聚类按网元厂家聚类按MME聚类按SAE-GW聚类按DNS聚类按交换机聚类业务协议聚类SP服务商聚类流量流向数据包特征数据包大小响应时间心跳消息频率数据仓库浏览即时通信视频音乐支付下载日五元五阶并非5×5的简单叠加，而是基于大数据的多维度数据的上卷与下钻，实现面向用户感知的全方位的知识挖掘。五元五阶一方面体现端到端能力保障和能力运营的最小变量级，另一方面足够完备的保证各项输出。重点难点是五阶主线的“树干-树枝-树叶”关系整合集中性能：树干-树枝-树叶关系图例传统的运维方式技术上：更多将精力（注意力）放在存量网络的“稳定性”，通常关注指标不恶化（不明显劣化），追求网络安全、稳定（不出错）。缺点是当网络质量尤其是客户感知指标出现恶化或劣化时，运维人员的感知敏感度不高管理上：这种做法的坏处死水微澜、不求有功但求无过；专业间“好好先生”，缺乏团队协作精神。团队协同战斗力不佳和主动做事的氛围不好。“事后是问责”突破创新主动运维方法（方式）技术上：在技术体制上福建公司已经建立了“基于五元五阶的样本、空间置换算法是一种高效的故障定界算法”利器。尺子已经具备，如何发挥杠杆作业？基于五元的空间维度，周期性调整网络结构（任何粒度如小区级、TAC级、区域级等），在网络结构组合变化中力求主动发现网元间的协调匹配性及网元潜在的恶化倾向，将潜在的问题“引导到可控的暴露”。每一步调整前后都紧密依赖尺子度量出的指标，并及时给出评价管理上：专业间协同作战能力显著增强；主动做事意识增强；全员树立网络端到端能力意识；网络的灵活性和应急保障能力在日常工作中已经得到强化，做事的严谨性增强。“事前是攻关”五元五阶分析法，实现主动运维能力五元五阶的样本空间置换算法可以快速发现网络中各节点之间的性能失衡潜在问题隐患，运维人员可以根据分析结果有的放矢地进行精确优化，降低运维人力和时间成本，使得主动运维成为可能。莆田漳州宁德南平/三明/龙岩23日凌晨，路由如图。调整内容：调整为FZBR1—XMBR2进，XMBR2出

调整目的：定位国干—XMBR2段对下载速率的影响

调整结果：下载速率没有改善，下行乱序率从22日的14%增加到19.5%，TCP下行重传率从22日的1.1%增加到1.85%7月26日凌晨路由保持不变调整内容：修改FZBR1到XMBR2方向trunk链路负载分担模式从逐包为逐流调整结果：>100k

包速率上涨20%；下行乱序率从24日的19%降低到3.5%；重传率从1.7%降低到0.55%，修改后全省各地市乱序率和重传率基本持平，降低到3.5%。21日之前路由如图，厦门局点速率低22日凌晨，路由如图。调整内容:

调整为XMBR2进，XMBR2出

调整目的：

比较FZBR1和XMBR2不同路由对LTE下载速率的影响

调整结果：下挂地市速率下降25%，下行乱序率从21日的3.5%~4%增加到14%，TCP下行重传率从21日的0.55%增加到1.1%厦门EPC问题？厦门EPC正常！厦门BR2问题？国干-BR2正常！BR1-BR2问题？BR1--BR2参数调整，大包速率至少提升20%以上，部分档次包提升40%以上主动运维案例一（2015年7月实施）主动运维案例的尺子：下载速率等关键性能质量“标尺”目前我省将数据包分为8类（0-10kb、10-50kb、50-100kb、100-500kb、500-1000kb、1000-5000kb、5000-10000kb、>=10000kb），分别统计下载速率和时延，将全省平均作为衡量标准，高于全省平均的认为达标取消单一速率评估方法，采用分数据包大小综合速率评估方法取消固定阈值评估方法，采用全省平均作为标准的动态环比评估方法

使用对象：网络口各级维护人员TCP重传、乱序率分数据包下载速率拓展现有网元性能管理到端的端的客户体验和业务质量的评估管理，主动发现业务问题和客户感知问题，围绕服务网络和支撑市场的目标，有效支撑与协同其它部门工作，满足公司内部全流程管理的面向网络、面向客户、面向规划、面向终端、面向市场五个维度的应用需求，同时也极力拓展社会化服务应用，如实现对人口流量监控与驻留的动态跟踪（其中红色为自主开发，蓝色为诺基亚开发）实时性能监控LTE基站与价值评估基于客户感知指标的TOPN质差小区管控性能异常自动发现和定界终端网络业务三维分析虚拟业务自动拨测终端/FTP下载分析构建业务微路由，支撑LTE五个面向栅格化流量分析精细规划节日实时保障系统基于信令的客户投诉分析高价值客户感知保障功能用户投诉查询支撑2G高流量用户迁移互联网端到端感知分析高速高铁沿线质量评估LTE下载速率分析CSFB质量分析4G室分质差小区分析人口流量监控与驻留分析应用落地推广，凸显数据价值汇报提纲总体思路1工作进展2应用实践3重要应用介绍说明面向对象价值体现实时性能质量监控分析青运会场馆实时保障对全省小区分钟粒度实时监控，精准定位质差用户，实现快速排障。为实现客户感知主动保障提供重要保障面向网络面向客户省钱省时直观社会责任实时监控青运会各主要场馆性能指标，为青运场馆应急响应提供有力支撑手段虚拟业务拨测以大数据为基础，基于真实用户感知，汇聚路测数据，弥补路测不足面向网络面向规划省钱省时客观LTE基站与价值品质关联小区价值、流量、服务品质，指导资源投入方向，保障网络品质与资源投入的平衡面向市场面向规划面向网络花钱赚钱省钱微路由应用从微观层面刻画LTE网络路由信息，全面、高效管控传输网、无线网、核心网关联信息，实现问题精准定位面向网络面向规划指导有效花钱应用演示（一）重要应用应用说明面向对象价值体现问题自动定界基于样本与空间变化，以用户感知为根本，实现感知问题快速定界，提升问题处理效率面向网络面向客服提升客户满意度4G室分质差小区分析构建基于用户感知室分评估模型，从用户体验反映室分质量，辅助室分质差小区优化提升面向网络面向规划提升问题解决效率省钱实时人口流量监控分析对人口流动变化实时监测分析，有力支撑政府服务、市场业务精细营销，同时实现小区的驻留能力分析，辅助网络优化面向社会化服务面向市场面向网络赚钱省钱花钱终端与网络业务匹配实现终端与网络的匹配关联分析，为终端公司投放终端质量评估提供数据支撑面向终端面向市场定期输出分析报告应用岛演示充（二当）应用掏一：种实时威性能犹监控园使得足实时寇客户纤感知项主动得保障者成为遇现实实时性能监控系统史采用巩基于碍内存滩预处他理技歉术对禁精简剃后的XD陵R数据壤进行柜实时沉分析萌统计，得酿到小区敢级1分钟牙粒度的用众户感知胳密切熟相关领的性魄能指箱标，奥可用暂于实漏时性渠能监百控，闹快速调精确柏定位驳用户港感知库体验喷较差失的小减区及业务，实现质差咱小区芝的快稍速排饿障闭吼环处领理目饼标。使用顽对象愁：网徐络口何各级顾维护安人员应用过二：泻青运册会场秀馆保暂障福建帖公司妥基于栋大数描据性端能管放理平溜台系绒统，您针对动第一观届全叮国青吸运会盼，自宝主开封发各胃大场逆馆实才时保喉障系六统，急实现抓分钟懂级别梁信令成数据留的实粮时采虚集和欠监视化，实翼时掌断握现嫂场场助馆业联务流弱量信脱息和伤人员塘变动傻情况耻，为清应急狱保障络提供猫有力姻支撑次手段唐。使用啄对象间：管五理人目员、欧网络旦口各聚级维扮护人驴员应用途三：坡虚拟律业务钉拨测挑应用虚拟速业务冷自动虑拨测纯系统边的主白要功企能是左实现玻对重海要道岗路沿删线小金区的龙各种天业务怀性能遥指标锈的监俩控，壳弥补毕了现心场测资试采浊用的躬终端音种类洪较少削以及厉测试献时间饭受限数的问梳题。王将现推网用散户都友作为刃测试兔用户伙，能系够提并供该尚路段散及沿及路小方区级遮别和驱用户四级别原的主钉要业劈燕务性脊能指渣标统恰计结浇果，病帮助正专业授人员套进行绕的快副速问露题定都位。使用器对象满：网拉络优图化人该员、投路测辈人员通过滩实时纱数据继处理井进行蹦人流切量分搜析，侄在GI出S地图奶标识肿五种集颜色乳分别栋代表仪不同肃人数心区间盖，可奸根据跌日期更、小牲时选完择变占化统嚷计的居时间木区间笨，并堤可选嚼择2G或3G客户腰人流图量。胞支持耳数据脾下钻差，可友显示鸽小区适总人扇流量兽、用然户号床码归武属地天、驻券留时轧长各照区间遇的人遣数，随点击乡丰蓝色香按钮肺，可右以查架看小任区下纱所有钥用户暂的驻哗留时来长详保单。使用辨对象袜：网质络口五监控肉人员号、政镰府机鞠关应用览四：貌实时恨人口降流量录监控逃及驻虑留分局析应用的五：LT梅E基站学与价张值品讲质分丛析LT桌E基站嫌价值眨与服与务品兼质分禁析从碑小区蔬入手引，关棵联小谣区价池值、风流量礼及服芬务品贱质3个维磨度，牲分析坦内在煌联系汗，对序单个犹小区裳产生奴的收牺益价巩值和炸对应另的服币务品抵质进华行聚放类分捷析，忘为网腰络优杯化、府规划向建设浆、市抹场策概略提汇供参南考依仇据，永指导蜘资源形投入疯方向是，保枝障网斜络品驾质与争资源夹投入另的平聋衡。使用猪对象政：规桌划人加员、糠网络健优化收人员应用头六：4G室分狠质差弟小区竿分析性能谁管理幸平台芝基于貌用户安粒度碑的高起频4G网内TA辆U、高晃频2/裹3G网间TA生U、高色频X2切换刘，并和结合菜无线乞侧MR测量泪报告杜、小府区下蒙载速债率、4G室外选小区鹿流量挪分流夫、2/驴3G小区供流量漏分流蓝等维榆度，希综合雁分析忠室内剧小区景用户陈的感及知表瓦现、惰挖掘扁覆盖袜黑洞剥及感森知黑侨点，弓评估今室内良小区祝质量。使用矛对象赶：网坚络优孤化人捷员4G网内沈高频TA充U占用4G室外糊小区、或2/慰3G网间糠高频TA洪U占用2/牺3G小区分析愁步骤如下痛：本系拜统能贯够更高帖效、店更有华针对歉性的进害行异伯常室算分小涛区分阅析，没系统悄针对烘不同百的互狂操作村及切永换类项型进拉行用户破级的搅行为勾、业毯务表外现的米精细兽化分搜析。通剂过关焦联邻腔区位嗓置信脂息，隆分析车用户皇互操毛作或姓切换电行为脂导致治的对周边断小区脱资源歉的占导用情暴况，非单宜一的坦分析恨某个丛小区浸的情皱况。腿同时姥，系承统还序关联感知泊表现夹、无厌线覆钻盖性击能、博干扰智情况肝、用筋户数联量等指后标，赚从多慨维度堂定位闸室分寨小区袖覆盖骡黑洞烧及感吩知黑俩点。应用穴七：渠微路谋由（煌核心谣网、额无线蚕网）LT俯E高效魄智能包网络榜管理久体系狗需要也面向论规划歪、面诸向计姑划、绣面向烂建设番、面煤向考说核；丢能够惨实现LT丙E网络陡“广摄度”龙、“进深度患”的遭监测鹅与评壮估，朵能够监实现LT文E网络眨“厚幸度”决的支此撑。劝福建直公司剧以业卧务微突路由捞应用掏为切坛入点凝，旨目在实啄现对LT袍E“品4+键1”网络避（接卧入网/传输客网/承载鞠网/核心异网/智能骄管道偿）全图面高烛效的绢管理仆与运营保，自动嗽生成茂无线袋网与偶核心赏网的需层次悄、链滴路关页系，帐通过刮对相僵关指拘标统海计分红析及叹用户万业务凡关联惯度分东析，粗进一突步实栗现网刺络分摄析和饼网络夏规划千建设壳的广槽、深粮、厚蜓。小骗区级淡广度领、深斩度、抵用户船数、勉流量滑、流砖速、娇质量瓦分布GI熊S呈现难（含撞邻区串）及温报表圈输出垮，以餐及5A指标GI狂S呈现围及报肠表输来出。使用庆对象迅：网协络口在监控安人员竹、专肤业维蔑护人预员应用慢八：抓问题没自动膊定界样本滋