探针式BOSS业务监控系统

1、 中国移动通信科技进步奖励申报书项目名称：探针式boss业务监控系统的研究及应用 申报单位：中国移动通信集团浙江有限公司中国移动通信集团公司2009年11月4日一、项目基本情况项目名称中文探针式boss业务监控系统的研究及应用英文the research and practice of boss applications monitor system based on probe主要完成人主要完成单位中国移动通信集团浙江有限公司主 题 词业务监控、boss监控、探针、业务预警、健康度、故障定位任务来源a . 中国移动通信集团公司计划 项目起止时间 起始： 2007 年 7月 5 日 完成： 2

2、009 年 6 月 1 日二、项目简介(不超过800个汉字)有别于通信网，中国电信运营商的运营支撑系统（boss）从诞生的那天起，就存在一个“可监控性差”先天性软肋。从02年开始中国移动业务支撑系统（boss）全面实施以省为单位的集中化建设，各省boss系统规模和能力不断扩大，boss系统已成为一个通信运营商的核心竞争力之一。然而，boss系统的运营监控能力提升不明显，it模式的支撑系统建设，导致boss缺乏有效的监控。懦弱的boss维护三部曲模式：客户投诉-发现故障-故障修复。boss监控存在核心问题是：没有一种好的boss系统运营评价机制，没有能力提前“预知”故障的发生。传统的boss监控

3、仅能简单的收集主机、数据库的参数状态，未能从业务应用的整体有机的进行监控和管理。为解决以上问题，我们建设了探针式boss业务监控系统：首先它针对boss的核心业务，建立能够反映业务运营状态的ci/kqi指标体系，如：一分钟充值笔数；然后在boss系统上部署主动式探针采集各项业务指标值；接着进行业务监控度指标健康度模型，全面表征boss系统业务运营状态，实现了业务运营的提前预警；最后应用boss系统的资源配置，快速定位故障（或即将发生故障）所在环节点。同时还提供了大量翔实准确的业务活动综合分析功能，帮助运维人员进行主动式的业务运营管理，真正做到了“防患未然，御变于先”，最大化业务价值，提升最终用

4、户满意度。本项目建设过程中实施了多项创新技术，已申报了五项国家专利，并在2009年全国业务支撑工作会议上专题介绍推广。主要特点是：一是突破传统以设备监控为主的boss监控定式，解决了设备状态表征业务运营的不准确性，开创了boss业务应用监控新时代；二是通过建立业务健康度评价模型，有效发现潜在业务威胁，自此boss业务运营的好坏有了一个客观的评估标准模型；三是采用boss业务探针实现boss业务信息数据采集，确保信息采集对boss零改造、零影响、全自动、全再现；四是突破性的解决了业务可用性的预警难题，实现boss端到端的业务监控，通过建立实用简洁的预警模型，解决了业务端到端“软故障”的监控盲点问

5、题；五是通过巡航式坐标导向，实现boss故障原因快速定位与查找；六是建立了三维立体业务监控视图，提供了boss运管的基础平台，实现用户业务体验的立体监控运营管理。在本项目试运行以来，系统效果相当显著，月均成功预警业务问题29次，预警有效率和覆盖率均达到96以上，预警时间点比传统模式告警和客服报障平均提前42分钟，方便维护人员提前介入，避免了故障的发生，每月减少boss核心系统故障37分钟。通过业务故障快速定位，使业务故障处理时长平均缩短了42%。充分实现了提前预警避免故障为主，故障发生后快速定位修复为辅的项目目标。三、项目详细内容1、 立项背景（不超过800个汉字）boss系统集中化建设完成后

6、，boss系统的运营维护的重要性是不言而喻的。boss系统故障会引起营业厅关门、客户升级投诉等重大问题发生，严重影响公司业务的正常运营。为此，每年各省公司投入近百人员、上千万元资金进行boss运营维护管理。由于boss系统一直以来采用it模式建设，可靠性、可维护性离电信级产品差距较远。目前boss运营维护管理面临的主要问题有：（1）业务应用监控困难，boss业务状态缺乏评估模型缺乏对业务“软故障”的监控手段，对渐进式的业务故障很难做到及时发现，缺乏有效的指标表征业务应用的运营状态，不知不觉中，故障已发生，目前业界没有一个模型可评估boss的运营状态，对业务支撑系统应用的实时有效监控一直是世界性

7、难题。（2）boss监控被分块割裂，无法实现端到端的监控 boss网管只能独立地进行设备状态的监控，但因boss系统是由主机、存储、中间件软件、数据库、应用软件联合组成的，每个环节问题都会造成boss故障，现有分块式监控无法实现boss整个业务链、整体式监控。（3）故障发生时，无法快速故障定位缺乏业务与后台资源关联模型，发生系统故障后不能准确定位业务影响；系统后台处理仍处于“黑盒子”状态，得知业务故障后也无法快速定位故障原因，造成发生业务故障后不能快速定位故障原因，客观上延长了故障处理时间。（4）运营信息分散，分析不到位业务实时效率、办理量、成功率和服务投诉等数据，分散存放在各自生产系统中，维

8、护人员为获得这些信息，需不断到生产系统的后台上提取数据，严重影响生产系统的安全性。boss运维人员一直希望能有一站式运维界面，全面掌握各种运营信息。 （5）为获得boss业务信息，需大规模改造boss，造成巨大的风险和财务成本为了解决boss系统的业务监控问题，集团公司下发了相关业务技术规范。业界曾有尝试尝试在boss系统中直接增加维护代码模式，但因与boss系统捆绑太密切，无法推广到其他省。本系统是在集团公司规范基础上，采用了探针式提取、指标引导、建模驱动方式，打造一站式端到端boss业务监控系统，从传统的以主机、存储等硬件监控为主要手段，转变为以boss业务应用监控为核心，满足boss运营

9、管理需要。 本系统07年开始了boss的停机复机、开户销户等三个核心业务模型试点监控建设，目前已逐步推广到整个boss的门户、渠道、综合查询等子系统；在采集的具体技术应用上，从最初的bpm模式探针，发展到rum网络采集探针。2、 详细技术内容（不超过1000个汉字）（1） 系统架构 探针式boss业务监控系统整个系统由五层组成（图1）：数据采集层、业务建模层、数据聚集层、告警管控层、分析展示层。数据采集层是基础，对于采集难度最大的应用数据，本次创新性使用探针模式。在业务建模层方面，应用ci模型，建立业务应用的监控度模型和可用性模型。各层的具体功能如下：业务建模层数据聚集层告警管控层分析展示层c

10、i模型kpi模型健康度模型可用性模型全量数据监控业务探针模拟业务体验数据采集配置数据趋势阈值告警告警通知拓扑分层视图状态维度视图自动运维报告生成业务多维度分析耗时细分环节定位业务逻辑拓扑物理关联关系综合数据集成应用平台性能告警数据预警管理告警定位处理全路径资源定位业务全景展示业务分析报告数据采集层业务应用数据库中间件主机存储/备份网络图1：系统架构图（2） 数据采集层在业务健康度建模和可用性建模中，业务应用数据采集是基础。本系统数据采集采用了3种探针（图2）：探针a直接模拟boss前台业务操作，采集到boss门户各应用的可用状态；探针b将boss后台数据操作日志统计值发送业务监控系统，采集到b

11、oss后台系统运营状态；探针c从boss接入交换机中全量采集boss交易记录，第一时间采集到实际boss运营的状态。 建模和故障诊断所需要的其他数据库、主机、中间件的数据信息采用smnp协议采集。图2： 三种监控信息采集模式图2：三种探针采集资费配置相关boss门户渠道系统综合查询其他子系统boss系统boss客户端boss业务监控系统a式探针b式探针c式探针boss维护人员（3）业务建模层boss业务监控可量化是本系统的一个创新，而量化管理的根本就是实现指标管理。在业务建模层中统涵盖了几乎所有的boss管理资源要素，包括业务、应用、服务及其他平台类资源，这些信息都建立并实时更新于企业集中的c

12、mdb中。基于cmdb中动态调整的实时ci项以及ci关系，本项目以结构化的模型框架为指导，建立了完整的业务ci/kpi指标体系，并绘制以业务为中心的boss系统地图。本项目与传统系统监控最大的区别就在于监控的角度不同，从原来自下而上评估业务状态和影响，变成以结构化模型框架的为指导，以对体系化的ci/kpi指标监控来了解业务状态和定位业务故障。指标体系的建立是以业务为主线的，按照业务-应用-平台的分层结构，针对每一层设定了支撑域、运营域和服务域的指标分类标准，并在这些指标基础上通过关系推导和加权计算实现创新的业务健康度量化模型。目前ci/kpi指标体系已包括337个ci，1020个kpi，涵盖了

13、业务、服务、应用、进程、数据库、web服务器、中间件和主机等各个方面。（4）数据聚集层在确定的ci/kpi指标模型基础上，系统汇聚了与业务相关的各类用户体验指标：业务监控数据（业务可用性、业务量、业务办理时长、业务的后台服务器负载情况等）、配置数据（从cmdb中定时同步配置项信息和配置关联信息），业务感性数据（业务量、积压量和投诉等信息），使得运维人员不仅能直观得到客户层面的业务使用感知，还能从it支撑角度掌握业务运行情况。（5）告警管控层本系统通过采集了业务全方位数据，了解了比其他系统更多，更全的数据。综合这些数据并按照历史数据和运维经验，通过设定灵活的提前预警条件形成预警模型。当预警模型条

14、件都满足的情况下，通过工单系统发出相关的预警工单，使运维人员及时处理，避免实际的业务中断。本系统通过提供了基于逻辑拓扑的全路径故障资源定位和基于业务操作耗时细分的故障环节定位功能。通过对逻辑拓扑中web、中间件和数据库层的全路径业务模拟，都能将故障具体到集群中的某个服务器和某个应用端口；通过包括网络耗时和后台耗时等的业务操作耗时细分，究竟是网络问题还是后台问题也就能清晰的展现在运维人员面前。（6）分析展示层boss业务监控系统包含了多个采集了各类业务运营情况的特征值，获取了综合性反映业务状态的指标，同时为了使运维人员直观方便的全面了解业务运营情况变化，构建了业务全景视图以支持对各类指标的一站式

15、查看。在丰富的图表展示基础上，系统提供钻取方式层层进入非常详细的原始数据，方便运维人员分析业务与支撑之间的关系，从而不断改进系统支撑短木板，提高总体的业务支撑服务水平。3、主要技术创新点（不超过800个汉字）（1）突破传统以设备监控为主的boss监控定式，开创了boss业务的整体式监控模式 由于没有合适的工具，各省boss网管系统一直只能采用监控boss的硬件设备运营状态来判断boss是否可用，如：数据库是否吊死、主机的cpu使用率、内存使用率。这种粗放的监控存在很大的弊端，实际工作中经常发现硬件系统各项指标完好，但boss系统应用已故障。 本系统采用在boss业务系统中设置应用探针方式，通过

16、探针提取业务应用信息指标，通过硬件、中间件、数据库及应用联合指标建模，实现了boss业务的整体式监控。（2）通过建立业务健康度模型，解决boss难以量化管控难题针对业务运营情况缺乏有效的分析指标，这主要是因为业务层层嵌套，互相关联，且受制于后台软硬件平台的稳定性，故运维人员很难具体衡量出业务运营是否健康，更谈不上有效发现业务运营的潜在威胁了。如何从众多纷繁复杂的数据中，找出能直观有效表征业务运营情况的指标，成为一大难点。本系统创新性的设立了业务健康度模型，通过对父子业务间关系、业务与后台资源间关系的结构化梳理，通过对多维度数据的采集计算，有效量化了业务健康度指标。根据此模型，系统可自动实时针对

17、各业务进行健康度评分，实现对业务运营情况的科学度量，因其综合了业务可用性、业务办理量、后台资源使用情况等全方位信息，特别适合公司管理人员了解业务通体运营情况。图3：boss业务监控度模型（3）探针式业务信息数据采集方式，实现零改造、零影响、全自动、全再现本项目采用了三种a、b、c三种探针，主动进行业务信息数据的采集。a、c两种探针首次应用到boss监控。a式探针：7*24不间断的模拟着最终用户的全流程业务操作，其定时所采的可用性和性能数据实际上真实反映了用户的操作体验，以及业务在后台各处理环节的性能。通过不同模拟点的部署，可以很好监控到这些模拟点的实际用户体验数据，实现了业务流程操作在全时间和

18、全流程的横向全监控。 c式探针：利用旁录的全量用户访问业务系统的数据包，再经过创新的业务包构造技术，无论失败还是成功的业务操作的量、时长、时长细分都能实时统计。另外，按照客户端ip、登录用户名等多维度对最终用户进行分类，可以及时监控到区域性业务操作异常，保障业务支撑的正常运行。实现了业务流程操作在全地域全用户的纵向监控。图4是全流程全时间的业务探测监控（a式）和全地域全用户的全量用户监控(c式)示意图：图4：一个业务应用的采集采用探针式采集的优势是：零改造：对现有系统没有任何改造，与现有系统完全解耦，使大范围推广成为可能零影响：探针和全量采集都是独立的系统，即使失效也不会影响业务系统本身；另一

19、方面，探针是单用户操作，全量数据监控是交换机的数据包旁录，都不增加系统压力全再现：探针完全再现了用户和系统在操作过程中的动作，忠实记录了动作背后的交互协议与数据包，全量数据监控也完全再现了所有用户的请求和服务器的响应。全自动：自动灵活的探针调度使得探针能够7x24小时无人值守式监控业务、应用等的状态，全量用户监控自动接收交换机镜像数据，自动分类、汇总和展示。（4）突破性的解决了业务可用性的预警难题，实现boss端到端的业务监控维护人员关注集中在业务体验上，即端到端的业务是否可用，而传统的系统级监控往往是事后告警，因此无法避免故障的发生。实际上，业务不可用往往是个从量变到质变的过程，而如何及时察

20、觉到量变过程，成为避免业务中断的关键。本项目通过创新的端到端在线业务模拟技术，实时监控了业务操作响应时长，并结合从业务系统中获取的实时业务量指标，突破性的解决了业务可用性的预警难题。图5是某日从0:30分开始，前台充值卡、现金和505充值的业务探针出现多次超时，时长达35秒（正常<1秒），平台生成趋势预警。值班人员据此检查这几个业务共用的充值数据库的性能，发现某个定时job出现了挂起，并不断消耗数据库性能，经过紧急处理于凌晨3点50分排除故障隐患，避免了充值业务中断：图5：一个业务预警的例子（5）通过巡航式坐标导向，实现故障原因快速定位模拟探针中的耗时细分能够把将时间分解到网络和后台，针

21、对业务故障，运维人员能够快速将故障的可能原因定位到网络还是后台的故障，并针对性的处理故障。同时利用业务应用的运营过程中包含的大量状态数据，包含了配置关系、性能、告警等数据，通过配置关系列出所有可能的故障根源配置项，通过配置项的详细性能和告警状态帮助业务活动监控平台快速定位业务故障根源。图6是某次统一门户登录时间过长预警，通过耗时细分发现cpu和内存利用率过高问题案例。图6：一个故障定位的案例（6）建立了三维立体业务监控视图，提供了boss运管的基础平台本系统将每个业务系统划分为三个层次：业务层、逻辑层、物理层。系统全面提供三个层次的监控。在每一层的具体业务、设备的展示上，又把性能数据、告警数据

22、和配置信息同时展现，实现了真正的业务三维立体展现。三维立体业务监控视图都能够更有机组织监控管理数据，大幅度提升运维管控效率，极大方便各类人员查看操作，使boss运营监控可以实现一站式监管控。图7和图8是统一门户系统按照业务层、逻辑层和物理层进行划分的展示界面以及业务细分的数据展示：图7：立体业务监控视图1图8：立体业务监控视图23、 应用情况（不超过800个汉字）提供了有效的业务问题预警探针式boss业务监控系统平台正式运行后，业务监控的范围已覆盖了统一门户、渠道系统、网上营业厅、充值系统等boss核心系统的19类业务办理和关键操作，同时通过通过数据接口集成了资源配置管理平台、工单系统、网管监

23、控系统、帐务、充值、计费、营业、统一开通、综合查询、五项指标考核等10个应用系统共计近千个指标。平均每月针对业务效率的有效预警29次，预警有效率和覆盖率均达到96以上，相关人员据此进行主动式运维服务，使得月均故障数下降了34%。boss核心系统的故障时间每月减少37分钟（图9）。图9：月均故障次数分析本系统正式运行以来的告警数据，发现趋势预警时间点比原有的平台级告警和客服报障平均提前42分钟（图10）。图10：故障提前预警情况故障处理时长明显缩短本系统试商用以来，依靠业务耗时细分、前后台资源模型等系统工具，实现了业务故障的快速定位，明显缩短了故障处理时长，与系统启用前相比，业务故障处理时长平均

24、缩短了42%（图11）。图11：故障处理时间情况运营分析效率明显提升本系统为业务应用维护和系统平台维护人员提供了大量业务运营分析数据，运维人员原来需要分别从boss系统、平台监控系统和工作流平台界面查看对应的数据，而目前只需要本系统一个界面就可以完成所有运维所需数据的查看。同时通过运营平台的7大类25张运维报表的自动生成功能，大大节约了定期业务维护的时间，有效提升了运营分析效率。内部客户满意度明显改善依托本系统，业务维护支撑人员的工作模式逐步转为业务问题主动发现，业务故障主动解决。同时，由于能直观地以前台人员视角审视业务故障和问题，维护人员更能了解内部客户感知，解决问题做到有的放矢，明显改善了

25、内部客户满意度。08年底，业务支撑满意度全国第四。5、经济及社会效益（不超过800个汉字）（1）经济效益（单位：人民币万元）项目总投资额400回收期（年）0.1年 栏目年份新增利润新增税收创收外汇（美元）节支总额2008年5月2009年9月5209万 · 每年可挽回3907.2业务中断损失根据国际著名战略研究公司（strategic rssearch corp.）和国际评估公司yankee group的研究报告评估，电信运营商业务运营支撑系统每小时停止服务而导致停复机不及时、用户无法开户、充值缴费约带来528万元人民币的经济损失。事实上，以国内电信公司用户规模，此数据估计的相当保守。

26、按目前运行情况分析，it运营管理平台建设能够使业务每月中断平均时间减少37分钟，则按此保守估计，每年能为公司挽回经济损失为：528万*37分钟/60*12=3907.2万元生产、应用单位财务专用章和财务负责人签字 年 月 日（2）社会效益探针式boss业务监控系统是以业务为中心，以客户为导向的，使业务支撑部门的运维目标与业务部门的目标更加一致，共同为客户提供优质的服务，同时在在客户中进一步树立了中国移动优质服务的形象。本系统能及时有效甚至提前发现业务的使用问题，提升了业务的可用性，从而使客户能够更顺畅的使用移动的各项业务，减少了实际发生业务中断时的客户投诉数量，提升了客户满意度和忠诚度，在保持

27、浙江移动市场占有率、提升服务竞争力方面发挥了重要作用。本系统转变了业务支撑部门运维员工的思路，从基础平台架构的监控向业务运营管理转变，提示了员工对于业务的了解程度，拓展了业务支撑部门员工的发展规划道路，并且该平台通过自动化监控、准确故障定位诊断功能，能够有效减轻员工工作量，避免了监控运维人员陷入疲于奔命，忙于救火，增加了员工的满意度。浙江公司在boss业务监控上的研究与实践，在09年昆明全国业务支撑工作会议上做了专题介绍，并cio insight信息方略（2008年12月23日 第24期 总第28期）发表了专题文章，为中国电信运营商的业务支撑系统维护做了积极有益的探索。 四、本项目曾获奖励情况

28、获奖时间奖 项 名 称奖励等级授奖部门（单位）2008年业务服务创新奖二等奖中国移动通信集团浙江有限公司本表所填奖励是指： 1.国家设立的科技奖励；2.各省、自治区、直辖市移动通信公司设立的奖励3.各省、自治区、直辖市政府设立的奖励；4. 经科技部批准的社会力量设立的奖励。 五、申请、获得专利情况表序号公司编号申请号专利名称专利类别是否授权是否本项目产出1zj0905001200910092985.4一种多业务系统有效共享公共资源信息的方法发明专利是2zj0906001已通过集团公司审核监控用户体验的方法和系统发明专利是3zj0910011集团评审中一种基于snmp协议的中间件性能监控方法发明

29、专利是4zj0910012通过集团公司预审一种高可扩展小型机性能远程监控方法发明专利是5zj0910013通过集团公司预审一种基于最小二乘法的趋势告警方法发明专利是七、主要完成单位情况单位名称中国移动通信集团浙江有限公司第 1 完成单位中国移动通信集团浙江有限公司联系人沈红群传系电子信箱shenhongqun主要贡献探针式boss业务监控系统是中国移动通信集团浙江有限公司信息技术部根据针对boss系统业务应用监控难度大，但又非常迫切的现状，根据etom模型，参考国内外业务支撑系统监控的失败的教训与成功的经验，提出的一种boss业务监控方法

30、。在公司领导的支持下，完成了项目的立项、建设，并在实际的生产中应用推广。 项目的资金、主要思路、项目的设计、实施均来自本单位。单位公章： 年 月 日八、申报单位意见申报单位中国移动通信集团浙江有限公司通信地址杭州市环城北路288号邮编310006联系人基本信息姓名余建利电门信息技术部手务传真电邮nova探针式boss业务监控系统是浙江公司信息技术部为解决boss业务应用监控难题，尝试性进行研究和建设的新型项目，通过2年多时间的优化与应用，在boss业务应用监控方法取得了较突破性工作，目前已广泛应用到浙江公司boss系统各子系统的监控中，取得了

31、比较好的效果。因此同意推荐！ 申报单位公章 年 月 日 九、用户使用证明单位名称中国移动通信集团浙江有限公司通信地址杭州市环城北路288号邮编310006联系人基本信息姓名项捷电门信息技术部业务支撑中心手务应用优化室主任传真电邮xiangjie用户使用情况说明项目从2007年12月份上线应用以来，一期实现了统一门户上的开户销户、停机复机等核心应用的监控，2009年4月完成二期上线，业务监控的范围已覆盖了统一门户、渠道系统、网上营业厅、充值系统等boss核心系统的19类业务办理和关键操作，同时通过通过数据接口集成了资源配置管理平台、工单系统、网

32、管监控系统、帐务、充值、计费、营业、统一开通、综合查询、五项指标考核等10个应用系统共计近千个指标。系统的应用有效解决了boss业务监控难题，提高了故障提前预警能力，每月故障时间减少37分钟，提升了客户满意度3个百分点。 单位公章年 月 日 十、证明材料1、专利（1） 监控用户体验的方法和系统（2）一种多业务系统有效共享公共资源信息的方法 (3) 一种基于snmp协议的中间件性能监控方法（4）一种高可扩展小型机性能远程监控方法（5）一种基于最小二乘法的趋势告警方法2、获奖证明（09年初公司下发文件）（二）二等奖（3项）1.应用运营指标体系，建立it统一运营及业务活动管理平台（省公司信息技术部）3、文章 用it透视业务以业务为中心的it运营管理平台cio insight信息方略2008年12月23日 第