江苏移动公司告警关联工作汇报

网络质量是通信企业生命线 中国移动江苏公司网络部 2016年 7月 江苏公司告警关联工作汇报 - 2 - 目录 网管部署 指标分析 江苏特色 愿景期望 优化阶段 意义和目的 现网 换设备组网，组网复杂，故障点多，故障原因可能是传输网、 换等各种设备，在故障处理过程中，故障定位困难，故障定位时间长。 现网告警数量巨大，派发告警工单多，使监控人员和维护人员陷入大量工单中，影响故障处理和设备维护等正常工作。 现网设备不断增多，人员不变，如何避免维护人员花大量时间在工单处理上。 工程频繁，传输网、承载网、相邻网元工程，都会导致大量无效告警工单。 1、 告警关联：快速准确故障定位 2、 告警关联：告警压缩派单、减少工单量 3、 告警关联：解决无效工程告警工单 4、 告警关联：提高工作效率、提升故障处 理质量 告警关联：高质高效低成本运维！ 告警关联项目过程 准备阶段 程序开发 测试阶段 优化阶段 正式运行 告警标准化系统上线运行 告警关联规则梳理 系统设计 系统开发与集成测试 关联规则测试 系统派单测试 关联规则优化 系统派单优化 准备阶段 告警标准化系统上线运行 告警关联规则梳理 江苏话音网告警标准化系统试运行 江苏告警话音网标准化系统正式上线运行 江苏牵头话音网卡特设备告警梳理 江苏话音网告警标准化系统开发 卡特、大唐告警关联规则梳理 江苏为大唐 梳理告警关联规则 31条，其中主次关联规则 21条，衍生告警关联规则 10条。涉及网元类型有 类。 江苏为卡特设备告警关联试点的牵头省，共梳理告警关联规则 45条，其中主次关联规则 4条，衍生告警关联规则 41条。涉及网元类型有 4类。 程序开发阶段 2009年 5月集团在杭州组织告警标准化评审会，会上讨论形成 中国移动省级话务网网管系统告警关联功能规范 ，并制定了告警关联工作时间进度计划，江苏按此计划进行告警关联程序的开发。 5月中旬完成系统设计，包括所有模块的设计：关联分析引擎、 动派单调整。 7月中旬完成系统开发与集成测试，包括各功能模块的开发和实验室测试：告警关联规则查询、维护，告警关联呈现，关联分析引擎，关联告警派单， 7月底完成告警关联程序部署。 测试阶段 验证每条关联规则是否在网管正确部署，确保不影响告警监控与工单的正常派发。 告警关联测试目的 模拟验证、逐条验证、正向验证、反向验证、报表验证 告警关联验证方法 验证关联规则的准确性：该告警关联条件是否正确，告警关联时间窗、频次是否合理，定位信息是否正确。 验证关联告警的准确性：满足条件的告警是否正常关联，有无误关联，关联告警生成时间和关联告警清除时间是否正确。 验证派单的准确性：主 /衍生告警工单是否及时派发，次 /子告警工单是否被抑制。 告警关联测试项目 测试阶段最重要、繁琐、耗时的是告警关联规则验证，其它测试还有关联呈现、关联查询、关联配置、关联派单、系统稳定性测试。 测试阶段 模拟验证 在测试环境中，模拟上报满足触发关联条件的设备告警，验证关联告警是否正常建立；模拟上报满足关联告警解除的设备告警，验证关联告警是否正常清除。 逐条验证 根据关联规则梳理表逐条到告警标准化系统查询，并核对关联告警的关联时间窗口、量值、触发关联条件是否与关联规则相符，保证该条关联规则的部署正常。 正向验证 每天在话务网管上查询昨天的历史关联告警，检查是否存在不满足关联条件但产生关联告警；检查关联告警的告警关联产生时间、告警关联清除时间等是否正确。 反向验证 每天从 查是否存在符合告警关联条件应抑制派单，但未生成关联告警按原子告警或次告警派单的现象。 报表验证 根据 查程序是否存在异常。 测试阶段 验证方法 适用阶段 使用人员 功能、优缺点 模拟验证 测试阶段 开发人员 验证每条关联规则的网管部署是否正常。 逐条验证 测试阶段 维护人员 验证每条关联规则的网管部署是否正常。 正向验证 测试阶段 优化阶段 维护人员 主要用于发现是否存在误关联告警问题，是否存在不满足关联条件但产生关联告警的问题，检查告警关联产生时间、告警关联结束时间是否正确。 反向验证 测试阶段 优化阶段 维护人员 主要发现是否存在未能生成关联告警、未能正确派发关联工单问题。对维护人员要求高，熟知系统上部署的各种关联规则和关联时间窗和派单规则。 报表验证 测试阶段 优化阶段 正式运行 维护人员 通过指标了解告警关联系统是否正常运行，如指标异常，需用其他验证方法进行进一步查找问题。 关联规则验证情况 江苏公司 共部署了 239条关联规则，验证了 225条关联规则。 涵盖了核心网、无线网、及卡特、华为、爱立信、大唐 4个设备厂家， 16种设备类型。 规则类型 关联规则数量 规则部署情况 规则验证情况 卡特 主次关联 4 4 4 衍生关联 41 41 41 华为 主次关联 30 30 24 衍生关联 54 54 51 爱立信 主次关联 14 14 10 衍生关联 32 32 31 华为 次关联 23 23 23 衍生关联 10 10 10 大唐 次关联 21 21 21 衍生关联 10 10 10 合计 239 239 225 关联派单部署流程 测试阶段 告警 关联 程序 部署 告警 关联 测试 完毕 告警 关联 派单 测试 完毕 选取 部分 三级 关联 告警 派单 二、三级 关联 告警 派单 一级 关联 告警 派单 关联派单部署原则： 主告警、衍生告警工单及时派发，同时抑制次告警、子告警工单，确保不影响现网正常派单。 江苏经验： 在测试阶段，不能够完全依靠网管厂家，需要维护人员严格逐条关联规则验证和关联派单规则验证。 - 13 - 目录 优化阶段 指标分析 江苏特色 愿景 期望 网管部署 优化阶段 经过测试阶段试运行观察和 现告警关联效果不理想，主要表现为告警关联数目少；部分省甚至出现告警关联后，告警工单不降反升的现象。 测试阶段问题 增加关联告警数目，降低工单量。 优化目的 关联规则优化 尽可能多的告警参与关联。 关联派单优化 在保证所有告警及时派发工单的前提下，主告警或衍生告警工单早于次告警或子告警工单派发，从而抑制次告警或主告警工单，达到降低工单量的目的。 优化思路 集中处理 快速响应 手段建设 关联规则优化经验 1 为达到告警工单压缩最大化效果，需将尽可能多的告警参与关联，尽可能压减工单，减少工单量。 二级告警派单延时 30分钟，关联时间窗口设置为 25分钟。 三级告警派单延时 60分钟，关联时间窗口设置为 55分钟。 原则 1：频次关联时间窗口尽可能大。 频次关联时间窗口 =子告警派单延时，保证工单及时派发。 原则 2：频次关联的次数尽可能少。 设置为 2次。频次门限越低，参与关联的机会越多。 关联规则优化经验 2 优化原因： 告警关联对工单的压减效果不明显，有些频发关联告警在关联规则表中没梳理出来。 优化方法： 每天从 析频发告警工单，是否有在一段时间内频发的告警工单（ 1小时内有 2条同样的告警工单），如有则将此告警增设为频次关联告警。 优化结果： 江苏共增设华为频次关联规则 28条，卡特频次关联规则 14条，爱立信频次关联规则 23条， 大唐频次关联规则 2条，卡特主次关联规则 1条。 关联派单优化 1首先按告警标题完全匹配 再次按告警标题模糊匹配 最后按告警级别匹配 告警标准化系统的派单原则 关联告警优先派单，原单条告警派单作为补充的互补的原则。 即“关联告警派单规则生效，则次 /子告警的原派单规则失效；关联告警派单规则失效，则次 /子次告警的原派单规则生效”。 关联告警派单原则 告警级别派单：一级告警 1分钟不恢复派单，二级告警 30分钟不恢复派单，三级告警 60分钟不恢复派单。 告警标题派单则根据本省运维需要设置个性化的按不同告警标题设置不同的派单延时。 告警标准化系统的具体派单规则 关联派单优化 2优化前关联告警生成时间：是告警建立关联关系的时刻，而不是主告警或衍生告警的第一条子告警的产生时间。 优化后关联告警生成时间：主告警或衍生告警的第一条子告警产生时间作为关联告警的产生时间。 改变关联告警生成时间，简化关联派单设置 优化后效果： 使用原派单原则，无需增设关联派单规则。 举例： 二级告警的派单规则： 30分钟不恢复派单。 为保证工单及时派发，必须设置频次关联时间窗口 =子告警派单延时。 设置二级告警的告警关联时间窗口为 25分钟。 关联派单优化 3主次关联告警无需另设派单规则。按主告警派单规则派单。 当达到主告警派单延时，立刻派发工单，将此段时间内的主次告警正文做附件放在 如主告警派单后，若此时还处在在关联时间窗口，还有告警参与关联，在告警关联时间结束时，将这段时间的告警正文追加到 主次关联告警派单规则 衍生关联告警派单规则 衍生关联告警无需另设派单规则。按关联告警级别、原子告警的告警标题派单。 无需计算告警关联时间窗、子派单延时、关联派单延时之间的关系。 优化后效果 设备类型 关联前派单量 (日均） 关联后派单量 （日均） 工单减少量 （日均） 工单下降比例 （日均） 90 280 110 28% 无线 450 400 50 11% 核心 410 370 40 10% 合计 1250 1050 200 16% 告警关联实施后，日均工单量为 1050张，比告警关联实施前减少 200张工单，工单量下降 16%，其中 - 21 - 目录 指标分析 网管部署 优化阶段 江苏特色 愿景期望 下表选取 10月份中的 6天的标准化考核指标统计报表数据。 统计日期 省份 专业 告警量告警入库率关联分析整压缩效率告警整体压缩比告警实际派单率自动派单率2009苏省 话音网 83788 100 002009苏省 话音网 96516 100 002009苏省 话音网 98801 100 002009苏省 话音网 132226 100 002009苏省 话音网 86534 100 002009苏省 话音网 95504 100 00 在日常运维中，每天分析各项 各项指标心中有数，关注指标异常波动，及时发现网元设备、厂家网管、话务网管、 除潜在隐患。 指标 现象 可能原因 告警量 （假日 8万， 日常 10万） 过高 网元工程；设备异常，大量低级别告警，传输不稳定 过低 话务网管未能采集到厂家网管告警。 派单率 （ 过高 网元工程（告警级别高，工程时间长，满足派单条件，未能进行工程屏蔽）；话务网管有问题，每条告警都派单；设备版本升级，大量未匹配告警，默认成一级告警，派发大量告警工单。 过低 网元工程（告警级别低，工程时间短，未满足派单条件；高级别告警工程屏蔽正常）；话务网管故障；话务网管程序问题； 派单接口故障。 关联分析压缩率 过低 关联程序异常 表 省份 专业 厂家 告警量 告警入库率 关联分析压缩率 江苏省 话音网 阿尔卡特 788390 100 苏省 话音网 华为 1401573 100 苏省 话音网 爱立信 454793 100 下表为 10月份 厂家关联分析有效率 报表数据。 不同设备厂家的关联分析压缩率与厂家的告警机制相关，卡特和华为设备存在较大压缩空间。如出现关联分析压缩率低于正常值，需进行分析，需要检查关联程序是否运行正常。 下表为 10月 26日单条关联规则效果评估报表部分数据。 关联规则名涉及告警种类的告警总数单条关联规则的压缩量关联成功数原始告警数衍生告警数主告警数 子告警数主次关联725 2293 2314 0 0 21 2293主次关联565 1199 1298 0 0 99 1199主次关联接口故障导致相关告警产生 3750 56 58 0 0 2 56阈值触发同一网元多条730 3485 3658 3658 173 0 0主次关联092 157 313 0 0 156 157同源关联同一网元多条传输电路不可用 1841 1134 1738 1738 604 0 0主次关联611 52 55 0 0 3 52阈值触发同一网元多条603 1431 1576 1576 145 0 0主次关联传输中断或半永久链接中断导致的信令链中断 1511 2 4 0 0 2 2主次关联小区退服引起多条载波告警 1031 145 163 0 0 18 145阈值触发同一条1告警指示信号(生一条告警 807 712 807 807 95 0 0主次关联光口传输质量导致的光传输中断告警 702 28 43 0 0 15 28主次关联至同一局向的一组信令链中断时导致的34 32 64 0 0 32 32 如报表中所有关联规则均无数据，可能关联程序出现问题。 如报表中某一关联规则长期无主告警或衍生告警需查看该告警正文、定位字段等是否发生改变，如改变需修改关联规则表。 下表为 10月 26日话务网厂家告警统计报表数据。 重点关注一级告警的数量，一级告警正常在总量 2%以下，如出现大量一级告警可能为网元工程、告警未梳理导致的告警不能与梳理表中的匹配、网元异常等问题。 上图贝尔设备出现大量一级告警为贝尔新版本 联系厂家进行告警梳理。 省份 专业 厂家名称 一级告警 二级告警 三级告警 四级告警江苏省 话音网 贝尔 9067 0 262 14江苏省 话音网 系统自身 1 0 0 0江苏省 话音网 中兴 8 35 1 9江苏省 话音网 爱默生 0 0 0 2225江苏省 话音网 阿尔卡特 36 4925 1444 19035江苏省 话音网 华为 1968 10791 20096 22742江苏省 话音网 西门子 0 0 1121 0江苏省 话音网 爱立信 203 1639 6489 9262江苏省 话音网 直真 20 0 0 0江苏省 话音网 普天 11 0 0 26江苏省 话音网 大唐 0 1412 2018 717省份 统计日期 厂家设备类型告警量告警( 种类)匹配率告警( 种类) 累计匹配率告警( 数目)匹配率告警( 数目) 累计匹配率告警梳理表累计验证率江苏省 2009尔卡特 5001 100 100 100 100 009尔卡特 7 100 100 100 100 009尔卡特00 100 100 100 009尔卡特 72 100 100 100 100 009立信 4205 100 100 100 100 009立信 619 100 100 100 100 009立信 493 100 100 100 100 009立信00 100 100 100 009立信 38 100 100 100 100 009尔 0 100 100 100 100 009尔 49 95 95 009唐 654 100 100 100 100 009为 230 100 100 100 100 009为 243 100 100 100 100 40江苏省 2009为 42 100 100 100 100 009为00 100 100 100 0江苏省 2009为 7 100 100 100 100 009为 55 100 100 100 100 009为 158 100 100 100 100 009为 4081