传输网告警整治建议-华为V2

1、告警清理工作汇报XX移动网络维护中心 2015年X月2告警问题概述告警问题概述l传输网告警较多，工单多，影响日常维护和故障处理效率。现网告警截图现网告警截图告警专项整治背景现网告警统计现网告警统计告警类别告警数量告警占比%紧急60.247重要189276.94次要54622.20提示150.610合计2459100九江移动U2000告警统计(OTN+SDH)上饶移动U2000告警统计（OTN+PTN）告警类别告警数量告警占比紧急16011.08重要77953.95次要47733.03提示281.93合计1444100l重要告警和次要告警占所有告警的大多数。3九江移动九江移动l前5个告警(T_A

2、LOS/PS/HP_LOM/DOWN_E1_AIS/LP_SLM_VC12)的单告警数量均超过150个，数量之和占所有告警数量近79%；l前2个告警(T_ALOS,PS)的告警数量均超过400个，数量之和占所有告警数量近55% 。l前2个告警(T_ALOS,PS)均可以通过网管侧进行优化处理。传输网告警分析序号告警数量累计%1T_ALOS91437.172PS43754.943HP_LOM23564.504DOWN_E1_AIS18171.865LP_SLM_VC1217478.93*取当前现网告警进行分析4上饶移动上饶移动传输网告警分析*取4月21和22日上报的所有告警现进行分析l前10类告

3、警占所有告警的82%；工程告警占比62%，普通告警占比38%；l在3mins消失的告警(闪报)占总数的69.31；6小时内消失的告警占比98.97%告警名称数量累计百分比%ETH_LOS3121928.52 PW_APS_DEGRADED1436041.64 MPLS_PW_LOCV1091351.62 TUNNEL_APS_DEGRADED670457.74 T_ALOS669863.86 MPLS_TUNNEL_LOCV648569.79 PWAPS_LOST539674.72 ETH_APS_LOST333377.76 COMMUN_FAIL228879.85 BD_STATUS2033

4、81.71 全部告警数量:109447100%告警持续分钟数对应数量累计百分比%17126065.11 27342467.09 37585869.31 108109074.09 609120483.33 909317685.13 24010669697.49 36010832498.97 总数量109448100.00 5整治目标整治目标l大幅度减少告警总量，理清常见场景告警主次，提高日常维护工作和故障处理效率整治方案整治方案l优化工程预约方式，预计可以减少“普通告警”约10%40%的数量 以上饶移动为例：ETH_LOS(28%)等告警上报主要是由于近期LTE大量工程开站导致；另约有12%的告

5、警上报时间为凌晨0点至4点上报；l高频闪报告警专项清理：对于闪报告警进行专项整治，预计可以减小告警30%告警量lPTN告警关联规则定义：PTN线路可能导致倒换TUNNEL_APS_DEGRADED和PW_APS_DEGRADED同时上报，设置TUNNEL_APS_DEGRADED不上报可以减少约6%的告警上报。预期效预期效果果l上饶传输网总量由目前的单周35万下降到10万左右。传输网告警专项整治思路*以上饶移动PTN告警为例6传输网告警专项整治具体措施-存量告警(MSTP+OTN)序号告警数量累计百分比(%)1T_ALOS91437.172PS43754.943HP_LOM23564.504D

6、OWN_E1_AIS18171.865LP_SLM_VC1217478.936TU_AIS12584.027TU_AIS_VC129687.928UP_E1_AIS7290.859REM_SF3692.3110FAN_FAIL2993.4911LP_SLM2594.5112IN_PWR_ABN1895.2413HP_REI995.6114ODU1_PM_OCI995.9715TU_LOP_VC12896.3016LP_RDI796.5817BD_STATUS696.8318LOOP_ALM597.0319TU_LOP597.2320PORT_MODULE_OFFLINE597.4421LP_R

7、DI_VC12597.6422HP_RDI597.84存量告警定义存量告警定义：表示是现网中长期存在的告警，以九江移动U2000为例，左表给出大部分告警对应的数量，并从上至下排列。告警处理原则告警处理原则：1：优先排查解决告警根因，解除告警；2：次选采取”屏蔽”抑制”等非常规手段解除告警；3：所有”屏蔽”抑制”手段必须做好相关记录，以便后续方便查阅定位。4：优先集中处理基数大的告警；告警处理风险告警处理风险：1：清理某些告警动作本身存在业务中断风险，如复位操作等；2：采取非常规手段清理告警，只是解决告警不上报或不显示，并不表示问题已经解决；如“屏蔽”3：非常规手段清理部分告警后，可能导致故障时

8、告警不上报或上报不及时；可能导致故障排除耗时较长等后果，请谨慎实施。74： DOWN_E1_AIS：下行方向2Mbit/s信号告警指示；告警对业务影响：产生该告警时，单板通道的E1信号不可用。告警清理建议：明确电路无业务承载后删除电路；或者更换电路路由或时隙；清理后对系统影响：无1：T_ALOS: 表示E1T1接口模拟信号丢失。告警对业务影响：此告警出现表示E1接受无信号；此时业务已经中断或者无业务。告警清理建议：明确电路无业务承载后删除电路；端口处内环回，并做好标签和屏蔽环回告警；清理后对系统影响：无2：PS: 表示已发生保护倒换指示。告警对业务影响：表示2M业务已经倒换；告警清理建议：SN

9、CP业务配置设置成恢复式可以减少大量PS告警；清理后对系统影响：主用通道误码可能导致频繁上报PS告警；恢复断缆时若存在光缆错连可能在业务恢复至主用后业务中断。3：HP_LOM：高阶通道复帧丢失告警告警对业务影响：该告警产生时，通道级业务会中断。告警清理建议：明确业务是否配置正确，业务是否正常或者在用；若未配置则屏蔽；若无业务不在用，则建议删除业务；清理后对系统影响：无传输网告警专项整治具体措施-存量告警(MSTP+OTN)88： UP_E1_AIS：上行方向2Mbit/s信号告警指示；告警对业务影响：产生该告警时，单板通道的E1信号不可用。告警清理建议：明确电路无业务承载后删除电路或内环回；或

10、者参照附件标准处理方式处理；5： LP_SLM_VC12告警为低阶VC-12通道信号标记失配告警告警对业务影响：无影响；告警清理建议：屏蔽此类别告警；清理后对系统影响：无6： TU_AIS:如果单板检测出TU通道全为1时，上报此告警。告警对业务影响：该告警会造成单板通道上的业务中断；告警清理建议：确认是否存在业务；若无业务删除电路；若有存在业务，定位故障点解决；清理后对系统影响：无。7： TU_AIS_VC12：低阶VC-12TU告警指示，属VC-12通道级别的AIS。告警对业务影响：该告警会造成单板通道上的业务中断；告警清理建议：确认是否存在业务；若无业务删除电路；若有存在业务，定位故障点解

11、决；清理后对系统影响：无。传输网告警专项整治具体措施-存量告警(MSTP+OTN)912： IN_PWR_ABN：收光光功率异常；告警对业务影响：可能导致误码或者倒换。告警清理建议：优化光缆条件，清理光缆连接处等。9： REM_SF告警：远端信号失效告警指示告警对业务影响：无业务侧信息输入或者中断；告警清理建议：屏蔽此类别告警；清理后对系统影响：可能影响故障判断或定位。10： FAN_FAIL:风扇失效告警。告警对业务影响：风扇失效；告警清理建议：拔插风扇或更换风扇；特别是OSN/PTN设备，强烈不建议屏蔽清理后对系统影响：无。11 ：LP_SLM 为低阶通道信号标记失配告警告警。对业务影响：

12、无影响；告警清理建议：屏蔽此类别告警；清理后对系统影响：可能影响故障判断或定位。传输网告警专项整治具体措施-存量告警(MSTP+OTN)10传输网告警专项整治具体措施-大基数告警(PTN)大基数告警定义告警定义：表示是现网中一段时间内大量上报过的告警，以上饶移动U2000(PTN)为例，左表给出大部分大基数告警对应的数量，并从上至下排列。告警处理原则告警处理原则：1：优先排查解决告警根因，解除告警；2：次选采取”屏蔽”抑制”等非常规手段解除告警；3：所有”屏蔽”抑制”手段必须做好相关记录，以便后续方便查阅定位。4：优先集中处理基数大的告警；告警处理风险告警处理风险：1：清理某些告警动作本身存在

13、业务中断风险，如复位操作等；2：采取非常规手段清理告警，只是解决告警不上报或不显示，并不表示问题已经解决；如“屏蔽”3：非常规手段清理部分告警后，可能导致故障时告警不上报或上报不及时；可能导致故障排除耗时较长等后果，请谨慎实施。告警名称告警数量 累计百分比(%)ETH_LOS3121928.52 PW_APS_DEGRADED1436041.64 MPLS_PW_LOCV1091351.62 TUNNEL_APS_DEGRADED670457.74 T_ALOS669863.86 MPLS_TUNNEL_LOCV648569.79 PWAPS_LOST539674.72 ETH_APS_LOS

14、T333377.76 COMMUN_FAIL228879.85 BD_STATUS203381.71 MPLS_PW_BDI134982.94 PW后向缺陷指示130184.13 LSR_WILL_DIE99185.04 ETH_RX_FLOW_OVER97285.92 NE_NOT_LOGIN92086.77 MPLS_TUNNEL_BDI86987.56 IN_PWR_LOW75288.25 NE_COMMU_BREAK73188.91 全部告警数量:109447100%11传输网告警专项整治具体措施-大基数告警(PTN)4： TUNNEL_APS_DEGRADED：表示Tunnel保护组

15、降级；告警对业务影响：如果该告警产生，则保护组可用性降低；告警清理建议：屏蔽此类告警；清理后对系统影响：无线路或者上层链路原因导致该告警上报时，可能影响故障及时识别和定位。1： ETH_LOS: 表示ETH信号丢失。告警对业务影响：此时业务已经中断或者无业务。告警清理建议：明确接口无业务反转告警；清理后对系统影响：无2： PW_APS_DEGRADED: PW APS保护组降级告警。当保护组中一个PW故障时，保护组的可用性降低，上报此告警。告警对业务影响：如果该告警产生，则保护组可用性降低；告警清理建议：屏蔽此类告警；清理后对系统影响：非线路或者上层链路原因导致该告警上报时，可能影响故障及时识

16、别和定位。3： MPLS_PW_LOCV ： MPLS_PW_LOCV告警表示PW连通性丢失告警对业务影响：该告警产生时，业务将中断。告警清理建议：尽快排查线路/设备/业务配置故障；清理后对系统影响：无12传输网告警专项整治具体措施-大基数告警(PTN)8： MPLS_PW_BDI告警表示PW后向缺陷指示告警对业务影响：本端设备的发送侧业务故障。告警清理建议：屏蔽此类告警；清理后对系统影响：可能影响故障及时识别和定位。5： MPLS_TUNNEL_LOCV :表示Tunnel连通性丢失告警。告警对业务影响：此时业务已经中断或者无业务。告警清理建议：尽快排查线路/设备/业务配置故障；清理后对系统

17、影响：无6： PWAPS_LOST: PWAPS_LOST告警表示APS帧丢失。当接收端没有从保护通道收到APS帧时上报此告警。告警对业务影响：无法对业务进行保护告警清理建议：屏蔽此类告警；清理后对系统影响：非线路或者上层链路原因导致该告警上报时，可能影响故障及时识别和定位。7： ETH_APS_LOST： ETH_APS_LOST告警表示APS帧丢失告警对业务影响：APS保护可能无法工作，业务得不到有效的保护告警清理建议：屏蔽此类告警；清理后对系统影响：非线路或者上层链路原因导致该告警上报时，可能影响故障及时识别和定位。13传输网告警专项整治具体措施-闪报告警告警名称闪报数量告警名称闪报数量

18、ETH_LOS29579ETH_LINK_DOWN414T_ALOS5980NE_COMMU_BREAK400PW_APS_DEGRADED4448ETH_APS_SWITCH_FAIL280MPLS_PW_LOCV3589静态CR-LSP Down告警274TUNNEL_APS_DEGRADED2525ETH_RX_FLOW_OVER272MPLS_TUNNEL_LOCV2345BUS_ERR256MPLS_PW_BDI1329接口CRC校验错误253BD_STATUS1315CLK_LOCK_FAIL231PW后向缺陷指示1301ODU_SNCP_STA_INDI198PWAPS_LOST

19、1048MPLS_TUNNEL_Excess179LSR_WILL_DIE990PWAPS_SWITCH_FAIL150MPLS_TUNNEL_BDI869隧道组断开118ETH_APS_LOST832光模块整体功能失效113IN_PWR_LOW643MAC_FCS_EXC112MPLS隧道故障516ODU1_PM_BDI111TE tunnel变为down516POWER_ABNORMAL107链路断开444BEFFEC_EXC102MPLS_PW_Excess431COMMUN_FAIL97NE_NOT_LOGIN425ODU1_PM_DEG94TU_AIS_VC12423PW_APS_O

20、UTAGE90ETH_LINK_DOWN414ODU1_PM_SSF78闪报告警定义闪报告警定义：表示是上报时间很快就消失，以上饶移动U2000为例，左表给出部分告警对应的数量，并从上至下排列。 4月21和22日共存在116类闪报告警，持续时间在1mins以内的告警共计闪报64593次。闪报告警处理原则闪报告警处理原则：1：优先排查解决告警根因，解除告警；2：次选设置告警规则，使得闪报一定的时间内的告警，网管不体现该告警3：优先集中处理基数大的告警告警处理风险告警处理风险：非常规手段设置部分闪报告警不呈现后，可能导致故障时告警不上报或上报不及时；可能导致故障排除耗时较长等后果，请谨慎实施。14

21、传输网告警专项整治具体措施-屏蔽闪报告警方法告警持续时间小于（秒）参数含义：设置对持续时间为多长的告警进行屏蔽。参数取值：取值范围：0到1000的整数，建议值为30设置方法：手工输入或通过微调输入框设置。 说明： 当告警/事件频次分析窗口中的“处理策略”参数为“产生振荡告警”时，建议将本参数的值设置为小于“告警/事件频次分析”窗口中的“时间范围”参数的值。 闪报一定的时间内的告警，网管不体现该告警； 时间建议设置成30s15传输网告警专项整治具体措施-屏蔽告警方法屏蔽告警屏蔽告警屏蔽告警是指网管不再接收指定对象的告警上报或不监视某些不重要的网管告警。对于某些不重要的网管告警，可以设置网管告警屏

22、蔽，使网管不监视这些告警，以便提高故障定位效率，并且这些告警不会上报给上层网管。选择一条告警/事件进行屏蔽的方式，可以快捷地屏蔽后续上报的相同告警。操作步骤1.在主菜单中选择“故障 浏览当前告警”。 2.在“过滤”对话框中设置过滤条件，单击“确定”。 3.在浏览告警或事件窗口中，选择一条告警或事件。单击右键，选择“屏蔽”。 4.在“屏蔽”对话框中，用户可根据需求设置“屏蔽范围”和“生效时间”。 16传输网告警专项整治具体措施-标准处理建议COMMUN_FAIL告警解释：告警解释：COMMUN_FAIL为单板间通信失效告警。当主控板和其他单板之间的通讯中断时就会上报此告警。告警属性：告警属性：主

23、要/设备告警参数：无告警参数：无对系统的影响：对系统的影响：产生该告警后，主机的配置无法下发到单板或单板无法工作。可能出现无法配置业务或保护倒换功能失效等情况，新增的业务将出现异常。可能原因：可能原因：告警COMMUN_FAIL产生的可能原因如下：单块单板上报告警原因1：单板处于硬复位或者软复位状态。单块单板上报告警原因2：单板故障。多块单板上报告警原因1：公务板EOW故障。当EOW单板与各单板的通信端口出现故障时，会出现业务单板上报COMMUN_FAIL，而备用主控单板不上报该告警的情况。多块单板上报告警原因2：主控单板或交叉单板故障。若主用主控板故障，会出现主用主控板，备用主控板和业务单板同时上报COMMUN_FAIL告警