PTN典型故障解决

1、目录目录目录1典型故障及处理方法 21.1 带内DCN故障处理21.2 MPLS Tunnel 故障处理61.3 PW故障处理71.4 CES业务故障处理 91.5 以太网业务故障处理 131.6 时钟故障处理161.7 QoS故障处理171.8 LAG故障处理21典型故障及处理方法1.1 带内DCN故障处理介绍带内DCNB现故障时的现象、对系统的影响、可能原因、排除该故障时 需要的工具、考前须知以及处理步骤等.A、前提条件：查看工程文档,确认网元各个单板均使用配套版本.R故障现象：处理带内DCN勺故障时,通常会遇到以下故障现象.网管与网元通信中断,网管上网元图标变灰色,网元脱管.网管操作命令

2、没有响应.假设响应中断时间持续超过2分钟,网管与网元通信中断.网管查询信息局部丧失.G故障处理流程图：带内DCNi障处理流程图如以下图所示.R怕Dcuac ' .W值超,尚月|口、 ? /千用嚏X雷夏*现节艺 配冠社帏MJKM术与网元：?宙中哥寻料主铃板非哦观也民粗网元爱审.(T 正.或*两通L"ttftDCN4a.对喘口前一H0国危地军.庠填席生号警通大RCM现好空配N重法注慎 网域或电科王发后更慎中图带内DCNtt障处理流程图D对系统的影响网元和网管通信中断后,通过该网元来保持与网管通信的网元,假设无其 它方法连接网管,也将处于脱管状态.其它网元那么无影响.假设承载带内D

3、CN的物理通道故障,那么会影响该物理通道上承载的其它 业务.E、可能原因：对应故障处理流程图,带内 DCNi障原因如下全网内的网元ID、网元IP或者子网掩码存在冲突.故障网元的带内DCN端口未使能,或对接端口参数配置不一致.故障网元与网管之间的物理连接中断.接收信号丧失或接收光功率过低,无法提取 DCN报文.单板故障.DCN穿越的第三方网络不健康,引入 DCN风暴或DCN中断.带内DCN通道带宽配置过低.故障网元主控板正在复位或发生了主备倒换,带内DCN报文得不到响应.a处理带内DCNi障时如果网元通信中断,先处理网关网元的故障,再处理非网关网元的故障.如果网元通信未中断,先处理非网关网元的故

4、障,再处理网关网元的故 障,防止造成非网关网元脱管.b当网元脱管时,可以使用其它工具尝试登录故障网元如果可以正常登录,说明设备的通信正常,问题可能由网管引入,联系 负责网管维护的工程师处理.如果不能登录,可以采用 PC机直连设备的ETH端口.如果可以通信, 说明是线路问题,否那么是设备问题.H操作步骤全网内的网元ID、网元IP或者子网掩码存在冲突? 此原因一般由全网中新添加的网元引入.对照网元规划表,检查新网元 的网元ID、网元IP、子网掩码的配置是否正确.? 假设配置错误,或与现有网元存在冲突,请正确配置新网元的参数.故障网元的带内DCN端口未使能,或对接端口参数配置不一致? 检查是否存在光

5、纤或电缆连接到默认使能 DCN的端口.如果没有,换 用默认使能DCN的端口.? 检查链路两端的端口是否已使能 DNC.如果没有,使能端口的带内DCN? 检查两端端口的参数配置是否一致,例如以太网端口的工作模式.如果 不一致,修改参数配置使两端一致.故障网元与网管之间的物理连接中断? 检查故障网元的网线或光纤是否从端口中脱落.如果是,重新插上网线 或光纤.接收信号丧失或接收光功率过低,无法提取 DCN报文? 检查网元的历史告警中是否存在 R_LOS、ETH_LOS或IN_PWR_ABN蛋上越 专门育.单板故障? 查询单板的历史告警中是否存在 HARD_BAD或TEMP_OVER告警.?假设存在,

6、更换上报告警的单板.DCN穿越的第三方网络不健康,引入 DCN风暴或DCN中断? 假设带内DCN通信穿越了第三方网络,需要检查第三方网络中是否存在 端口环回、物理通道中断等故障.?如果存在,需要立即排除第三方网络中的故障.带内DCN通道带宽配置过低? 当端口配置的业务数量超过某一数目时,可能造成局部查询信息丧失, 此时需要适当增大带内DCN通道的带宽配置.故障网元主控板正在复位或发生了主备倒换,带内 DCN报文得不到响? 观察主控板的PROG指示灯是否处于绿灯闪烁状态,假设是,那么主控板正 处于复位状态.等PROG指示灯常亮绿色时,主控板完成复位,DCN将自动恢复连接.假设主控板发生了主备倒换

7、,“当前板将自动软复位.? 假设DCN未恢复响应,检查其它单板是否发生保护倒换,造成带内DCN报文处于重路由状态.? 假设存在单板发生保护倒换,等待 DCN完成重路由后,将自动恢复响应.1.2 MPLS Tunnel 故障处理介绍MPLSTunnel创立失败或中断等故障时的现象、对系统的影响、可能原 因,排除该故障时需要的工具、考前须知以及处理步骤等.A.故障现象：处理MPLS Tunnel的故障时,通常会遇到以下故障现象MPLS Tunnel创立失败,业务不通.MPLS Tunnel故障,业务中断.保护倒换失败,业务中断或出现丢包、误码.B.对系统的影响假设MPLS Tunnel故障,那么会

8、影响网络中由该 Tunnel承载的业务,但由 其他Tunnel承载的业务正常.C.可能原因：MPLS Tunnel故障原因如下路由失败.交叉创立失败.Tunnel所在的物理链路故障.保护倒换失败.D.操作步骤路由失败? 对照网络规划,检查Tunnel两端端口参数配置是否正确,例如端口IP,修正不正确的端口参数后,再次创立 Tunnel.? 检查Tunnel首末节点所在的网元问是否存在完整可达的链路.假设不存 在,修复链路中残缺或故障的局部.? 可选：如果Tunnel配置了带宽,检查链路带宽是否满足 Tunnel的要求.交叉创立失败? 检查网络中是否存在不同的网元使用相同的网段.如果存在,需要修

9、改 端口 IP地址.? 检查Tunnel是否配置了不兼容的保护特性.? 查看Tunnel所经过的网元或单板,确认已创立 Tunnel个数是否已经达 到了最大值.如果是,需要重新规划或删除冗余的Tunnel.Tunnel所在的物理链路故障?查询系统中是否存在 HARD_BADR_LOS ETH_LOS PPP_LCP_FAI或 MP_DOWN告警,指示Tunnel使用的物理链路故障.假设存在,优先处理这些告 警.? 查看并处理系统中存在的以下告警.MPLS_TUNNEL_BDIMPLS_TUNNEL_ExcessMPLS_TUNNEL_FDIMPLS_TUNNEL_LOCVMPLS_TUNNEL

10、_MISMATCHMPLS_TUNNEL_MISMERGEMPLS_TUNNEL_SDMPLS_TUNNEL_SFMPLS_TUNNEL_UNKNOWN? 检查对端设备是否存在单板故障或网元复位等异常状况.排除对端设备 的异常情况.1.3 PW故障处理介绍PW&J建失败或中断等故障时的现象、对系统的影响、可能原因,排除 该故障时需要的工具、考前须知以及处理步骤等.A.故障现象：处理PW故障时,通常会遇到以下故障现象PW创立失败,业务不通.PW故障,业务中断或出现丢包、误码.B.对系统的影响：假设PW出现故障,那么会影响承载在该 PW上的业务,但其 他PW承载的业务正常C.可能原因：PW

11、故障原因如下LDP会话创立失败,PW创立不成功.物理链路故障,LDP会话失效.PW交叉建立失败.PW所在的Tunnel故障.PW APS保护倒换失败.D.操作步骤LDP会话创立失败,PW创立不成功.? 检查PW两端网元是否配置了 LDP对等体.假设未配置,需要重新配置 LDP 对等体.? 检查PW两端参数是否配置正确.举例如下：? “限制字使用策略,是否一端配置为“必须使用,另一端配置为“不 使用.? 对Ethernet业务,两端的“MTU是否配置一致.? 对CES业务,两端的“RTP头、“报文装载时间等参数是否配置一致.物理链路故障,LDP会话失效? 检查PWl*末节点问物理链路是否正常,系

12、统中是否存在HARD_BADLASER_MOD_ERR_LO破 ETH_LO等告警.? 假设存在,优先处理 HARD_BADLASER_MOD_ERR_LOS|E ETH_LOS&警.?查询并处理系统中存在的 PW_DOW RW_DROPPKT_EX®W_EXC_TRAFFIC口目.? 查看并处理系统中存在的以下告警.MPLS_PW_BDIMPLS_PW_ExcessMPLS_PW_LOCVMPLS_PW_MISMATCHMPLS_PW_MISMERGEMPLS_PW_SDMPLS_PW_SFMPLS_PW_UNKNOWN-? 检查对端设备是否存在单板故障或网元复位等异常状况

13、.排除对端设备 的异常情况.PW交叉建立失败：查看PW所经过的网元或单板,确认已创立 PW个数 是否已经到达了最大值.如果是,需要重新规划或删除冗余的PWPW所在的Tunnel故障:Tunnel故障PW APS保护倒换失败：查看并处理系统中存在的以下告警PWAPS_LOSTPWAPS_PATH_MISMATCHPWAPS_SWITCH_FAILPWAPS_TYPE_MISMATCH1.4 CES业务故障处理介绍CESlk务出现中断或误码等故障时的现象、对系统的影响、可能原因, 排除该故障时需要的工具、考前须知以及处理步骤等.A.故障现象：处理CESlk务的故障时,通常会遇到以下故障现象,如下表

14、所 示.消除设备上报的告警后,故障也随之排除表CES业务常见故障现象一览表现象上报告警CESlk务中断HARD_BA "EMP_OVE ROMMUN_FA现象上报告警或 BUS_ERRT_ALOS UP_E1AISlE DN_E1AISR_LOS LASER_MOD_ERRLSR_WILL_DIE IN_PWR_ABNTEM_H或LSR_BCM_ALMMPLS_TUNNEL_LOCVPW_DOWNCESlk务出现误 码,通信质量下降HARD_BADTEMP_OVER bus_errSYNC_C_LOS ltiLASER_MOD_ERRSR_WILL_DIEIN_PWR_ABNTEM_

15、H或 LSR_BCM_ALMCES_LOSPKT_EXCCES_MISORDERPKT_EXCCES_STRAYPKT_EXCES_JTRUDR_EXCCES_JTROVR_EXCB.故障处理流程图：CES#务故障处理流程图如以下图所示.L 2舌和衽f亡C-L0号最LT I1互舌界T.ALOS. R_LOE< LKER MOD J RRJL考罪在ML£_TUh ME L J_6亡 V< DOWN旺gil丧 / HAR&_6Mj. T6WP_OV6R. CU$_EftR j AC OhUUN_f AIL ,/怛.口也直 或聃闻I端也率帔事件有障或 «*1&

16、#171;«*»TumPW申华,春关城醉心f鬓收/此机度*驻国齿H*眼L?j丸息*工RIHH电厂喉果检水 土忡图 CES业务故障处理流程图C.对系统的影响：网络中CESlk务中断或出现误码,通信会中断或质量下降.假设故障由于scM XCSI板造成,那么可能影响设备接入的其它业务D. CESdk务故障原因如下单板硬件故障、温度过高或板间通信故障,无法正常工作处理板、接口板的接口接入的信号丧失或恶化.承载CES业务的Tunnel或PW中断.网元的同步时钟源级别丧失,或同步时钟源丧失.承载CES业务的PW在单位时间内丢包数、错包数或抖动缓冲超过阈值.E.考前须知：严禁眼睛靠近或直

17、视光接口或光纤接头.光接口及光纤内部 的激光束会伤害眼睛.F.操作步骤单板硬件故障、温度过高或板间通信故障,无法正常工作? 查询系统当前告警,是否有 HARD_BADTEMP_OVEFCOMMUN_FAL bus_erR警,并确定上报告警的单板.?处理 HARD_BADTEMP_OVEFCOMMUN_FAIt BUS_ER雷警,排除故障.处理板、接口板的接口接入的信号丧失或恶化? 查询系统是否有T_ALOS UP_E1AIS或DN_E1AIS&警.? 查询系统是否有R_LOS&警.? 查询系统是否有 LASER_MOD_ERESR_WILL_DIE IN_PWR_ABNTEM_

18、HA 或 LSRBCM_ALMS.承载CES业务的Tunnel或PW中断? 查询系统是否存在mpls_tunnel_loCV.? 查询系统是否存在PW_DOWNt.网元的同步时钟源级别丧失,或同步时钟源丧失? 查询系统是否有SYNC_C_LOS LTI告警.承载CES业务的PW在单位时间内丢包数、错包数或抖动缓冲超过阈值?查询系统是否有 ces_lospkt_exces_misorderpkt_EXc ces_straypkt_eXC.?查询系统是否有 CES_JTEUDE_EXCCES_JTEOVE_EX®o1.5 以太网业务故障处理介绍以太网业务出现中断或丢包故障时的现象、对系统

19、的影响、可能原因, 排除该故障时需要的工具、考前须知以及处理步骤等.A.故障现象：处理以太网业务的故障时,通常会遇到以下故障现象,如下表 所示.消除设备上报的告警后,故障也随之排除.表以太网业务常见故障现象一览表现象上报告警以太网业务中断HARD_BADTEMP_OVERCOMMUN_FAIL BUS_ERRETH_LOS ETH_AUTO_LINK_DOWNMAC_FCS_EXCR_LOSETH_LINK_DOWNLOOP_ALMETH_EFM_LOOPBACKLASER_SHUT lsr_will_die以太网业务出现丢包或错包HARD_BADTEMP_OVER bus_errLSR_WI

20、LL_DIEmac_fcs_exC flow_overETH_CFM_UNEXPERIB.故障处理流程图以太网业务故障处理流程图如以下图所示.良粒/布声更帙事希夏秋更帙电播s图 以太网业务故障处理流程图C.对系统的影响：网络中以太网业务中断、出现丢包或错包,假设故障由于SC颂XCSI板造成,那么可能影响设备接入的其它业务.D.以太网业务故障原因如下单板硬件故障、温度过高或板间通信故障,无法正常工作接收信号丧失.原因3:以太网网口连接错误,端口协商失败.原因4:端口配置了环回.接口流量限值配置过低,源宿两端接口配置不一致.E.工具、仪表和材料：光功率计F.考前须知：严禁眼睛靠近或直视光接口或光纤

21、接头. 光接口及光纤内部的 激光束会伤害眼睛.G.操作步骤单板硬件故障、温度过高或板间通信故障,无法正常工作.? 查询系统当前告警,是否有 HARD_BAD、TEMP_OVER、 COMMUN_FAIL或BUS_ERR告警,并确定上报告警的单板.接收信号丧失? 查询系统是否有ETH_LOS或ETH_AUTO_LINK_DOWN 告警.? 查询系统是否有R_LOS告警.? 查询系统是否有LASER_SHUT或LSR_WILL_DIE告警.? 查询系统是否有MAC_FCS_EXC告警.以太网网口连接错误,端口协商失败? 查询系统是否有ETH_LINK_DOWN告警.端口配置了环回? 查询系统是否有

22、LOOP_ALM告警.? 查询系统是否有ETH_EFM_LOOPBACK告警.接口流量限值配置过低,源宿两端接口配置不一致? 查询系统是否有FLOW_OVER告警.? 查询系统是否有ETH_CFM_UNEXPERI告警.1.6 时钟故障处理介绍时钟源丧失、时钟信号劣化等故障时的现象、对系统的影响、可能原因, 排除该故障时需要的工具、考前须知以及处理步骤等.A.故障现象处理时钟故障时,通常会遇到以下故障现象,如下表所示.消除设备上报的告警后,故障也随之排除.表时钟常见故障现象一览表现象上报告警业务出现误码SYNC_C_LOSLTI、S1_SYN_CHANGESYN_BADEXT_SYNC_LOS

23、CLK_NO_TRACE_MODEEXT_TIME_LOCB.对系统的影响网络中时钟源丧失或时钟源质量下降时,会影响跟踪该时钟源的业务的质 量,产生指针调整和误码率增高.C.造成时钟故障的原因如下优先级表中业务板上的同步时钟源级别丧失.同步时钟源丧失,网元的时钟处于不正常状态.在SSM模式下时钟源发生倒换,网元跟踪的时钟源也发生了倒换.同步时钟源的信号劣化.外部时钟源丧失.时钟进入非跟踪工作模式.外部时间源丧失.D.考前须知：如果没有工作正常的备交叉板进行保护,硬复位交叉时钟板可 能会引起业务完全中断.E.操作步骤优先级表中业务板上的同步时钟源级别丧失? 查询系统是否有SYNC_C_LOS告警

24、.同步时钟源丧失,网元的时钟处于不正常状态? 查询系统是否有LTI告警.在SSM模式下时钟源发生倒换,网元跟踪的时钟源也发生了倒换? 查询系统是否有S1_SYN_CHANGE告警.同步时钟源的信号劣化? 查询系统是否有SYN_BAD告警.外部时钟源丧失? 查询系统是否有EXT_SYNC_LOS告警.时钟进入非跟踪工作模式? 查询系统是否有 CLK_NO_TRACE_MODE告警.外部时间源丧失? 查询系统是否有EXT_TIME_LOC告警.1.7 QoS故障处理介绍QoS出现故障时的现象、对系统的影响、可能原因、排除该故障时需要 的工具、考前须知以及处理步骤等.A.前提条件：配置了 QoSft

25、略的业务连接正常B.故障现象业务已经配置了带宽,但实际业务流量超出限制,造成业务流量偏高, 导致拥塞.不同业务之间互相抢占带宽,被抢占带宽的业务丢包或误码.业务优先级较低,但抢占了优先级较高的业务的带宽,造成高优先级的 业务丢包或误码.业务处理单板上报BUS_ERR告警,单板的业务处理水平受限.QoS故障时,系统一般会上报以下告警,如下表所示.去除设备上报的告警, 故障也随之排除.表QoS常见故障现象一览表现象上报告警单板业务处理水平受限BUS_ERR业务流量偏高,出现拥塞FLOW_OVERPW_EXC_TRAFFIC业务带宽被抢占,出现丢包或误码PW_DROPPKT_EXCCES_LOSPK

26、T_EXCCES_JTROVR_EXCCES_JTRUDR_EXCC.故障处理流程图QoS故障处理流程图如以下图所示.也张瑞京不是餐校*用段力A W布斯惮,聚喉帆的*jtr5Ml*甘/哈 于飞忙反物出立西配起武口友有*pw南崎5*修里布*警我系核水夏怜工制图QoS故障处理流程图D.对系统的影响假设单板的业务处理水平受限,局部业务可能得不到处理,会出现丢包或 误码.业务流量偏高时,端口可能拥塞,假设其它业务带宽被抢占,可能会丢包 或误码.E.Qosm章原因如下业务处理单板存在BUS_ERR告警,单板业务处理水平受限.网元未配置QoS策略.配置业务时选择了错误的 QoS策略.Tunnel或PW的配

27、置带宽过低.单板故障,配置数据未下到达单板.F.操作步骤业务处理单板存在BUS_ERR告警,单板业务处理水平受限? 检查系统是否存在BUS_ERR告警.网元未配置QoS策略? 检查网元是否配置了相关 QoS策略,包括WRED策略,WFQ调度策略, 端口策略,V-UNI Ingress 策略,V-UNI Egress 策略,PW策略,QinQ 策略或 ATM 策略等.? 假设没有,重新配置遗漏的QoS策略.配置业务时选择了错误的 QoS策略? 检查业务当前配置的QoS策略是否适用.假设不适用,重新配置新的策略.Tunnel或PW的配置带宽过低? 检查Tunnel或PW当前配置带宽是否满足业务流量需求.假设带宽配置过低,需要重新配置带宽.单板故障,配置数据未下到达单板? 检查系统是否存在HARD_BAD等硬件类告警.? 检查系统是否存在LSR_WILL_DIE等激光器相关告警.1.8 LAG