常见开局故障处理

PTN常见开局故障处理PTN产品组2023/2/5培训目标学完本课程后，您应该能：了解PTN产品故障处理基本步骤掌握PTN产品常见故障处理方法参考资料《OptiXPTN故障处理手册》《OptiXPTN告警和性能手册》Page2目录PTN故障定位方法PTN常见故障处理PTN故障定位方法告警法PTN在各种物理端口、逻辑端口、业务、PW等都有相关的告警。当发生故障时，查询当前设备的相关告警。通过分析告警，可以迅速的找到问题发生在什么层面。在定位业务故障的时候，通常建议首先关注传输层和物理层的告警性能法PTN在各种物理端口、逻辑端口（如IMA组、MP组等）、业务、PW都支持性能统计计数。当业务中断后，通过读取业务的相关性能，可以确认数据报文在哪台网元，在什么层面丢了。比如，如果发现端口上有误码计数，就可以直接判定是中间链路问题环回法（CES业务常见方法）

PTN在各种物理端口、逻辑端口（如IMA组）都支持环回功能。在某些物理端口的故障发生后，通过环回的方法，可以确认问题所在的设备（或链路）业务oam法（重点了解和掌握）

ATM业务与ETH业务都支持OAM功能，通过OAM可以准确的定位到故障所在的网元和处理板，进而可以快速的对业务进行恢复Page4环回法定位CES业务故障现象描述：在下面的组网图中，用误码仪测出BSC与BTS之间的CES业务中存在大量误码处理步骤步骤1:在网元NE01上连接仪表做误码测试。将NE04的L75单板上的2M端口设置为“内环回”，仪表显示有大量误码。步骤2:在NE03配置静态ARP表项，MAC地址选择NE03的出端口，IP地址选择NE04。在NE03和NE04之间创建入标签和出标签相同的Tunnel步骤3:将NE04的网络侧端口设置为“外环回”，连接NE01的仪表仍然显示有误码，将NE03上连接NE04的网络侧端口设置为“内环回”，仍然有误码。步骤4:将NE03上连接NE02的网络侧端口设置为“外环回”，误码消失。据此判定问题出在NE03网元。步骤5:更换NE03网元上对NE02对接的10GE线路板EX2，误码消失Page5PTNOAM知识-MPLSOAMMPLS支持多种三层和二层协议，提供一个完全不依赖于任何上层或下层的OAM机制MPLSOAM使用CV/FFD、Ping

等方式检测LSP的连通性CV（ConnectivityVerification）/FFD（FastFailureDetection）单向连通检测1.Ingress节点发送CV/FFD检测报文，Transit节点透传报文，报文通过被检测的LSP到达Egress节点；2.Egress节点把接收到的报文类型、频率、TTSI等信息字段与本地记录的应该收到的对应值相比较来判断报文的正误，并统计检测周期内收到的正确报文与错误报文的数量，从而实现对LSP的连通性的实时监3.当Egress节点检测到LSP缺陷后，分析出缺陷类型，通过反向通道将携带缺陷信息的BDI报文发送给Ingress节点，从而使Ingress节点及时获知缺陷状态MPLSPing单向连通检测1.MPLSPing使用MPLSEchoRequest和MPLSEchoReply检测LSP的可用性。EchoRequest中携带需要检测的FEC信息，和其他属于此FEC的报文一样沿LSP发送，从而实现对LSP的检测2.EchoRequest消息应该达到Tunnel的Egress节点，由Egress节点的控制平面确认本节点是否是该FEC的出口。通过MPLSPing可以检测LSP是否建立成功Page6PTNOAM知识-PWOAMPTN设备将业务报文进行PW封装后送到Tunnel中进行承载。网络中存在Tunnel和PW两个层次，MPLSTunnel可以通过MPLSOAM维护和管理，而PW层则需要通过PWOAM来进行维护和管理PWOAM的主要检测方式是PWPing，Ping报文在Ingress节点封装进PW中，沿虚电路发送，从而实现对PW的检测如图

所示，NE1和NE2之间存在一条由PW承载的CES业务，在NE1发起PWPing测试，可以查看Ping测试的结果，检测PW的运行状态Page7PTNOAM知识-以太业务OAM以太网业务OAM是一种基于MAC层的协议，它通过发送OAM报文来检测以太网链路以太网业务OAM包括CC、LB和LT三种检测手段1.环回检测（LB），源端MEP将构造并发送LBM帧，同时启动定时器开始计时。如果目的MEP收到该LBM，将构造LBR帧发送回源端MEP，环回成功。如果源端MEP定时器超时，环回失败2.单向连通性检测（CC），源端MEP将周期性的发送CC帧，目的MEP收到源端发送的CC帧后，启动CC检测功能。如果目的MEP在一定时间之内没有收到源端的CC报文，则自动上报ETH_CFM_LOC告警。3.链路追踪检测（LT），源端MEP发送LTM帧，同时启动定时器开始计时。链路上所有的MIP都会转发LTM帧，所有收到LTM帧的MEP和MIP都会回送LTR帧响应，根据这些LTR帧可以判断出源MEP到目的MEP所经过的所有MIP。如果源端MEP定时器超时，LT失败Page8PTN故障定位流程掌握PTNOAM使用是快速定位链路和业务故障的关键Page9目录PTN故障定位方法PTN常见故障处理DCN故障处理MPLSTunnel故障处理PW故障处理CES业务故障处理以太网业务故障处理时钟故障处理DCN故障处理流程DCN故障现象网管与网元通信中断，网管上网元图标变灰色，网元脱管；网管操作命令没有响应。若响应中断时间持续超过2分钟，网管与网元通信中断网管查询信息部分丢失故障可能原因原因1：全网内的网元ID、网元IP或者子网掩码存在冲突。原因2：故障网元的带内DCN端口未使能，或对接端口参数配置不一致。原因3：故障网元与网管之间的物理连接中断。原因4：接收信号丢失或接收光功率过低，无法提取DCN报文。原因5：单板故障。原因6：DCN穿越的第三方网络不健康，引入DCN风暴或DCN中断。原因7：带内DCN通道带宽配置过低。原因8：故障网元主控板正在复位或发生了主备倒换，带内DCN报文得不到响应。Page11DCN故障处理方法故障原因检查点处理方式全网内的网元ID、网元IP或者子网掩码存在冲突对照网元规划表，检查新网元的网元ID、网元IP、子网掩码的配置是否正确正确配置新网元的参数故障网元的带内DCN端口未使能，或对接端口参数配置不一致检查链路两端的端口是否已使能DCN检查两端端口的参数配置是否一致使能端口的带内DCN修改端口参数故障网元与网管之间的物理连接中断检查故障网元的网线或光纤是否从端口中脱落插上光纤和网线接收信号丢失或接收光功率过低，无法提取DCN报文检查网元的历史告警中是否存在R_LOS、ETH_LOS或IN_PWR_ABN等告警处理导致告警问题单板故障查询单板的历史告警中是否存在HARD_BAD或TEMP_OVER告警更换单板DCN穿越的第三方网络不健康，引入DCN风暴或DCN中断需要检查第三方网络中是否存在端口环回、物理通道中断等故障排除第三方网络故障带内DCN通道带宽配置过低当端口配置的业务数量超过某一数目时，可能造成部分查询信息丢失增大DCN通道带宽故障网元主控板正在复位或发生了主备倒换，DCN报文得不到响应观察主控板的PROG指示灯是否处于绿灯闪烁状态，若是，则主控板正处于复位状态主控板完成复位，DCN将自动恢复连接。Page12DCN故障处理案例1/3故障现象两台非网关网元NE10和NE30，分别通过ML-PPP连接第三方SDH设备，再连接到NE08与网管保持通讯NE10和NE08已配置业务且正常运行，NE30为新创建的网元，未配置业务NE30创建后，NE10和NE30一直处于间歇性脱管状态，网管上报NE_COMMU_BREAK和NE_NOT_LOGIN告警处理步骤步骤1:检查NE10的ML-PPP端口状态，发现链路无问题，业务一直都是正常,排除DCN通道质量问题步骤2:查看NE30的网元IP，发现与NE10某DCN通道核心路由重复，确认为NE30网元IP设置错误步骤3:在网管上更改NE30的网元IP，返回提示成功后，发现该两个网元仍出现间歇脱管步骤4:尝试查询NE30网元信息，NE30网元IP仍为修改前的错误值，网管上修改NE30网元IP的操作并未成功步骤5多次重复修改NE30网元IP的操作，直至网元间歇性脱管故障消失案例类型-IP地址冲突导致网元间歇性脱管Page13DCN故障处理案例2/3故障现象PTN网络的网关网元穿越一个IP传送网络后，保持与网管中心之间的通信PTN网络中的非网关网元全部脱管，系统中出现大量MPLS_TUNNEL_LOCV告警，业务中断处理步骤步骤1：检查该网关网元主控板上的ETH接口，发现该接口通过网线与IP传送网络中一台路由器的2号接口直连。该路由器的1号接口连接网管，但3号接口与4号接口被另一条网线直连，产生了环路步骤2:IP传送网络中的大量DCN报文及其它报文通过交换机的环路被引入PTN网络中，造成网关网元的CPU长期被完全占用，而PTN网络内非网关网元的DCN报文及其它协议报文无法得到处理，最终导致网元脱管，业务中断步骤3：拔掉引发交换机环回的网线，PTN网络恢复正常案例类型-环回引发DCN风暴导致网元脱管Page14DCN故障处理案例3/3案例类型-子网掩码配置错误导致全网网元脱管故障现象：在由PTN网元组成的网络中，添加一个新网元后，其它所有网元全部脱管处理步骤步骤1：PTN网元都属于同一个网段，且“子网掩码”都是16位，而新添加的这个网元的“子网掩码”是24位步骤2:“子网掩码”为24位的网元会生成一个“255.255.255.0”的网段路由，而该路由会通过DCN通道在网络内扩散。在网管访问网元的过程中，根据最长匹配原则，网管服务器主机原本16位的网段“255.255.0.0”会被匹配为24位的“255.255.255.0”，造成其它子网掩码均为16位的网元无法与网管通信，网元脱管步骤3:断开新添加网元与网管之间的物理连接，并将该网元的子网掩码修改为16位后，网络正常案例类型-GE端口工作模式不一致导致网元间通信中断故障现象：PTN网元通过GE链路互联组网，网元属性及DCN参数已经正确规划与配置，现场安装设备时，发现多处相邻网元之间无法通信，但各网元均无告警上报处理步骤步骤1:选择无法彼此通信的两个相邻网元，现场分别登录，可正常登录，且通信正常。步骤2:查看当前性能事件，链路上无误码，测试光功率也均在正常范围内。步骤3检查两端网元上直接对接的光口，均为GE光口，网管上检查两个端口的属性配置，发现“工作模式”不一致（一端为“1000M全双工”，一端为“自协商”）步骤5:将两端GE光接口的“工作模式”统一修改为“自协商”模式，通信也正常Page15目录PTN故障定位方法PTN常见故障处理DCN故障处理MPLSTunnel故障处理PW故障处理CES业务故障处理以太网业务故障处理时钟故障处理MPLSTunnel故障处理方法MPLSTunnel故障现象MPLSTunnel创建失败，业务不通lMPLSTunnel故障，业务中断l保护倒换失败，业务中断或出现丢包、误码故障处理方法检查链路两端的IP是否设置正确检查控制链路状态是否OK检查光纤是否连接正确检查NNI端口之间的二层属性设置是否一致(tag/access/hybrid)查询是否有相关链路级告警，如果有需要清除掉检查Tunnel的路由约束是否配置正确检查Tunnel是否使能查询Tunnel所在的物理端口是否存在FLOW_OVER告警，如果存在，说明网络侧出现拥塞，此时部分业务回手到影响Page17BTS1CESCESBTS2PTNPTNETHBTS3PTNMPLSPTNPTNMPLSPTNBSCCoreNetwrokPTNBSCGE/10GEGE/FESTM-1STM-1GE/10GEMPLS_TUNNEL_LOCVMPLS_TUNNEL_FDIMPLS_TUNNEL_LOCV：Tunnel连通性丢失告警。物理链路故障。网络出现严重的拥塞。对端设备故障。MPLS_TUNNEL_FDI：Tunnel前向缺陷指示告警。上游设备检测到物理层发生了故障，比如断纤。MPLSTunnel故障典型告警处理Page18MPLSTunnel故障处理案例案例类型-光纤错连导致动态MPLSTunnel创建失败故障现象：在现网上集成业务时，发现有这样两个网元，彼此之间的DCN通讯正常，但在二者之间的动态Tunnel却全部创建失败。PING对端端口的IP地址，返回“操作超时”。处理步骤步骤1：查询系统当前告警，未发现ETH_LOS、ETH_LINK_DOWN或HARD_BAD告警，且DCN通讯正常，可以排除链路、端口或单板等硬件出现了故障。步骤2:查询两个网元端口的IP地址，均配置正确，而且在同一个网段内。步骤3:查询ARP表项，发现无法学习到对端端口的“ARP表项”。步骤4:因为两端的DCN通讯是正常的，从DCN的连通性着手分析。只有在学习到对方端口的MAC地址之后，才能开始正常的DCN通讯。查询后发现宿网元的端口的MAC地址与网元规划表不一致。步骤5:现场确认，是设备安装时连错了光纤，导致ARP等协议不能正常工作，动态Tunnel创建失败。步骤6:按照网元规划表重新连接光纤后，问题解决。Page19目录PTN故障定位方法PTN常见故障处理DCN故障处理MPLSTunnel故障处理PW故障处理CES业务故障处理以太网业务故障处理时钟故障处理PW故障处理方法PW故障现象PW创建失败，业务不通。PW故障，业务中断或出现丢包、误码故障处理方法检查所在的Tunnel是否UP检查两端的PW的ID是否一致检查是否配置了LDP对等体查询PW是否使能检查两端的PW的参数检查ControlWordUsePolicy”，是否一端配置为“MustUse”，另一端配置为“Nonuse”检查Ethernet业务，两端的“MTU”是否配置一致检查CES业务，两端的“RTPHead”、“PacketLoadingTime”等参数是否配置一致Page21目录PTN故障定位方法PTN常见故障处理DCN故障处理MPLSTunnel故障处理PW故障处理CES业务故障处理以太网业务故障处理时钟故障处理CES业务故障处理流程CES业务中断/损伤原因配置错误处理板、接口板的接口接入的信号丢失或恶化Tunnel/PW故障时钟不同步时延过大Page23CES业务故障处理方法故障原因检查点处理方式源端和宿端的PW装帧时间不一致查询CES业务PW装帧时间修改参数E1端口成帧模式不匹配检查E1端口成帧模式是否和对端设备匹配，只有UDT业务才能配置为unframe，其他业务配置为double-frame/crc4-multiframe修改参数低阶开销V5字节不匹配检查业务使用的VC12通道的V5字节是否与对接端匹配修改参数接口的信号丢失或恶化查询系统是否有T_ALOS、UP_E1_AIS或DOWN_E1_AIS告警查询系统是否有R_LOS告警，处理R_LOS告警处理硬件问题Tunnel/PW故障查询Tunnel/PW状态是否DOWN查询系统是否存在MPLS_TUNNEL_LOCV告警查询系统是否存在PW_DOWN告警处理Tunnel/PW故障时钟不同步检查业务流经的所有网元时钟域是否相同查询系统是否有SYNC_C_LOS或LTI告警优化时钟配置时延过大查询系统是否有CES_LOSPKT_EXC、CES_MISORDERPKT_EXC或CES_STRAYPKT_EXC告警查询系统是否有CES_JTRUDR_EXC或CES_JTROVR_EXC告警优化业务路由Page24BTS1CESCESBTS2PTNPTNCES业务故障典型告警处理ETHBTS3PTNMPLSPTNPTNMPLSPTNBSCCoreNetwrokPTNBSCGE/10GEGE/FESTM-1STM-1GE/10GET_ALOS信号丢失故障原因：（1）E1/T1业务未接入；（2）DDF架侧E1/T1接口输出端口脱落或松动；（3）本站E1/T1接口输入端口脱落或松动；（4）单板故障；（5）电缆故障ALM_E1RAI远端告警指示故障原因：对端有告警；Page25CES业务故障处理案例案例1.Tunnel带宽不够导致CES业务持续误码【问题现象】：一条两站的CES上MLPPP业务，时隙为15个，业务配完后，仪表显示业务通，删掉业务，重新创建31个时隙的业务，仪表检测到持续误码。【问题原因】：MLPPP组只有一个PPP成员，带宽不足以承载一条CES业务，导致大量PW报文被丢弃。【解决办法】：MLPPP组再添加一个成员后业务通案例2.多网元的时钟源不同导致长时间测试有少量误码：

【问题现象】：某局测试环境，组网如下图所示，约两个多小时后出现1s的LSS告警，查询PW性能计数，发现有jitterbuffer溢出的计数

【问题原因】：1900网元和仪表分别跟踪不同的时钟源，运行后随着时钟漂移和时延抖动产生滑帧【解决办法】：仪表改为跟踪设备时钟案例3：E1成帧模式不匹配导致CES业务不通：

【问题现象】：一条两站的远程CES业务，一端自环，一端与仪表对接，业务配完后，仪表显示LSS告警，查询单板告警，发现CES业务使用的E1端口有LMFA告警

【问题原因】：E1端口为CRC4-multiframe模式，而仪表设置为Unframe模式，芯片无法正确定帧

【解决办法】：将仪表设置为PCM31C模式即可Page26目录PTN故障定位方法PTN常见故障处理DCN故障处理MPLSTunnel故障处理PW故障处理CES业务故障处理以太网业务故障处理时钟故障处理以太网业务故障处理流程故障现象以太网业务中断、出现丢包或错包，影响设备接入的其它业务故障原因原因1：接收信号丢失原因2：以太网网口连接错误，端协商失败原因3：端口配置了环回原因4：接口流量限值配置过低，源宿两端接口配置不一致Page28以太网业务故障处理方法故障原因产生告警告警含义处理方法接收信号丢失R_LOS激光器接收无信息检查光纤连接ETH_LOS网口连接丢失检查网线连接ETH_AUTO_LINK_DOWNETH网端口自动linkdown检查光纤连接LSR_WILL_DIE激光器寿命即将终止更换模块MAC_FCS_EXCMAC层检测到误码越限检查光纤连接端口协商失败ETH_LINK_DOWN网口连接故障告警检查协商模式和网线连接端口配置了环回LOOP_ALM环回告警取消环回接口流量限值配置过低FLOW_OVER端口流量越限检查端口参数配置ETH_CFM_UNEXPERI错帧告警 检查端口参数配置和线路故障Page29BTS1CESCESBTS2PTNPTN以太网业务故障典型告警处理ETHBTS3PTNMPLSPTNPTNMPLSPTNBSCCoreNetwrokPTNBSC10G/GEGE/FESTM-1STM-110G/GEETH_LOS光信号丢失故障原因：(1)光纤断；(2)光模块坏；(3)光衰减过大；ETH_LINK_DOWN网口连接故障故障原因：两端工作模式不一致，造成协商失败；电缆、光纤连接或者对端设备故障。MAC_FCS_EXC误码越限故障原因：MAC层检测到误码越限；线路信号劣化；光纤性能劣化；光口不洁净Page30以太网业务故障处理案例1/2案例类型-以太网接口属性配置错误导致设备与交换机对接失败故障现象：两台PTN3900通过由交换机组成的以太网网络，PTN设备通过ETFC单板连接交换机。配置了由IPTunnel承载的静态以太网专线业务后，业务不通，无法正常工作。处理步骤步骤1:单独测试交换机组成的以太网网络，发现以太网两端可以互通，以太网网络正常。步骤2:查询IPTunnle配置，本端接口和对端接口IP地址设置均正确，静态路由配置正确。步骤3:查看承载该以太网专线业务的PW的状态为“UP”。步骤4:查询以太网接口的基本属性，其“端口模式”为“二层”，“封装类型”为“802.1Q”。更改“封装类型”为“NULL”，再重新配置E-Line业务，发现业务可以正常工作Page31以太网业务故障处理案例2/2案例类型-IPTunnel承载业务时模式错误导致业务不通故障现象：用GE端口创建IPTunnel承载E-Line业务时，UNI侧端口“VLANs”设置为“1-3”，在业务测试的时候，发现业务测试一直不通故障原因PTN设备只能配置静态IPTunnel，UNI