交换机二层环路问题处理指引

1、目录1 介绍32 网络业务故障，如何确认存在环路？ 32.1 第一步：是否可以通过端口流量发现数据风暴？ 42.2 第二步：是否可以通过 MAC-Flapping检测漂移？ 52.2.1 框式交换机52.2.2 盒式交换机72.3 第三步，是否可以通过环路检测发现环路？ 82.3.1 Loop Detection（框式）92.3.2 Loopback Detection（盒式） 103 环路问题发生后，如何快速破环？ 113.1 第一步：是否理解网络业务并明确拓扑？ 113.2 第二步：是否需要用影响最小的方法破环？ 113.2.1 方法一：端口退出成环 VLAN破环 113.2.2 方法二：

2、 shutdown成环端 口破环 113.2.3 方法三：通过拔出成环光纤破环 113.3 第三步：操作后确认业务是否恢复？ 124 环路问题发生后，如何定位问题根因？ 124.1 第一步：是否由于近期施工操作引入环路？ 124.2 第二步：是否由于近期修改配置引入的环路？ 124.3 第三步：是否典型的常见环路问题？ 134.3.1 交换机自环出现环路 134.3.2 交换机下游设备自环出现环路 134.3.3 环形组网链路震荡导致环收敛震荡 144.3.4 环形组网寄存器下发失败无法破环 144.3.5 链路单通引入RRPP网络单向环154.3.6 协议堵塞的端口 L2PT (bpdu-t

3、unnel)协议报文成环 164.3.7 下游设备报文转发异常导致疑似环路 174.4 第四步：收集信息返回研发分析 175 环路问题解决后，网络是否需要优化？ 195.1 第一步：是否需要部署适当的破环协议？ 195.2 第二步：是否需要提升链路质量和可靠性？ 195.3 第三步：是否需要部署广播抑制提升网络健壮性？ 195.4 第四步：是否需要部署 QoS保证协议报文优先转发？ 196 结束语191介绍以太网链路由于各种原因， 导致数据或协议报文环形转发，导致网络形成数据风暴， 最终影响正常业务。本文档仅介绍二层网络的常见环路问题识别和处理。本指导手册按照如下思路进行二层环路问题分析和处理

4、：1、网络业务故障，如何观察确认存在二层环路？2、环路问题发生后，如何快速破环恢复业务？3、如何排查环路问题的根本原因，是否已知案例？。4、针对问题原因，对网络进行适当的优化。处理二层环路问题，您首先需要准备如下：1、整网的拓扑图，包含设备名称、登陆方式、系统 MAC。2、登陆软件，记录全部的操作记录。准备好这些，我们开始二层环路问题的处理之旅。2网络业务故障，如何确认存在环路?网络业务故障后，如发生二层环路，通常会存端口流量数据风暴和反复大量的MAC漂移现象。因此，在骨干链路所在的节点，通过如下三步操作：曰/可能存在< 环路第三步：VLAN或端口部署Y,是否检测到环路？LDT环路检测不

5、存在二层环路图1 ：环路排查流程图可以判断网络是否可能存在二层环路。2.1第一步：是否可以通过端口流量发现数据风暴？通过display interface brief 命令，查看所有接口下的流量，存在环路的接口上InUti和OutUti两个计数会逐步增加：第一次查询：151disp interface Ethernet brief | in upPHY: Physical*down: administratively down(l): loopback(b): BFD downInUti/OutUti: input utility/output utilityInterfacePHYAuto-

6、NegDuplexBandwidth InUtiOutUtiTrunkGigabitEthernet0/0/2-upenablefull100M0%0.01%GigabitEthernet0/0/16upenablefull1000M 0.56%0.56%1GigabitEthernet1/0/12upenablefull1000M 0.56%0.56%1MEth0/0/1upenablehalf100M0.01%0.01%最后一次查询：151disp interface Ethernet brief | in upPHY: Physical*down: administratively do

7、wn(l): loopback(b): BFD downInterfaceInUti/OutUti: input utility/output utilityPHY Auto-Neg Duplex Bandwidth InUti OutUtiTrunk-GigabitEthernet0/0/2upenablefull100M0%0.01%GigabitEthernet0/0/16upenablefull1000M76%76%1GigabitEthernet1/0/12upenablefull1000M76%76%1MEth0/0/1upenablehalf100M0.01%0.01%一般情况下

8、，查询只能看到网络的当前流量结果， 此时需要和网络的正常业务流量进行比较，业务流量的带宽可以从客户的网络流量监控图获取。如果只有一台设备的一个端口出入方向流量较大，可能是单端口环回。如果只有一台设备的两个端口流量较大，可能是本设备两个端口环回；如果某端口只有单方向流量，只有出或者只有入，需要重点排查，因为环路有可能在该端口的上下游设备。通常情况下：如果当前网络流量远大于正常业务，可能存在二层环路。如果当前网络流量正常，没有部署广播抑制，没有二层环路。如果当前网路流量比正常流量稍大，且部署了广播抑制，需要继续后面的第二步和第三步操 作。2.2 第二步：是否可以通过 MAC-Flapping 检测

9、漂移?MAC地址漂移即设备上一个接口学习到的MAC地址在同一 VLAN中另一个接口上也学习到，后学习到的 MAC地址表项的覆盖原来的表项。导致MAC地址漂移的因为包括网络存在环路、或者非法用户进行网络攻击。例如下图，当Switchl向两个方向同时发报文时，在 Switch2上的两个不同端口都会收到该报文，从而出现MAC地址漂移。当Switch2的两个端口出现了 MAC地址漂移时,说明交换机的两个端口间可能出现了环路。LSW2图 2 : MAC-Flapping 示意图MAC地址漂移，交换机所有形态和版本均默认支持漂移，具体的 MAC漂移配置主要是指漂移后是否告警，漂移后是否设置端口堵塞的功能。

10、由于框式交换机和盒式交换机 MAC漂移检测的命令行和检测存在差异，我们分别介绍:2.2.1 框式交换机V1R2版本，在非S系列单板上支持全局使能的MAC-Flapping检测功能（全局使能,只支持发送TRAP）。在V1R2上，开启MAC地址漂移检测：Quidwaymac-flapping alarm enableV1R3及以后的版本， 在V1R2版本的基础上，新增了基于VLAN的MAC地址漂移检 测、检测到MAC地址漂移后执行对应的动作策略。在V1R3及以后的版本上，开启 MAC地址漂移检测（下面两个命令均可使用）：系统视图下：Quidwayloop-detect eth-loop alarm

11、-onlyVLAN 视图下：Quidway -vlan1001loop-detect eth-loop alarm-only各个版本的告警信息存在一定的差异，样例如下:版本告警信息V1R1不支持V1R2全局检测L2IF/4/MAC_FLAPPING_ALARM:OID136.1.4.1.2011.5.25.4221712Themac-addresshasflapvalue.(BaseTrapSeverity=0,BaseTrapProbableCause=0,BaseTrapEventType=4,L2IfPort=549,entPhysicalIndex=1,MacAdd=0000-0000

12、-002b,vlanid=1001,FormerIfDescName=Ethernet3/0/2,CurrentIfDescName=Ethernet3/0/3,DeviceName=S9306-169)VLAN 检不支持测V1R3全局检测L2IFPPI/4/MAC_FLAPPING_ALARM:OID1.3.6.1.4.1.2011.5.25.42.2.1.7.12Themac-addresshas flap value . (L2IfPort=0,entPhysicalIndex=0,BaseTrapSeverity=4,BaseTrapProbableCause=549,BaseTrap

13、EventType=1,MacAdd=00e0-fc00-4447,vlanid=1001,FormerIfDescName=GigabitEthernet6/0/6,CurrentIfDescName=GigabitEthernet6/0/7,DeviceName=9306-222.159)VLAN 检L2IFPPI/4/MFLPVLANALARM:OID测1.3.6.1.4.1.2011.5.25.160.3.7 Loop exist in vlan 1001,for mac-flapping.V1R6全局检测L2IFPPI/4/MAC_FLAPPING_ALARM:OID1.3.6.1.

14、4.1.2011.5.25.42.2.1.7.12Themac-addresshas flap value.(L2IfPort=0,entPhysicalIndex=0,BaseTrapSeverity=4,BaseTrapProbableCause=549,BaseTrapEventType=1,MacAdd=0025-9e6e-1c55,vlanid=1001,FormerIfDescName=GigabitEthernet2/1/23,CurrentIfDescName=GigabitEthernet2/1/22,DeviceName=9303-222.157)VLAN 检L2IFPPI

15、/4/MFLPVLANALARM:OID测1.3.6.1.4.1.2011.5.25.160.3.7Loop exists in vlan1001, for flapping mac-address 0025-9e6e-1c55between port GE2/1/23 and port GE2/1/22.2.2.2 盒式交换机盒式交换机（不包括 23、27系列）V1R3及以后版本，不支持全局使能的 MAC地址 漂移检测，只支持基于VLAN的MAC地址漂移检测，同时支持检测到漂移后的发送 TRAP、 阻塞端口等动作。开启MAC地址漂移检测：VLAN 视图下：Quidway -vlan1001l

16、oop-detect eth-loop alarm-only各个版本的告警信息存在一定的差异，样例如下：版本告警信息V1R3 L2IF/4/MFLPPORTRESUME:OID1.3.6.1.4.1.2011.5.25.160.3.7Loopexistinvlanfor（hwMflpVlanId:”1001”;hwMflpVlanCfgAlarmReason:"forflapping mac-address 0000-0000-002b between port GE0/0/24and port GE0/0/23")V1R3 L2IFPPI/4/MFLPVLANALARM:

17、OID 1.3.6.1.4.1.2011.5.25.160.3.7Loop exists in vlan 1001, for flapping mac-address 0000-0000-002b between port GE0/0/24 and port GE0/0/23.V1R6 L2IFPPI/4/MFLPVLANALARM:OID1.3.6.1.4.1.2011.5.25.160.3.7Loop exists in vlan 1001, for flapping mac-address 0000-0000-002b between port GE0/0/24 and port GE0

18、/0/23.2.3 第三步：设备作为三层网关，是否存在大量 ARP报文被CPCAR丢包记录？<dgg62aslhwug>disp clock2011-11-3020:04:32WednesdayTime Zone : BJ add 08:00:00<dgg62aslhwug>dispcpu-defendarp-request statistics slot 3CPCAR on slot 3Packet TypePass(Bytes) Drop(Bytes) Pass(Packets) Drop (Packets)arp-request917206446100133915

19、61348833897078517<dgg62aslhwug>disp cpu-defend arp-reply statistics slot 3CPCAR on slot 3Packet TypePass(Bytes) Drop(Bytes) Pass(Packets) Drop (Packets)arp-reply381073700469254845405604025690080655<dgg62aslhwug>disp clock2011-11-3020:04:35WednesdayTime Zone : BJ add 08:00:00<dgg62aslh

20、wug>disp cpu-defend arp-request statistics slot 3CPCAR on slot 3Packet TypePass(Bytes) Drop(Bytes) Pass(Packets) Drop (Packets)arp-request91728872610017599401348954897084705<dgg62aslhwug>disp cpu-defend arp-reply statistics slot 3CPCAR on slot 3Packet TypePass(Bytes) Drop(Bytes) Pass(Packet

21、s) Drop(Packets)arp-reply381082540469254845405604155690080655通常情况下，ARP的交互是有序进行，短时间内不会出现超多报文的丢弃。问题一般发生在 9300作为汇聚网关场景，出现上述情况后，可能的原因是ARP的广播报文在物理环形的网络中转发， 形成协议报文的风暴，当前设备上送CPU,被交换机CPU 限速丢弃。2.4 第四步，当前是否可以增加配置环路检测发现环路？框式交换机和盒式交换机都支持检测环，框式交换机的环路监测称为 Loop Detection ;盒式交换机的环回监测称为Loopback Detection 。2.4.1 Loop

22、 Detection（ 框式）框式交换机端口配置 Loop Detection 功能以后，设备会从该端口发送环路检测报文，在端口所属且使能Loop Detection 功能的VLAN内进行环路检测，如果设备接收到自己发送的检测报文，网络上存在环路。框式交换机上的环路监测能检测到下面两种情况下的端口环路：1、设备上端口收到本端口发送的检测报文。2、设备上端口收到非本端口发送的检测报文。开启了 Loop Detection 以后，用display loop-detection命令可以查看当前环路检测的状态，用 display loop-detection interface命令可以查看具体某一个端

23、口的状态。<Quidway> display loop-detection Loop Detection is enable. Detection interval time is 5 seconds.Following vlans enable loop-detection: vlan 556Following ports are blocked for loop: NULLFollowing ports are shutdown for loop: NULLFollowing ports are nolearning for loop: NULL<Quidway>

24、display loop-detection interface gigabitethernet 1/0/0 The port is enable.The port's status list:StatusWorkModeRecovery-timeEnabledVLAN告警示例如下:版本告警信息V1R2LDT/4/DetectLoop:OID:1.3.6.1.4.1.2011.5.25.174.3.1InterfaceIndex:12 InterfaceName:Ethernet3/0/1VlanListLow:VlanListHigh:, The port detected loop

25、!V1R3LDT/4/DetectLoop:OID:1.3.6.1.4.1.2011.5.25.174.3.1InterfaceIndex:7 InterfaceName:GigabitEthernet6/0/1VlanListLow:1000 VlanListHigh:none, The port detected loop!V1R6LDT/4/DetectLoop:OID:1.3.6.1.4.1.2011.5.25.174.3.1The portdetectedloop.(InterfaceIndex:14InterfaceName:GigabitEthernet1/0/1 VlanLis

26、tLow:1000 VlanListHigh:none)NormalShutdown2005562.4.2 Loopback Detection（ 盒式）盒式交换机端口配置 Loopback Detection 功能以后，设备会从该端口发送环路检测报文，一个untagged 报文和指定 VLAN Tag 报文。盒式交换机的 Loopback Detection只能针对设备上端口收到本端口发送的检测报文的环路。开启了 Loop Detection 以后，用display loop-detection命令可以查看环路检测功能的配置信息和接口状态信息。<Quidway> display

27、loopback-detectLoopback-detect is enabled in the system viewLoopback-detect interval: 30Loopback-deteck sending-packet interval:5InterfaceProtocolID RecoverTime Action StatusGigabitEthernet0/0/260230block NORMAL盒式交换机告警示例如下:版本告警信息V1R3LDT/4/Porttrap:OID136.1.4.1.2011525.17433Loopbackdoes exist on inte

28、rface(27)GigabitEthernet0/0/22( VLAN1000 ) , loopback detect status: 2.(1:normal; 2:block;3:shutdown; 4:trap; 5:nolearn)V1R6LDT/4/Porttrap:OID1.3.6.1.4.1.2011.5.25.174.3.3Loopbackdoes exist on interface(27)GigabitEthernet0/0/22( VLAN1000 ) , loopback detect status: 2.(1:normal; 2:block;3:shutdown; 4

29、:trap; 5:nolearn)3环路问题发生后，如何快速破环？以太网的环路，会在短时间内形成数据风暴，当端口的流量达到带宽的最大负荷，会形成链路拥塞，影响网络业务。因此，在确认网络发生数据环路后，请按照如下步骤处理：3.1 第一步：是否理解网络业务并明确拓扑？环形网络拓扑一般较为复杂，可以向客户寻求网络拓扑结构全图，具体到网络的VLAN规划信息，每台设备名称、系统 MAC、管理IP,本端端口名称、对端端口名称。完整的拓扑信息是解决环路问题的首要条件，如果没有拓扑图，需要从发现环路的设备，通过逐跳登陆，记录设备信息、端口信息和VLAN信息，手动绘制完整的拓扑。3.2 第二步：是否需要用影响最

30、小的方法破环？紧急破环又称手动破环，当网络风暴严重影响正常的业务时，需要在尽快恢复业务。可以通过如下三个方法紧急破环：（注意紧急破环不要影响远程 telnet路径所在的设备、端口和 VLAN ,避免无法登陆。）3.2.1 方法一：端口退由成环 VLAN 破环将成环的网络上，其中一个端口退出成环VLAN ,属于影响面最小的方法。端口命令行备注Accessundo default vlan可能影胴卜游业务。Trunkundo port trunk allow-pass vlanid无Hybridundo hybrid vlan id不区分 tagged 和 untagged备注：需要注意不要 sh

31、utdown 远程telnet路径所在的端口，避免无法远程登陆。3.2.2 方法二：shutdown成环端口破环Shutdown 成环的物理端口，也可以达到破环的效果。此时，需要保证 shutdown 的端口两端在全部 VLAN内能够通信。3.2.3 方法三：通过拔生成环光纤破环通过拔出成环的光纤，可以紧急破环。备注：该方法可以使用 shutdown 端口代替，只有在设备无法登陆时才使用。3.3 第三步：操作后确认业务是否恢复？通过ping等测证网络通信质量，并和客户一起观察现网业务是否已经恢复。环路拓扑存在冗余链路和配置， 环路破除后业务会自行恢复， 特殊情况在此不一概而论。4环路问题发生后

32、，如何定位问题根因？4.1 第一步：是否由于近期施工操作引入环路？如果环路问题是由于近期施工操作引入，可以和施工方确认， 了解施工的过程， 特别是新增线路连接的细节，结合拓扑结构，确认后排出物理环路。4.2 第二步：是否由于近期修改配置引入的环路?常见的容易配置引入环路的命令行如下:特性命令行成坏原因应对方案接口管理Undo shutdown端口进入转发引入环路。关闭端口或者部署破环协议STPBpdu enable盒式交换机端口下需要使能bpdu enable 命令才能接收并处理STP报文。配置命令（V1R6及以后版本已默认使能）框式交换机端口下需要去使能该命令，交换机才不会透传STP报文。删

33、除命令bpdubridgeenable使能该命令会导致 STP报文透传，无法上送处理。删除命令bpdu-tunnelstpbridgeroleprovider使能该命令会导致STP无法处理报文。删除命令RRPPRrpp enable全局小配置 rrpp enable ,无法计算堵塞端口破环。配置命令SmartLinkSmartlink enableSmartLink 组模式卜/、使能该命令，无法计算堵塞端口。配置命令4.3 第三步：是否典型的常见环路问题?4.3.1 交换机自环由现环路LSW1图3:设备自环出现环路前置条件：交换机未配置 STP和LDT问题现象：端口出方向和入方向流量持续增加。

34、问题原因：端口自环或者链路环回。处理方法：1、首先在端口下去使能loopback internal 。2、设备由于链路引入环路有两种：一种是单端口收发环回。第二种是设备上两个端口环路。此类环路造成的原因是光纤或者网线误接，需要拆除连线。4.3.2 交换机下游设备自环由现环路LSW1LSW2图4:下游设备自环出现环路前置条件：设备未部署 STP和LDT,本设备未环回。问题现象：端口入方向和出方向流量持续增大，环回链路在下游。问题原因：下游链路环回或者自环。处理方法：1、首先逐跳向下游寻找环路的链路。1、然后在端口下去使能 loopback internal 。2、设备由于链路引入环路有两种：一种

35、是单端口收发环回。第二种是设备上两个端口环路。此类环路造成的原因是光纤或者网线误接，需要拆除连线。4.3.3 环形组网链路震荡导致环收敛震荡LSW2O 理论上的堵塞端口计算的堵塞端口图5:环路堵塞端口存在振荡前置条件：设备部署 STP、RRPP、SEP或者SMLK等破环协议。问题现象：环路一段时间收敛正常，一段时间收敛失败，或者持续震荡。问题原因：网络上链路存在震荡，导致环网协议报文转发失败，反复超时震荡。如:1、链路存在错包，协议报文被丢弃。、未知单播抑制、不合理的qos等配置丢弃协议报文。处理方法：1、如因为错包丢弃，建议更换问题网线、光纤或者光模块。2、如因为被抑制丢包，建议修改单播抑制

36、和不合理的Qos配置。3、观察当前网络带宽，确认是否是网络流量拥塞，导致协议报文丢失，超时放开堵塞 端口导致临时环路，此类问题需要进行网络优化。4.3.4 环形组网寄存器下发失败无法破环LSW2图6 :环形网络无法破环前置条件：物理环路，协议已经破环。问题现象：网络数据风暴问题原因：软件计算堵塞端口正确，但是芯片下发失败。处理方法：此类问题极其少见，可以通过shutdown 、undo shutdown期望的堵塞端口，观察协议是否收敛成功。4.3.5 链路单通引入RRPP网络单向环故障的单通端口图7:链路单通造成的 RRPP环前置条件：RRPP组网问题现象：RRPP堵塞端口超时放开问题原因：R

37、RPP心跳检测方向，链路单通。处理方法：解决单通链路问题。该问题有两个规避方法:1、链路自协商，链路质量较差的情况下，链路单通无法协商UP ,无单通问题。2、通过在链路上部署 DLDP检测协议，检测到链路单通后,会完全shutdown两侧的端口，解决单向环环路问题。4.3.6 协议堵塞的端口 L2PT (bpdu-tunnel )协议报文成环LSW2图8:已经破环的网络协议报文成环前置条件：二层网络环路收敛正常，堵塞端口状态下发正常问题现象：disp l2protocol-tunnel statistics查看到报文增加很快，软转发成环。问题原因：由于堵塞端口软件转发L2PT (bpdu-tu

38、nnel )协议报文，未判断端口是否堵塞，从堵塞端口发送 L2PT报文，引起的L2PT报文成环，处理方法：R6以前版本需要加载最新的补丁解决问题。V1R6C00SPC900 解决该问题。4.3.7 下游设备报文转发异常导致疑似环路LSW1LSW2计算的堵塞端口会反您需图9 :报文转发异常导致环路前置条件：二层网络环路收敛正常，堵塞端口状态下发正常问题现象：在LSW3形成频繁的MAC-Flapping ,出现疑似环路问题。问题原因：二层网络的边缘设备，由于个别厂家实现差异，对于无法处理的报文, 弹转发，常见的设备有机顶盒等。处理方法：由于报文反弹，此类问题需要更换边缘设备解决。4.4 第四步：收集信息返回研发分析如果问题还没有解决， 那么问题可能是由于交换机的软件或者硬件故障导致环路, 要收集信息返回研发进行分析。相对其他单台设备问题，环路问题涉及多台设备或者整网。相关信息参考价值、收集方法以及细节要求如下表。序号环路相关是否必选？信息价值？