H3C核心交换机常见故障定位手册

核心交换机常见故障处理手册2-2-PCB1Version:VER.BPCB2Version:VER.CBootromVersion:108CPLD1Version:002CPLD2Version:002CPLD3Version:002ReleaseVersion:H3CS12510-X-1005PatchVersion:NoneRebootCause:ColdRebootLPU1:Uptimeis0weeks,4days,1hour,50minutesBOARDTYPE:DRAM:FLASH:NVRAM:BOARDTYPE:DRAM:FLASH:NVRAM:PCB1Version:PCB2Version:BootromVersion:CPLD1Version:CPLD2Version:CPLD3Version:ReleaseVersion:PatchVersion:RebootCause:LSX1TGS48EC14096Mbytes0Mbytes0KbytesVER.BVER.C108002002002H3CS12510-X-1005NoneColdRebootLPU2:Uptimeis0weeks,4days,1hour,52minutesBOARDTYPE:DRAM:FLASH:NVRAM:BOARDTYPE:DRAM:FLASH:NVRAM:PCB1Version:PCB2Version:BootromVersion:CPLD1Version:CPLD2Version:CPLD3Version:ReleaseVersion:PatchVersion:RebootCause:LSX1TGS48EC14096Mbytes0Mbytes0KbytesVER.BVER.C108002002002H3CS12510-X-1005NoneColdReboot2.1.2故障处理步骤.单板状态 Absent、Fault确认单板是否插稳，如检查单板与机框之间是否有空隙，也可以将单板拔出后重插入。将单板放到别的槽位，将框上别的正常的单板放到这个槽位，进一步确认是不是单板故障。检查单板面板、内部的指示灯是否发光。如果单板是主控板、网板，请连上串口线，查看配置终端上是否有单板正常启动的显示信息、或单板启动是否异常。(5)如确认为单板故障，请更换单板并将故障信息发送技术支持人员分析。.单板状态Loading检查单板面板、内部的指示灯是否发光。如果单板是主控板、网板，请连上串口线，查看配置终端上是否有单板正常启动的显示信息、或单板启动是否异常。(3)如确认为单板故障，请更换单板并将故障信息发送技术支持人员分析。.单板重启这里的单板重启是指单板出现过重启，而当前单板状态是 Normal。通过日志或运行时间分析重启的时间段，确认重启的时间点附近有无用户通过命令行 reboot重启或进行单板上下电等操作。1005以上版本displayversion 命令支持查询单板最近一次重启的原因。比如下面示例中"Poweron”表示单板最近一次重启原因是掉电重启。<Sysname>displayversionH3cComwareSoftware,Version7.1,045,Release1005Copyright(c)2004-2013HangzhouH3CTech.Co.,Ltd.Allrightsreserved.H3CS12510-Xuptimeis0weeks,4days,1hour,55minutesLastrebootreason:Coldreboot如果所有单板同时出现重启，请检查设备电源模块是否正常，确认外部电源是否出现过停电，电源进线是否插稳、是否出现松动。确认日志中重启时有无出现"SlotXneedtoberebootedautomatically! ”提示信息，这种情况是不正常的。请更换单板并搜集故障信息并发送技术支持人员分析。确认日志中有无 Hardwareerror提示信息，设备运行过程中单板出现 Hardwareerror是不正常的。请搜集信息发送给技术支持人员分析。%@437307%May1522:03:02:1222013S12508-XDIAG/3/ERROR:Hardwareerror!chassis=1,slot=7,code=0%@437308%May1522:03:02:1222013S12508-XDIAG/3/ERROR:Hardwareerror!chassis=1,slot=7,code=1%@437309%May1522:03:02:1222013S12508-XDIAG/3/ERROR:Hardwareerror!chassis=1,slot=7,code=2(6)如无法确认，请搜集故障信息并发送技术支持人员分析。电源故障故障描述设备电源指示灯异常或上报 fault故障处理步骤.检查是否存在Fault或Absent状态的电源模块使用displaypower 命令显示电源模块状态，查看是否存在 Fault或Absent状态的电源模块。<HP>displaypowerPowerlDStateModeCurrent(A)Voltage(V)Power(W)1NormalAC2.6053.81139.902Absent --3Absent --4NormalAC1.6053.8286.115Absent --6Absent --7Absent --8Absent --如果存在Absent状态的电源模块，请前往步骤 3。如果存在Fault状态的电源模块，请前往步骤 4。.检查电源异常模块查看电源异常状态： Absent或者Fault.使用displayalarm命令。[HP]displayalarmSlotLevelInfoERRORFan1isfaulty.INFOPower1isabsent.INFOPower2isabsent.INFOPower3isabsent.INFOPower5isabsent.INFOPower6isabsent.INFOPower7isabsent.INFOPower8isabsent.如果存在Absent状态的电源模块，请前往步骤 3。如果存在Fault状态的电源模块，请前往步骤 4。.检查Absent状态电源模块如果电源模块状态为 Absent,表示对应槽位没有在位的电源模块或者电源模块没有安装牢固。如果电源模块槽位有电源模块在位且显示为 Absent,请将电源模块拆卸后重新安装，然后使用displaypower 命令查看对应槽位电源状态是否显示为 Normal。如果仍然显示为 Absent状态，请更换新电源模块。如果更换新电源模块后仍然显示为 Absent状态，请前往步骤 5。.检查Fault状态电源模块如果存在 Fault 状态电源模块，表示该电源模块异常，无法供电。电源处于 Fault 状态可能有以下原因：. 电源线可能没接稳而脱落。如果电源线脱落，那么电源的电流和电压都会显示为 0，电源状态显示为 Fault。请检查电源是否接线，接线后使用 displaypower命令查看对应槽位电源状态是否显示为Normal。如果没有恢复为 Normal，请前往(2)。<HP>displaypowerPowerIDStateModeCurrent(A)Voltage(V)Power(W)1NormalAC2.60 53.81 139.902FaultAC0 0 0 /* 电源没接线状态显示 */.可能是电源模块本身温度过高导致。如果电源模块上积灰较多可能引起电源模块温度升高。请查看电源模块积灰情况，如果灰尘较多，请清理灰尘，并将电源模块拆卸后重新安装。然后使用displaypower命令查看对应槽位电源状态是否显示为 Normal。如果没有恢复为Normal，请将该电源模块插入其它空闲电源模块槽位并查看电源状态是否为 Normal。如果该电源模块仍然显示为Fault状态，请更换电源模块。如果更换新电源模块后仍然显示为 Fault状态，请前往步骤 5。.寻求技术支持如果上述检查完成后故障仍无法排除，请联系 H3c的技术支持工程师。风扇故障故障描述风扇框指示灯异常，设备打印风扇异常信息，如：%Sep2220:38:32:9472009H3cxxxxxxx故障处理步骤风扇框在位时，用手放在设备出风口，判断是否有出风，如果出风口无风，则风扇异常检查风扇的入风口、出风口是否被挡住或积累太多灰尘。检查风扇框是否正常在位，各个风扇的状态是否正常、转速是否相差达到 50%以上。如存在异常，建议通过风扇框拔插、更换交叉进一步确认。如果故障不能恢复， 需要更换该风扇框， 但当前没有风扇框， 请关闭设备以免发生温度高导致单板烧坏；如果有降温措施保证系统工作在 xx度以下，可以暂时继续使用设备。<System>displayfanFan-tray1:Status:NormalFannumber:5Fanmode:AutoAirflowDirection:Front-to-backFanStatusSpeed(rpm)1Normal37072Normal19093Normal20314Normal18635Normal1921Fan-tray2:Status:NormalFannumber:5Fanmode:AutoAirflowDirection:Front-to-backFanStatusSpeed(rpm)1Normal37762Normal19793Normal19334Normal19565Normal1969温度告警故障描述设备打印温度过低、过高等告警信息，如：%Sep2220:38:32:9472009H3cDEVM/4/BOARD_TEMPERATURE_TOOHIGHfcrdtemperatureistoohighonChassis1Slot5,typeisLSX1TGS48EC.故障处理步骤检查环境温度是否正常。 如果环境温度较高， 请确认原因，比如机房通风不畅、 空调制冷故障等。检查设备当前的temperature温度是否超出上下的Warning>Alarm门限。也可以用手触摸单板，确认单板是不是很烫，如单板温度很高，请立即检查原因。持续处于较高的温度下，可能会导致单板损坏。如果温度过高，请参照 2.3 风扇故障确认是否风扇故障导致。如果温度值为error或出现明显不合实际的值，可能是通过I2C总线访问单板温度传感器异常。设备光模块信息访问也是通过相同的 I2C总线，请继续检查单板读取光模块信息是否正常。 如光模块访问正常，请使用下面命令重新设置单板温度，并通过displayenvironment查看是否设置成功。[Sysname]temperature-limitchassis1slot0hotspot1-208590<Sysname>displayenvironmentSystemtemperatureinformation(degreecentigrade):SlotSensorTemperatureLowerWarningAlarmShutdown0 hotspot145 -20 85 90 950 hotspot248 0 75 90 950hotspot34607590950hotspot44707590950hotspot54907590950hotspot64707590951hotspootspot24807590951hotspot3460759095如果仍然无法确认故障原因，请搜集信息并发送给技术支持人员协助分析。3链路端口故障处理端口错包故障描述使用displayinterface命令查询端口的入、出方向流量统计信息，发现错包统计计数不为 0。<Sysname>displayinterfaceTen-gigabitethernet1/2/0/6Ten-GigabitEthernet1/2/0/6currentstate:UPIPPacketFrameType:PKTFMT_ETHNT_2,HardwareAddress:80f6-2ec3-ac04Description:SH-B15A-0202-J20-H5800-L-01-te1/0/49LoopbackisnotsetMediatypeisopticalfiber,Porthardwaretypeis10G_BASE_SR_SFP10Gbps-speedmode,full-duplexmodeLinkspeedtypeisforcelink,linkduplextypeisforcelinkFlow-controlisnotenabledTheMaximumFrameLengthis8168BroadcastMAX-ratio:100%UnicastMAX-ratio:100%MulticastMAX-ratio:100%AllowjumboframetopassPVID:1Linkdelayis2(sec)Ethernetportmode:LANPortlink-type:trunkVLANpassing:1(defaultvlan),10-28,91-93,106-108,121-123,184,401,999VLANpermitted:1(defaultvlan),2-4094Trunkportencapsulation:IEEE802.1qPortpriority:2Lastclearingofcounters:NeverPeakvalueofinput:10070bytes/sec,at2013-05-1419:11:30Peakvalueofoutput:315310bytes/sec,at2013-05-1419:56:27Last300secondsinput:0packets/sec90bytes/sec0%Last300secondsoutput:0packets/sec530bytes/sec0%Input(total):1617091packets,131185047bytes1144855unicasts,79482broadcasts,392754multicasts,-pausesInput(normal):1617091packets,131185047bytes1144855unicasts,79482broadcasts,392754multicasts,0pausesInput:0inputerrors,0runts,0giants,0throttles0CRC,0frame,0overruns,-aborts-ignored,-parityerrorsOutput(total):7779022packets,862020306bytes1138915unicasts,3567900broadcasts,3072207multicasts,-pausesOutput(normal):7779022packets,862020306bytes1138915unicasts,3567900broadcasts,3072207multicasts,0pausesOutput:0outputerrors,-underruns,-bufferfailures0aborts,0deferred,0collisions,0latecollisions I-lostcarrier,-nocarrier.端口入方向报文计数错误字段解释inputerrors:各种输入错误的总数。runts:表示接收到的超小帧个数。超小帧即接收到的报文小于 64字节，且包括有效的 CRG?段，报文格式正确。giants:是超过端口设置的 MaximumFrameLength的报文个数。CRC表示接收到的CR或验错误报文个数。frame:端口接收时出错的报文。.端口出方向报文计数错误字段解释outputerrors:各种输出错误的总数。aborts:表示发送失败的报文总数。deferred:表示延迟报文的总数。报文延迟是指因延迟过长的周期而导致发送失败的报文，而这些报文由于发送媒质繁忙而等待了超过 2倍的最大报文发送时间。collisions:表示冲突帧总数，即在发送过程中发生冲突的报文。latecollisions:表示延迟冲突帧，即发送过程中发生延迟冲突超过 512bit时间的帧。3.1.2故障处理步骤.端口入方向出现CRCframe、throttles 错包且计数持续增加使用仪器测试链路，链路质量差或者线路光信号衰减过大会导致报文在传输过程中出错。 如链路故障请更换网线或光纤。如端口使用光模块，参照3.5 光模块故障确认是否光模块故障导致。与别的正常的端口更换网线或光纤光模块， 如端口更换后错包消失， 端口更换回来错包又再次出现端口相关，应为单板端口故障，请更换端口并将故障信息发送技术支持人员分析； 如更换到其他正常端口仍会出现错包，则对端设备、中间传输链路故障的可能性较大，请排查。排查对端设备或者中间的传输设备。(5)如故障无法确认，请将故障信息发送技术支持人员分析。端口入方向出现 Overrun错包且计数持续增加Overrun计数是由于端口输入速率超过端口处理能力，导致丢包。如果只有某一个端口收发包异常，或者某一个端口下挂设备的业务不通，同时这个单板上的其他端口都是正常的，可以多次查询 displayinterface命令：如果inputerrors有增加，且 overruns没有增加，请排查光纤 /光模块/对端设备；如果inputerrors有增加，且等于 overruns的增加，那么可以怀疑是单板内部拥塞或者堵死，请继续判断：如果overrun计数有增加，且 Input(normal)计数没有增加，表明所有入报文都 overrun，证明端口堵死，请将故障信息发送技术支持人员分析。如果overruns计数有增加，且 Input(normal)计数有增加，表明部分入报文都 overrun，证明端口拥塞，请将故障信息发送技术支持人员分析。如果仍然无法确认，请将故障信息发送技术支持人员分析。端口入方向出现 giants错包且计数持续增加检查两端的 jumbo配置是否一致， 如jumbo是否使能， 端口默认的最大报文长度是否一致， 允许最大报文长度是否一致。如果仍然无法确认，请将故障信息发送技术支持人员分析。端口出方向出现错包且计数持续增加检查端口是否配置为半双工模式，如为半双工，请更改为全双工模式。如果仍然无法确认，请将故障信息发送技术支持人员分析。端口无法 up故障描述端口无法正常 Up。故障处理步骤端口无法 Up测试端口之间网线、光纤链路是否正常，光纤两端的发送 /接收端是否错连；更换端口之间的网线、光纤或将网线、光纤放到别的正常端口，以确认是否中间传输链路故障检查本端、对端端口配置是否正确，如端口是否 shutdown，速率、双工、协商模式、 MDI是否正确。[Sysname]displaycurrent-configurationinterfaceTen-gigabitethernet1/6/0/1#interfaceTen-GigabitEthernet1/6/0/1portlink-modebridgeportlink-typetrunkporttrunkpermitvlan1portlink-aggregationgroup1#Return表3双工支持情况:SpeedDuplex10G1000M100M10MFullSupportSupportSupportSupportHalfNosupportNosupportNosupportNosupport如端口使用光模块，请检查两端光模块类型是否一致，如速率、波长、单模多模状态等；与正常的光模块交叉更换，并参照3.5 光模块故障排除是否为光模块故障导致。[Sysname]displaytransceiverinterfaceTen-gigabitethernet2/9/0/1Ten-GigabitEthernet2/9/0/1transceiverinformation:TransceiverType:10G_BASE_LRM_SFPConnectorType:LCWavelength(nm):1310TransferDistance(m):220(50um),220(62.5um),220(om3)DigitalDiagnosticMonitoring:YESVendorName :FINISARCORP.(4)如确认为光模块故障，请更换光模块，并将故障信息发送技术支持人员分析。端口由U陵成Down故障描述端口状态由Up变成Down故障处理步骤查看本设备及对端设备日志，确认有无端口 shutdown操作。查看两端端口状态，确认是否为协议异常或在线诊断模块检测到异常将端口 shutdown。如这里的Te2/8/0/1端口出现"Loopbackdetection down",是由于loopback-detection配置为shutdown,当设备在线诊断模块检测到端口故障时，将端口shutdown隔离，以便流量切换到备份链路。请将故障信息发送技术支持人员分析。[Sysname]displayinterfaceTen-gigabitethernet2/8/0/1Ten-GigabitEthernet2/8/0/1currentstate:DOWN( Loopbackdetectiondown)IPPacketFrameType:PKTFMT_ETHNT_2,HardwareAddress:80f6-2ec3-ac05Description:SH-B15A-0202-V03-H5800-L-01-te1/0/50LoopbackisnotsetMediatypeisopticalfiber,Porthardwaretypeis10G_BASE_SR_SFP10Gbps-speedmode,full-duplexmodeLinkspeedtypeisforcelink,linkduplextypeisforcelinkFlow-controlisnotenabled参照32__端口无法up,排查两端端口配置，网线、光模块、光纤等链路是否正常。(4)如仍无法确认，请搜集本端、对端设备信息，并将信息发送技术支持人员分析。端口频繁Up/Down故障描述端口频繁Up/Down。故障处理步骤对于光口，请参照3.5 光模块故障确认光模块是否异常。 查看光模块alarm信息来排查两端光模块以及中间光纤问题；对于支持诊断功能的光卞靠块可以通过查看 diagnosis信息确认光模块的光功率是否处于上下门限临界值。 如发送光功率处于临界值，请更换光纤、光模块做交叉验证；如接收光功率处于临界值，请排查对端光模块及中间光纤链路。对于电口，一般在自协商情况下容易出现协商不稳定，这种情况请尝试设置强制速率双工。如果故障依存在，请排查链路、对端设备、中间设备。如仍无法确认，请将故障信息发送技术支持人员分析。光模块故障故障描述安装光模块的接口不能正常工作。故障处理步骤检查光模块Alarm告警信息。告警信息中如果存在接收有问题那一般是对端端口、 光纤或中转传输设备导致；如果是发送有问题或者电流、电压异常那就需要排查本端端口。<Sysname>displaytransceiveralarminterfaceGigabitEthernet2/0/1GigabitEthernet2/0/1transceivercurrentalarminformation:TXfaultPCSreceivelocalfaultLasertemperaturefault表4光模块告警信息说明字段描述SFP/SFP+RXlossofsignal接收信号丢失RXpowerhigh接收光功率高告警RXpowerlow接收光功率低告警TXfault发送错误TXbiashigh偏置电流高告警TXbiaslow偏置电流低告警

字段描述TXpowerhigh发送光功率高告警TXpowerlow发送光功率低告警Temphigh温度高告警Templow温度低告警Voltagehigh电压高告警Voltagelow电压低告警TransceiverinfoI/Oerror模块信息读写错误Transceiverinfochecksumerror模块信息校验和错误Transceivertypeandportconfigurationmismatch模块类型和端口配置不匹配Transceivertypenotsupportedbyporthardware端口不支持该模块类型XFPRXlossofsignal接收信号丢失RXnotready接收状态未就绪RXCDRlossoflockRXCDR寸钟失锁RXpowerhigh接收光功率高告警RXpowerlow接收光功率低告警TXnotready发送状态未就绪TXfault发送错误TXCDRlossoflockTXCDR寸钟失锁TXbiashigh偏置电流高告警TXbiaslow偏置电流低告警TXpowerhigh发送光功率高告警TXpowerlow发送光功率低告警Modulenotready模块状态未就绪APDsupplyfaultAPD（AvalanchePhotoDiode,雪崩光电二极管）错误字段描述TECfaultTEC(ThermoelectricCooler,热电冷却器)错误Wavelengthunlocked光信号波长失锁Temphigh温度高告警Templow温度低告警Voltagehigh电压高告警Voltagelow电压低告警TransceiverinfoI/Oerror模块信息读写错误Transceiverinfochecksumerror模块信息校验错误Transceivertypeandportconfigurationmismatch模块类型和端口配置不匹配Transceivertypenotsupportedbyporthardware端口不支持该模块类型检查光模块的接收、发送光功率是否正常(即在该光模块的光功率上下门限值之内)。H3c定制光模块的接收光功率、发送光功率可以通过displaytransceiverdiagnosis 命令查询到(非H3c定制的光模块可能查询不到)。[Sysname]displaytransceiverdiagnosisinterfaceGigabitEthernet2/0/1GigabitEthernet2/0/1transceiverdiagnosticinformation:Currentdiagnosticparameters:Temp.(C)Voltage(V)Bias(mA)RXpower(dBM)TXpower(dBM)40 3.34 1.13 -10.43 0.20H3c定制光模块的光功率上下门限值可以通过下面方式查看(二选一) ：部分GE端口光模块通过_displaytransceiverinterface 命令查询接收光功率、发送光功率的上下门限值。[Sysname_hidecmd]_displaytransceiverinterfaceGigabitEthernet2/0/1GigabitEthernet2/0/1transceiverinformation:TransceiverType :10G_BASE_LRM_SFPConnectorType :LCWavelength(nm) :1310TransferDistance(m) :220(50um),220(62.5um),2209m3)DigitalDiagnosticMonitoring:YESVendorName :FINISARCORP.Max.TXPower(dBm):0.5Min.TXPower(dBm):-6.5Min.RXPower(dBm):-6.0Max.RXPower(dBm):1.5OriginalManufacturer:FINISARCORP.PartNumber:FTLX1371D3BCL-HCPartNumber:FTLX1371D3BCL-HCRevNumberSerialNumber:UG903sLProductDate:09-09-1410GE端口及部分GE^SerialNumber:UG903sLProductDate:09-09-1410GE端口及部分GE^口光模块需通过命令 _displaytransceiverdiagnosisinterface查询接收光功率、发送光功率的上下门限值。[Sysname-hidecmd]_displaytransceiverdiagnosisinterfaceTen-gigabitethernet1/6/0/1Ten-GigabitEthernet1/6/0/1transceiverdiagnosticinformation:Currentdiagnosticparameters:Temp.(°C)Voltage(V)Bias(mA)RXpower(dBM)TXpower(dBM)43 3.37 45.20 0.08 -2.41Alarmthresholds:Temp.(°C)Voltage(V)Bias(mA)RXpower(dBM)TXpower(dBM)High833.6380.002.501.50Low-133.0015.00-20.00-7.00ParameterswhenfirstusedonN/A:Temp.(°C)Voltage(V)Bias(mA)RXpower(dBM)TXpower(dBM)N/AN/AN/AN/AN/ATotalaccountofalarms:0Latestoccurrenceofdifferentalarms:Type Date DescriptionTemp. N/A N/AVoltage N/A N/ABias N/A N/ARXpowerN/A N/ATXpowerN/A N/ATX N/A N/ARX N/A N/AOthersN/AN/ALatestthreealarms:DateDescription在端口Up时：如果光模块发送光功率超出门限，可能为光模块本身故障引起，请与其他正常的光模块交叉测试，确认更换到其他端口故障是否依然存在； 如果确认为光模块故障， 请更换并将故障信息发送技术支持人员分析。如果光模块接收光功率超出门限值，请排查对端设备、中间链路、中转设备。对怀疑故障的光模块进行交叉验证， 如更换端口、与正常的光模块互换， 确认是光模块本身故障还是相邻设备或中间链路故障。(4)如仍无法确认，请将故障信息发送技术支持人员分析。建议尽量使用H3c定制光模块。可通过displaytransceivermanuinfo 命令来查询光模块的定制厂商信息，如果VendorName为H3G说明是H3c定制光模块。4报文转发故障处理ping不通或丢包故障描述报文转发丢包，ping不通或ping丢包，tracert异常。<Sysname>pingPING:56databytes,pressCTRL_CtobreakRequesttimeoutRequesttimeoutRequesttimeoutRequesttimeoutRequesttimeout―pingstatistics--5packet(s)transmitted0packet(s)received100.00%packetloss4.1.2故障处理步骤.设备入出报文统计报文转发异常通常会涉及多台设备，需要逐一排查。为方便排查，排查前建议先明确报文的转发走向，如经过哪些中间设备，在设备的哪些接口进入设备，又会从哪些接口出去。通过镜像抓包或配置ACL规则统计设备有没有收到或发出相应的业务报文，以配置ACL规则统计端口入方向Ping报文为例：定义相关的ACL[Sysname]aclnumber3000[Sysname-acl-adv-3000]rule1permitipdestination0定义流分类和流行为[Sysname]trafficclassifierstatistic_1[Sysname-classifier-static]if-matchacl3000[Sysname]trafficbehaviorstatistic_1[Sysname-classifier-static]accountingpacket定义策略[Sysname]qospolicystatistic_1[Sysname-classifier-static]classifierstatistic_1behaviorstatistic_1将策略应用到端口入方向[Sysname]interfaceg8/0/1[Sysname-GigabitEthernet8/0/1]qosapplypolicystatistic_1inbound检查入方向报文统计方t数，可以通过resetcounterinterface命令清除计数[Sysname]displayqospolicyinterfaceg8/0/1Interface:GigabitEthernet8/0/1Direction:InboundPolicy:statistic」Classifier:statistic_1Operator:ANDRule(s):If-matchacl3000Behavior:statistic」AccountingEnable:1000(Packets)2.报文计数分析如果设备未收到Ping报文，请排查上游的相邻设备；如果设备发送的Ping报文计数正确，建议排查下游的相邻设备；如果Ping报文入出计数不正确，请参照 L2转发故障、L3转发故障、MPLS转发故障继续排查。4.2 L2转发故障故障描述S12500-X与属于同一个网段、使用相同 VLAN的设备之间，二层流量丢包/不通。报文在设备上进行二层转发的条件是报文的目的 MACW交换机自身的 MA5相等。注意：交换机自身的MACM址有多个，属于同一个地址段，比如下面显示的是交换机 VLAN^n的MAC[Sysname]displayinterfacevlan-interface10Vlan-interface10currentstate:UPLineprotocolcurrentstate:UPDescription:Vlan-interface10InterfaceTheMaximumTransmitUnitis1500InternetAddressis/24PrimaryIPPacketFrameType:PKTFMT_ETHNT_2,HardwareAddress:00e0-fc00-6503IPv6PacketFrameType:PKTFMT_ETHNT_2,HardwareAddress:00e0-fc00-6503Lastclearingofcounters:NeverLast300secondsinputrate:0bytes/sec,0bits/sec,0packets/secLast300secondsoutputrate:0bytes/sec,0bits/sec,0packets/sec0packetsinput,0bytes,0drops0packetsoutput,0bytes,0drops故障处理步骤1.配置检查检查二层配置是否正常，如：VLAN/PVID报文过滤报文重定向流量监管(CAR流量整形(GT9未知单播/组播/广播报文抑制MAO查检查MAC^习的端口是否正确，是否存在环路导致 MA/习到错误端口，必要时可以配置静态 MAC来快速恢复业务。<Sysname>displaymac-addressMACADDRVLANIDSTATEPORTINDEX AGINGTIME(s)000f-e259-79c025LearnedGigabitEthernet2/15/0/1AGING00e0-fc12-345625LearnedGigabitEthernet2/15/0/1AGING0023-8956-7b003102LearnedTen-GigabitEthernet2/4/0/1AGING0023-8956-7b003202LearnedTen-GigabitEthernet2/4/0/8AGING4macaddress(es)found--L2环路检查查看设备MACM址漂移记录：[Sysname]probe[Sysname-probe]debugl2slot_idchip_idmac/move_rec/show上述命令中slot_id指业务单板slot号；chip_id指单板芯片号0〜3。例如：[Sysname-probe]debugl270mac/move_rec/show// 查看slot7板，0芯片mac地址漂移信息===================L2MACMOVEMODULEINFO======================================L2MacMoveModuleEnabledL2MacMoveDebugSwitchOff===========================L2MACMOVERecordINFO===========================MacAddressVlanAggModPort->AggModPortCntLatestTimeDel0:23:8b:f7:a7:ad1000191 ->01971032013/6/1710:16:491该显示表示：0023-8bf7-a7adMAC地址，从VLAN100的接口(Mod=19,Port=1)漂移到了另外一个接口(Mod=19,Port=7)总共漂移了103次，最后一次漂移时间为 2013/6/1710:16:49。(Agg=0表示非聚合端口， Agg=1表示聚合端口)通过命令[Sysname-probe]debugportmappingslot_id,可查询内部Port对于业务面板上的实际接口编号，例如：[Sysname-probe]debugportmapping7[Interface][Unit][Port][Name][Combo?][Active?][IfIndex][MID][Link][Attr]GE7/0/101ge0nono0x390000019upBridgeGE7/0/205ge1nono0x390000119downBridgeGE7/0/307ge2nono0x390000219upBridge从信息中得知GE7/0/1内部接口为(MID=19,Port=1),GE7/0/1内部接口为(MID=19,Port=7)。

和debugportmappings1ot_id和debugportmappings1ot_id命令中Mod与MID含义相同。因此通过上述两条命令变能够确认:0023-8bf7-a7adMACM址，从VLAN100的接口GE7/0/1漂移到了接口GE7/0/3,总共漂移了103次,最后一次漂移时间为 2013/6/1710:16:494.3L3转发故障故障描述故障现象通常有三层业务异常、 ping/tracert丢包/不通。注意三层转发的IP路由表并不是真正的IP转发表，路由管理通过各路由协议选择最佳的路由，并将选中的路由发送给软件 IP转发表（FIB）,FIB再将路由同步到芯片驱动 IP转发表，最终实现业务转发，如图3所示。图3路由表与转发表关系RoutingProtocolsRIP/OSPF/ISIS/BGPRouteManagementSoftwareIPForwardingTableForwardingTableDriverIPForwardinTableForwardinTable|_L3_switch故障处理步骤.报文目的MAC佥查报文在交换机上进行三层转发的条件是报文的目的 MAE交换机本身的 MAC通过镜像或抓包确认这个条件是否满足。注意交换机自身的 MACM址有多个，属于同一个地址段，比如下面显示的是VLAN接口的MAC[Sysname]disp1ayinterfacevlan-interface10V1an-interface10currentstate:UPLineprotocolcurrentstate:UPDescription:Vlan-interface10InterfaceTheMaximumTransmitUnitis1500InternetAddressis/24PrimaryIPPacketFrameType:PKTFMT_ETHNT_2,HardwareAddress:00e0-fc00-6503IPv6PacketFrameType:PKTFMT_ETHNT_2,HardwareAddress:00e0-fc00-6503Lastclearingofcounters:NeverLast300secondsinputrate:0bytes/sec,0bits/sec,0packets/secLast300secondsoutputrate:0bytes/sec,0bits/sec,0packets/sec0packetsinput,0bytes,0drops0packetsoutput,0bytes,0drops.路由表检查检查设备到某一目的 IP网段的路由是否存在，如路由不存在，请检查路由协议配置、状态是否正确。[Sysname]displayiprouting-tableRoutingTable:PublicSummaryCount:1Destination/MaskProtoPreCostNextHopInterface/24Static600 Vlan20| |FIB表检查检查设备到某一目的IP网段的FIB表项是否存在，如路由存在、 FIB表项异常，请将故障信息发送技术支持人员分析。[Sysname]displayfibDestinationcount:1FIBentrycount:1Flag:U:UseableG:GatewayH:HostB:BlackholeD:DynamicS:StaticR:RelayDestination/MaskNexthopFlagOutInterfaceInnerLabelToken/24 USGVlan20NullInvalidARP检查检查设备ARP学习的接口是否正确，如学习接口不正确，请通过resetarp 命令重新学习ARP必要时可以配置静态 ARP如AR咛习的接口一直不正确，请将故障信息发送技术支持人员分析。[Sysname]displayarpType:S-StaticD-DynamicA-AuthorizedM-MultiportIPAddressMACAddressVLANIDInterfaceAgingType 0000-0000-000120 GE2/0/1 N/AS如以上检查后仍无法确认，请将故障信息发送技术支持人员分析。4.4 MPLS专发故障故障描述MPLS＞见故障现象有：目的不可达没有相关的路由出现错误信息打印隧道不稳定报文发送接收错误故障处理步骤VLL、VPLSL3VPN是基于LSP建立的。在LSP入节点（即图4中的PE1）上通过下列方式来检查、确认MPLSR络中哪台设备存在配置错误。图4MPLS组网图4.44.4/32 3."鲍*32CE1 CE2MPLSLSP检查配置的LSP是否存在，如不存在，请检查MPLSLSP!已置是否正确。[PE1]displaymplslsp—LSPInformation:LDPLSPFEC In/OutLabelIn/OutIF VrfName/32 NULL/3-/Vlan103/24NULL/3-/Vlan10/32 3/NULL-/InLoop0/24NULL/3-/Vlan103/24NULL/3-/Vlan10/32 NULL/1025-/Vlan103检查配置的LSP有没有UP,如未UP,请中^查MPLSLSP!已置是否正确。[PE1]displaymplsldppeerLDPPeerInformationinPublicnetworkTotalnumberofpeers:1—Peer-ID Transport-AddressDiscovery-Source:0 Vlan-interface103⑶检查MPLSLDP会话：如果状态不是Operational,说明会话存在错误，请转步骤（4）、（5）;如果MPLSLD吟话正常，请转步骤(6)。[PE1]displaymplsldpsessionLDPSession(s)inPublicNetworkTotalnumberofsessions:1Peer-IDStatusLAMSsnRoleFTMD5KA-Sent/Rcv:0NonExistent—PassiveOffOff0/0LAM:LabelAdvertisementModeFT:FaultTolerance通过displaycurrent-configurationconfigurationmpls-ldp 命令检查LDP的md5-password配置是否一致。<PE1>displaycurrent-configurationconfigurationmpls-ldp#mplsldpmd5-passwordcipher2222GXAADW>%V=_Q=AQ'MAF4<1!!#return通过displaymplsldpinterface 命令检查对应的标签通告模式是否存在。如不存在，请检查MPLS配置。[PE1]displaymplsldpinterfaceLDPInterfaceInformationinPublicNetworkIF-NameStatusLAMTransport-AddressHello-Sent/RcvVlan103ActiveDU 469/608LAM:LabelAdvertisementModeIF-Name:Interfacename检查配置的mplslsr-id 是不是等于 Loopback接口IP地址。推荐使用设备上某个 Loopback接口的地址作为 LSRID。<PE1>displaycurrent-configuration|includelsr-idmplslsr-id2222<PE1>displayipinterfacebrief*down:administrativelydown(s):spoofing(l):loopbackInterfacePhysicalProtocolIPAddressDescriptionLoop0upup(s)00--Loop2upup(s)02--M-E0/0/0upup--Vlan10downdown--<PE1>system-view[PE1]mplslsr-id00检查在VLAN^口下是否使能 MPLSMPLSLDP如未使能，请使能 MPL4口MPLSLDP[PE1]interfacevlan-interface103[PE1-Vlan-interface103]displaythis

#interfaceVlan-interface103ipaddressmplsmplsIdp#return2.路由排查检查路由表中 PE1、P、PE2的环回口IP及远端VLAN接口的IP表项是否存在，如不存在，请检查路由协议配置。[Sysname]displayiprouting-tableRoutingTables:PublicInterfaceDestinations:10Routes:10InterfaceDestination/MaskProtoPreCostNextHop/32Direct00InLoop0/32OSPF102Vlan10/32OSPF101Vlan103/24OSPF102Vlan103/24OSPF102Vlan103/24OSPF102Vlan103/24Direct00Vlan103/32Direct00InLoop0/8Direct00InLoop0/32Direct00InLoop0检查路由协议状态是否正常，如不正常，请检查路由协议配置。[PE1]displayospfpeerOSPFProcess1withRouterIDNeighborBriefInformationArea:RouterIDAddressPriDead-TimeInterfaceState 137Vlan103Full/BDR检查协议中环回口、 VLAN接口的路由是否通告，如不正确，请添加配置。[PE1-ospf-1]displaythis#ospf1areanetwork55network#return开启debug开关查看协议报文发送接收是否正常， 如不正常，请检查本端、对端设备的路由协议配置。<PE1>debuggingospfpacketMar504:33:09:2942022H3CRM/6/RMDEBUG:OSPF1:SENDPacket.Mar504:33:09:3652022H3CRM/6/RMDEBUG:SourceAddress:Mar504:33:09:4462022H3CRM/6/RMDEBUG:DestinationAddress:Mar504:33:09:5372022H3CRM/6/RMDEBUG:Ver#2,Type:1,Length:48.Mar504:33:09:6182022H3CRM/6/RMDEBUG:Router:,Area:,Checksum:9355.Mar504:33:09:7192022H3CRM/6/RMDEBUG:AuType:00,Key(ascii):00000000.Mar504:33:09:8202022H3CRM/6/RMDEBUG:NetMask:,HelloInt:10,Option:_E_.Mar504:33:09:9312022H3CRM/6/RMDEBUG:RtrPriority:1,DeadInt:40,DR:,BDR:.Mar504:33:10:0532022H3CRM/6/RMDEBUG:AttachedNeighbor:.Mar504:33:10:4372022H3CRM/6/RMDEBUG:OSPF1:RECVPacket.Mar504:33:10:5082022H3CRM/6/RMDEBUG:SourceAddress:Mar504:33:10:5892022H3CRM/6/RMDEBUG:DestinationAddress:Mar504:33:10:6802022H3CRM/6/RMDEBUG:Ver#2,Type:1,Length:48.Checksum:*Mar504:33:10:7612022H3CRM/6/RMDEBUGR:outer:,Area:,9355.Checksum:如仍无法确认，请将故障信息发送技术支持人员分析。IRF类故障处理IRF无法形成故障描述IRF无法正常建立。故障处理步骤通常为配置错误引起，请检查以下配置是否正确。确认成员设备的软件版本、主控板类型是否一致。<Sysname>displaydeviceSlotNo.BrdTypeBrdStatusSubslotSftVer PatchVer0LSX1TGS48EC1Normal0S12510-X-1005None1LSX1TGS48EC1Normal0S12510-X-1005None2LSX1TGS48EC1Normal0S12510-X-1005None3LSX1TGS48EC1Normal0S12510-X-1005None4LSX1TGS48EC1Normal0S12510-X-1005None5LSX1TGS48EC1Normal0S12510-X-1005None6LSX1TGS48EC1Normal0S12510-X-1005None7NONE Absent0NONE None8NONE Absent0NONE None9NONE Absent0NONE None10LSX1FAB10B1Normal0S12510-X-1005None11LSX1FAB10B1Normal0S12510-X-1005None12LSX1FAB10B1Normal0S12510-X-1005None13LSX1FAB10B1Normal0S12510-X-1005None14LSX1FAB10B1Normal0S12510-X-1005None15LSX1FAB10B1Normal0S12510-X-1005None16LSX1SUP10A1Standby0S12510-X-1005None17LSX1SUP10A1Master0S12510-X-1005None确认IPF物理端口是否 UP。通过displayinterface查询IRF物理端口状态是否 UP<Sysname>displayinterfaceGigabitEthernet1/5/0/1GigabitEthernet1/5/0/1currentstate:UPIPPacketFrameType:PKTFMT_ETHNT_2,HardwareAddress:0023-8956-7a04Description:GigabitEthernet1/5/0/1InterfaceMediatypeistwistedpair,Porthardwaretypeis1000_BASE_T确认IRF端口连接是否异常，一台设备的IRF-Port1 口只能与另一台设备的 IRF-Port2口连接。<Sysname>displayirfconfigurationMemberIDNewIDIRF-Port1 IRF-Port21 1Ten-GigabitEthernet1/8/0/1disableTen-GigabitEthernet1/8/0/22 2disable Ten-GigabitEthernet2/12/0/1Ten-GigabitEthernet2/12/0/2确认成员设备的系统工作模式是否一致。[Sysname]displaysystemworkingmodeCurrentsystemworkingmode:RouteeWorkingmodeaftersystemrestart:RouteeNotice:Changingworkingmodewilltakeeffectonlyaftersystemrestart.确认成员设备的如下配置是否一致。irfmodeenhanced配置aclmode配置[Sysname]displaythis……systemworkingmoderouteeIRF出现分裂故障描述IRF运行过程中出现分裂。故障处理步骤IRF分裂时会打印IRF端口down,可以确定IRF分裂的时间。%Jan1319:31:22:4762010H3CSTM/4/LINKSTATUSCHANGE:IRFport1isdownbecauseheartbeattimedout.%Jan1319:31:22:6892010H3CSTM/4/LINKSTATUSCHANGE:IRFport1isdown.请不要关闭IRF链路状态检测功能(iflink-statusdetectenable，默认使能)。使能IRF链路状态检测功能后，当存在多于一条IRF物理链路时，系统可以检测每条链路的健康性。 一旦发现某条链路故障，可及时将该条链路退出 IRF使用，增强系统稳定性。检查IRF各物理端口是否出现过 Down,请按照链路端口故障处理确认故障原因。通过设备运行时间或日志检查 IRF中各个框是否重启过，主控板及IRF端口所在接口板是否发生重启，如出现重启，请参照 2.1单板故障排查是否单板故障，参照2.2 电源故障确认是否为电源故障导致。<Sysname>displayversionH3cComwareSoftware,Version7.1.045,Release1005Copyright(c)2004-2013HangzhouH3CTech.Co.,Ltd.Allrightsreserved.H3CS12510-Xuptimeis0weeks,4days,1hour,55minutesLastrebootreason:ColdrebootBootimage:flash:/S12500X-CMW710-BOOT-R1005.binBootimageversion:7.1.045P18,Release1005CompiledNov11201315:38:46Systemimage:flash:/S12500X-CMW710-SYSTEM-R1005.binSystemimageversion:7.1.045,Release1005CompiledNov11201315:39:12LPU0:Uptimeis0weeks,4days,1hour,52minutesH3CS12510-XLPUwith1XLP308ProcessorBOARDTYPE: LSX1TGS48EC1DRAM: 4096MbytesFLASH: 0Mbytes如故障确认，可以通过如更换光模块、更换单板的方式使设备重新形成 IRF；如故障无法确认,请搜集各个成员设备的信息，并将信息发送给技术支持人员协助分析。为保持IRF系统的健壮性，防止IRF分裂，建议：配置多个IRF物理端口绑定同一个IRF逻辑口，并分布到不同的接口板上配置IRFdomain域，并且不同的IRF之间域不同配置MAD佥测2框IRF下建议将1框配置为主框，因为这时如果 MA册常会优先对2框端口shutdowno系统管理维护类故障处理CP时用率高故障描述.确定CPU占用率高的槽位连续使用命令displaycpu-usage查看CPU的占用率，确定哪个槽位单板 CPU占用率高。如果CPU占用率才I续在80%以上，说明有某个任务长时间占用 CPU需要确认CPU11的具体原因。故障处理步骤CPU占用率高的原因通常有：路由振荡配置过多的路由策略链路环路报文攻击.查询CPU占用率高的任务使用隐藏模式命令displayprocesscpu[slotslot-id]观察占用CPUM多的任务，比如1槽位CPU^o[H3C-probe]displayprocesscpuslot1CPUutilizationin5sec