网络故障分析报告

1、网络故障分析报告现在的网络要比以前复杂许多，在各行各业中，不断的有新的网络应用加入，这对网络性能要求是非常高的。网络性能评估对网络关键应用能否健康运行有重要意义，通过对网络核心设备的处理能力分析，对网络带宽利用率、网络负载的分析，有助于提高网络整体性能和资源的合理分配，为规划、调整网络提供可靠依据。科来网络分析系统是非常好的流量分析系统，利用他我们可以实际了解当前网络正在发生的具体流量，并且通过科来网络分析系统的专家系统及进一步对数据包的解码分析，我们可以很快的定位网络故障，确认网络带宽的瓶颈，在故障发生前消除网络隐患，这样能给我们日常的网络维护工作带来很大的方便，也是的我们的维护工作处于主动

2、地位，不会再只用接到用户故障投诉后处理故障，这在时间和效率上都有了很大提高。1.1. 故障描述2011年7月8日，某公司网络管理人员通过网管软件发现两台核心网络交换机CPU利用率异常，如下：“核心交换机6509_A”的CPUJ用率高达90%Z上。“核心交换机6509_B”的CPUJ用率高达90%Z上。以上问题造成网络延时很高，导致访问内网应用、互联网等速度较慢。0000 网络拓扑拓扑图如下：i的1Bsn相*.*xnri1借口/«01111 检测描述监测软件：科来网络回溯分析系统3.1样本文件：Colasoft.pkt采样时间：2011-7-821:30采样时长：7*24样本说明：核心

3、交换机6509连接部门交换机3550的trunk链路1.2.分析内谷1.基本分析首先，我们需要检查是什么进程导致设备CPUIJ用率较高，以提高分析效率。我们分别在两台（A、B）Cisco6509交换机上执行showprocesscpu命令，查看各进程CPU占用情况，如下：=6509_A=：rjtitiLisationforfiveeMnds:二,1%：3nePID艮3iti加jtt.lIrroLedu£ecz1136%c.6o«自2276650016(10C.DO%344375Dt3c.(xi«生202函g0机m65蜀郡铭513249，况U.口L%639783密空

4、b121Q.CO*7U力d00,00*30n£q0.口q01QCLQQX10Qir|£00.胱1】11866必91t).期1212滕仇8c.阅期130找o.m14u10,OCT；1&1824314y94久5g1&侬31449t(J,Dot1793927401：）&72蛇二935(1.m1801（1.附I19陷3期？927415R3168328口立,200r£(i,m*0n£0,讣?2184247730.00«23功一1碎;processes:pu6509Bninu-e建北U.0。%0.w工。城0.cmu.IMU.UMai

5、m工口服山口瑞Q.DM儿QM九%o.maw4ook0.OM49.VH0.0情0.w.0.mn.odh.：75祝UL%0USHinTTY0.JL%0-u-ooooOoooO0:0o-O0%DU.ULueuc“mKucDr,DCrJnrncDCnrlIn-r-I,:，一,-UCQOCOUOCGrrGrccmmutts：STSProcessCkjun_tjIan35erLeadS2U*entEandLmDHCPOTinerCluecvheapsPeelHsnaETlinersSerizl!tackout：AAAitVEXUE却孑AAA5.1h-cepscitEgRmI-C二ynmicLac.：-PF

6、加iitSv球EuC3a?kPirc5iUTzIFCPeriodicTiaCDeterredforr：r-itU.71FrFS、!；'口Fjf-RRPInpipICTTiirrs用？1'Lr*.vv'SntityNIBA口Gnip-.if-SRFy卜L_350,?_B#shDproces=eeepuforfivec»cends:£5%/g到.oentminure:8S；fZvelinniTss:RP'：ERuntimeSs.1Invoked7TTFh二10401196S在四BUGJR空000匕丸阴74sosessnC3I34245割3S222

7、J.M0.。此D.JL1.：UULTJIo.m0.0D*atm0.0跳【再咤d(mC.2SS107dDOV0.Cl值00.底o.ora00.悔o.。族00.加%o,。曜uEzCSIJlirESec.000020000U.U.TU.611屯U.U匚HaiderULozdMeterULU.,iveniiituiGil0tonTLnrrCCli±ck1|=旦口0Fu.1Ma：jagnr0Tizez0Serial3ackgrcur0SERVERDEtDlIQ0Z00.3%口。以Q.UOK0#-AAhih-capacit111死犯脚178573sra匆%口cunQ.OQ0EnvNcni:s40

8、0.m0,UIW0,(1附0IP'.Dynnrn:cCach：38inio.期o,nrft0.0OH0FF.HplitSync;PrG1。C.DO%o,o.atn0IFCBaekPr复££ur匕：7f，43149635D飞前货itin*nrnvr7P-PerindicTire165福刃4笫&3400,m0,00*注口跳0IPDeferredFor179M21201365152166i0,m0,OCftQ.00%0IPC1立#TTanager130L00.(X3%0>CQ«Q.QOH0JTSfiemtManageIf-±mn。止4B瓯

9、03%弗SDKSS.3继：U典PInput2T丁丁DC.W»0.0»O.OOi_0BDHTiicrs2102D0.00110.ODK0.BN0rialcrrvcnl22116H51C0B0.00。冲也口制0EntityMIDftPT从上图可以看出两台设备占用CPUJ用率最高的进程为ARP进程，统计结果如下:设备名称6509_A6509_BARP进程占CPU利用率（为58.658.4因此，我们推断设备CPUJ用率较高是由ARP流量异常导致的，对于分析AR蹄量异常，我们需要借助专业的流量分析工具科来网络回溯分析系统3.1。详细分析由于用户先前已经部署了科来网络回溯分析系统，并且

10、部署监控点包括核心交换机连接各部门交换机3550的端口，因此可以监控到所有Vlan的流量。10WipeT*JQhpDRH6DE13ST33-n*1R124Da让/加£汁fF-titTF=舌1Hti二帮：£F-IBU=li巾至喔汁IfD*，斫布，H口HWei闻nil场msat总QirHJI“Mft事缸l-iK-Efc：.2牙-H出“贴74I；II门SSRIbfrC=4E»it5Hi上炉*Q4Mif图iOttt否ttumtirAftffttrgueiw附事5过油曲1*hMD&事M=i+F4an力mG晴1IQ«IBJ<ZHZ»正nuB3

11、3EXtBrC中B4bHeti+CT峥储=E士计字Hn勺士W3MDpi;Zl1411ku市科aSijE95ZLEE11Ehnna*>金S2«3h|Ej%tiWlfl2j|l-t£-O&IS：ilUanj-flMat£«ihs的印iihil3»nIKtbnnTtenQ>F»LMnmvwnqm而1PTlfsi门naijEiimnir3BQatilDHiei而IIB6计把M由于在基本分析的时候我们判断故障原因为AR瓶量异常造成，因此，我们选择最近时间段的全部流量下载分析即可。下载完成之后，我们定位ARP流量进行详细分析,

12、如下图：在图中，我们可以看到ARPRequest包的数量远远高于ARPRespone包的数量，并发出来的，现在我们可以直且这些ARPRequest包大部分是由Mac54:E6:FC:18:98:9D接分析Mac:54:E6:FC:18:98:9D所发出的数据包。如下图:上图显示，Mac为54:E6:FC:18:98:9D的设备发送的数据包为免费ARP青求数据包,并且发送频率较高（正常情况下，设备不会发送大量发送免费ARP请求）。这种数据包发送到网络当中会导致拥有相同IP的主机不停地产生地址冲突提示。由于已经找到ARP报文中含有的IP地址，我们通过IP登记记录找到该IP15

13、为一台旧M服务器（Server2003）,我们登陆该服务器查看网卡Mac为00:09:6B:A5:19:C4，并且系统不停地提示IP地址冲突。我们将该服务器网卡禁用之后，核心交换机设备利用率立即回复正常，并且ARP流量也回复正常（通过这个现象可以判断非恶意破坏）。至此，我们确定AR蹄量异常原因为某台设备配置IP地址与一台旧M服务器地址冲突，而此设备在IP冲突的时候为了抢占该IP地址，大量发送免费ARP请求，造成网络产生了ARP广播风暴，最终导致核心设备CPUJ用率升高。1.3.故障点定位由于公司网络全部采用的可管理的交换机，因此根据发送ARPRequest的源Mac地址54:E6:FC:18:

14、98:9D,我们找到该设备具体接在那个交换机端口。通过在核心交换机执行showmac-address-table|include54:E6:FC:18:98:9D找到该Mac在某部门的3550交换机上，登陆该交换机我们再次执行该命令，最终找到该Mac所接交换机端口，如下图：o50-3#shomac-address-tab1einterfacefestEthernetC/25MacAddressTableVI至iMacAddressTypeForts11254e6.fclS.DYNAMICFaO/25TotalKacAddressesforthiscriterion：1j|3B50-3#whru

15、ninterfacefastEthernet0/25Buildingconfiguration.Currentconfiguration:8&bytesIinterfaceFastEthernetO/2Sswitchportaccessvlan112switchportmodeaccessendmiHft-3550-3#从上图可以看到Mac地址在该部门交换机的F0/25端口上，并且该端口属于Vlan112查阅布线图，我们最终找到了该端口所接设备的具体房间。并且找到了Mac为54:E6:FC:18:98:9D的设备为一台Tplink无线路由器，并且其配置了IP地址为15,如下图：处理方法通过科来网络回溯分析系统3.1,我们快速定位到触发核心交换机CPU利用率非常高的原因为某部门擅自使用了一台Tplink无线路器，并且该路由器Wlan口”设置的IP与同网段的一台旧M服务器地址冲突，导致Tplink无线路由器快速发送免费ARP请求（防护机制）,最终到导致核心交换机CPUJ用率升高。根据以上分析结果，该部门已停用该Tplink无线路由器，重新申请了公司购买的企业级无线路由器，同时申请了新的IP地址。处理结果在停用Tplink无线路由之后，网络已经