网络故障分析报告

1、网络故障分析报告现在的网络要比以前复杂许多，在各行各业中，不断的有新的网络应用参加，这对 网络性能要求是非常高的。网络性能评估对网络关键应用能否健康运行有重要意义，通 过对网络核心设备的处理能力分析，对网络带宽利用率、网络负载的分析，有助于提高 网络整体性能和资源的合理分配，为规划、调整网络提供可靠依据。科来网络分析系统是非常好的流量分析系统，利用他我们可以实际了解当前网络正 在发生的具体流量，并且通过科来网络分析系统的专家系统及进一步对数据包的解码分 析，我们可以很快的定位网络故障，确认网络带宽的瓶颈，在故障发生前消除网络隐患， 这样能给我们日常的网络维护工作带来很大的方便，也是的我们的维护

2、工作处于主动地 位，不会再只用接到用户故障投诉后处理故障，这在时间和效率上都有了很大提高。1.1.故障描述2021 年 7 月 8日，某公司网络管理人员通过网管软件发现两台核心网络交换机CPU利用率异常，如下：1.“核心交换机 6509_A的 CPUJ 用率高达 90%Z 上。2.“核心交换机 6509_B的 CPUJ 用率高达 90%Z 上。以上问题造成网络延时很高，导致访问内网应用、互联网等速度较慢。1.网络拓扑拓扑图如下：1样门BSn rwnXMH坷门/Kn2.检测描述监测软件：科来网络回溯分析系统3.1样本文件：Colasoft.pkt采样时间：2021-7-8 21:30采样时长：7

3、*24样本说明：核心交换机 6509 连接部门交换机 3550 的 trunk 链路1.2.分析内谷1.根本分析首先，我们需要检查是什么进程导致设备CPUJ 用率较高，以提高分析效率。我们分别在两台A、B Cisco 6509 交换机上执行 show process cpu 命令，查看各进程 CPU 占用情况，如下：=6509_A=6509 BPID1.-二濒9_A#shoITOcesses cpusatina for five cecond?： 2%/lfi; me Funtiie表136Indkec,izeci312276630016C0 U. J真13444375DC3 U.如2择5呢0

4、CL加 W倒实8_A农U.乂础理吨我121 U.贝由02 0. JE020 0, D05901iaQz115333花167366&ICT TiirrsW r rts K i;ly MTB AnG nip-.if- SRF rm.r_350,?_B#shD proces=ee epujPU litilisatiai for five ccends: 5V23. oent minure: 8S； f皿帕linniTss:PIERuntime Ss.1InvokeduEzCSESec.IJlir7TTFriesesLO40 119GS轮湖11G郁4爻0 0 C红:细265511C3I3424

5、526 3S22228 0.00* Q OOKD 0. DO* 0. DDK2 0. M 0. ODK 00.00 0,00 12475 0.MS 0.2BS 1070.00% 0. Ot0 0.00 CLOCW 0 O.OQ% 0. OD* 0 0.00%0, OMtUh_iL侦HaiderU Lozd Meter0 LU., iveni hariGLL0 ton TLnrrC Click0 Fu. 1 Msagr0 Tizez0 Seri al 3ackgrcur0 g SERVER DEtDlR11：2 ：315638084SG215畦驰3&250123醇1osr0isin3.m

6、O.奶O. )($3.mo. m0.硕0, ounn oi)ko. orft门。侦st o,O(M.O.d(nCi他AAAhignFagdttnvNoaiIPCDynmnicCach Fr_Spt JynrPrTP-BaftF?psRi.r=16:7f， 431496357PPerri if TireS689012120Q:14=9K4LEM 切LD6CL0?.洒o,。擦u. JQ0.00*0, OCft0.00Mo.mo.加o. go*IF：IP：IFif9史UZOROO 891L:U4Deferred For SeatTTaiafer Arent0011G115268或麻&3： S

7、OW：.39%0ARF【3.;十0C.Dij0.00.000 BDH TiicrsD 0. (XJtOHODK0.UN0 Dialer evenl1C0R0.00%0.0W0.00.0 Finiu YIDftTI设备名称6509_A6509_BARP 进程占 CPU 利用率览58.658.4从上图可以看出两台设备占用 CP3U 用率最高的进程为 ARP 进程，统计结果如下:因此，我们推断设备 CPUJ 用率较高是由 ARP 流量异常导致的，对于分析 AR 嘛量 异常，我们需要借助专业的流量分析工具科来网络回溯分析系统3.1。详细分析由于用户先前已经部署了科来网络回溯分析系统，并且部署监控点包括

8、核心交换机 连接各部门交换机 3550 的端口，因此可以监控到所有 Vlan 的流量。由于在根本分析的时候我们判断故障原因为AR 硫量异常造成，因此，我们选择最近时间段的全部流量下载分析即可。下载完成之后，我们定位ARP 流量进行详细分析,如下列图：与MJQHHCE 13D- 13*1 ；4骨?口文 壬i10WIPE StrtzQ hpn12 41 Dfl12dn.您引网WWj R-H口IftlkRiMnil虹 日sat兰成“am*E北l-iK-Efc ：.2 JT -HLt1；i ：41的g R Ibfrc24 E it 5Hi Iht-CL.础Iwva SijE95ZL EE 11 Ezx

9、- na wS2心h| EJ MlWffl2j| l-t-O& IS： il UIJTMS t *J ii- am时74 D&畴叫4aNn m1 IQ IE叩IB J Z HZB3 3E XtBrCQi B1 bHETI+CT=ii mi以ni b nst=mHHnm0 lf aMi * nVhMUD39 F Tlf!i “ na ijEii m nir3B Qa me iIIB在图中，我们可以看到 ARP Request 包的数量远远高于ARP Respone 包的数量，并且这些 ARP Request 包大局部是由 Mac54:E6:FC:18:98:9D发出来的，现在我们

10、可以直接分析 Mac:54:E6:FC:18:98:9D 所发出的数据包。如下列图:上图显示，Mac 为 54:E6:FC:18:98:9D 的设备发送的数据包为免费ARP 青求数据包，并且发送频率较高正常情况下，设备不会发送大量发送免费ARP 请求。这种数据包发送到网络当中会导致拥有相同IP的主机不停地产生地址冲突提示。由于已经找到 ARP 报文中含有的 IP 地址，我们通 过 IP 登记记录找到该 IP10.168.22.215 为一台旧 M 效劳器Server 2003 ，我们登陆该效劳器查看网卡Mac为 00:09:6B:A5:19:C4 ，并且系统不停地提示 IP 地址冲突。我们将该

11、效劳器网卡禁用之 后，核心交换机设备利用率立即回复正常，并且ARP 流量也回复正常通过这个现象可以判断非恶意破坏。至此，我们确定 AR 嘛量异常原因为某台设备配置 冲突，而此设备在 IP 冲突的时候为了抢占该 络产生了 ARP 播送风暴，最终导致核心设备1.3.故障点定位由于公司网络全部采用的可管理的交换机，因此根据发送 ARP Request 的源 Mac 地 址54:E6:FC:18:98:9D ,我们找到该设备具体接在那个交换机端口。通过在核心交换机 执行 showmac-address-table | include 54:E6:FC:18:98:9D找到该 Mac 在某部门的IP 地

12、址与一台旧 M 效劳器地址IP 地址，大量发送免费 ARP 请求，造成网CPUJ 用率升高。3550 交换机上，登陆该交换机我们再次执行该命令，最终找到该Mac 所接交换机端口，如下列图：o50-3#sho mac-addr已ms-tabl巴interface festEthernetC/25 Mac AddressTableVI笙Mac AddressTypeForts11N54e6.fclS.DYNAMICFaO/25Total Kac Addresses for this criterion： 1 lYanfkS蒸Ci-3#550 -3# sh run int er face fastE

13、thernet 0/25 Buildingconfiguration.Current confi guration: 8& byt esIinterface FastEthernet0/2Sswitchport access vlan 112switchport mode accessendHft-3550-3#从上图可以看到 Mac 地址在该部门交换机的 F0/25 端口上，并且该端口属于 Vlan112查阅布线图，我们最终找到了该端口所接设备的具体房间。并且找到了Mac 为54:E6:FC:18:98:9D的设备为一台Tplink 无线路由器，并且其配置了IP地址为10.168.2

14、2.215 ,如下列图：1.处理方法通过科来网络回溯分析系统3.1，我们快速定位到触发核心交换机CPU 利用率非常高的原因为某部门擅自使用了一台Tplink 无线路器，并且该路由器Wlan 口设置的 IP与同网段的一台旧 M 效劳器地址冲突，导致 Tplink 无线路由器快速发送免费 ARP 请求 防护机制，最终到导致核心交换机 CPU?iJ用率升高。根据以上分析结果，该部门已停用该Tplink 无线路由器，重新申请了公司购置的企业级无线路由器，同时申请了新的IP地址。2.处理结果在停用 Tplink 无线路由之后，网络已经恢复正常，核心交换机CPU 利用率已经恢复正常，网络延时也恢复到局域网延