IPRAN深度巡检

1、荆州联通IPRAN深度巡检项目方法及结果记录烽火通信2014-07-29一、主控平面1、系统文件检查项目系统文件检查目的确保当前软件版本对应的系统文件是相互匹配标准1、 V2.3SP3版本对应的libnaso1.so版本号：2；2、 V2.3SP3版本对应的cpld版本号：0x24.3、 检查周期：全网版本升级后，完成一次全面检查即可操作1、 ssh 登陆网元ip2、 命令行：rootRCU-1 libver3、 输出结果如下：-Software name : libnaso1.so Version : 2 Build time : 2013-06-24-20:00:00- Software

2、name : cpld Version : 0x24 Build time : 2014-07-23-23:53:52检查结果及整改意见无异常，全网统一，为匹配最新版本。2、lib库文件检查项目lib库文件检查目的确保当前RCU工作调用lib文件与版本匹配标准1、V2.3SP3对应libnmprotobuf.so、libprotobuf.so.7大小如下输出结果；2、检查周期：全网版本升级后，完成一次全面检查即可。操作1、 ssh 登陆网元ip2、 命令行：rootRCU-1 cd /librootRCU-1 libll libnmprotobuf.so libprotobuf.so.73、

3、输出结果如下：-rw-r-r- 1 root root 10961005 Jan 1 1970 libnmprotobuf.so-rw-r-r- 1 root root 5504532 Jan 1 1970 libprotobuf.so.7检查结果及整改意见无异常，全网统一，为匹配最新版本。3、CPU利用率检查项目CPU利用率检查目的确保当前RCU的CPU工作在正常范围内标准1、CPU利用率= 50% ；2、检查周期：每天一次。操作1、 ssh 登陆网元ip2、 命令行：rootRCU-1 top3、 输出结果如下：top - 23:59:06 up 22:06, 2 users,

4、load average: 0.00, 0.00, 0.00Tasks: 77 total, 1 running, 76 sleeping, 0 stopped, 0 zombieCpu(s): 5.3%us, 2.6%sy, 0.0%ni, 91.7%id, 0.0%wa, 0.0%hi, 0.3%si, 0.0%stMem: 2061596k total, 212580k used, 1849016k free, 12972k buffersSwap: 0k total, 0k used, 0k free, 86864k cached检查结果及整改意见无异常，全网检查结果在正常值范围内。4

5、、磁盘利用率检查项目磁盘利用率检查目的确保当前RCU的磁盘剩余空间范围正常标准1、CPU利用率= 50% ；2、建议每周进行对比是否有增长过快的网元，有异常需要处理；3、检查周期：每天一次，形成记录后操作1、 ssh 登陆网元ip2、 命令行：rootRCU-1 libdf -h3、 输出结果如下：Filesystem Size Used Avail Use% Mounted onrootfs 1.9G 514M 1.3G 29% /tmpfs 1007M 52K 1007M 1% /dev/shm检查结果及整改意见无异常，全网检查在合理范围值内。5、内存利用率检查项目内存利用率检查

6、目的确保当前RCU的内存占用正常标准1、剩余内存free=1000，如果异常需要进一步检查内存占的具体进程。2、检查周期：每天一次。操作1、 ssh 登陆网元ip2、 命令行：rootRCU-1 free -m3、 输出结果如下：total used free shared buffers cachedMem: 2013 207 1805 0 12 84-/+ buffers/cache: 109 1903Swap: 0 0 0检查结果及整改意见无异常，全网检查在合理范围值内。6、中间层文件检查项目中间层文件检查目的确保当前设备主备RCU内的中间层文件是否一致标准1、检查需要需要一致，异常需要

7、立即处理；2、检查周期：每天一次。操作1、 ssh 登陆网元ip并登陆协议栈2、 命令行：rootRCU-1 telnet 127.0.0.1 2650router#show mas configure-file nmagent check3、 输出结果如下：nmagent_config Info Size Last Modify Time MD5 CheckSumRCU1 448072 2014-07-23 15:08:50 3176c1695ff190efc31647bfbde62f01 RCU2 447289 014-07-23 15:08:51 a73d43011493b906ec85

8、2df0fbad74e6 Conclusion No Equal (不一致)/ Equal （一致） No Equal/ Equal检查结果及整改意见检查结果：全网检查仅玉桥核心二、公安联通二楼、玉桥汇聚三个网元结点不同步；整改方案：已经通过手动方式进行同步，不影响正常业务运行。7、Zebos文件检查项目Zebos文件检查目的确保当前设备的备用RCU的Zebos文件与主用RCU中的Zebos文件是否一致标准1、检查需要需要一致，异常需要立即处理；2、检查周期：每天一次。操作1、 ssh 登陆网元ip并登陆协议栈2、 命令行：rootRCU-1 telnet 127.0.0.1 2650rout

9、er#show mas configure-file zebos check3、 输出结果如下：ZEBOS.CFG Info Size Last Modify Time MD5 CheckSumRCU1 394475 2014-07-23 15:09:02 5818a18e620049f6575c7ccd10b3729a RCU2 394475 2014-07-23 15:09:02 5818a18e620049f6575c7ccd10b3729a Conclusion No Equal (不一致)/ Equal （一致） No Equal/ Equal检查结果及整改意见无异常，全网检查符合标

10、准要求。8、mac文件检查项目mac文件检查目的确保当前设备的备用RCU的mac文件与主用RCU中的mac文件是否一致标准1、检查需要需要一致，异常需要立即处理；2、检查周期：工程某一版本升级完成后，检查一次。操作1、 ssh 登陆网元ip并登陆协议栈命令行：rootRCU-1 hexdump /home/scu/mac.confrootRCU-1 ssh 10.1.1.17root10.1.1.17's password: Last login: Tue Jun 17 02:13:27 2014 from 10.1.1.16rootRCU-2 hexdump /home/scu/ma

11、c.conf2、 输出结果如下：0000000 ace0 1000 0000 0001 0101 0101 （主备输出结果一致） 000000c检查结果及整改意见无异常，全网检查符合标准要求。9、BFD UPTIME检查项目BFD UPTIME检查目的检查BFD是否有过异常中断，从而检查相关层面中断原因提前发现标准1、在非已知异常如光缆中断等原因的前提下，BFD UPTIME时间不要过短；2、检查周期：工程某一版本升级完成后，检查一次。操作1、 ssh 登陆网元ip并登陆协议栈2、 命令行：rootRCU-1 telnet 127.0.0.1 2650router#show bfd sessi

12、on 3、 输出结果如下：Sess-Idx Remote-Disc Lower-Layer Sess-Type Sess-State UP-Time Remote-Addr7 79 MPLS LSP Single-Hop Up 21:45:51 127.0.0.12/328 80 MPLS LSP Single-Hop Up 21:33:05 127.0.0.12/321 4 MPLS LSP Single-Hop Up 21:45:51 127.0.0.12/322 5 MPLS LSP Single-Hop Up 21:45:51 127.0.0.12/3211 101 MPLS LSP

13、Single-Hop Up 21:45:51 127.0.0.12/3212 102 MPLS LSP Single-Hop Up 21:33:05 127.0.0.12/325 37 MPLS LSP Single-Hop Up 21:45:53 127.0.0.12/326 38 MPLS LSP Single-Hop Up 22:23:59 127.0.0.12/323 3 MPLS LSP Single-Hop Up 22:23:59 127.0.0.12/324 4 MPLS LSP Single-Hop Up 21:45:53 127.0.0.12/329 23 MPLS LSP

14、Single-Hop Up 21:45:54 127.0.0.12/3210 24 MPLS LSP Single-Hop Up 22:24:00 127.0.0.12/32Number of Sessions: 12 检查结果及整改意见全网检查结果正常。全网经过多次全面检查，出现BFDUPTIME时间短的原因有：1、光纤中断后TUNNEL-BFD时间 2、全网倒换测试后出现的BFD中断时间刷新，再无异常变化。10、IPFRR状态检查项目IPFRR状态检查目的检查IPFRR是否有异常倒换标准1、主用下一跳无告警的情况下，IPFRR倒换状态正常而非倒换状态；2、检查周期：每天检查。操作1、 点击

15、NP单盘-状态查询-l3frr状态2、 输出结果如下：检查结果及整改意见检查正常，符合标准。11、LAG成员状态检查项目LAG成员状态检查目的检查LAG是否有异常标准1、lag成员正常时应该全部协商成功2、检查周期：每天检查。操作1、 ssh网元IP登陆协议栈中；命令行如下：router#show interface lag12、 输出结果如下：查找以下成功状态显示块Member of the lag group: XGE0/4/1 LACP load-balance negotiate success XGE0/4/2 LACP load-balance negotiate success

16、XGE0/13/1 LACP load-balance negotiate success XGE0/13/2 LACP load-balance negotiate success 检查结果及整改意见检查正常，符合标准。12、debug功能开启状态检查项目debug功能开启状态检查目的是否有debug程序正在运行，如果有需要关闭标准1、非正常调测问题的情况下，debug功能全关2、检查周期：每天检查。操作1、 ssh网元IP登陆协议栈中；2、 命令行如下：router#show running-configure3、 输出结果如下：检查结果及整改意见检查结果：南环路开启了debug功能，其它

17、站点正常。整改意见：已经手动关闭，全部正常。二、转发平面1、RCU与各单盘通信状态检查项目RCU与各单盘通信状态检查目的检查RCU与各单盘通信是否正常标准1、非正常调测问题的情况下，debug功能全关2、检查周期：每天检查。操作1、 ssh网元IP登陆协议栈中；2、 命令行如下：router#show tne board3、 输出结果如下：说明：status 状态应该为OK，TNE 状态为OPEN。检查结果及整改意见全网检查正常。2、单盘温度检查项目单盘温度检查目的检查单盘是否工作在正常温度范围内，指导全网正确设置温度告警门限标准1、根据附件温度范围要求，单盘工作温度=调速门限2、如果工作温度

18、>调整门限，需要检查风扇转速以及机房温度情况3、检查周期：每天检查。备注：参考温度指导文档操作1、 单盘-状态-单盘基本信息状态块-工作温度2、 输出结果如下： 检查结果及整改意见全网检查正常。3、单盘任务状态检查项目单盘任务状态检查目的单盘内任务进程是否存在异常情况标准1、进程状态无stop、suspend；2、检查周期：每天检查。操作1、 ssh网元IP登陆网元单盘 命令行如下：rootRCU-1 telnet 10.26.0.11（单盘盘号） 24Trying 10.26.0.11.Connected to 10.26.0.11 (10.26.0.11).Escape charac

19、ter is ''.Fiberhome Telecommunication Technology Co.,Ltd Copyright (C) 2011-2020username:diagpassword:* （密码和用户名一样）FiberHome>enable FiberHome#i 2、 输出结果如下：检查结果及整改意见全网检查正常。4、查看单盘CPU利用率项目查看单盘CPU利用率目的查看单盘CPU利用率是否正常标准1、正常运行下，tLGather进程占用比例最高；2、检查周期：每星期。操作1、 ssh网元IP登陆网元单盘 命令行如下：rootRCU-1 telnet

20、10.26.0.11（单盘盘号） 24Trying 10.26.0.11.Connected to 10.26.0.11 (10.26.0.11).Escape character is ''.Fiberhome Telecommunication Technology Co.,Ltd Copyright (C) 2011-2020username:diagpassword:* （密码和用户名一样）FiberHome>enable FiberHome#taskperf enable （开启性能检查）task performance statistics enable !F

21、iberHome#taskperf display （运行两次查看下面输出结果）FiberHome#taskperf disable （检查完毕后需要关闭性能检查）2、 输出结果如下：备注：在没有配置下发处理的时候，标记的任务占CPU比较多为正常。3、FiberHome#exit FiberHome>FiberHome>exit You have quitted from system.Please login again.Connection closed by foreign host.检查结果及整改意见全网检查正常。5、单盘信号量是否互锁检查项目单盘信号量是否互锁检查目的避免

22、信号量互锁标准1、输入命令后交不显示任何内容为正常，否则是异常。2、检查周期：每星期。操作1、 ssh网元IP登陆网元单盘 命令行如下：rootRCU-1 telnet 10.26.0.11（单盘盘号） 24Trying 10.26.0.11.Connected to 10.26.0.11 (10.26.0.11).Escape character is ''.Fiberhome Telecommunication Technology Co.,Ltd Copyright (C) 2011-2020username:diagpassword:* （密码和用户名一样）FiberH

23、ome>enable FiberHome#info semInterlock FiberHome#2、 输出结果如下：FiberHome#info semInterlock （如果出现信号量互锁，会显示） FiberHome#无显示内容即为正常。3、退出环境 FiberHome#exit FiberHome>FiberHome>exit You have quitted from system.Please login again.Connection closed by foreign host.检查结果及整改意见全网检查正常。6、系统类型配置检查项目系统类型配置检查目的严

24、格按要求配置系统类型标准1、工程上860系统类型一般为220G，865为640G。2、检查周期：工程版本升级后检查一次后以季度为单位检查。操作1、 ssh网元IP登陆协议栈 2、 命令行如下：rootRCU-1 telnet 127.0.0.1 2650 FiberHome# show running-configure3、 输出结果如下：FiberHome# show running-configureglobal-config-mode global-basic-config system-type 640G commit!检查结果及整改意见全网检查正常。7、NP单盘SRAM芯片异常包检查

25、项目NP单盘SRAM芯片异常包检查目的即时发现SRAM芯片是否有转发异常或者错误包存在标准1、不在在错误包性能值。2、检查周期：每星期检查一次。操作1、 ssh网元IP登陆单盘2、 命令行如下：rootRCU-1 telnet 10.26.0.11Trying 10.26.0.11.Connected to 10.26.0.11 (10.26.0.11).Escape character is ''.VxWorks login: bmu852Password: ->DbgGetNPUCounter(运行两次或者以上后查看结果)3、输出结果如下： ->Dbg

26、GetNPUCounter    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     NPU SubSystem + Counter    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     SMS_Inp_SopPP 0x00000000000085BE     SMS_I

27、np_SopTI 0x00000000000085BE     SMS_Inp_SopTM 0x00000000000044B0     SMS_Drop_PPMaskDrop 0x000000000000005C     LBuf_PPSink_Drop 0x000000000000005C     TM_QMgr_FromSMS 0x00000000000044B1 

28、60;   TM_RCB_ToSMS 0x00000000000044B1    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     PP + ERROR    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     PP_EAP11 Chan0     PP

29、_EAP17 Chan1     PP_EAP20 Chan1     PP_EAP11_Ch0 ReqNotCompErr     PP_EAP17_Ch1 ReqNotCompErr     PP_EAP20_Ch1 ReqNotCompErr     PP_DumpUnit EAPReqNotCompErrPP_LAS0 RAMEccUncorErr    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+     SMS + ERROR    +-+