互联网网络设备应急处理预案——XX联通.doc

联通秦皇岛分公司互联网网络设备应急处理预案联通秦皇岛分公司网管中心目 录1、目的32、使用对象33、适用场合34、预防措施35、应急措施35.1紧急情况界定35.2 故障一：至石家庄、唐山的出口瘫痪，或省级出口瘫痪，出现用户数据流量阻塞35.3 故障二：网络出现二、三、四级安全事件，导致至上级路由器数据包时延及丢包严重超过维护指标路由器数据包时延及丢包严重超过维护指标:55.4 故障三：省内dns服务器故障65.5 通报和技术支援7附件一：省分网管中心联系方式81、目的本预案为了保障设备、线路等网络设施发生严重通信事故、自然灾害及其他不可抗力情况下能够保持部分或全部不受影响而制定。本指导书是针对联通秦皇岛分公司互联网在运行过程中或者操作过程中可能出现的紧急问题，如用户数据流量阻断、至上级路由器数据包时延及丢包严重超过维护指标，网络出现二、三、四级安全事件而制定的操作指导，其目的是在网络、设备发生故障时，提供紧急维护的手段。指导书中同时提供了一些预防措施，使得在故障发生前及时发现故障的苗头，在故障发生后，降低故障对系统的影响。目前，秦皇岛互联望网结构如下：使用设备如下：设备名称数量端口数量cisco7206 至石家庄14*fe+1*155atmcisco7206 至网通14*fejuniper m514*fe+2*155atmpix52514*fecisco 3550124*feflex 24124*feesr882518*fe+24*155atm2、使用对象互联网维护工程师3、适用场合网络出现紧急问题时，指导设备维护工程师进行初步的故障定位与排除。 4、预防措施为保证设备稳定运行，尽最大可能减少突发事故，请遵照做好日常维护工作。5、应急措施 在故障发生后，按“先抢通，后修复”的原则首先判明故障区段、部位，设备、电路的重要程度，可采取临时倒换的应急措施，然后进一步查明故障原因，并迅速组织修复，缩短故障历时。为了将紧急情况下的设备故障与日常维护中出现的设备故障相区分，我们特将互联网系统中的紧急情况界定如下：5.1紧急情况界定l 至石家庄、唐山的出口瘫痪，或省级出口瘫痪，出现用户数据流量阻断；l 网络出现二、三、四级安全事件，导致至上级路由器数据包时延及丢包严重超过维护指标；l 省内dns系统瘫痪。故障处理流程图：5.2 故障一：至石家庄、唐山的出口瘫痪，或省级出口瘫痪，出现用户数据流量阻塞应急处理：可分流数据包至秦皇岛联通至其他运行商的直联电路上，保证部分互联网业务的正常故障处理：1、 确定路由器硬性或软性的问题:a/应用设备配置的扁平控制电缆，从console口登录至路由器，比较当前的配置与备份的配置，及路由器pro提示是否出现异常,可用命令：show run 当前执行的配置信息查看show start 启动时调用的配置信息查看若配置不同，则修正不同处；若pro状态处于“rommon”，则路由器出现异常，需收集当前的路由器信息后，尝试重新启动恢复，可用命令：show ver 确定路由器启动的时间，以判断路由器是ios崩溃还是reboot后进入简单模式。show log 确定路由器曾经发生的事件show tech 由低到高收集路由器当前的运行信息以便与设备厂商进行故障定位以上判断后设备恢复正常，则可初步判断为软性故障；b/通过console口无法进入路由器，或进入路由器后各别端口出现异常端口物理状态在有没有电路的情况下始终保持down 或up的属性标志；以及路由器的电源无法加电；风扇无法转动；设备告警灯异常，配置无法保存等情况，可以判断路由器出现硬件故障，可用命令：show inter 查看路由器上的端口状态，正常情况下，端口的物理及链状态应随着电路的通断保持相同的变化，特别是链路协议。以上情况可归结到硬性故障，如硬件在设备中具有唯一性，则只能更换设备，如硬件在设备中有备用端口，则移动配置至新端口，保障业务的开通。并联系厂商进行进一步的设备检修及维护。2、 若故障现象是由外围事件产生的故障，可过debug信息进行及电路的调整进行故障判断与解决。一般情况下外围故障包括：物理电路故障； 路由出现异常； ip地址出现异常；等由于外在的原因产生的故障。物理电路故障可应用参看 show inter 命令中端口的状态与电路的硬环开断同步，逐段的判断分析查找中断的电路；路由的异常，一般情况下是由上端路由器上路由信息发生变化后，错误的定义了我方管理地址端的回指端口，造成数据包“有去无回”的情况，可应用tracert命令进行判断；ip地址异常，常发生在地址冲突，地址网段混乱的情况，可通过以下命令进行判断： show arp 查看mac地址 show log 查看突发事件日志，确定mac地址冲突的设备show ip route 查看设备上的ip地址段是否出现嵌套，并目的指向ip地址不同。3、在上述操作后，问题无法及时恢复，可在接入汇聚路由器上修改默认路由至互联网分流路由器上，分流互联网业务至其他运行商处，以保证拥护得正常使用。待链路恢复后，在修正默认路由至唐山、石家庄。5.3 故障二：网络出现二、三、四级安全事件，导致至上级路由器数据包时延及丢包严重超过维护指标路由器数据包时延及丢包严重超过维护指标:应急处理：可分流数据包至秦皇岛联通至其他运行商的直联电路上，保证部分互联网业务的正常故障处理：1、 路由器受到异常流量攻击。ip网络为开放的网络，包括网络结构及技术，近年来，大量的异常流量向内、向外占用了大量的链路资源及设备cpu、内存资源，尤其为2003年的冲击波、振荡波病毒，浪费了大量的网络设备资源，时常造成被攻击路由器99的cpu利用率，使路由器处于2000ms以上的高时延，可以通过访问列表或嗅包的方式发现这种情况： a / 访问列表 access-liset 可以过滤掉具有病毒特征端口的ip包并保留过滤情况到log，便于应用show log 命令确定感染的具体计算机终端，同时也避免异常数据流量通过。 b / 嗅包方式，可应用端口镜像的方式，镜像交换机至核心路由器的端口数据，并应用嗅包系统分析数据包特征，判断分辨感染的计算机终端在通过上述方式确定感染计算机终端，如果攻击源地址来自网外，在相关出口路由器上配置静态路由，将被外网攻击的目的地址指向null0； 如果攻击源地址来自网内，在距发起流量攻击最近的路由器上将攻击的目的地址指向null0，必要时可以关闭发起攻击的接入链路，恢复设备的正常运转。2、 至上一端路由器的链路质量恶化。链路恶化有一下几种方式：a/链路利用率达到70%以上，造成瞬间突发流量出现“红帧”丢弃的情况，从而产生数据包的重复传输导致高时延与部分丢包，可通过show inter 的命令方式查看设备5分钟内流量的统计进行判断，若出现这种情况，可通过嗅包器判断是否有异常的流量，如没有异常流量，可以判断为用户流量过大需申请电路扩容；b/链路出现大量的错误帧。可以通过命令show inter 检查端口出入的错误误帧数量，为便于计数，可清零端口的计数计时器。若错误帧数据增长快且数量大，可复位端口，再不成功需检查链路质量。c/上端路由器异常。判断上端路由器异常，可以通过show inter 判断链路利用率情况是否正常ping 查看至上一端地址的时延，来判断对端路由的异常情况，一般来说出现这种情况多为对端设备负荷大造成，可联系省分机房通报测试情况。 3、 在建立数据流负荷分担时，电路出现变化，路由指向及配置出现偏差，产生丢包。为在窄带电路的基础上（2m）实现宽带的业务需求，路由器经常通过mp的协议实现28的电路的绑定通路，而实际运行中，多条电路的同步机运行质量并不统一，这样当一条或几条基本电路出现异常时，mp虚拟端口就需点对点的调整，这样就产生了段时间的丢包，出现这种情况可应用一下命令确定： show ppp multilink 查看虚端口绑定的基本电路数 show interfaces vir 查看虚端口的流量判断出现这种情况后，可终端有问题的基本电路，保证mp通道的稳定，在查找确定有问题的电路。5.4 故障三：省内dns服务器故障应急处理：使用可93北京联通备用dns服务器故障处理： 省内dns服务器故障，用户侧通常表现为可以ping通网关，但大不开网页，可以通过一下两种方案进行判断： 5.4.1 ping 网站域名 c: ping pinging 29 with 32 bytes of data:reply from 29: bytes=32 time10ms ttl=127reply from 29: bytes=32 time10ms ttl=127reply from 29: bytes=32 time10ms ttl=127reply from 29: bytes=32 timenslookup dns request timed out. timeout was 2 seconds.* cant find server name for address : timed outserver: address: 29name: address: 0如果通过nslookuo可以解析出ip地址，则dns服务器正常，反之为不正常；通过上述可以判断dns得服务是否正常，当dns服务器出现故障时，可以修改dns地址：93联通服务器5.5 通报和技术支援通过应急流程的处理，不管是否成功排除故障，请尽快与厂家及省分网管中心联系，联系方式请见附件一。附件一：省分网管中心联系方式热线13001494441附件二：维护命令使用范例路由器维护命令使用范例version: 1.0目 录1日常维护121.1 硬件维护121.1.1物理外观121.1.2电源121.2软件维护141.2.1路由器ios版本141.2.2 交换机软件版本161.2.3 设备内存171.2.4路由器板卡硬件信息191.2.5路由器端口状态241.2.6 交换机模板信息281.2.7 交换机端口信息291.2.8交换机管理端口状态371.2.9 ospf路由表381.2.10 ospf路由端口401.2.11 ospf路由数据库421.3 路由连通性461.3.1省分域内网络连通性461.3.2省分网络与其它省分区域的路由连通性471.4请求技术支持482. catalyst 2948交换机硬件故障检测552.1 启动552.2排除系统组件级故障562.3 确定启动问题562.4 排除电源故障572.5 联系客户服务代表583. catalyst4000交换机硬件故障检测603.1 系统启动检查603.2 排除系统组件级故障613.3 利用指示灯来确定启动问题613.4 排除电源故障633.5 排除风扇故障643.6 联系思科技术援助中心654. catalyst 交换机软件故障及解决方法665. 中国联通voip，ip承载网主要省份、城市设备互联详表错误！未定义书签。1日常维护日常维护手册主要包括对网络设备硬件及软件维护的各种命令和方法。当网络设备出现故障时，维护人员应遵循维护手册中的步骤，参考网络拓扑结构图，逐一发现故障原因，排出故障。联通 网络设备包括cisco7507/7513, cisco 7206, catalyst4006/4003, catalyst2948。日常维护手册中的各种命令应适用相应的平台，部分命令适用于通用平台，请参考注释。1.1 硬件维护1.1.1物理外观 内容 维护方法与结果 备注物理外观 从外观上，查看路由器硬件装备是否完好无损，每个模块及接口处理器是否正确插入其插槽中并固定，所有螺丝都已上紧，所有接口电缆连接正确，闪存卡正确安装在pcmcia 插槽上，系统电源线连接正确。正常状态：硬件装备完好模块安装正常线缆连接正确系统电源正常1.1.2电源 1检查以下步骤，确保安装无误。每个模块及接口处理器，正确插入其插槽中并固定，所有螺丝都已上紧；所有接口电缆连接正确；系统电源线连接正确，电源ok指示灯是否亮。2检查控制终端确定其正确连接控制口上，并已加电。 3风扇ok指示灯是否亮。 4聆听系统风扇，可以听到风扇的转动声，在嘈杂环境中，应仔细听确保风扇模块的正常。 5观察多层交换功能卡的正常led指示灯，若指示灯未亮，则应回到第一步，检查硬件连接和配置。1.2软件维护1、控制终端通过console口接入路由器或远程登录到路由器，交换路由器2、进入超级用户 enablepassword:#3、执行下述操作。1.2.1路由器ios版本使用命令：show version命令说明：查看系统ios版本。适用平台：cisco gsr12000/ 7200/ 7500 命令显示结果 备注nanjing-voip2-7513#show versioncisco internetwork operating system software ios (tm) rsp software (rsp-isv-m), version 12.1(2)t, release software (fc1)copyright (c) 1986-2000 by cisco systems, inc.compiled tue 16-may-00 14:15 by ccaiimage text-base: 0x60010908, data-base: 0x6138e000rom: system bootstrap, version 12.0(10r)s1, release software (fc1)nanjing-voip2-7513 uptime is 1 year, 9 weeks, 18 hours, 23 minutessystem returned to rom by reload at 12:07:00 utc wed dec 19 2001system restarted at 20:08:49 bj wed dec 19 2001system image file is slot0:rsp-isv-mz.121-2.tcisco rsp8 (r7000) processor with 262144k/8216k bytes of memory.r7000 cpu at 250mhz, implementation 39, rev 1.0, 256kb l2, 2048kb l3 cachelast reset from power-ong.703/e1 software, version 1.0.g.703/jt2 software, version 1.0.x.25 software, version 3.0.0.bridging software.chassis interface.2 feip2 controllers (4 fastethernet).3 vip4-80 rm7000 controllers (3 atm).4 fastethernet/ieee 802.3 interface(s)3 atm network interface(s)2043k bytes of non-volatile configuration memory.20480k bytes of flash pcmcia card at slot 0 (sector size 128k).16384k bytes of flash internal simm (sector size 256k).slave in slot 6 is running cisco internetwork operating system software ios (tm) rsp software (rsp-dw-m), version 12.1(2)t, release software (fc1)copyright (c) 1986-2000 by cisco systems, inc.compiled tue 16-may-00 14:18 by ccaislave: loaded from system slave: cisco rsp8 (r7000) processor with 262144k bytes of memory.configuration register is 0x102标记部分应为相应的ios版本寄存器的正常配置1.2.2 交换机软件版本使用命令：show version命令说明：查看交换机软件版本。适用平台：catalyst 4003, catalyst 4006, catalyst 2948 命令显示结果 备注ws-c2948 software, version nmpsw: 4.5(3)copyright (c) 1995-1999 by cisco systems, inc.nmp s/w compiled on sep 2 1999, 17:53:15gsp s/w compiled on aug 31 1999, 10:48:35system bootstrap version: 4.4(1)hardware version: 2.2 model: ws-c2948 serial #: jab035304rymod port model serial # versions- - - - -1 0 ws-x2948 jab035304ry hw : 2.2 gsp: 4.5(3.0) nmp: 4.5(3)2 50 ws-c2948g jab035304ry hw : 2.2 dram flash nvrammodule total used free total used free total used free- - - - - - - - - -1 65536k 17146k 48390k 12288k 3770k 8518k 480k 112k 368kuptime is 322 days, 5 hours, 8 minutes标记部分应为相应的ios版本1.2.3 设备内存使用命令：show version命令说明：查看系统内存配置情况。适用平台：cisco 2600/3600/7200/7500, cisco gsr12000 命令显示结果 备注cisco internetwork operating system software ios (tm) gs software (gsr-p-m), version 12.0(15)s1, early deployment release software (fc1)tac support: /cgi-bin/ibld/view.pl?i=supportcopyright (c) 1986-2001 by cisco systems, inc.compiled fri 16-feb-01 22:24 by ninahungimage text-base: 0x60010950, data-base: 0x61bfe000rom: system bootstrap, version 11.2(17)gs2, htseng 180 early deployment release software (fc1)bootflash: gs software (gsr-p-m), version 12.0(15)s1, early deployment release software (fc1)bj-voip2-gsr12012 uptime is 8 weeks, 3 days, 11 hours, 48 minutessystem returned to rom by reload at 02:48:40 bj tue dec 24 2002system restarted at 02:49:44 bj tue dec 24 2002system image file is slot0:gsr-p-mz.120-15.s1.bincisco 12012/grp (r5000) processor (revision 0x05) with 131072k bytes of memory.r5000 cpu at 200mhz, implementation 35, rev 2.1, 512kb l2 cachelast reset from power-on2 route processor cards1 clock scheduler card3 switch fabric cards2 quad-port oc3c atm controllers (8 atm).1 six-port ds3 controller (6 ds3).1 three port gigabit ethernet/ieee 802.3z controller (3 gigabitethernet).1 eight-port fastethernet/ieee 802.3u controller (8 fastethernet).9 ethernet/ieee 802.3 interface(s)3 gigabitethernet/ieee 802.3 interface(s)8 atm network interface(s)507k bytes of non-volatile configuration memory.20480k bytes of flash pcmcia card at slot 0 (sector size 128k).8192k bytes of flash internal simm (sector size 256k).configuration register is 0x2102标记部分应为相应的处理器内存使用命令：show version命令说明：查看系统内存配置情况。适用平台：catalyst 4003, catalyst 4006, catalyst2948 命令显示结果 备注ws-c4003 software, version nmpsw: 5.5(11)copyright (c) 1995-2001 by cisco systems, inc.nmp s/w compiled on sep 19 2001, 18:21:21gsp s/w compiled on sep 19 2001, 13:29:34system bootstrap version: 4.4(1)hardware version: 2.0 model: ws-c4003 serial #: jab034400y2mod port model serial # versions- - - - -1 0 ws-x4012 jab034400y2 hw : 2.0 gsp: 5.5(11.0) nmp: 5.5(11)3 34 ws-x4232 jab0343045y hw : 2.0 dram flash nvrammodule total used free total used free total used free- - - - - - - - - -1 65536k 26886k 38650k 12288k 10465k 1823k 480k 164k 316kuptime is 26 days, 18 hours, 47 minutes标记部分应为相应的处理器内存，闪存，和nvram中内存总计，使用内存，空闲内存1.2.4路由器板卡硬件信息使用命令：show diag命令说明：显示路由器接口卡的硬件信息，以及响应的存储器状况。适用平台：cisco 7200/7500, cisco gsr12000 命令显示结果 备注slot 3: physical slot 3, physical slot 0xc, logical slot 3, cbus 0 microcode status 0x4 master enable, led, wcs loaded board is analyzed pending i/o status: none eeprom format version 1 feip2 controller, hw rev 2.13, board revision a0 serial number: 18597541 part number: 73-1684-05 test history: 0x00 rma number: 00-00-00 flags: cisco 7000 board; 7500 compatible eeprom contents (hex): 0x20: 01 20 02 0d 01 1b c6 a5 49 06 94 05 00 00 00 00 0x30: 50 00 00 01 00 00 00 00 00 00 00 00 00 00 00 00 slot database information: flags: 0x4 insertion time: 0x4218 (1y9w ago) controller memory size: 32 mbytes dram, 2048 kbytes sram pa bay 0 information: fast-ethernet pa, 1 ports, 100basetx-isl eeprom format version 1 hw rev 1.04, board revision b0 serial number: 21629536 part number: 73-2570-02 pa bay 1 information: fast-ethernet pa, 1 ports, 100basetx-isl eeprom format version 1 hw rev 1.04, board revision b0 serial number: 21629556 part number: 73-2570-02 -boot log begin-cisco internetwork operating system software ios (tm) vip software (svip-dw-m), version 12.1(2)t, release software (fc1)copyright (c) 1986-2000 by cisco systems, inc.compiled tue 16-may-00 14:25 by ccaiimage text-base: 0x600108f0, data-base: 0x60300000 -boot log end-slot 4: physical slot 4, physical slot 0xb, logical slot 4, cbus 0 microcode status 0x4 master enable, led, wcs loaded board is analyzed pending i/o status: none eeprom format version 1 feip2 controller, hw rev 2.13, board revision a0 serial number: 18597947 part number: 73-1684-05 test history: 0x00 rma number: 00-00-00 flags: cisco 7000 board; 7500 compatible eeprom contents (hex): 0x20: 01 20 02 0d 01 1b c8 3b 49 06 94 05 00 00 00 00 0x30: 50 00 00 01 00 00 00 00 00 00 00 00 00 00 00 00 slot database information: flags: 0x4 insertion time: 0x4218 (1y9w ago) controller memory size: 32 mbytes dram, 2048 kbytes sram pa bay 0 information: fast-ethernet pa, 1 ports, 100basetx-isl eeprom format version 1 hw rev 1.04, board revision b0 serial number: 21629465 part number: 73-2570-02 pa bay 1 information: fast-ethernet pa, 1 ports, 100basetx-isl eeprom format version 1 hw rev 1.04, board revision b0 serial number: 21629583 part number: 73-2570-02 -boot log begin-cisco internetwork operating system software ios (tm) vip software (svip-dw-m), version 12.1(2)t, release software (fc1)copyright (c) 1986-2000 by cisco systems, inc.compiled tue 16-may-00 14:25 by ccaiimage text-base: 0x600108f0, data-base: 0x60300000 -boot log end-slot 5: physical slot 5, physical slot 0xa, logical slot 5, cbus 0 microcode status 0x4 master enable, led, wcs loaded board is analyzed pending i/o status: none eeprom format version 1 vip4-80 rm7000 controller, hw rev 2.02, board revision b0 serial number: 18588242 part number: 73-3143-02 test history: 0x00 rma number: 00-00-00 flags: cisco 7000 board; 7500 compatible eeprom contents (hex): 0x20: 01 22 02 02 01 1b a2 52 49 0c 47 02 00 00 00 00 0x30: 58 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 slot database information: flags: 0x4 insertion time: 0x4218 (1y9w ago) controller memory size: 128 mbytes dram, 65536 kbytes sram pa bay 0 information: enhanced atm oc3 mm pa, 1 ports eeprom format version 1 hw rev 2.00, board revision a0 serial number: 22557646 part number: 73-2430-04 板卡硬件信息内存配置网络接口1.2.5路由器端口状态使用命令：show interface命令说明：显示端口物理状态是否正常，端口协议是否正常启动,端口的收发状态是否正常，端口的 基本配置是否正确。ip地址是否正确。适用平台：cisco 2600/3600/7200/7500, cisco gsr12000 命令显示结果 备注fastethernet4/0/0 is up, line protocol is up hardware is cybus fastethernet interface, address is 0003.31b6.3080 (bia 0003.31b6.3080) description: to 2948 port2/25 internet address is /24 mtu 1500 bytes, bw 100000 kbit, dly 100 usec, reliability 255/255, txload 39/255, rxload 25/255 encapsulation arpa, loopback not set keepalive set (10 sec) full-duplex, 100mb/s, 100basetx/fx arp type: arpa, arp timeout 04:00:00 last input 00:00:00, output 00:00:00, output hang never last clearing of show interface counters 12w3d queueing strategy: fifo output queue 0/40, 6513 drops; input queue 0/75, 0 drops 5 minute input rate 10051000 bits/sec, 15160 packets/sec 5 minute output rate 15341000 bits/sec, 23253 packets/sec 3446758013 packets input, 4059166088 bytes, 0 no buffer received 34029105 broadcasts, 0 runts, 0 giants, 0 throttles 422 input errors, 0 crc, 449071 frame, 0 overrun, 18369989 ignored 0 watchdog 0 input packets w