商务分公司生产网络切换演练实施计划方案

1、 . . . 商务公司生产网络切换演练商务公司生产网络切换演练实施方案实施方案目录目录1 1 目的围目的围 .5 52 2 演练目标目标 .5 53 3 风险评估风险评估 .5 5 . . . ii / 333.1 分公司网络设备现状 .53.2 风险可控 .64 4 演练实施步骤演练实施步骤 .8 84.1 演练时间与参加人员 .84.1.1 演练前期准备工作 .84.1.2 实施时间 .84.1.3 参与人员 .84.1.4 演练完成后续工作 .94.2 演练场景一：生产网上联路由器故障 .94.2.1 上联到总公司/当地银联网络的线路出现故障 .94.2.1.1 故障现象 .104.2.

2、1.2 故障研判 .104.2.1.3 演练步骤 .114.2.1.4 预期分析 .124.2.1.5 结果分析 .124.2.1.6 应急处理 .134.2.2 上联到总公司/当地银联网络的设备接口模块出现故障 .134.2.3 上联到总公司/当地银联网络的设备出现故障 .134.2.3.1 故障现象 .134.2.3.2 故障研判 .144.2.3.3 演练步骤 .144.2.3.4 预期分析 .144.2.3.5 结果分析 .154.2.3.6 应急处理 .154.3 演练场景二：交换机故障 .154.3.1 主交换机设备故障 .164.3.1.1 故障现象 .164.3.1.2 故障研

3、判 .174.3.1.3 演练步骤 .174.3.1.4 预期分析 .184.3.1.5 结果分析 .184.3.1.6 应急处理 .194.4 演练场景三：隔离区防火墙故障 .204.4.1 防火墙设备故障 .204.4.1.1 故障现象 .204.4.1.2 故障研判 .214.4.1.3 演练步骤 .224.4.1.4 预期分析 .224.4.1.5 结果分析 .224.4.1.6 应急处理 .234.4.2 防火墙与、外网交换机连接线路（端口）故障 .234.5 演练场景四：生产外网下联路由器故障 .234.5.1 外网路由器和商户间线路故障 .234.5.1.1 故障现象 .234.

4、5.1.2 故障研判 .234.5.1.3 演练步骤 .244.5.1.4 预期分析 .244.5.1.5 结果分析 .244.5.1.6 应急处理 .254.5.2 外网路由器设备故障 .25 . . . iii / 334.6 演练场景五：网控器切换 .254.6.1 主上联卡故障 .254.6.1.1 演练步骤 .254.6.1.2 预期分析 .274.6.1.3 结果分析 .274.6.1.4 应急处理 .274.6.2 主电源故障 .274.6.2.1 演练步骤 .274.6.2.2 预期分析 .294.6.2.3 结果分析 .294.6.2.4 应急处理 .295 5 附件附件 .

5、2929 . . . 4 / 331目的目的本演练方案旨在验证某分支机构生产系统备份机制的有效性，提高网络维护和管理水平，提高操作人员的应急处理能力。熟悉紧急恢复的流程和操作方法，最大限度地降低故障对生产造成的影响。2演练演练围围本切换演练方案包括分支机构标准架构生产网的所有设备，在网络中可能遇到如下的故障：1. 生产网上联路由器故障；2. 交换机故障；3. 隔离区防火墙故障；4. 生产外网下联路由器故障；5. 网控器上联卡与电源故障。此次演练将分别对以上故障现象进行模拟，目的在于验证发生该故障对生产系统的影响以、某分公司核心生产系统备份机制的效果与考验值班人员对此类故障的反应和处理能力。3风

6、险评估风险评估3.1 分公司网络设备现状分公司网络设备现状分公司网络设备连接如下图： . . . 5 / 333.2 影响性评估影响性评估如上图所示，分子公司标准架构的网路由器、网交换机、隔离区防火墙、外网交换机、网控器等均采用热备组成设级高可用，单台设备发生故障时，业务数据流将自动切换到备用设备，生产交易不会出现长时间中断。分子公司外网路由器用于与合作商户接入，当设备出现故障时，需要手动将商户接入线路切换至备用路由器，存在一定时间的生产交易中断。综上所述，某分支机构生产系统切换演练将可能会对生产系统交易造成影响，如果以上相关准备做好后，风险是可控的。 . . . 6 / 334演练实施步骤演

7、练实施步骤4.1 演练时间与参加人员演练时间与参加人员4.1.1 演练前期准备工作演练前期准备工作1) 根据本方案选定应急场景，选定演练时间、制定演练细则；2) 将演练方案上报总公司技术管理部评审；3) 方案评审通过后，报备银联当地分公司，并发函通知商户；4) 通知维保厂商（强电、网络）进行推演，并准备好备件，做好现场支持工作；5) 检查生产系统的运行状态，确认交易正常，保存网络设备配置。4.1.2 实施时间实施时间现设定实施日期 2012 年 X 月 X 日为切换演练日，本次实施从 X 日 0:00 开始，以事先通知的方式进行。拟定 X 日 5:00 结束。4.1.3 参与人员参与人员演练角

8、色工作现场实施人员复核人员演练总指挥分支机构现场网络岗一总公司网络岗二分支机构现场系统岗总公司应用岗总公司环境岗分支机构现场测试岗一分支机构现场测试岗二总公司演练步骤记录岗分支机构现场支持厂商如宏天分支机构现场 . . . 7 / 334.1.4 演练完成后续工作演练完成后续工作1) 记录演练实施过程与结果；2) 系统状态检查与交易测试验证；3) 通知当地银联分公司、总公司与商户；4) 演练总指挥宣布演练结束。4.2 演练场景一：演练场景一：生产网上联路由器线路或设备故障生产网上联路由器线路或设备故障4.2.1 上联到总公司上联到总公司/ /当地银联网络的线路出现故障当地银联网络的线路出现故障

9、上联到当地银联网络的路由器有两台，为热备方式。线路目前有两种方式：专线、Ethernet。当上联到总公司/银联网络是通过主备两条专线互连时，若主线路发生故障时，会导致路由切换到备份线路工作. 当上联到银联网络是通过双绞线（以太网）互连时(一般只有一 . . . 8 / 33条双绞线与银联设备互连，没有备份线路)，若双绞线发生故障时，会中断与银联网络的数据传输，须与时更换新的双绞线。4.2.1.1 故障现象故障现象监控岗位监控岗位故障详细容故障详细容运行监控岗通过 NETCOOL 短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1） 通过远程 telnet 11.172.255

10、.1登陆分公司主路由器，telnet 登录成功。2） 通过 ping11.172.255.1，ping 成功。3） 通过在总公司下联路由器上 ping 直连接口11.131.172.2，ping 不成功。4） 通过在总公司下联路由器上 sh ip int brie 显示该分公司接口为 down down。应用支持岗运行监控岗：NETCOOL 告警信息如下如果出现红色告警，并显示线路类型：电信线路：总公司-XX 分公司 无法 ping 通 线路编号：NA 报障：,则可能该路由器或线路已经出现故障。网络运行岗：检查路由器所有状态灯，显示有红色告警或熄灭。4.2.1.2 故障研判故障研判监控岗位监控

11、岗位故障研判故障研判预期结果预期结果运行监控岗查看总公司监控机 netcool 告警界面发现红色告警，显示线路类型：电信线路：总公司-XX分公司 无法 ping通 线路编号：NA 报障： 网络监控岗1） 通过远程 telnet 登陆故障路由器命令：telnet 11.XX.255.12） 通过 ping 路由器命令：ping 11.XX.255.11） telnet 登录成功。2） ping 成功。3） ping 失败。 . . . 9 / 333）通过在总公司下联路由器上 ping 直连接口命令：ping 11.131.172.2。4） 通过在总公司下联路由器上查看接口状态 命令：sh ip

12、 int Serial1/2/0:1 4） 显示Serial1/2/0:1 is down, line protocol is down。判断为：分公司生产网上联路由器_CNXXRT01001 的通讯线路中断。4.2.1.3 演练步骤演练步骤首先进行到总公司线路的切换演练：其次进行到当地银联线路的切换演练：步骤步骤操作容操作容操作岗位操作岗位预估用时预估用时第一步在分公司网控器上联卡上 ping 银联二代收单平台应用岗第二步登录分公司网主路由器，在_CNXXRT01001 上，确认至当地银联的主线路，并Interface XX shutdown网络岗步骤步骤操作容操作容操作岗位操作岗位预估用时

13、预估用时第一步登录分公司新一代，长 ping 分公司网控器上联卡应用岗第二步登录分公司网主路由器，在_CNXXRT01001 上，确认至总公司的主线路，并_CNXXRT01001#Interface XX shutdown网络岗第三步_CNXXRT01001#sh ip interface brief /查看端口情况sh cdp nei /查看是否还有与总公司互连的设备信息sh ip route /查看是否还有到总公司的相关路由sh run /查看当前路由器配置情况网络岗第四步查看中断切换时间，记录长 ping 结果。应用岗第五步在新一代上 traceroute 分公司网控器上联卡，检查路由是

14、否已经切换至备线网络岗第六步交易测试应用岗第七步登录分公司网主路由器，在_CNXXRT01001 上，确认至总公司的主线路，并_CNXXRT01001#Interface XXNo shutdown网络岗第八步在新一代上 traceroute 分公司网控器上联卡，检查路由是否已经切换至主线网络岗第九步交易测试应用岗 . . . 10 / 33第三步sh ip interface brief /查看端口情况sh cdp nei /查看是否还有与银联互连的设备信息sh ip route /查看是否还有银联的相关路由sh run /查看当前路由器配置情况网络岗第四步查看中断切换时间，记录长 ping

15、 结果。第五步在网交换机上 traceroute 银联二代收单平台地址，检查路由是否已经切换至备线网络岗第六步交易测试应用岗第七步登录分公司网主路由器，在_CNXXRT01001 上，确认至当地银联的主线路，并Interface XXNo shutdown网络岗第八步在新一代上 traceroute 分公司网控器上联卡，检查路由是否已经切换至主线网络岗第九步交易测试应用岗4.2.1.4 预期分析预期分析正常情况下，去银联/总公司的路由会通过主线路传输数据，同时通过 cdp 能看到与总公司/银联的网络设备邻接关系，当主线路出现故障后，去总公司/银联的路由会切换到备线路工作，通过备线路传输数据，不

16、会影响交易。 4.2.1.5 结果分析结果分析切换后请记录切换延时、丢包数、路径状态步骤步骤切换延时切换延时丢包数丢包数切换后路径状态切换后路径状态路由状态路由状态备注备注A路由正常切换到总公司主线切至备线B路由正常切换到总公司备线切至主线C路由正常切换到当地银联主线切至备线D路由正常切换到当地银联备线切至主线4.2.1.6 应急处理应急处理当演练过程中出现不符合预期结果并造成交易长时间无法恢复 . . . 11 / 33时，启动回退步骤：步骤步骤操作容操作容操作岗位操作岗位预估用时预估用时第一步登录分公司网主路由器，在_CNXXRT01001 上，确认至当地银联的主线路，并Interface

17、 XXNo shutdown网络岗第二步在分公司网控器上联卡上 ping 银联二代收单平台应用岗第三步sh ip interface brief /查看端口情况sh cdp nei /查看是否还有与银联互连的设备信息sh ip route /查看是否还有银联的相关路由sh run /查看当前路由器配置情况网络岗第四步在新一代上 traceroute 分公司网控器上联卡，检查路由是否已经切换至主线网络岗第五步交易测试应用岗演练的结果如不符合预期，填写下表问题现象问题现象原因分析原因分析解决方法解决方法步骤步骤操作容操作容操作岗位操作岗位预估用时预估用时第一步登录分公司网主路由器，在_CNXXRT

18、01001 上，确认至总公司的主线路，并_CNXXRT01001#Interface XXNo shutdown网络岗第二步登录分公司新一代，长 ping 分公司网控器上联卡应用岗第三步_CNXXRT01001#sh ip interface brief /查看端口情况sh cdp nei /查看是否还有与总公司互连的设备信息sh ip route /查看是否还有到总公司的相关路由sh run /查看当前路由器配置情况网络岗第四步在新一代上 traceroute 分公司网控器上联卡，检查路由是否已经切换至主线网络岗第五步交易测试应用岗 . . . 12 / 334.2.2 上联到总公司上联到总

19、公司/ /当地银联网络的设备接口模块出现故障当地银联网络的设备接口模块出现故障故障现象类似 4.2.1 线路故障，在此不多做描述，演练时可以跳过。4.2.3 上联到总公司上联到总公司/ /当地银联网络的设备出现故障当地银联网络的设备出现故障如果上联主路由器整机发生故障，应与时联系厂商提供备件到现场，设备到位后，更换新设备并加电，观察路由器工作是否正常。4.2.3.1 故障现象故障现象监控岗位监控岗位故障详细容故障详细容运行监控岗通过 NETCOOL 短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1） 通过远程 telnet 登陆故障路由器，telnet 登录失败。2） 通过

20、 ping 路由器，ping 不通。3） 使用 console 口登陆，登陆失败。4） 检查路由器所有状态灯，显示有红色告警或熄灭。应用支持岗运行监控岗：NETCOOL 告警信息如下如果出现红色告警，并显示节点11.XX.255.1无法获取分公司生产网上联路由器信息则可能该路由器已经出现故障。网络运行岗：检查路由器所有状态灯，显示有红色告警或熄灭。4.2.3.2 故障研判故障研判监控岗位监控岗位故障研判故障研判预期结果预期结果运行监控岗查看总公司监控机 netcool 告警界面（ s:/11.131.249.100:16316/ibm/console） 发现红色告警，显示节点11.131.25

21、5.1 . . . 13 / 33无法获取 XX 分公司生产网主路由器信息网络监控岗1） 通过远程 telnet 登陆故障路由器命令：telnet 11.XX.255.12） 通过 ping 路由器命令：ping 11.XX.255.13） 使用控制线连接到路由器标识有“console”的端口登陆。4） 检查路由器状态灯，显示红色告警或熄灭。SYS/SYS PWR 正常为绿色， ACT 正常为绿色闪动；当状态灯为黄色或红色时故障1） telnet 登录失败。2） ping 不通。3） console 口登陆失败，无法显示信息。4） 路由器状态灯显示红色告警或熄灭。判断为：分公司生产网上联路由器

22、_CNXXRT01001 宕机。4.2.3.3 演练步骤演练步骤步骤步骤操作容操作容操作岗位操作岗位预估用时预估用时第一步在分公司新一代上 ping 分公司网控器上联卡应用岗第二步关闭分公司网主路由器_CNXXRT01001 电源网络岗第三步sh ip interface brief /查看端口情况sh cdp nei /查看是否还有与银联互连的设备信息sh ip route /查看是否还有银联的相关路由sh run /查看当前路由器配置情况网络岗第四步在新一代上 traceroute 分公司网控器上联卡，检查路由是否已经切换至备线网络岗第五步交易测试应用岗第六步开启分公司网主路由器_CNXX

23、RT01001 电源网络岗第七步在新一代上 traceroute 分公司网控器上联卡，检查路由是否已经切换至主线网络岗第八步交易测试应用岗4.2.3.4 预期分析预期分析正常情况下，去银联/总公司的路由会通过主线路传输数据，同时通过 cdp 能看到与总公司/银联的网络设备邻接关系，当设备出现故障后，去总公司/银联的路由会切换到备线路工作，通过备线路传输数据，不会影响交易。 4.2.3.5 结果分析结果分析切换后请记录切换延时、丢包数、路径状态步骤步骤切换延时切换延时丢包数丢包数切换后路径状态切换后路径状态路由状态路由状态备注备注 . . . 14 / 33A路由正常切换主路由器切到备路由器B路

24、由正常切换备路由器回切到主路由器4.2.3.6 应急处理应急处理当演练过程中出现不符合预期结果并造成交易长时间无法恢复时，启动回退步骤：步骤步骤操作容操作容操作岗位操作岗位预估用时预估用时第一步开启分公司网主路由器_CNXXRT01001 电源网络岗第二步在分公司新一代上 ping 分公司网控器上联卡应用岗第三步sh ip interface brief /查看端口情况sh cdp nei /查看是否还有与银联互连的设备信息sh ip route /查看是否还有银联的相关路由sh run /查看当前路由器配置情况网络岗第四步在新一代上 traceroute 分公司网控器上联卡，检查路由是否已经

25、切换至主线网络岗第五步交易测试应用岗演练的结果如不符合预期，填写下表问题现象问题现象原因分析原因分析解决方法解决方法4.3 演练场景二：交换机故障演练场景二：交换机故障交换机包括网交换机和外网交换机，因为无论是网交换机故障还是外网交换机故障都会造成防火墙的 HA 切换，故在此合并为同一类切换演练。下图为生产网核心交换机连接图： . . . 15 / 33下图为生产外网核心交换机连接图：4.3.1 主交换机设备故障主交换机设备故障首先排除线路的故障，如果确定为备用交换机设备整机出现故障故障，需要将备交换机上连接的主机切换到主交换机相应的端口。若确定为主交换机设备整机出现故障，需要将与主交换机互连

26、的上联主路由器以与其他主机设备切换到备交换机相应的端口上，并观察备用交换机的工作是否正常。4.3.1.1 故障现象故障现象监控岗位监控岗位故障详细容故障详细容运行监控岗通过 NETCOOL 短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1） 通过远程 telnet 登陆故障交换机，telnet 登录失败。 . . . 16 / 332） 通过 ping 11.XX.255.3，ping 不通。3） 使用 console 口登陆，登陆失败。4） 检查路由器所有状态灯，显示有红色告警或熄灭。应用支持岗运行监控岗：NETCOOL 告警信息如下如果出现红色告警，并显示节点11.XX

27、.255.3无法获取分公司核心接入交换机信息则可能该交换机已经出现故障。网络运行岗：检查交换机所有状态灯，显示有红色告警或熄灭。4.3.1.2 故障研判故障研判监控岗位监控岗位故障研判故障研判预期结果预期结果运行监控岗查看总公司监控机 netcool 告警界面（ s:/11.131.249.100:16316/ibm/console） 发现红色告警，显示节点11.131.255.3无法获取 XX 分公司生产网交换机SW1 的信息网络监控岗1） 通过远程 telnet 登陆故障交换机命令：telnet 11.XX.255.32） 通过 ping 交换机命令：ping 11.XX.255.33）

28、使用控制线连接到路由器标识有“console”的端口登陆。4） 检查交换机状态灯，显示红色告警或熄灭。SYS/SYS PWR 正常为绿色， ACT 正常为绿色闪动；当状态灯为黄色或红色时故障1） telnet 登录失败。2） ping 不通。3） console 口登陆失败，无法显示信息。4） 交换机状态灯显示红色告警或熄灭。判断为：分公司生产核心接入交换机_CNXXSW01001 宕机。4.3.1.3 演练步骤演练步骤步骤步骤操作容操作容操作岗位操作岗位预估用预估用时时第一步在分公司新一代上 ping 外网商户地址和网控器上连卡地址应用岗 . . . 17 / 33第二步关闭分公司网主交换机

29、_CNXXSW01001 电源：网络岗第三步sh ip interface brief 查看端口情况sh vlan 查看是否还有与银联互连的设备信息sh run 查看当前交换机配置情况sh ip route 查看相关路由网络岗第四步在新一代上 ping 商户和网控器上联卡地址网络岗第五步交易测试应用岗第六步开启分公司网主交换机_CNXXSW01001 电源：网络岗第七步sh ip interface brief 查看端口情况sh vlan 查看是否还有与银联互连的设备信息sh run 查看当前交换机配置情况sh ip route 查看相关路由网络岗第八步在新一代上 ping 商户和网控器上联卡

30、地址网络岗第九步交易测试应用岗4.3.1.4 预期分析预期分析对于网核心交换机，正常情况下，交易在主交换机上传输数据，当网备交换机设备故障时，不会影响交易；当网主交换机设备出现故障后，HSRP 切换到备交换机为ACTIVE，也会引起防火墙的 failover 主、备切换，交易也将切换到备交换设备工作，通过备防火墙、备交换机的线路传输交易数据，影响交易时间 40 秒左右。 对于外网核心交换机，正常情况下，商户通过外网路由设备接入进行交易，当外网交换机出现故障后，根据实际外网连接情况分为两种： 未进行外网改造过的，外网设备没有全互联的分公司，所有由该路由器接入的单专线商户交易中断； 有进行过外网改

31、造，外网设备有全互联的分公司，商户交易 . . . 18 / 33可以切换到备交换机上，切换时间约在 1040 秒。外网未做全互联改造的无需做此切换！外网未做全互联改造的无需做此切换！4.3.1.5 结果分析结果分析切换后请记录切换延时、丢包数、路径状态步骤步骤切换延时切换延时丢包数丢包数切换后路径状态切换后路径状态路由状态路由状态备注备注A路由正常切换网主交换机切到备交换机B路由正常切换网备交换机回切到主交换机C路由正常切换外网主交换机切到备交换机D路由正常切换外网备交换机回切到主交换机4.3.1.6 应急处理应急处理当演练过程中出现不符合预期结果并造成交易长时间无法恢复时，启动回退步骤：步

32、骤步骤操作容操作容操作岗位操作岗位预估用预估用时时第一步开启分公司网主交换机_CNXXSW01001 电源：网络岗第二步在分公司新一代上 ping 外网商户地址和网控器上连卡地址应用岗第三步sh ip interface brief 查看端口情况sh vlan 查看是否还有与银联互连的设备信息sh run 查看当前交换机配置情况sh ip route 查看相关路由网络岗第四步在新一代上 ping 商户和网控器上联卡地址网络岗第五步交易测试应用岗演练的结果如不符合预期，填写下表问题现象问题现象原因分析原因分析 . . . 19 / 33解决方法解决方法4.4 演练场景三：隔离区防火墙故障演练场景

33、三：隔离区防火墙故障隔离区防火墙故障与其应急措施：4.4.1 防火墙设备故障防火墙设备故障两台防火墙以 Failover 方式工作，与、外网交换机互连。在工作过程中，与主防火墙互连的外网主交换机的线路（端口）或防火墙的线路（端口）发生故障时，会引起防火墙主备切换。4.4.1.1 故障现象故障现象监控岗位监控岗位故障详细容故障详细容运行监控岗通过 NETCOOL 短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1） 通过远程 telnet 登陆故障防火墙，telnet 登录失败 2） 通知分公司同事使用 console 口登陆，登陆失败。3） 登陆当前 active 防火墙，使

34、用 show failover 命令查看 failover 状态是否 . . . 20 / 33发生切换。如发现 This host：Secondary Active，则 failover 已经发生切换。应用支持岗运行监控岗：NETCOOL 告警信息如下如果出现红色告警，并显示无法获取 XX 分公司防火墙信息则可能该防火墙已经出现故障。网络运行岗：show failover 状态图如下4.4.1.2 故障研判故障研判监控岗位监控岗位故障研判故障研判预期结果预期结果运行监控岗查看总公司监控机 netcool 告警界面（ s:/11.131.249.100:16316/ibm/console） 发

35、现红色告警，显示无法获取 XX分公司防火墙信 . . . 21 / 33息网络监控岗1)登陆至故障分公司网交换机 SW1，telnet 10.XX.33.5,登陆成功后使用命令 show failover 查看已经发生切换，备机已经接管成为 Active 状态2)telnet 10.XX.33.6 至当前备份防火墙，登陆失败3)通知分公司同事使用 console 线登陆故障防火墙（该防火墙 failover 的 active 灯灭），登陆失败Failover 已经切换至备份防火墙，telnet/console登陆方式都无法登陆判断为：分公司核心主防火墙_CNXXFW01001 设备故障。4.4

36、.1.3 演练步骤演练步骤步骤步骤操作容操作容操作岗位操作岗位预估用预估用时时第一步在分公司新一代上 ping 外网商户地址应用岗第二步关闭分公司防火墙_CNXXFWW01001 电源：网络岗第三步sh ip 查看接口 IP 地址信息sh int 查看接口状态情况sh run 查看 FW 当前配置情况sh failover 查看 FW 的 FO 状况sh conn 查看 FW 的连接数网络岗第四步在新一代上 ping 商户地址网络岗第五步交易测试应用岗第六步开启分公司防火墙_CNXXFWW01001 电源：网络岗第七步sh ip 查看接口 IP 地址信息sh int 查看接口状态情况sh ru

37、n 查看 FW 当前配置情况sh failover 查看 FW 的 FO 状况sh conn 查看 FW 的连接数网络岗第八步在新一代上 ping 商户地址网络岗4.4.1.4 预期分析预期分析正常情况下，穿越防火墙进行交易的流量会通过主墙传输数据，同时通过 sh conn acount 能看到主、备防火墙设备连接数的差异（主墙连接数多于备墙），当与主墙互联的、外网交换机线路出现故障后，防火墙的 failover 会切换到备墙上工作，穿越防火墙的交易流量会切换到备防火墙进行工作，通过备墙的线路传输交易数据， . . . 22 / 33交易中断时间在约在 3045 秒。 4.4.1.5 结果分析

38、结果分析切换后请记录切换延时、丢包数、路径状态步骤步骤切换延时切换延时丢包数丢包数切换后路径状态切换后路径状态路由状态路由状态备注备注A路由正常切换主防火墙切到备防火墙B路由正常切换备防火墙回切到防火墙4.4.1.6 应急处理应急处理当演练过程中出现不符合预期结果并造成交易长时间无法恢复时，启动回退步骤：步骤步骤操作容操作容操作岗位操作岗位预估用预估用时时第一步开启分公司防火墙_CNXXFWW01001 电源：网络岗第二步在分公司新一代上 ping 外网商户地址应用岗第三步sh ip 查看接口 IP 地址信息sh int 查看接口状态情况sh run 查看 FW 当前配置情况sh failov

39、er 查看 FW 的 FO 状况sh conn 查看 FW 的连接数网络岗第四步交易测试应用岗演练的结果如不符合预期，填写下表问题现象问题现象原因分析原因分析解决方法解决方法4.4.2 防火墙与、外网交换机连接线路（端口）故障防火墙与、外网交换机连接线路（端口）故障此情景和 4.4.1 防火墙设备故障类似。 . . . 23 / 334.5 演练场景四：生产外网下联路由器故障演练场景四：生产外网下联路由器故障4.5.1 外网路由器和商户间线路故障外网路由器和商户间线路故障对于有商户双线接入的分公司（如沃尔玛、宁易购等）进行如下对于有商户双线接入的分公司（如沃尔玛、宁易购等）进行如下切换，对于没

40、有任何双线路接入商户的分公司此步骤跳过切换，对于没有任何双线路接入商户的分公司此步骤跳过!4.5.1.1 故障现象故障现象监控岗位监控岗位故障详细容故障详细容运行监控岗网管平台显示分 XXX 分公司生产外网 XXX 商户无法 PING 通系统监控岗网络监控岗1、通过远程 telnet 登陆商户接入路由器，PING 商户互联线路对端 IP 地址，PING 失败。应用支持岗运行监控岗：NETCOOL 告警信息如下如果出现红色告警，并显示无法 PING 通 XXXX 分公司 XXXX 商户地址。4.5.1.2 故障研判故障研判监控岗位监控岗位故障研判故障研判预期结果预期结果运行监控岗查看总公司监控机

41、 netcool 告警界面（ s:/11.131.249.100:16316/ibm/console）显示分 XXX 分公司生产外网 XXX 商户无法 PING 通 不同网络监控岗1） 通过 ping 路由器命令：ping 11.XX.255.2） 通过 ping 路由器直连商户对端命令：ping 11.XX.255.71） 正常2） 不通判断为：分公司网络区下联路由器_CNXXRT01003 连接商户通讯线路中断。4.5.1.3 演练步骤演练步骤步骤步骤操作容操作容操作岗位操作岗位预估用时预估用时第一步在分公司新一代上 ping 商户地址应用岗 . . . 24 / 33第二步Shut 外网

42、主路由器连商户的接口。网络岗第三步sh ip interface brief /查看端口情况sh ip route /查看相关路由网络岗第四步在分公司新一代上 ping 商户地址网络岗第五步交易测试应用岗第六步No Shut 外网主路由器连商户的接口。网络岗第七步sh ip interface brief /查看端口情况sh ip route /查看相关路由网络岗第八步在分公司新一代上 ping 商户地址网络岗第九步交易测试应用岗4.5.1.4 预期分析预期分析正常情况下，商户由外网路由器接入银商网络进行交易路由，当外网路由器设备故障时，所有与该路由器设备连接的单线路商户，交易中断。 4.5.

43、1.5 结果分析结果分析切换后请记录切换延时、丢包数、路径状态步骤步骤切换延时切换延时丢包数丢包数切换后路径状态切换后路径状态路由状态路由状态备注备注A路由正常切换B路由正常切换4.5.1.6 应急处理应急处理4.5.2 外网路由器设备故障外网路由器设备故障 该故障的演练方式类似 4.5.1 外网路由器和商户间线路故障，在此不作累述。只演练上面接口级的线路故障即可。4.6 演练场景五：网控器切换演练场景五：网控器切换4.6.1 主上联卡故障主上联卡故障对于网控器有双上联的分公司进行如下切换，只有单上联卡的网对于网控器有双上联的分公司进行如下切换，只有单上联卡的网控器跳过此步骤控器跳过此步骤!

44、! . . . 25 / 334.6.1.1 故障现象故障现象监控岗位监控岗位故障详细容故障详细容运行监控岗网管 PING 台显示 XXX 分公司网控上联卡无法 PING 通系统监控岗网络监控岗登陆分公司网交换机，无法 PING 通分公司网控上联卡 IP 地址。应用支持岗运行监控岗：NETCOOL 告警信息如下如果出现红色告警，并显示无法 PING 通 XXXX 分公司网控上联卡 IP 地址。4.6.1.2 故障研判故障研判监控岗位监控岗位故障研判故障研判预期结果预期结果运行监控岗查看总公司监控机 netcool 告警界面（ s:/11.131.249.100:16316/ibm/console）显示分 XXX 分公司上联卡无法 PING 通不通网络监控岗通过 ping 分公司 NAC 上联卡命令：ping 11.XX.4.X不通判断为：分公司网络区下联路由器_CNXXRT01003 连接商户通讯