某公司生产网络切换演练实施方案.doc

银联商务银联商务 XXXX 公司生产网络公司生产网络 切换演练切换演练实施方案实施方案 第 1.1 版 银联商务网络室 20122012 年年 8 8 月月 3030 日日 银联商务分公司生产网络切换演练实施方案 ii 版本控制信息 版本版本日期日期拟稿和修改拟稿和修改说明说明 0.002012-5-23 王涛初稿 0.012012-5-28 戴小飞增加部分细节 0.022012-6-8 王锋增加网控器故障演练 0.032012-6-15 王锋将内外网交换机故障合并为同类故障 1.02012/8/7 王锋加入故障现象和故障研判 1.12012/8/30 孙毅补充部分演练的故障现象和故障研判 本文档中的所有内容为银联商务有限公司的机密和专属所有。未经银联商务有限公司的明 确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文档部 分或全部内容。 银联商务分公司生产网络切换演练实施方案 iii 目录目录 1目的范围目的范围 5 2演练目标目标 5 3风险评估风险评估 5 3.1分公司网络设备现状 5 3.2风险可控 6 4演练实施步骤演练实施步骤 8 4.1演练时间及参加人员 8 4.1.1演练前期准备工作 8 4.1.2实施时间 8 4.1.3参与人员名单 8 4.1.4演练完成后续工作 9 4.2演练场景一：生产内网上联路由器故障 9 4.2.1上联到总公司/当地银联网络的线路出现故障.9 故障现象 .10 故障研判 .10 演练步骤 .11 预期分析 .12 结果分析 .12 应急处理 .13 4.2.2上联到总公司/当地银联网络的设备接口模块出现故障.13 4.2.3上联到总公司/当地银联网络的设备出现故障.13 故障现象 .13 故障研判 .14 演练步骤 .14 预期分析 .14 结果分析 .15 应急处理 .15 4.3演练场景二：交换机故障 15 4.3.1主交换机设备故障 16 故障现象 .16 故障研判 .17 演练步骤 .17 预期分析 .18 结果分析 .18 应急处理 .19 4.4演练场景三：隔离区防火墙故障 20 4.4.1防火墙设备故障 20 故障现象 .20 故障研判 .21 演练步骤 .22 预期分析 .22 结果分析 .22 应急处理 .23 4.4.2防火墙与内、外网交换机连接线路（端口）故障 23 4.5演练场景四：生产外网下联路由器故障 23 银联商务分公司生产网络切换演练实施方案 iv 4.5.1外网路由器和商户间线路故障 23 故障现象 .23 故障研判 .23 演练步骤 .24 预期分析 .24 结果分析 .24 应急处理 .25 4.5.2外网路由器设备故障 25 4.6演练场景五：网控器切换 25 4.6.1主上联卡故障 25 演练步骤 .25 预期分析 .27 结果分析 .27 应急处理 .27 4.6.2主电源故障 27 演练步骤 .27 预期分析 .29 结果分析 .29 应急处理 .29 5附件附件 29 银联商务分公司生产网络切换演练实施方案 5 1目的目的 本演练方案旨在验证银联商务分支机构生产系统备份机制的有效性，提高网 络维护和管理水平，提高操作人员的应急处理能力。熟悉紧急恢复的流程和操作 方法，最大限度地降低故障对生产造成的影响。 2演练演练范围范围 本切换演练方案包括分支机构标准架构生产网的所有设备，在网络中可能遇 到如下的故障： 1. 生产内网上联路由器故障； 2. 交换机故障； 3. 隔离区防火墙故障； 4. 生产外网下联路由器故障； 5. 网控器上联卡及电源故障。 此次演练将分别对以上故障现象进行模拟，目的在于验证发生该故障对生产 系统的影响以、银联商务分公司核心生产系统备份机制的效果及考验值班人员对 此类故障的反应和处理能力。 3风险评估风险评估 3.1 分公司网络设备现状分公司网络设备现状 分公司网络设备连接如下图： 银联商务分公司生产网络切换演练实施方案 6 3.2 影响性评估影响性评估 如上图所示，分子公司标准架构的内网路由器、内网交换机、隔离区防火墙、 外网交换机、网控器等均采用热备组成设级高可用，单台设备发生故障时，业务 数据流将自动切换到备用设备，生产交易不会出现长时间中断。 分子公司外网路由器用于与合作商户接入，当设备出现故障时，需要手动将 商户接入线路切换至备用路由器，存在一定时间的生产交易中断。综上所述，银 联商务分支机构生产系统切换演练将可能会对生产系统交易造成影响，如果以上 相关准备做好后，风险是可控的。 银联商务分公司生产网络切换演练实施方案 7 4演练实施步骤演练实施步骤 4.1 演练时间及参加人员演练时间及参加人员 4.1.1 演练前期准备工作演练前期准备工作 1)根据本方案选定应急场景，选定演练时间、制定演练细则； 2)将演练方案上报总公司技术管理部评审； 3)方案评审通过后，报备银联当地分公司，并发函通知商户； 4)通知维保厂商（强电、网络）进行推演，并准备好备件，做好现场支 持工作； 5)检查生产系统的运行状态，确认交易正常，保存网络设备配置。 4.1.2 实施时间实施时间 现设定实施日期 2012 年 X 月 X 日为切换演练日，本次实施 从 X 日 0:00 开始，以事先通知的方式进行。拟定 X 日 5:00 结束。 4.1.3 参与人员名单参与人员名单 演练角色工作现场实施人员复核人员 演练总指挥分支机构现场 网络岗一总公司 网络岗二分支机构现场 系统岗总公司 应用岗总公司 环境岗分支机构现场 测试岗一分支机构现场 测试岗二总公司 演练步骤记录岗分支机构现场 支持厂商如宏天分支机构现场 4.1.4 演练完成后续工作演练完成后续工作 银联商务分公司生产网络切换演练实施方案 8 1)记录演练实施过程及结果； 2)系统状态检查及交易测试验证； 3)通知当地银联分公司、总公司及商户； 4)演练总指挥宣布演练结束。 4.2 演练场景一：演练场景一：生产内网上联路由器线路或设备故障生产内网上联路由器线路或设备故障 4.2.1 上联到总公司上联到总公司/ /当地银联网络的线路出现故障当地银联网络的线路出现故障 上联到当地银联网络的路由器有两台，为热备方式。线路目前有 两种方式：专线、Ethernet。 当上联到总公司/银联网络是通过主备两条专线互连时，若主线 路发生故障时，会导致路由切换到备份线路工作. 当上联到银联网络是通过双绞线（以太网）互连时(一般只有一条 双绞线与银联设备互连，没有备份线路)，若双绞线发生故障时，会中 银联商务分公司生产网络切换演练实施方案 9 断与银联网络的数据传输，须及时更换新的双绞线。 故障现象故障现象 监控岗位监控岗位故障详细内容故障详细内容 运行监控岗通过 NETCOOL 短信或者监控界面中的红色告警信息判断设备故障。 系统监控岗 网络监控岗 1） 通过远程 telnet 登陆分公司主路由器，telnet 登录成功。 2） 通过 ping，ping 成功。 3） 通过在总公司下联路由器上 ping 直连接口，ping 不成功。 4） 通过在总公司下联路由器上 sh ip int brie 显示该分公司接口为 down down。 应用支持岗 运行监控岗：NETCOOL 告警信息如下 如果出现红色告警，并显示线路类型：电信线路：总公司-XX 分公司 无法 ping 通 线路编 号：NA 报障电话：80082810000,则可能该路由器或线路已经出现故障。 网络运行岗：检查路由器所有状态灯，显示有红色告警或熄灭。 故障研判故障研判 监控岗位监控岗位故障研判故障研判预期结果预期结果 运行监控岗 查看总公司监控机 netcool 告警界面 （00:16316/ibm/console） 发现红色告警，显 示线路类型：电信 线路：总公司-XX 分公司 无法 ping 通 线路编号：NA 报障电话： 80082810000 网络监控岗 1） 通过远程 telnet 登陆故障路由器 命令：telnet 11.XX.255.1 2） 通过 ping 路由器 命令：ping 11.XX.255.1 3）通过在总公司下联路由器上 ping 直连接口 1） telnet 登录成 功。 2） ping 成功。 3） ping 失败。 4） 显示 银联商务分公司生产网络切换演练实施方案 10 命令：ping 。 4） 通过在总公司下联路由器上查看接口状态 命令：sh ip int Serial1/2/0:1 Serial1/2/0:1 is down, line protocol is down。 判断为：分公司生产内网上联路由器_CNXXRT01001 的通讯线路中断。 演练步骤演练步骤 首先进行到总公司线路的切换演练： 其次进行到当地银联线路的切换演练： 步骤步骤操作内容操作内容操作岗位操作岗位预估用时预估用时 第一步在分公司网控器上联卡上 ping 银联二代收单平台应用岗 第二步登录分公司内网主路由器，在_CNXXRT01001 上，确 认至当地银联的主线路，并 Interface XX shutdown 网络岗 第三步sh ip interface brief /查看端口情况网络岗 步骤步骤操作内容操作内容操作岗位操作岗位预估用时预估用时 第一步登录分公司新一代，长 ping 分公司网控器上联卡应用岗 第二步登录分公司内网主路由器，在_CNXXRT01001 上，确 认至总公司的主线路，并 _CNXXRT01001# Interface XX shutdown 网络岗 第三步 _CNXXRT01001# sh ip interface brief /查看端口情况 sh cdp nei /查看是否还有与总公司互连的设备信 息 sh ip route /查看是否还有到总公司的相关路由 sh run /查看当前路由器配置情况 网络岗 第四步查看中断切换时间，记录长 ping 结果。应用岗 第五步在新一代上 traceroute 分公司网控器上联卡，检查 路由是否已经切换至备线 网络岗 第六步交易测试应用岗 第七步登录分公司内网主路由器，在_CNXXRT01001 上，确 认至总公司的主线路，并 _CNXXRT01001# Interface XX No shutdown 网络岗 第八步在新一代上 traceroute 分公司网控器上联卡，检查 路由是否已经切换至主线 网络岗 第九步交易测试应用岗 银联商务分公司生产网络切换演练实施方案 11 sh cdp nei /查看是否还有与银联互连的设备信息 sh ip route /查看是否还有银联的相关路由 sh run /查看当前路由器配置情况 第四步查看中断切换时间，记录长 ping 结果。 第五步在内网交换机上 traceroute 银联二代收单平台地址， 检查路由是否已经切换至备线 网络岗 第六步交易测试应用岗 第七步登录分公司内网主路由器，在_CNXXRT01001 上，确 认至当地银联的主线路，并 Interface XX No shutdown 网络岗 第八步在新一代上 traceroute 分公司网控器上联卡，检查 路由是否已经切换至主线 网络岗 第九步交易测试应用岗 预期分析预期分析 正常情况下，去银联/总公司的路由会通过主线路传输数据，同时 通过 cdp 能看到与总公司/银联的网络设备邻接关系，当主线路出现 故障后，去总公司/银联的路由会切换到备线路工作，通过备线路传输 数据，不会影响交易。 结果分析结果分析 切换后请记录切换延时、丢包数、路径状态 步步骤骤切切换换延延时时丢丢包数包数切切换换后路径状后路径状态态路由状路由状态态备备注注 A 路由 正常切换 到总公司主线切至 备线 B 路由 正常切换 到总公司备线切至 主线 C 路由 正常切换 到当地银联主线切 至备线 D 路由 正常切换 到当地银联备线切 至主线 应急处理应急处理 当演练过程中出现不符合预期结果并造成交易长时间无法恢复 银联商务分公司生产网络切换演练实施方案 12 时，启动回退步骤： 步骤步骤操作内容操作内容操作岗位操作岗位预估用时预估用时 第一步登录分公司内网主路由器，在_CNXXRT01001 上，确 认至当地银联的主线路，并 Interface XX No shutdown 网络岗 第二步在分公司网控器上联卡上 ping 银联二代收单平台应用岗 第三步sh ip interface brief /查看端口情况 sh cdp nei /查看是否还有与银联互连的设备信息 sh ip route /查看是否还有银联的相关路由 sh run /查看当前路由器配置情况 网络岗 第四步在新一代上 traceroute 分公司网控器上联卡，检查 路由是否已经切换至主线 网络岗 第五步交易测试应用岗 演练的结果如不符合预期，填写下表 问题现象问题现象 原因分析原因分析 解决方法解决方法 步骤步骤操作内容操作内容操作岗位操作岗位预估用时预估用时 第一步登录分公司内网主路由器，在_CNXXRT01001 上，确认 至总公司的主线路，并 _CNXXRT01001# Interface XX No shutdown 网络岗 第二步登录分公司新一代，长 ping 分公司网控器上联卡应用岗 第三步 _CNXXRT01001# sh ip interface brief /查看端口情况 sh cdp nei /查看是否还有与总公司互连的设备信息 sh ip route /查看是否还有到总公司的相关路由 sh run /查看当前路由器配置情况 网络岗 第四步在新一代上 traceroute 分公司网控器上联卡，检查路 由是否已经切换至主线 网络岗 第五步交易测试应用岗 银联商务分公司生产网络切换演练实施方案 13 4.2.2 上联到总公司上联到总公司/ /当地银联网络的设备接口模块出现故障当地银联网络的设备接口模块出现故障 故障现象类似 4.2.1 线路故障，在此不多做描述，演练时可以跳 过。 4.2.3 上联到总公司上联到总公司/ /当地银联网络的设备出现故障当地银联网络的设备出现故障 如果上联主路由器整机发生故障，应及时联系厂商提供备件到现 场，设备到位后，更换新设备并加电，观察路由器工作是否正常。 故障现象故障现象 监控岗位监控岗位故障详细内容故障详细内容 运行监控岗通过 NETCOOL 短信或者监控界面中的红色告警信息判断设备故障。 系统监控岗 网络监控岗 1） 通过远程 telnet 登陆故障路由器，telnet 登录失败。 2） 通过 ping 路由器，ping 不通。 3） 使用 console 口登陆，登陆失败。 4） 检查路由器所有状态灯，显示有红色告警或熄灭。 应用支持岗 运行监控岗：NETCOOL 告警信息如下 如果出现红色告警，并显示节点11.XX.255.1无法获取分公司生产内网上联路由器信息则 可能该路由器已经出现故障。 网络运行岗：检查路由器所有状态灯，显示有红色告警或熄灭。 故障研判故障研判 监控岗位监控岗位故障研判故障研判预期结果预期结果 运行监控岗 查看总公司监控机 netcool 告警界面 （00:16316/ibm/console） 发现红色告警，显示 节点 无法获取 XX 分公司 生产内网主路由器信 银联商务分公司生产网络切换演练实施方案 14 息 网络监控岗 1） 通过远程 telnet 登陆故障路由器 命令：telnet 11.XX.255.1 2） 通过 ping 路由器 命令：ping 11.XX.255.1 3） 使用控制线连接到路由器标识有“console”的 端口登陆。 4） 检查路由器状态灯，显示红色告警或熄灭。 SYS/SYS PWR 正常为绿色， ACT 正常为绿色闪 动；当状态灯为黄色或红色时故障 1） telnet 登录失败。 2） ping 不通。 3） console 口登陆失 败，无法显示信 息。 4） 路由器状态灯显 示红色告警或熄 灭。 判断为：分公司生产内网上联路由器_CNXXRT01001 宕机。 演练步骤演练步骤 步骤步骤操作内容操作内容操作岗位操作岗位预估用时预估用时 第一步在分公司新一代上 ping 分公司网控器上联卡应用岗 第二步关闭分公司内网主路由器_CNXXRT01001 电源网络岗 第三步sh ip interface brief /查看端口情况 sh cdp nei /查看是否还有与银联互连的设备信息 sh ip route /查看是否还有银联的相关路由 sh run /查看当前路由器配置情况 网络岗 第四步在新一代上 traceroute 分公司网控器上联卡，检查 路由是否已经切换至备线 网络岗 第五步交易测试应用岗 第六步开启分公司内网主路由器_CNXXRT01001 电源网络岗 第七步在新一代上 traceroute 分公司网控器上联卡，检查 路由是否已经切换至主线 网络岗 第八步交易测试应用岗 预期分析预期分析 正常情况下，去银联/总公司的路由会通过主线路传输数据，同时 通过 cdp 能看到与总公司/银联的网络设备邻接关系，当设备出现故 障后，去总公司/银联的路由会切换到备线路工作，通过备线路传输数 据，不会影响交易。 结果分析结果分析 切换后请记录切换延时、丢包数、路径状态 步步骤骤切切换换延延时时丢丢包数包数切切换换后路径状后路径状态态路由状路由状态态备备注注 银联商务分公司生产网络切换演练实施方案 15 A 路由 正常切换 主路由器切到 备路由器 B 路由 正常切换 备路由器回切 到主路由器 应急处理应急处理 当演练过程中出现不符合预期结果并造成交易长时间无法恢复时， 启动回退步骤： 步骤步骤操作内容操作内容操作岗位操作岗位预估用时预估用时 第一步开启分公司内网主路由器_CNXXRT01001 电源网络岗 第二步在分公司新一代上 ping 分公司网控器上联卡应用岗 第三步sh ip interface brief /查看端口情况 sh cdp nei /查看是否还有与银联互连的设备信息 sh ip route /查看是否还有银联的相关路由 sh run /查看当前路由器配置情况 网络岗 第四步在新一代上 traceroute 分公司网控器上联卡，检查 路由是否已经切换至主线 网络岗 第五步交易测试应用岗 演练的结果如不符合预期，填写下表 问题现象问题现象 原因分析原因分析 解决方法解决方法 4.3 演练场景二：交换机故障演练场景二：交换机故障 交换机包括内网交换机和外网交换机，因为无论是内网交换机故 障还是外网交换机故障都会造成防火墙的 HA 切换，故在此合并为同 一类切换演练。 下图为生产内网核心交换机连接图： 银联商务分公司生产网络切换演练实施方案 16 下图为生产外网核心交换机连接图： 4.3.1 主交换机设备故障主交换机设备故障 首先排除线路的故障，如果确定为备用交换机设备整机出现故障 故障，需要将备交换机上连接的主机切换到主交换机相应的端口。若 确定为主交换机设备整机出现故障，需要将与主交换机互连的上联主 路由器以及其他主机设备切换到备交换机相应的端口上，并观察备用 交换机的工作是否正常。 故障现象故障现象 监控岗位监控岗位故障详细内容故障详细内容 运行监控岗通过 NETCOOL 短信或者监控界面中的红色告警信息判断设备故障。 系统监控岗 网络监控岗1） 通过远程 telnet 登陆故障交换机，telnet 登录失败。 银联商务分公司生产网络切换演练实施方案 17 2） 通过 ping 11.XX.255.3，ping 不通。 3） 使用 console 口登陆，登陆失败。 4） 检查路由器所有状态灯，显示有红色告警或熄灭。 应用支持岗 运行监控岗：NETCOOL 告警信息如下 如果出现红色告警，并显示节点11.XX.255.3无法获取分公司核心接入交换机信息则可能 该交换机已经出现故障。 网络运行岗：检查交换机所有状态灯，显示有红色告警或熄灭。 故障研判故障研判 监控岗位监控岗位故障研判故障研判预期结果预期结果 运行监控岗 查看总公司监控机 netcool 告警界面 （00:16316/ibm/console） 发现红色告警， 显示节点 无 法获取 XX 分公司 生产内网交换机 SW1 的信息 网络监控岗 1） 通过远程 telnet 登陆故障交换机 命令：telnet 11.XX.255.3 2） 通过 ping 交换机 命令：ping 11.XX.255.3 3） 使用控制线连接到路由器标识有“console”的 端口登陆。 4） 检查交换机状态灯，显示红色告警或熄灭。 SYS/SYS PWR 正常为绿色， ACT 正常为绿色闪 动；当状态灯为黄色或红色时故障 1） telnet 登录 失败。 2） ping 不通。 3） console 口登 陆失败，无法 显示信息。 4） 交换机状态灯 显示红色告警 或熄灭。 判断为：分公司生产核心接入交换机_CNXXSW01001 宕机。 演练步骤演练步骤 步骤步骤操作内容操作内容操作岗位操作岗位预估用预估用 时时 第一步在分公司新一代上 ping 外网商户地址和网控器上连 卡地址 应用岗 银联商务分公司生产网络切换演练实施方案 18 第二步关闭分公司内网主交换机_CNXXSW01001 电源：网络岗 第三步sh ip interface brief 查看端口情况 sh vlan 查看是否还有与银联互连 的设备信息 sh run 查看当前交换机配置情况 sh ip route 查看相关路由 网络岗 第四步在新一代上 ping 商户和网控器上联卡地址网络岗 第五步交易测试应用岗 第六步开启分公司内网主交换机_CNXXSW01001 电源：网络岗 第七步sh ip interface brief 查看端口情况 sh vlan 查看是否还有与银联互连 的设备信息 sh run 查看当前交换机配置情况 sh ip route 查看相关路由 网络岗 第八步在新一代上 ping 商户和网控器上联卡地址网络岗 第九步交易测试应用岗 预期分析预期分析 对于内网核心交换机，正常情况下，交易在主交换机上传输数据， 当内网备交换机设备故障时，不会影响交易； 当内网主交换机设备出现故障后，HSRP 切换到备交换机为 ACTIVE，也会引起防火墙的 failover 主、备切换，交易也将切换到备 交换设备工作，通过备防火墙、备交换机的线路传输交易数据，影响 交易时间 40 秒左右。 对于外网核心交换机，正常情况下，商户通过外网路由设备接入 进行交易，当外网交换机出现故障后，根据实际外网连接情况分为两 种： 未进行外网改造过的，外网设备没有全互联的分公司，所有由 该路由器接入的单专线商户交易中断； 有进行过外网改造，外网设备有全互联的分公司，商户交易可 银联商务分公司生产网络切换演练实施方案 19 以切换到备交换机上，切换时间约在 1040 秒。 外网未做全互外网未做全互联联改造的无需做此切改造的无需做此切换换！ 结果分析结果分析 切换后请记录切换延时、丢包数、路径状态 步步骤骤切切换换延延时时丢丢包数包数切切换换后路径状后路径状态态路由状路由状态态备备注注 A 路由 正常切换 内网主交换机 切到备交换机 B 路由 正常切换 内网备交换机 回切到主交换 机 C 路由 正常切换 外网主交换机 切到备交换机 D 路由 正常切换 外网备交换机 回切到主交换 机 应急处理应急处理 当演练过程中出现不符合预期结果并造成交易长时间无法恢复时， 启动回退步骤： 步骤步骤操作内容操作内容操作岗位操作岗位预估用预估用 时时 第一步开启分公司内网主交换机_CNXXSW01001 电源：网络岗 第二步在分公司新一代上 ping 外网商户地址和网控器上连 卡地址 应用岗 第三步sh ip interface brief 查看端口情况 sh vlan 查看是否还有与银联互连 的设备信息 sh run 查看当前交换机配置情况 sh ip route 查看相关路由 网络岗 第四步在新一代上 ping 商户和网控器上联卡地址网络岗 第五步交易测试应用岗 演练的结果如不符合预期，填写下表 问题现象问题现象 原因分析原因分析 银联商务分公司生产网络切换演练实施方案 20 解决方法解决方法 4.4 演练场景三：隔离区防火墙故障演练场景三：隔离区防火墙故障 隔离区防火墙故障及其应急措施： 4.4.1 防火墙设备故障防火墙设备故障 两台防火墙以 Failover 方式工作，与内、外网交换机互连。在工 作过程中，与主防火墙互连的内外网主交换机的线路（端口）或防火墙 的线路（端口）发生故障时，会引起防火墙主备切换。 故障现象故障现象 监控岗位监控岗位故障详细内容故障详细内容 运行监控岗通过 NETCOOL 短信或者监控界面中的红色告警信息判断设备故障。 系统监控岗 网络监控岗 1） 通过远程 telnet 登陆故障防火墙，telnet 登录失败 2） 通知分公司同事使用 console 口登陆，登陆失败。 3） 登陆当前 active 防火墙，使用 show failover 命令查看 failover 状态是否 银联商务分公司生产网络切换演练实施方案 21 发生切换。如发现 This host：Secondary Active，则 failover 已经发 生切换。 应用支持岗 运行监控岗：NETCOOL 告警信息如下 如果出现红色告警，并显示无法获取 XX 分公司防火墙信息则可能该防火墙已经出现故障。 网络运行岗：show failover 状态图如下 故障研判故障研判 监控岗位监控岗位故障研判故障研判预期结果预期结果 运行监控岗 查看总公司监控机 netcool 告警界面 （00:16316/ibm/console） 发现红色告警， 显示无法获取 XX 分公司防火墙信 银联商务分公司生产网络切换演练实施方案 22 息 网络监控岗 1)登陆至故障分公司内网交换机 SW1，telnet 10.XX.33.5,登陆成功后使用命令 show failover 查看已经发生切换，备机已经接管成 为 Active 状态 2)telnet 10.XX.33.6 至当前备份防火墙，登陆失 败 3)通知分公司同事使用 console 线登陆故障防火墙 （该防火墙 failover 的 active 灯灭），登陆失 败 Failover 已经切 换至备份防火墙， telnet/console 登陆方式都无法 登陆 判断为：分公司核心主防火墙_CNXXFW01001 设备故障。 演练步骤演练步骤 步骤步骤操作内容操作内容操作岗位操作岗位预估用预估用 时时 第一步在分公司新一代上 ping 外网商户地址应用岗 第二步关闭分公司防火墙_CNXXFWW01001 电源：网络岗 第三步sh ip 查看接口 IP 地址信息 sh int 查看接口状态情况 sh run 查看 FW 当前配置情况 sh failover 查看 FW 的 FO 状况 sh conn 查看 FW 的连接数 网络岗 第四步在新一代上 ping 商户地址网络岗 第五步交易测试应用岗 第六步开启分公司防火墙_CNXXFWW01001 电源：网络岗 第七步sh ip 查看接口 IP 地址信息 sh int 查看接口状态情况 sh run 查看 FW 当前配置情况 sh failover 查看 FW 的 FO 状况 sh conn 查看 FW 的连接数 网络岗 第八步在新一代上 ping 商户地址网络岗 预期分析预期分析 正常情况下，穿越防火墙进行交易的流量会通过主墙传输数据， 同时通过 sh conn acount 能看到主、备防火墙设备连接数的差异（主墙 连接数多于备墙），当与主墙互联的内、外网交换机线路出现故障后， 防火墙的 failover 会切换到备墙上工作，穿越防火墙的交易流量会切 换到备防火墙进行工作，通过备墙的线路传输交易数据，交易中断时 银联商务分公司生产网络切换演练实施方案 23 间在约在 3045 秒。 结果分析结果分析 切换后请记录切换延时、丢包数、路径状态 步步骤骤切切换换延延时时丢丢包数包数切切换换后路径状后路径状态态路由状路由状态态备备注注 A 路由 正常切换 主防火墙切到 备防火墙 B 路由 正常切换 备防火墙回切 到防火墙 应急处理应急处理 当演练过程中出现不符合预期结果并造成交易长时间无法恢复时， 启动回退步骤： 步骤步骤操作内容操作内容操作岗位操作岗位预估用预估用 时时 第一步开启分公司防火墙_CNXXFWW01001 电源：网络岗 第二步在分公司新一代上 ping 外网商户地址应用岗 第三步sh ip 查看接口 IP 地址信息 sh int 查看接口状态情况 sh run 查看 FW 当前配置情况 sh failover 查看 FW 的 FO 状况 sh conn 查看 FW 的连接数 网络岗 第四步交易测试应用岗 演练的结果如不符合预期，填写下表 问题现象问题现象 原因分析原因分析 解决方法解决方法 4.4.2 防火墙与内、外网交换机连接线路（端口）故障防火墙与内、外网交换机连接线路（端口）故障 此情景和 4.4.1 防火墙设备故障类似。 银联商务分公司生产网络切换演练实施方案 24 4.5 演练场景四：生产外网下联路由器故障演练场景四：生产外网下联路由器故障 4.5.1 外网路由器和商户间线路故障外网路由器和商户间线路故障 对对于有商于有商户户双双线线接入的分公司（如沃接入的分公司（如沃尔玛尔玛、 、苏苏宁易宁易购购等）等）进进行如下行如下 切切换换， ，对对于没有任何双于没有任何双线线路接入商路接入商户户的分公司此步的分公司此步骤骤跳跳过过! 故障现象故障现象 监控岗位监控岗位故障详细内容故障详细内容 运行监控岗网管平台显示分 XXX 分公司生产外网 XXX 商户无法 PING 通 系统监控岗 网络监控岗 1、通过远程 telnet 登陆商户接入路由器，PING 商户互联线路对端 IP 地址， PING 失败。 应用支持岗 运行监控岗：NETCOOL 告警信息如下 如果出现红色告警，并显示无法 PING 通 XXXX 分公司 XXXX 商户地址。 故障研判故障研判 监控岗位监控岗位故障研判故障研判预期结果预期结果 运行监控岗 查看总公司监控机 netcool 告警界面 （00:16316/ibm/console） 显示分 XXX 分公司生产外网 XXX 商户无法 PING 通 不同 网络监控岗 1） 通过 ping 路由器 命令：ping 11.XX.255. 2） 通过 ping 路由器直连商户对端 命令：ping 11.XX.255.7 1） 正常 2） 不通 判断为：分公司网络区下联路由器_CNXXRT01003 连接商户通讯线路中断。 演练步骤演练步骤 步骤步骤操作内容操作内容操作岗位操作岗位预估用时预估用时 第一步在分公司新一代上 ping 商户地址应用岗 银联商务分公司生产网络切换演练实施方案 25 第二步Shut 外网主路由器连商户的接口。网络岗 第三步sh ip interface brief /查看端口情况 sh ip route /查看相关路由 网络岗 第四步在分公司新一代上 ping 商户地址网络岗 第五步交易测试应用岗 第六步No Shut 外网主路由器连商户的接口。网络岗 第七步sh ip interface brief /查看端口情况 sh ip route /查看相关路由 网络岗 第八步在分公司新一代上 ping 商户地址网络岗 第九步交易测试应用岗 预期分析预期分析 正常情况下，商户由外网路由器接入银商网络进行交易路由，当 外网路由器设备故障时，所有与该路由器设备连接的单线路商户，交 易中断。 结果分析结果分析 切换后请记录切换延时、丢包数、路径状态 步步骤骤切切换换延延时时丢丢包数包数切切换换后路径状后路径状态态路由状路由状态态备备注注 A 路由 正常切换 B 路由 正常切换 应急处理应急处理 4.5.2 外网路由器设备故障外网路由器设备故障 该故障的演练方式类似 4.5.1 外网路由器和商户间线路故障，在 此不作累述。只演练上面接口级的线路故障即可。 4.6 演练场景五：网控器切换演练场景五：网控器切换 4.6.1 主上联卡故障主上联卡故障 对对于网控器有双上于网控器有双上联联的分公司的分公司进进行如下切行如下切换换，只有，只有单单上上联联卡的网卡的网 控器跳控器跳过过此步此步骤骤! 银联商务分公司生产网络切换演练实施方案 26 故障现象故障现象 监控岗位监控岗位故障详细内容故障详细内容 运行监控岗网管 PING 台显示 XXX 分公司网控上联卡无法 PING 通 系统监控岗 网络监控岗登陆分公司内网交换机，无法 PING 通分公司网控上联卡 IP 地址。 应用支持岗 运行监控岗：NETCOOL 告警信息如下 如果出现红色告警，并显示无法 PING 通 XXXX 分公司网控上联卡 IP 地址。 故障研判故障研判 监控岗位监控岗位故障研判故障研判预期结果预期结果 运行监控岗 查看总公司监控机 netcool 告警界面 （00:16316/ibm/console） 显示分 XXX 分公司上联卡无法 PING 通 不通 网络监控岗 通过 ping 分公司 NAC 上联卡 命令：ping 11.XX.4.X不通 判断为：分公司网络区下联路由器_CNXXRT01003 连接商户通讯线路中断。 演练步