商务分公司生产网络切换演练实施方案

商务分公司生产网络切换演练实施方案商务公司生产网络切换演练实施方案商务分公司生产网络切换演练实施方案目录TOC\o"1-5"\h\z目的范围 5演练目标 5风险评估 5\o"CurrentDocument"分公司网络设备现状 532 风险可控 64演练实施步骤 841 演练时间及参加人员 8411 演练前期准备工作 8412 实施时间 8413 参与人员名单 84.1.4 演练完成后续工作 9\o"CurrentDocument"4.2 演练场景一：生产内网上联路由器故障 9421 上联到总公司/当地银联网络的线路出现故障 9故障现象 10故障研判 10演练步骤 11预期分析 12结果分析 12应急处理 13422 上联到总公司/当地银联网络的设备接口模块出现故障 13423 上联到总公司/当地银联网络的设备出现故障 13故障现象 134232 故障研判 14演练步骤 14预期分析 14结果分析 15应急处理 15\o"CurrentDocument"43 演练场景二：交换机故障 15431 主交换机设备故障 16故障现象 16故障研判 17演练步骤 17预期分析 18结果分析 18应急处理 19\o"CurrentDocument"44 演练场景三：隔离区防火墙故障 20441 防火墙设备故障 20故障现，象 20故障研判 21演练步骤 22预期分析 22结果分析 22应急处理 23商务分公司生产网络切换演练实施方案TOC\o"1-5"\h\z4A2 防火墙与内、外网交换机连接线路（端口）故障 23\o"CurrentDocument"演练场景四：生产外网下联路由器故障 23451 外网路由器和商户间线路故障 23故障现象 23故障研判 23演练步骤 24预期分析 24结果分析 24应急处理 25452 外网路由器设备故障 25\o"CurrentDocument"演练场景五：网捽器切换 25461 主上联卡故障 25演练步骤 25预期分析 27结果分析 27应急处理 27462 主电源故障 27演练步骤 274622 预期分析 29结果分析 29应急处理 295附件 29商务分公司生产网络切换演练实施方案1目的本演练方案旨在验证某分支机构生产系统备份机制的有效性提高网络维护和管理水平，提高操作人员的应急处理能力。熟悉紧急恢复的流程和操作方法，最大限度地降低故障对生产造成的影响。演练范本切换演练方案包括分支机构标准架构生产网的所有设备在网络中可能遇到如下的故障：.生产内网上联路由器故障；.交换机故障；.隔离区防火墙故障；.生产外网下联路由器故障；.网控器上联卡及电源故障。此次演练将分别对以上故障现象进行模拟目的在于验证发生该故障对生产系统的影响以、某分公司核心生产系统备份机制的效果及考验值班人员对此类故障的反应和处理能力。3风险评估分公司网络设备现状分公司网络设备连接如下图：

商务分公司生产网络切换演练实施方案川II“I总部生产外网：;(^KXhllHllll2CNXXS^tlCWlCNVXRmiNIIUIq.14III.toc..13VIed.&IlJjxc.hJVjjnHJIDj^.10.1忱所町LflJKLiVJ-HSHLP.Ivhn4心fmiTVhnli]0.xxkj&.4商务分公司生产网络切换演练实施方案川II“I总部生产外网：;(^KXhllHllll2CNXXS^tlCWlCNVXRmiNIIUIq.14III.toc..13VIed.&IlJjxc.hJVjjnHJIDj^.10.1忱所町LflJKLiVJ-HSHLP.Ivhn4心fmiTVhnli]0.xxkj&.4YimLDinJUGK.1012VIWajJ0.NX.Sj14IF:IQsu5K51;CWXXFWBIHI-Pk.IHU工IF:I0lw*EJJIMI.tclWHElHQC\KXFWIHil)ll-$HbJlP.I-CKMiWWIHI.lCNXXRT4)a(M3CSXXRTTOIOIMChxxswijniiM分公司网给平台物理连接图影响性评估如上图所示，分子公司标准架构的内网路由器、内网交换机、隔离区防火墙、外网交换机、网控器等均采用热备组成设级高可用，单台设备发生故障时，业务数据流将自动切换到备用设备，生产交易不会出现长时间中断。分子公司外网路由器用于与合作商户接入，当设备出现故障时，需要手动将商户接入线路切换至备用路由器，存在一定时间的生产交易中断。综上所述，某分支机构生产系统切换演练将可能会对生产系统交易造成影响如果以上相关准备做好后，风险是可控的。商务分公司生产网络切换演练实施方案4演练实施步骤演练时间及参加人员演练前期准备工作1）根据本方案选定应急场景，选定演练时间、制定演练细则；2）将演练方案上报总公司技术管理部评审；3）方案评审通过后，报备银联当地分公司，并发函通知商户；4）通知维保厂商（强电、网络）进行推演，并准备好备件，做好现场支持工作；5）检查生产系统的运行状态，确认交易正常，保存网络设备配置。实施时间现设定实施日期2012年X月X日为切换演练日，本次实施从X日0:00开始，以事先通知的方式进行。拟定X日5:00结束。4.1.3参与人员名单演练角色工作现场实施人员复核人员演练总指挥分支机构现场网络局一总公司网络岗二分支机构现场系统岗总公司应用岗总公司环境岗分支机构现场测试匕分支机构现场测试岗二总公司演练步骤记录岗分支机构现场支持厂商如宏天分支机构现场4.1.4演练完成后续工作商务分公司生产网络切换演练实施方案1）记录演练实施过程及结果；2）系统状态检查及交易测试验证；3）通知当地银联分公司、总公司及商户；4）演练总指挥宣布演练结束。演练场景一：生产内网上联路由器线路或设备故障CNXXRTU1IH)]CNXXSWO]fl»2CNXXRTU1IH)]CNXXSWO]fl»2生产内网上联踣由黑故障应急图示上联到总公司/当地银联网络的线路出现故障上联到当地银联网络的路由器有两台，为热备方式。线路目前有两种方式：专线、Etherneto当上联到总公司/银联网络是通过主备两条专线互连时，若主线路发生故障时，会导致路由切换到备份线路工作.当上联到银联网络是通过双绞线（以太网）互连时（一般只有一条双绞线与银联设备互连，没有备份线路），若双绞线发生故障时，

商务分公司生产网络切换演练实施方案会中断与银联网络的数据传输，须及时更换新的双绞线。故障现象监控岗位故障详细内容运行监控岗通过NETCOOL短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1）通过远程telnet登陆分公司主路由器，telnet登录成功。2）通过ping，ping成功。3）通过在总公司下联路由器上ping直连接口,ping不成功。4）通过在总公司下联路由器上shipintbrie显示该分公司接口为downdown。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示线路类型：电信线路：总公司-XX分公司无法ping通线路编号：NA报障电话：80082810000,则可能该路由器或线路已经出现故障。ActiveEventListFileEdit强中“AlertsTookHelp:“11.13L.M钩.IQQilBlG/ibm/eojuiQlE/.iibtQp/ALLEvenis/,1五节点最迫发生福要" 石,［打2Klit；；4-舞之：上也.A.M •打1力11「1 Eti恪.辛•蜀卜,存学5等^室击濠h@!、」S+|11用园|।必上宣.不然皂£患卜,小」由币11,131255.02 12J29/103:29:12AM1/2&112:...JGRFMPv4m)13*Neighbor11131462(Serially)21)isriesyncroute1172255.62 12J23/1U1J:14O2AM1.加划口…OSPFNeighborDowri(Neighbor:0)2 12J23/1013:42:23AM1王划口.03PFNeighborDo>wn(Neighbor:)11SO255.111/26J11232:06AM1/26/11LinkDciwri：down(FasiEiherneO3/3)网络运行岗：检查路由器所有状态灯，显示有红色告警或熄灭。故障研判监控岗位故障研判预期结果运行监控岗查看总公司监控机netcool告警界面发现红色告警，显示线路类型：电信线路：总公司-XX分公司无法ping通线路编号：NA报障电话：网络监控岗1）通过远程telnet登陆故障路由器命令：telnet11.XX.255.12）通过ping路由器命令：ping11.XX.255.13）通过在总公司下联路由器上ping直连接口命令：ping。4）通过在总公司下联路由器上查看接口状态命令：shipintSerial1/2/0:11)telnet登录成功。ping成功。ping失败。4)显示Serial1/2/0:1isdown,lineprotocolis

商务分公司生产网络切换演练实施方案判断为：分公司生产内网上联路由器_CNXXRT01001的通讯线路中断。演练步骤首先进行到总公司线路的切换演练:步骤操作内容操作岗位预估用时第一步登录分公司新一代，长ping分公司网控器上联卡应用岗第二步登录分公司内网主路由器，在_CNXXRT01001上，确认至总公司的主线路，并_CNXXRT01001#InterfaceXXshutdown网络岗第三步_CNXXRT01001#shipinterfacebrief 〃查看端口情况shcdpnei〃查看是否还有与总公司互连的设备信息shiproute〃查看是否还有到总公司的相关路由shrun 〃查看当前路由器配置情况网络岗第四步查看中断切换时间，记录长ping结果。应用岗第五步在新一代上traceroute分公司网控器上联卡，检查路由是否已经切换至备线网络岗第八步交易测试应用岗第七步登录分公司内网主路由器，在_CNXXRT01001上，确认至总公司的主线路，并_CNXXRT01001#InterfaceXXNoshutdown网络岗第八步在新一代上traceroute分公司网控器上联卡，检查路由是否已经切换至主线网络岗第九步交易测试应用岗其次进行到当地银联线路的切换演练:步骤操作内容操作岗位预估用时第一步在分公司网控器上联卡上ping银联二代收单平台应用岗第二步登录分公司内网主路由器，在_CNXXRT01001上，确认至当地银联的主线路，并InterfaceXXshutdown网络岗第三步shipinterfacebrief 〃查看端口情况shcdpnei〃查看是否还有与银联互连的设备信息shiproute〃查看是否还有银联的相关路由shrun 〃查看当前路由器配置情况网络岗

商务分公司生产网络切换演练实施方案第四步查看中断切换时间，记录长ping结果。第五步在内网交换机上traceroute银联二代收单平台地址，检查路由是否已经切换至备线网络岗田一止第八步交易测试应用岗第七步登录分公司内网主路由器，在_CNXXRT01001上，确认至当地银联的主线路，并InterfaceXXNoshutdown网络岗第八步在新一代上traceroute分公司网控器上联卡，检查路由是否已经切换至主线网络岗第九步交易测试应用岗预期分析正常情况下，去银联/总公司的路由会通过主线路传输数据，同时通过cdp能看到与总公司/银联的网络设备邻接关系，当主线路出现故障后，去总公司/银联的路由会切换到备线路工作，通过备线路传输数据，不会影响交易。结果分析切换后请记录切换延时、丢包数、路径状态步骤切换延时丢包数切换后路^状态路由状态备注A路由正常切换到总公司主线切至备线B路由正常切换到总公司备线切至主线C路由正常切换到当地银联主线切至备线D路由正常切换到当地银联备线切至主线应急处理当演练过程中出现不符合预期结果并造成交易长时间无法恢复时，启动回退步骤：

商务分公司生产网络切换演练实施方案步骤操作内容操作岗位预估用时第一步登录分公司内网主路由器，在_CNXXRT01001上，确认至总公司的主线路，并_CNXXRT01001#InterfaceXXNoshutdown网络岗第二步登录分公司新一代，长ping分公司网控器上联卡应用岗第三步_CNXXRT01001#shipinterfacebrief 〃查看端口情况shcdpnei〃查看是否还有与总公司互连的设备信息shiproute〃查看是否还有到总公司的相关路由shrun 〃查看当前路由器配置情况网络岗第四步在新一代上traceroute分公司网控器上联卡，检查路由是否已经切换至主线网络岗第五步交易测试应用岗步骤操作内容操作岗位预估用时第一步登录分公司内网主路由器，在_CNXXRT01001上，确认至当地银联的主线路，并InterfaceXXNoshutdown网络岗第二步在分公司网控器上联卡上ping银联二代收单平台应用岗第三步shipinterfacebrief 〃查看端口情况shcdpnei〃查看是否还有与银联互连的设备信息shiproute〃查看是否还有银联的相关路由shrun 〃查看当前路由器配置情况网络岗第四步在新一代上traceroute分公司网控器上联卡，检查路由是否已经切换至主线网络岗第五步交易测试应用岗演练的结果如不符合预期，填写下表问题现象原因分析解决方法上联到总公司/当地银联网络的设备接口模块出现故障故障现象类似4.2.1线路故障，在此不多做描述，演练时可以跳

商务分公司生产网络切换演练实施方案过。上联到总公司/当地银联网络的设备出现故障如果上联主路由器整机发生故障，应及时联系厂商提供备件到现场，设备到位后，更换新设备并加电，观察路由器工作是否正常。故障现象监控岗位故障详细内容运行监控岗通过NETCOOL短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1）通过远程telnet登陆故障路由器，telnet登录失败。2）通过ping路由器，ping不通。3）使用console口登陆，登陆失败。4）检查路由器所有状态灯，显示有红色告警或熄灭。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示节点11.XX.255.1无法获取分公司生产内网上联路由器信息则可能该路由器已经出现故障。ActiveEventList7/11.13L.2^.]00：16J]6/ibm/cfliitsolc/Mi£btoT!/ALLEveiLts/FileEditViewAlertsTookHelp症隆母▼1弱节点目器生虢道爆生需要■i1「q用& E『：悲 1M京tji 孑3M,&M 1411 雄悌j锦寿上能『密盘击母阱』军用！得阶11号2：司主嘤第电击卜小马葩1113125582 12^28/103:29:12AM1/2B112:...EiGRP-lPva⑪13'Neighbor11i3i-J62(SensllM'：i,21)isnesynr.route11.7^.255.6.2 12J23/1012:14:02AM121123n口.OSPFNeighborDoyjri(Neighbor:0)3 12J23/1012:42:23AM12f23/10..OSPFNeighborDo>wn(Neighbor:)11SO255111^36)112.32:06AM1/26/111.LinkDown:down(FasiEihErneO3/3)网络运行岗：检查路由器所有状态灯，显示有红色告警或熄灭。4.2.3,2故障研判监控岗位故障研判预期结果运行监控岗查看总公司监控机netcool告警界面(00:16316/ibm/console)发现红色告警，显示节点无法获取XX分公司生产内网主路由器信息网络监控岗1）通过远程telnet登陆故障路由器命令：telnet11.XX.255.12）通过ping路由器1）telnet登录失败。ping不通。console口登陆失

商务分公司生产网络切换演练实施方案败，无法显示信息。4）路由器状态灯显示红色告警或熄灭。命令：败，无法显示信息。4）路由器状态灯显示红色告警或熄灭。3）使用控制线连接到路由器标识有“console”的端口登陆。4）检查路由器状态灯，显示红色告警或熄灭。SYS/SYSPWR正常为绿色，ACT正常为绿色闪动；当状态灯为黄色或红色时故障判断为：分公司生产内网上联路由器_CNXXRT01001宕机。演练步骤步骤操作内容操作岗位预估用时第一步在分公司新一代上ping分公司网控器上联卡应用岗第二步关闭分公司内网主路由器_CNXXRT01001电源网络岗第三步shipinterfacebrief //查看端口情况shcdpnei//查看是否还有与银联互连的设备信息shiproute〃查看是否还有银联的相关路由shrun 〃查看当前路由器配置情况网络岗第四步在新一代上traceroute分公司网控器上联卡，检查路由是否已经切换至备线网络岗第五步交易测试应用岗第八步开启分公司内网主路由器_CNXXRT01001电源网络岗第七步在新一代上traceroute分公司网控器上联卡，检查路由是否已经切换至主线网络岗第八步交易测试应用岗4・2.3,4预期分析正常情况下，去银联/总公司的路由会通过主线路传输数据，同时通过cdp能看到与总公司/银联的网络设备邻接关系，当设备出现故障后，去总公司/银联的路由会切换到备线路工作，通过备线路传输数据，不会影响交易。结果分析切换后请记录切换延时、丢包数、路径状态步骤切换延时丢包数切换后路^状态路由状态备注A路由正常切换主路由器切到备路由器B路由正常切换备路由器回切到主路由器

商务分公司生产网络切换演练实施方案应急处理当演练过程中出现不符合预期结果并造成交易长时间无法恢复时，启动回退步骤：步骤操作内容操作岗位预估用时第一步开启分公司内网主路由器_CNXXRT01001电源网络岗第二步在分公司新一代上ping分公司网控器上联卡应用岗第三步shipinterfacebrief 〃查看端口情况shcdpnei〃查看是否还有与银联互连的设备信息shiproute〃查看是否还有银联的相关路由shrun 〃查看当前路由器配置情况网络岗第四步在新一代上traceroute分公司网控器上联卡，检查路由是否已经切换至主线网络岗第五步交易测试应用岗演练的结果如不符合预期，填写下表问题现象原因分析解决方法4・3演练场景二：交换机故障交换机包括内网交换机和外网交换机，因为无论是内网交换机故障还是外网交换机故障都会造成防火墙的HA切换，故在此合并为同一类切换演练。下图为生产内网核心交换机连接图：商务分公司生产网络切换演练实施方案生产的同核心交会肛曲处应急圉示下图为生产外网核心交换机连接图：FI'USFl电腐FI'USFl电腐1c5AJ\swgim生产外网故障应急I组示4.3.1主交换机设备故障首先排除线路的故障，如果确定为备用交换机设备整机出现故障故障，需要将备交换机上连接的主机切换到主交换机相应的端口。若确定为主交换机设备整机出现故障，需要将与主交换机互连的上联主路由器以及其他主机设备切换到备交换机相应的端口上，并观察备用交换机的工作是否正常。故障现象监控岗位故障详细内容运行监控岗通过NETCOOL短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1）通过远程telnet登陆故障交换机，telnet登录失败。

商务分公司生产网络切换演练实施方案2）通过ping11.XX.255.3,ping不通。3）使用console口登陆，登陆失败。 4）检查路由器所有状态灯，显示有红色告警或熄灭。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示节点11.XX.255.3无法获取分公司核心接入交换机信息则可能该交换机已经出现故障。ActiveEventListhttps：//IL.131. 10D：L631'a/i，bini,,c&riBoleH^E：btPE/AlLE.vErii5/flleEditViewAlertsTodIeHelp电力®a穿1国T节点苜次发生最近发生持委il13i255.0 2W8/103-29-12^1f26ii12-EIGRP-iF>4⑪71Neighbor131;8.2图日应*f优2廿isresj^ii-roule.11.73.255.G 2-12^23/1012112/23dfl..OSPFNeightorDcwn(Neighbor,11.72.3330)11.72.255^ 212f?ario1242-23AM121173H0.0BPFNaighhDrDown{Neighbor11.72.336)11.BO.255.1f1月印1113?flEiAM打询竹2..Link□皿mdown(FasiElhEmetQGJ3)网络运行岗：检查交换机所有状态灯，显示有红色告警或熄灭。故障研判监控岗位故障研判预期结果|运行监控岗查看总公司监控机netcool告警界面(00:16316/ibm/console)发现红色告警，显示节点无法获取XX分公司生产内网交换机SW1的信息网络监控岗1）通过远程telnet登陆故障交换机命令：telnet11.XX.255.32）通过ping交换机命令：ping11.XX.255.33）使用控制线连接到路由器标识有“console”的端口登陆。4）检查交换机状态灯，显示红色告警或熄灭。SYS/SYSPWR正常为绿色，ACT正常为绿色闪动；当状态灯为黄色或红色时故障telnet登录失败。ping不通。console口登陆失败，无法显示信息。4）交换机状态灯显示红色告警或熄灭。判断为：分公司生产核心接入交换机_CNXXSW01001宕机。演练步骤步骤操作内容操作岗位预估用时第一步在分公司新一代上ping外网商户地址和网控器上连卡地址应用岗商务分公司生产网络切换演练实施方案第二步关闭分公司内网主交换机_CNXXSW01001电源：网络岗第三步shipinterfacebrief查看端口情况shvlan 查看是否还有与银联互连的设备信息shrun 查看当前交换机配置情况shiproute 查看相关路由网络岗第四步在新一代上ping商户和网控器上联卡地址网络岗第五步交易测试应用岗田一止第八步开启分公司内网主交换机_CNXXSW01001电源：网络岗第七步shipinterfacebrief查看端口情况shvlan 查看是否还有与银联互连的设备信息shrun 查看当前交换机配置情况shiproute 查看相关路由网络岗第八步在新一代上ping商户和网控器上联卡地址网络岗第九步交易测试应用岗预期分析对于内网核心交换机，正常情况下，交易在主交换机上传输数据，当内网备交换机设备故障时，不会影响交易；当内网主交换机设备出现故障后，HSRP切换到备交换机为ACTIVE，也会引起防火墙的failover主、备切换，交易也将切换至I」备交换设备工作，通过备防火墙、备交换机的线路传输交易数据，影响交易时间40秒左右。对于外网核心交换机，正常情况下，商户通过外网路由设备接入进行交易，当外网交换机出现故障后，根据实际外网连接情况分为两种：•未进行外网改造过的，外网设备没有全互联的分公司，所有由该路由器接入的单专线商户交易中断；•有进行过外网改造，外网设备有全互联的分公司，商户交易可

商务分公司生产网络切换演练实施方案以切换到备交换机上，切换时间约在10~40秒。外网未做全互联改造的无需做此切换！结果分析切换后请记录切换延时、丢包数、路径状态步骤切换延时丢包数切换后路^状态路由状态备注A路由正常切换内网主交换机切到备交换机B路由正常切换内网备交换机回切到主交换机C路由正常切换外网主交换机切到备交换机D路由正常切换外网备交换机回切到主交换机应急处理当演练过程中出现不符合预期结果并造成交易长时间无法恢复时，启动回退步骤:步骤操作内容操作岗位预估用时第一步开启分公司内网主交换机_CNXXSW01001电源：网络岗第二步在分公司新一代上ping外网商户地址和网控器上连卡地址应用岗第三步shipinterfacebrief查看端口情况shvlan 查看是否还有与银联互连的设备信息shrun 查看当前交换机配置情况shiproute 查看相关路由网络岗第四步在新一代上ping商户和网控器上联卡地址网络岗第五步交易测试应用岗演练的结果如不符合预期，填写下表问题现象

商务分公司生产网络切换演练实施方案原因分析解决方法4・4演练场景三：隔离区防火墙故障CNXxsvvnioniFl邮!Fl.SUFL-imftCNXxsvvnioniFl邮!Fl.SUFL-imftn.'ik-u线路成明1<Axxn^moiLTHU训换CNXXFW(H6(I21.1EllIPrLIJJKI111IP-1I1-2<Axxn^moiLTHU训换CNXXFW(H6(I21.1EllIPrLIJJKI111IP-1I1-2EEHit线路故障设备故障14Fl?4dFhCi/7H/O/lFIANFl?4dFhCi/7隔离区防火墙故障应急图示隔离区防火墙故障及其应急措施：4.4.1防火墙设备故障两台防火墙以Failover方式工作，与内、外网交换机互连。在工作过程中，与主防火墙互连的内外网主交换机的线路（端口）或防火墙的线路（端口）发生故障时，会引起防火墙主备切换。故障现象监控岗位故障详细内容运行监控岗通过NETCOOL短信或者监控界面中的红色告警信息判断设备故障。系统监控岗网络监控岗1）通过远程telnet登陆故障防火墙，telnet登录失败

商务分公司生产网络切换演练实施方案2)3)通知分公司同事使用console口登陆，登陆失败。2)3)登陆当前active防火墙，使用showfailover命令查看failover状态是否发生切换。如发现Thishost：Secondary-Active,则failover已经发生切换。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示无法获取XX分公司防火墙信息则可能该防火墙已经出现故障。ActiveEventListCNMNFWOlClOL^fhHaiFailoverOnCablestatus:Norma1ReconnecttimeoutPo1Ifrequency15LastFailovyr-at:Thiskio^t:0:00:00seconds08:56:21UTCFr-'Jan11993Primary-Active11ms二interface£nter干CNMNFWOlClOL^fhHaiFailoverOnCablestatus:Norma1ReconnecttimeoutPo1Ifrequency15LastFailovyr-at:Thiskio^t:0:00:00seconds08:56:21UTCFr-'Jan11993Primary-Active11ms二interface£nter干aucInterFaceInterfaceInter'FaceInter^aceActive9D307j(sec；utherhost:secondary-standbyActtve11me:507B40Csecjouts1ceCH.SO.8.5):LinkDownCwaifiirsideC^-C):Norma1statefuCl.1.1.10;NormadmzlCll.80.4.52):LinkDownting-)dmz2(172.16.135.S):Normalintf5(0^0.0.0^;LirikDownCshutdown)ngjinterfaceinter-FaceInter干aucinterfacefnterfareInter'Faceouts1deCll.@0.8.6)；LinkDownfwaitiins1de(5：rJormri1statefu1 .1.1.2^):Ndrma1dmzl(1，80.4.5]:LinkDownfwa1tif：g)dmz2Q72.16,135.6):Norma1intf5CO□0.0.03：LinkDownCShutcJo^n')StatefuIFailoverLogica1UpdateStatisr1C5Lirik:statefu1statefu1objxmitGensra1330563sysemd124640upfime4x-late25466tepconn1^0453udpconn0ARPtb10RIPTb;0QueueCur1UpdateLogicaPFeXOO0OOOOOrev138R471246422264411559000OII=U01I:'...1.-.IIIIURecvQ:XhiitQ:一：I1:(:|InformationMax Total1 1327471 26231.BhttvEi7/L1.131.24S,]m：16316/jbn/fiddecLLd*dstap/ALIZverii上Fil日EditViewAlertsTooIeHelp代01嗓电土第」“反■R+数竺:记gl豉运发主11131..255.B21:^28(103:29:12ir26H12:.tiGRP-iF^4(U)-'I-Jeignbor-：1131(SenallJ2/0:21')isresyncmutie11.72J55.B212UD2AM12/231110..OSPFNeighborDown(Neighbor,1172.33.38)11.72.255E212f23Mfl12-4.2:23AM口OSPFNeighborDawn(Neighbor)11.3D.355111门即11:3-200AMir2Ef112:.LinkDawjndown(Fa5EthErrielfl/3f3)网络运行岗：showfailover状态图如下故障研判监控岗位故障研判预期结果|运行监控岗查看总公司监控机netcool告警界面发现红色告警，显

商务分公司生产网络切换演练实施方案(00:16316/ibm/console)示无法获取XX分公司防火墙信息网络监控岗1）登陆至故障分公司内网交换机SW1，telnet10.XX.33.5,登陆成功后使用命令showfailover查看已经发生切换，备机已经接管成为Active状态2）telnet10.XX.33.6至当前备份防火墙，登陆失败3）通知分公司同事使用console线登陆故障防火墙（该防火墙failover的active灯灭），登陆失败Failover已经切换至备份防火墙，telnet/console登陆方式都无法登陆判断为：分公司核心主防火墙_CNXXFW01001设备故障。演练步骤步骤操作内容操作岗位预估用时第一步在分公司新一代上ping外网商户地址应用岗第二步关闭分公司防火墙_CNXXFWW01001电源：网络岗第三步ship 查看接口IP地址信息shint 查看接口状态情况shrun 查看FW当前配置情况shfailover 查看FW的FO状况shconn 查看FW的连接数网络岗第四步在新一代上ping商户地址网络岗第五步交易测试应用岗第八步开启分公司防火墙_CNXXFWW01001电源：网络岗第七步ship 查看接口IP地址信息shint 查看接口状态情况shrun 查看FW当前配置情况shfailover 查看FW的FO状况shconn 查看FW的连接数网络岗第八步在新一代上ping商户地址网络岗预期分析正常情况下，穿越防火墙进行交易的流量会通过主墙传输数据，同时通过$卜connacount能看到主、备防火墙设备连接数的差异（主墙连接数多于备墙），当与主墙互联的内、外网交换机线路出现故障后，防火墙的failover会切换到备墙上工作，穿越防火墙的交易流量

商务分公司生产网络切换演练实施方案会切换到备防火墙进行工作，通过备墙的线路传输交易数据，交易中断时间在约在30~45秒。结果分析切换后请记录切换延时、丢包数、路径状态步骤切换延时丢包数切换后路^状态路由状态备注A路由正常切换主防火墙切到备防火墙B路由正常切换备防火墙回切到防火墙应急处理当演练过程中出现不符合预期结果并造成交易长时间无法恢复时，启动回退步骤：步骤操作内容操作岗位预估用时第一步开启分公司防火墙_CNXXFWW01001电源：网络岗第二步在分公司新一代上ping外网商户地址应用岗第三步ship 查看接口IP地址信息shint 查看接口状态情况shrun 查看FW当前配置情况shfailover 查看FW的FO状况shconn 查看FW的连接数网络岗第四步交易测试应用岗演练的结果如不符合预期，填写下表问题现象原因分析解决方法4.4.2防火墙与内、外网交换机连接线路（端口）故障此情景和4.4.1防火墙设备故障类似。

商务分公司生产网络切换演练实施方案4・5演练场景四：生产外网下联路由器故障外网路由器和商户间线路故障对于有商户双线接入的分公司（如沃尔玛■苏宁易购等）进行如下切换，对于没有任何双线路接入商户的分公司此步骤跳过!!故障现象监控岗位故障详细内容运行监控岗网管平台显示分XXX分公司生产外网XXX商户无法PING通系统监控岗网络监控岗1、通过远程telnet登陆商户接入路由器，PING商户互联线路对端IP地址，PING失败。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示无法PING通XXXX分公司XXXX商户地址。ActiveEventListhttpE.：,^Ll.131.24^.]00：16316/3bnADnEcleywebtqp/'miveni5/rileEditViewAlertsTooicHelp1I茅」节点)+趣善次发生最近发生|,仆勺羽/山章 ■理谟WW虬睛轴11 .方廿好门_ 银商工消均甯编辑推网2韶H《黄阳？笠厩身垄辨稻花滋因渔徐11131.255621观印1口及W1EFMIf26f112:.EIGRP-iFME”H:籁擀)orii131i,c-1(Sensl1?2<0"^1)isresyncroute.11.72J55.62.1.图23HLM像1&里AM12(23(]0..OSPFNeighborDawti(Neighbor,5)11.72J5S.E212f23f1012:42:23AM12g.i0...OSPFNeighborDawn(Neighbar:)11.anJ55.1I1门即11第00AM1f26f112:.LinkDawndown(Fa5EthErnelfl/3f3)故障研判监控岗位故障研判预期结果运行监控岗查看总公司监控机netcool告警界面（00:16316/ibm/console）显示分XXX分公司生产外网XXX商户无法PING通不同网络监控岗1）通过ping路由器命令：ping11.XX.255.72）通过ping路由器直连商户对端命令：ping11.XX.255.71）正常2）不通判断为：分公司网络区下联路由器_CNXXRT01003连接商户通讯线路中断。演练步骤步骤操作内容操作岗位预估用时第一步在分公司新一代上ping商户地址应用岗

商务分公司生产网络切换演练实施方案第二步Shut外网主路由器连商户的接口。网络岗第三步shipinterfacebrief〃查看端口情况shiproute〃查看相关路由网络岗第四步在分公司新一代上ping商户地址网络岗第五步交易测试应用岗田一止第八步NoShut外网主路由器连商户的接口。网络岗第七步shipinterfacebrief〃查看端口情况shiproute〃查看相关路由网络岗第八步在分公司新一代上ping商户地址网络岗第九步交易测试应用岗预期分析正常情况下，商户由外网路由器接入银商网络进行交易路由，当外网路由器设备故障时，所有与该路由器设备连接的单线路商户，交易中断。结果分析切换后请记录切换延时、丢包数、路径状态步骤切换延时丢包数切换后路^状态路由状态备注A路由正常切换B路由正常切换应急处理外网路由器设备故障该故障的演练方式类似4.5.1外网路由器和商户间线路故障，在此不作累述。只演练上面接口级的线路故障即可。4.6演练场景五：网控器切换主上联卡故障对于网控器有双上联的分公司进行如下切换，只有单上联卡的网控器跳过此步骤!

商务分公司生产网络切换演练实施方案监控岗位故障详细内容运行监控岗网管PING台显示XXX分公司网控上联卡无法PING通系统监控岗网络监控岗登陆分公司内网交换机，无法PING通分公司网控上联卡IP地址。应用支持岗运行监控岗：NETCOOL告警信息如下如果出现红色告警，并显示无法PING通XXXX分公司网控上联卡IP地址。ActiveEve：ntLi»thttpe 131.1蜘】00:16316/^3bnftddeoJ sbtap/Alilvtrii写/?ileEditViewAlartEToolsHelp卷。1tsq|鄂 眄