信用卡系统应急预案

1、贷记卡系统应急预案2010年10月目录1总则41.1编制目的41.2适用范围41.3工作原则42组织指挥体系及职责分工52.1应急组织机构52.2应急机构职责53预防和预警机制63.1预防预警制度63.2预防预警行动及支持系统64应急响应64.1信息报送和处理64.2通讯74.3应急处置74.4应急结束85应急保障86后期处置86.1善后处置86.2处置评价及内审87核心路由器故障87.1端口和板卡故障87.2路由器背板或电源故障98核心交换机故障98.1端口和板卡故障98.2交换机背板或电源故障109防火墙故障109.1端口、主板和电源故障109.2配置更改故障1010发卡系统双机热备切换1

2、110.1双机热切换触发方式1210.2双机热切换前准备工作1210.3双机热切换的监控检查1310.4双机热切换实施步骤表1311其他故障1512附则1512.1预案管理与更新1512.2责任与奖惩1512.3解释部门及联系人1512.4预案实施1613附件1713.1总体应急预案突发事件应急处置流程图171 总则1.1 编制目的适应XXXX银行（以下简称“XXXX银行”）特点和未来发展需要，提高应对突发事件的能力，保证XXXX银行能够在发生突发事件的情况下，仍然可以系统、协调、高效地开展工作，并将突发事件可能造成的损失控制在最低程度内。1.2 适用范围（1） 由XXXX银行发卡系统和各类外

3、围系统（如：风控系统、短信系统、反洗钱系统、文件传输服务器等）、网络通信、机器设备、机房设施等发生故障而引起的交易中断的突发事件；（2） 因发卡系统、外围系统账户信息泄露引发的突发事件；（3） 因自然灾害、事故灾难、公共卫生事件、社会安全事件以及能源供应、物资供应、通讯等公共服务的中断而造成XXXX银行无法正常运营的事件；（4） 危害XXXX银行公共关系和形象，造成不良社会影响的各类突发事件；（5） 由上级单位、理事长办公会或理事长认定的其他事件。本预案指导XXXX银行突发事件应对工作。1.3 工作原则统一指挥，快速反应。根据本预案或分预案规定成立相应的突发事件处置领导小组，由该领导小组统一指

4、挥、组织各项应对工作。XXXX银行各部门应紧密配合服从领导小组指挥。以人为本，减少损失。应对突发事件的各项措施均应以人为本，最大程度地减少突发事件造成的危害和损失。居安思危，预防为主。高度重视突发事件预防工作，常抓不懈，防患于未然。增强忧患意识，坚持预防与应急相结合，做好应对突发事件的各项准备工作。根据行业内或自身已发生的事件进行学习和总结，提高应急预案有效性与应急能力。保密原则：参与突发事件处置工作的人员应严守XXXX银行保密规定，未经授权不得向外界提供与处置有关的工作信息，不得利用工作中获得的信息牟取私利。2 组织指挥体系及职责分工2.1 应急组织机构（1） 应急组织机构依各相关分预案规定

5、设立和运作。没有对应分预案的，应急组织机构依总体预案相关规定设立和运作。（2） 突发事件处置领导小组：由XXXX银行分管领导担任组长，或者由理事长指定一位XXXX银行领导担任组长，主办部门主要负责人为副组长，协办部门负责人参加。分管领导指分管工作与突发事件涉及事项最为相关的XXXX银行领导。协办部门为处置突发事件涉及的所有部门。突发事件涉及面较复杂，难以确定主办部门的，由办公室或理事长指定的部门作为主办部门。突发事件处置领导小组可以根据突发事件性质成立若干处置工作小组，也可以指定相关部门或单位承担处置工作小组职责。（3） 设立XXXX银行突发事件应急管理办公室（办公室、质量保障部），作为应急管

6、理的日常协调机构。2.2 应急机构职责（1） 突发事件处置领导小组的职责包括：研究拟定突发事件处置对策；组织指挥突发事件处置工作；协调、管理突发事件中的新闻信息工作；向理事长办公会提交突发事件处置工作报告，报告内容应包括但不限于：突发事件的描述及分析，各项对策制定的原因及实施结果，突发事件及处置工作对未来的影响评估，实施结果后期跟踪及处置工作的经验教训等。（2） 突发事件处置工作小组的职责包括：实施与职责相关的各项处置措施；收集、反馈突发事件处置的相关信息以支持领导小组决策；如对客户造成影响，应通知相关客户，并协助客户处理相关问题；领导小组指定的其他职责。（3） 突发事件应急管理办公室的职责包

7、括：组织处置工作的办公、文件运转及档案管理；为处置工作提供联络、通讯、后勤等服务；协助领导小组组织、协调各项处置工作的实施，维持处置工作正常开展；组织实施突发事件相关的新闻信息工作；突发事件处置工作的善后、总结工作；领导指定的其他工作。3 预防和预警机制3.1 预防预警制度各部门要根据自身职责和业务特点，针对各种可能发生的突发事件，建立并完善预防预警机制，开展风险分析，做到早发现、早报告、早处置。各部门要针对关键业务、敏感业务建立相应的预防、预警标准，加强对异常情况的跟踪、监控和报告。各部门制定的应急预案和工作安全制度要注意预防预警，明确预防、预警标准，要明确对应急预案、工作安全制度进行演练、

8、检查、评估和完善的频度及标准。各部门要确保随时与各协作单位保持畅通联系。3.2 预防预警行动及支持系统各部门要定期或不定期对本部门的应急预案、工作安全制度进行演练、检查、评估和完善。特别要对XXXX银行发卡系统安全状况进行实时监测，采取各种安全防护、预警、备份和灾难恢复重建措施，并以有效、适当的频度进行应急演练和安全检查。预防、预警行动由本部门主要负责人负责，对预防、预警行动的失误追究其领导责任。4 应急响应4.1 信息报送和处理（1） 各分预案将突发事件依据其性质、危害程度及范围等划分若干级别，实施分级响应策略，以提高处置效率，加强预防预警。（2） 分预案应明确相关突发事件信息报送的方式、程

9、序及要求。（3） 突发事件相关信息，应在规定时间内报送XXXX银行应急管理办公室和分预案确定的相关部门。对于未制定分预案应对的突发事件，则应及时报告XXXX银行分管领导，并告知应急管理办公室。 各部门发生轻微或一般的突发事件后，原则上应在下一工作日向XXXX银行报送应急信息。若遇到较大或重大的突发事件后，原则上应在4小时内向XXXX银行报送应急信息。如果情况特别紧急或重大，应当在准备书面（电子）材料的同时，第一时间内以电话方式向XXXX银行报告。（4） 信息报送应及时、准确、完整、规范。 报送内容包括：突发事件发生的时间、地点、信息来源、事件性质、影响范围及程度、事件的发展趋势和已经采取的措施

10、等。在应急处置过程中，要及时续报有关情况。（5） 突发事件处置领导小组决定信息的通报范围及形式。信息通报应充分考虑次生、衍生、耦合灾害事件，及时做好预警、应对工作。4.2 通讯应急管理办公室在日常工作中应保持与XXXX银行各部门助总以上人员（含助总）的通讯畅通，及时更新电话、手机、传真号码。应急管理办公室应于第一时间与参加应急处置的各部门与协作单位建立通讯联系，并确保至少一种通讯方式的稳定畅通。通讯应满足保密需要。4.3 应急处置各部门依据应急预案、工作制度确定的分级响应权限，应及时预防、预警、控制、处置本部门职责内的突发事件。同时，各部门还应对管辖内发生突发事件及可能次生、衍生、耦合灾害事件

11、作出评估，采取措施。突发事件处置领导小组根据授权及需要，可运用XXXX银行全部资源，申请或协商其他外部支援和帮助。处置工作应注意收集、保全与突发事件相关的资料及证据。涉及刑事犯罪的应及时报告，并将相关材料移交司法机关，根据计算机安全、金融管理的相关法律来进行追溯。4.4 应急结束突发事件处置领导小组经过评估，可向理事长、理事长办公会议申请应急结束，经批准后解散相关应急机构并宣布结束。5 应急保障应急处置中的通讯、文件运转、信息及新闻工作等由办公室、质量保障部负责。技术管理部负责向客户机构通报与其相关的应急信息。应急处置中的物资、后勤由办公室、财务部负责保障、管理或协调。应急处置中有关法律事务由

12、办公室负责，包括但不限于：事前法律风险提示，事前、事中作出相关法律建议，事后参与和配合相关的应诉。应急处置中的各业务处理系统由责任部门会同相关部门落实保障。6 后期处置6.1 善后处置应急结束后，根据需要可保留部分应急机构负责善后工作。6.2 处置评价及内审处置工作全部结束后，应急管理办公室应将相关文件、资料及档案进行归档管理。归档以外的资料由责任部门留存、处理。突发事件应急管理办公室负责事后内审调查，并应就突发事件及处置工作出具内审报告。报告内容应包括但不限于：对突发事件原因及责任的认定，对处置工作作出描述及评价，总结处置工作的经验与教训，提出内审处理建议。7 核心路由器故障7.1 端口和板

13、卡故障当核心路由器端口或板卡出现故障，导致该端口或板卡所连接线路发生中断时，正常情况下，动态路由协议会使中断线路的SDH/ISDN/PSTN备份线路自动启动，保证网络连接的畅通。当线路自动切换失败时：（1）XXXX银行将进入备份路由器配置状态，PING命令手工拨号建立连接；（2）修改路由表，使应用系统重新建立连接；（3）交易恢复；（4）切断核心路由器电源，紧急更换故障端口或板卡；（5）进入备份路由器配置状态，恢复主干线路连接；（6）故障出现到交易恢复可在10分钟之内解决，到主干线路恢复全程故障解决可在30分钟之内。7.2 路由器背板或电源故障当核心路由器背板（包括CUP、内存等）或电源模块出现

14、故障，导致核心路由器瘫痪时，正常情况下，EIGRP动态路由协议会使所有中断线路的备份线路自动启动，保证网络连接的畅通。当线路自动切换失败时：（1）XXXX银行进入备份路由器配置状态，PING命令手工拨号与所有对端建立连接；（2）应用系统重新建立连接；（3）交易恢复；（4）紧急更换冷备核心路由器，并保证软、硬件配置相同；（5）进入备份路由器配置状态，恢复主干线路连接；（6）故障出现到交易恢复可在10分钟之内解决，到主干线路恢复全程故障解决可在30分钟之内。8 核心交换机故障8.1 端口和板卡故障当核心交换机端口或板卡出现故障，导致该端口或板卡所连接主机设备通讯发生中断时，正常情况下，主机设备另外

15、一块网卡将自动通过热备核心交换机HSRP协议与浮动地址进行数据通讯，交易不会受到任何影响，当主机无法通过热备核心交换机与浮动地址通讯时：（1）进入核心交换机配置状态，shutdown故障端口或板卡，或直接将故障端口网线拔下；（2）当主机和核心交换机连接彻底中断后，主机另一块网卡将自动通过热备核心交换机；（3）交易恢复；（4）切断核心交换机电源，紧急更换故障端口或板卡；（5）故障出现到交易恢复可在10分钟之内解决，到主干线路恢复全程故障解决可在30分钟之内。8.2 交换机背板或电源故障当核心交换机背板（包括CPU、内存等）或电源模块出现故障，导致核心交换机瘫痪时，正常情况下，HSRP协议会将浮动

16、地址自动重新绑定到热备交换机，主机设备将通过另一块网卡通过热备交换机进行数据通讯。当HSRP协议自动切换失败时：（1）进入核心交换机配置状态，shutdown连接主机设备端口，或直接将连接主机端口网线拔下；（2）切断核心交换机电源，使备份交换机激活standby地址；（3）交易恢复；（4）紧急更换冷备核心交换机，并保证软、硬件配置相同；（5）故障出现到交易恢复可在10分钟之内解决，到主干线路恢复全程故障解决可在30分钟之内。9 防火墙故障9.1 端口、主板和电源故障当防火墙发生端口、主板或电源系统故障时，导致防火墙直接瘫痪无法工作，正常情况下备份防火墙将通过failover机制自动接管浮动fa

17、ilover地址，保证网络不会中断。当failover接管失败时：（1）切断两台防火墙电源，紧急更换配置相同的冷备防火墙；（2）交易恢复；（3）故障出现到全程解决可在30分钟之内。9.2 配置更改故障当防火墙因为配置更改错误发生故障，导致网络连接中断时：（1）进入防火墙配置状态，上传更改前备份配置文件到防火墙；（2）重新引导防火墙；（3）交易恢复，保存配置到failover防火墙；（4）故障出现到交易恢复可在30分钟之内解决。10 发卡系统双机热备切换双机热备的目的是在进行系统维护或出现系统故障时将应用切换到备机上运行，减少应用系统的停机时间。进行Cluster切换有以下几种情况:（1）正常切

18、换此时系统工作正常，进行手动切换是为了在主节点上进行硬件扩充、补丁升级等系统维护工作，或进行Cluster切换定期演练工作。（2）系统硬件故障切换CPU/MEMORY如果出现内核使用的CPU/MEMORY故障，造成操作系统panic，将引发Cluster切换。I/O如果多个IO设备同时发生故障，造成IO通道完全中断，必然造成应用异常中断，但不会引发Cluster切换，必须手动控制，将故障主机重新启动才可以实现Cluster切换。当然，如果IO设备故障如果造成操作系统panic，将引发Cluster切换。电源、风扇等附件如果多个电源故障，可能造成SF25K异常断电，引发Cluster切换；如果多

19、个风扇故障，由于温度过高，会造成主机panic，并引发Cluster切换。（3）网络故障切换网络包括Cluster内部通讯的私网和对外服务的公网两部分。当公网完全中断，Cluster的内部机制可以发现问题并引发Cluster切换；当私网完全中断，按Cluster的机制，将随机选择Cluster中两台主机中的一台panic，并引发Cluster切换。（4）操作系统故障切换如果发生任何可能造成系统危险的故障，操作系统会自动panic，而Cluster可以实现在一台主机panic后重启的情况下，将应用程序切换到另外一台主机上。（5）Cluster软件故障切换目前使用的Cluster 3.2本身就是和

20、操作系统捆绑在一起的，也就是说Cluster软件的故障也会导致操作系统故障并panic，进而引发Cluster切换。（6）应用故障切换在应用程序层次，Cluster提供了接口进行监控和切换机制的自定义。由于应用系统故障情况比较复杂，故发卡系统目前没有对应用系统进行监控，应用系统的故障不能被Cluster发现并自动切换，只能由手动干预操作。10.1双机热切换触发方式如上所述，当Cluster检测到系统硬件故障、网络故障、操作系统故障或Cluster软件本身故障等严重故障时，会自动触发切换。而一些系统、网络或应用方面的局部故障需要人工检测和判断，根据实际情况采用人工切换的方式。正常切换也需要采用人

21、工方式。人工切换即手动运行Cluster命令进行切换。发卡系统中切换命令如下所示:将XXXX银行贷记卡系统从Domain A切换到Domain B的命令为:# scswitch -z -g jxnxdbiprg, jxnxdbapprg, jxnxdbgrg -h cupd25k-b运行切换命令后，Cluster将有关资源从主节点切换到备用节点。10.2双机热切换前准备工作切换前准备工作只针对手工切换的情况，其目的是为了保证切换的成功，对主节点和备用节点进行检查。（1）主节点检查使用scstat命令检查主节点上各Cluster资源组状态处于ONLINE状态。检查数据库v$locked_obje

22、ct视图，确定无死锁存在。（2）备用节点检查由于换版时需要将备用节点和主节点进行同步，且平时可能会在备用节点进行一些维护工作，故需对备用节点进行检查，确保应用运行环境与主节点保持一致。使用scstat命令检查备用节点上各Cluster资源组处于OFFLINE状态。检查备用节点上有关DB2数据库实例和listener已启动并运行正常。检查备用节点文件系统有足够可用空间，确认操作系统日志中无异常报错信息。检查备用节点上无EAE系统的NOF、WDP、ALINTER、ONLINERPT进程和server进程。10.3双机热切换的监控检查（1）网络切换监控检查使用ping命令监控网络切换在一台Windo

23、ws监控机上，使用如下命令：ping -t 172.16.17.31命令，不断地对浮动IP执行ping操作。当切换开始，会有一段时间无法ping通，记录这段时间即可得到网络切换所需的时间。切换完成后，使用ifconfig -a命令检查浮动IP是否切换到备用节点上。（2）应用切换监控监控切换日志，记录主节点应用停止脚本开始运行的时间和备用节点应用启动脚本运行结束的时间。运行scstat命令监控主节点和备用节点上Cluster资源状态。（3）应用切换检查检查原主节点，确认所有应用系统已停止，直至olcp进程退出。分别检查当前运行节点应用库是否启动成功。如发现启动不成功，需立即停止并重新启动。运行runsys检查应用系统是否启动；运行nofruok检查NOF进程是否启动并正常工作；运行ps -ef|grep ctp检查CTP通讯进程是否启动；检查XXXX银行的alincsrv进程，测试ISPEC画面登录是否正常；重新启动后台管理，全面