电信xx公司计算机系统应急预案演练方案

1、qp中国电信CHINA TELECOMxxxxxx公司计算机系统应急预案演练方案综合业务支撑系统（IBSS&CRM）Version 0.2中国电信股份有限公司xxx分公司2008年06月修订控制页修订号修订日期修订内容简述修订人版本号12008-6-6初稿陈军苏智唐凯超陈辉0.122008-6-11审核确认陈辉0.2目录 TOC o 1-5 h z 修订控制页2 HYPERLINK l bookmark54 o Current Document 总则5 HYPERLINK l bookmark57 o Current Document 编写目的5 HYPERLINK l bookmark60

2、o Current Document 适用范围5 HYPERLINK l bookmark63 o Current Document 编制依据5 HYPERLINK l bookmark66 o Current Document 编写人员5 HYPERLINK l bookmark69 o Current Document 解释权6 HYPERLINK l bookmark72 o Current Document 版权6 HYPERLINK l bookmark75 o Current Document 应急演练预案6 HYPERLINK l bookmark79 o Current Doc

3、ument 演练内容索引6 HYPERLINK l bookmark82 o Current Document 演练要求7 HYPERLINK l bookmark91 o Current Document 职责分工7 HYPERLINK l bookmark94 o Current Document 演练时间安排7 HYPERLINK l bookmark97 o Current Document 演练方案8 HYPERLINK l bookmark101 o Current Document 演练方案1：应用服务器1（含接口）无法提供服务8目的8 HYPERLINK l bookmark1

4、08 o Current Document 注意事项8 HYPERLINK l bookmark112 o Current Document 历时要求8 HYPERLINK l bookmark116 o Current Document 参考操作步骤83.2.演练方案2：应用服务器2 （含后台独立进程）无法提供服务.11目的11 HYPERLINK l bookmark247 o Current Document 注意事项11 HYPERLINK l bookmark251 o Current Document 历时要求11 HYPERLINK l bookmark211 o Current

5、 Document 参考操作步骤11 HYPERLINK l bookmark240 o Current Document 演练方案3：任意一台数据库服务器无法提供服务12目的12 HYPERLINK l bookmark277 o Current Document 注意事项12 HYPERLINK l bookmark281 o Current Document 历时要求12 HYPERLINK l bookmark255 o Current Document 参考操作步骤12演练方案4：任意一台数据库和应用服务器1（含接口）无法提供服 HYPERLINK l bookmark270 o C

6、urrent Document 务15 HYPERLINK l bookmark274 o Current Document 目的15 HYPERLINK l bookmark304 o Current Document 注意事项15 HYPERLINK l bookmark308 o Current Document 历时要求15 HYPERLINK l bookmark285 o Current Document 参考操作步骤15演练方案5：任意一台数据库和应用服务器2（含后台进程）无法提供服务16 HYPERLINK l bookmark297 o Current Document 目的

7、16 HYPERLINK l bookmark331 o Current Document 注意事项16 HYPERLINK l bookmark340 o Current Document 历时要求16 HYPERLINK l bookmark312 o Current Document 参考操作步骤16演练方案6：在应急环境下存储系统恢复性测试演练（IT内控要求）17目的模拟磁盘存储设备出现不可预知的问题导致配置信息或者数 TOC o 1-5 h z 据丢失，利用备份好的数据进行恢复工作。17注意事项17历时要求19参考操作步骤1）、配置信息恢复19 HYPERLINK l bookmar

8、k365 o Current Document 演练结束25 HYPERLINK l bookmark371 o Current Document 附件一：演练记录表格26 HYPERLINK l bookmark375 o Current Document 业务验证参考用例26 HYPERLINK l bookmark379 o Current Document 检查主机系统运行状态26 HYPERLINK l bookmark382 o Current Document 检查数据库运行状态26 HYPERLINK l bookmark388 o Current Document 检查IBS

9、S应用状态26 HYPERLINK l bookmark396 o Current Document 进行实单测试271.总则1.1.编写目的本地综合业务支撑系统（IBSS&CRM）为xxx电信的核心BSS系统之一， 其不间断运行的能力对xxx电信有着重要的作用。本文的编写目的是为各分公司重大系统的应急演练提供指导，确保在系统异 常时，可以有序的实施恢复操作，及时恢复业务。本方案是模拟分公司综合业务支撑系统（IBSS）在运行过程中或者操作过程 中出现的常见系统重大故障进行故障处理的演练方案，其目的是增强分公司各部 门对综合业务支撑系统（IBSS）故障处理及配合的能力，在发生故障时，能采用 快速

10、有效的手段，迅速恢复业务，尽可能减少故障对业务的影响。1.2.适用范适用系统：综合业务支撑系统（IBSS）1.x，客户关系管理系统（CRM）2.x适用对象：各分公司的IBSS系统管理员、维护支撑人员以及其他相关部门的管理人员。1.3.编制依据xxxxxx公司计算机系统应急预案综合业务支撑系统（IBSS）_V1.0，中国电信股份有限公司xxx分公司1.4.编写人员一、xxxxxx公司计算机系统应急预案 编写工作小组人员名单:组长：孙丹宇副组长：杜涛成员：徐文罕、梁振宇、陈辉、林群辉、黄书成、刘长成、陈军、江粤雄、唐凯超（亿迅）、苏智（亿迅）二、本分册主要编写人员名单：陈军、陈辉、唐凯超（亿迅）、

11、苏智（亿迅）1.5 .解释权本规范的解释权属于中国电信股份有限公司xxx分公司。1.6.版权本规范的版权属于中国电信股份有限公司xxx分公司。应急演练预案2.1.演练内容索引本演练方案包括如下内容，各分公司可以根据实际情况进行调整:演练序号演练预案演练预案 分类备注1应用服务器1（含接口）出现严重故障无法提供 服务单点故障2应用服务器2 （含后台独立进程）出现严重故障 无法提供服务单点故障3任意一台数据库服务器出现严重故障无法提供 服务单点故障4任意一台数据库服务器和应用服务器1（含接口） 出现严重故障无法提供服务多点故障5任意一台数据库服务器和应用服务器2 （含后台 独立进程）出现严重故障无

12、法提供服务多点故障6在应急环境下存储系统恢复性测试演练（IT内控 要求）存储故障特别提示：由于应急演练比较复杂，为确保应急演练正常进行，应该在维护 单位的指导下进行。22.演练要求演练要求如下：1、每系统每年至少演练一次。2、每次演练至少演练2.1小节中的两个典型预案。3、演练时间建议在业务非营业时间和非业务忙时进行。4、演练按照相关维护管理规定进行。5、各分公司演练前应在本方案基础上结合本地实际情况制定详细的演练计 划和业务验证用例。6、每次演练后，需要编写演练总结，对发现的问题及时进行整改。2.3.职责分工部门职责描述责任人联系电话备注网络运营部协调各部门、演练发文通知、组织演练IT维护中

13、心负责演练牵头、组织、演练操作业务支持中心负责业务运行记录、观察，业务测 试工作10000号中心负责客户解释工作网络监控中心业务运行记录、演练过程监控亿迅公司技术支持2.4.演练时间安排演练序号演练预案演练时间范围备注12演练方案演练方案1：应用服务器1 （含接口）无法提供服务311目的模拟应用服务器1（含接口）宕机情况下，无法提供服务，在短时间完成故 障处理，恢复业务。注意事项演练过程影响应用服务器2（含后台独立进程）中断服务。历时要求总历时：XX分钟以内。参考操作步骤1、通知业务支持中心准备开始进行演练，并作相关记录、观察。2、模拟应用服务器1（含接口）宕机3、用IBSS用户登陆应用服务器

14、2 （含后台独立进程）并停掉全部应用，执行命令如下：tmshutdown -y -w1cd /export/home/ibss/batchibsssupershell.sh stopall修改应用服务器2（含后台独立进程）的IP为应用服务器1（含接口）的IP，修改应用服务器2机的机器名为应用服务器1机的机器名。执行:ifconfig lan0:1 plumbifcofnig lan0:1 ibssapp1_IP netmask 255.255.255.0 uphostname新主机名（注：应用服务器1的主机名）4、修改应用服务器2机/export/home/ibss/batch目录下的配置文件

15、：（注 意以下凡是要修改配置文件，修改之前先作好备份ibss_process_data 中：找到第一行，如：ibssapp2 /IP2:4888修改成应用服务器1的机器名和IP：端口（ibssapp1 /IP1:4888当前目录下tux.env文件，修改下面内容相对的IP：WSNADDR=/ibssapp2_IP:4888改为：WSNADDR=/ ibssapp1_IP:4888IMWSNADDR=/ ibssapp2_IP:4878改为：IMWSNADDR=/ibssapp1_IP:48785、修改应用服务器2机器/export/home/ibss/config目录下ibss域的相关 配置i

16、bss域的ubb修改内容：ibssapp2LMID=simple改为应用服务器1的机器名ibssapp1WSLSRVGRP=WSLGROUP1 SRVID=210 CLOPT=-A -t - -n /ibssapp2_IP:4888 -m 50 -M 100 -x 10 -T 10修改IP，为:WSLSRVGRP=WSLGROUP1 SRVID=210 CLOPT=-A -t - -n /ibssapp1_IP:4888 -m 50 -M 100 -x 10 -T 10重新编译ubb：tmloadcf y ubbibss域dmconfig文件的修改内容：simpappNWADDR=/ibssa

17、pp2_IP:4688NWDEVICE=/dev/tcp改为：simpappNWADDR=/ibssapp1_IP:4688NWDEVICE=/dev/tcp重新编译dmconfig：dmloadcf -y dmconfigtux.env文件中修改下面内容相对的IP：WSNADDR=/ ibssapp2_IP :4888; export WSNADDR改为：WSNADDR=/ ibssapp1_IP:4888; export WSNADDR6、重新编译应用服务器2机器上接口域的域间通信dmconfig和ubb。7、建立接口目录下的data目录的数据链接link。8、将之前备份的应用服务器1机的

18、crontab内容加进应用服务器2机的 crontab里，运行crontab - e进入编辑，增加和应用服务器1上一样的 内容，保存退出即可。9、全部启动应用服务器2上的IBSS域和接口域的所有服务和后台独立进 程、适配器进程、转换进程。进入目录：cd /export/home/ibss/config执行：./tux.env执行：tmboot -y进入目录：cd /export/home/ibss/batch执行：ibsssupershell.sh startall进入目 录：cd /export/home/intf/tuxedo/config执行：./intf.envtmboot -y进入目

19、录：cd /export/home/intf/runprog/adapter执行：adaptersupershell.sh startall进入目录：cd /export/home/intf/runprog/calltranall执行：calltranallsupershell.sh startall10、通知业务支持中心切换完毕，并进行业务方面的测试。11、记录测试结果。12、恢复系统运行。演练方案2：应用服务器2 （含后台独立进程）无法提供 服务321.目的模拟在ibss系统应用服务器2 （含后台独立进程）宕机，无法提供服务，在 短时间完成故障处理，恢复业务。注意事项历时要求总历时：XX分

20、钟以内。参考操作步骤1、通知业务支持中心准备开始进行演练，并作相关记录、观察。2、模拟应用服务器2 （含后台独立进程）宕机3、修改相关配置文件1）修改应用服务器1（含接口）/export/home/ibss/batch目录下的配置文件: ibss_process_data找到头一行：如：ibssapp2 /IP2:4888修改成应用服务器1（含接口）机器名和IP：端口（ibssapp1 /IP1:4888tux.env中修改下面内容相对的IP：WSNADDR=/ ibssapp2_IP:4888改为： WSNADDR=/ ibssapp1_IP 4888IMWSNADDR=/ ibssapp2

21、_IP:4878改为：IMWSNADDR=/ ibssapp1_IP:48782）建立将之前备份的应用服务器2机的crontab内容加进应用服务器1机 的 crontab 里。3）将/export/home/ibss/batch目录下程序赋予执行权限cd /export/home/ibss/batchchmod 755 *4）启动此/export/home/ibss/batch目录下的独立进程：ibsssupershell.sh startall4、通知业务支持中心切换完毕，并进行业务方面的测试。5、记录测试结果。6、恢复系统运行。演练方案3：任意一台数据库服务器无法提供服务331.目的模拟在

22、ibss系统任意一台数据库服务器单机宕机情况下，实现在短时间完成 故障处理，恢复业务。注意事项演练过程影响部分连接到故障数据库服务器上的业务（部分业务需要重启， 并再连接另一数据库）。历时要求总历时：XX分钟以内。参考操作步骤1、通知业务支持中心准备开始进行演练，并作相关记录、观察。2、模拟数据库服务器1（IBSS1）宕机 （注：具体模拟方法可以考虑拔网 线或者停数据库服务）3、用oracle用户登陆两台中间件应用服务器1、2分别修改两台中间件应用服务器上面oracle客户端目录中的tnsnames.ora 文件，将故障数据库主机的IP和实例名连接修改为正常的那台数据库 2(IBSS2)的连接

23、。su -oracle9icd $ORACLE_HOME/network/admin/tnsnames.ora修改tnsnames.ora文件vi tnsnames.ora将 IBSS1 =(DESCRIPTION =(ADDRESS_LIST =(ADDRESS = (PROTOCOL = TCP)(HOST = IBSS1)(PORT = 1521)(CONNECT_DATA =(SERVICE_NAME = ibss1)修改为：IBSS1 =(DESCRIPTION =(ADDRESS_LIST =(ADDRESS = (PROTOCOL = TCP)(HOST = IBSS2)(POR

24、T = 1521)(CONNECT_DATA =(SERVICE_NAME = ibss2)（注：具体主机名、实例名请参照各本地网环境）4、重启中间件应用服务器1（含接口）的服务和进程进入目录：cd /export/home/ibss/config执行：./tux.env执行：tmboot -y进入目 录：cd /export/home/intf/tuxedo/config执行：./intf.envtmboot -y进入目录：cd /export/home/intf/runprog/adapter执行：adaptersupershell.sh startall进入目录：cd /export/h

25、ome/intf/runprog/calltranall执行：calltranallsupershell.sh startall5、重启中间件应用服务器2 （含后台独立进程）的服务和进程进入目录：cd /export/home/ibss/config执行：./tux.env执行：tmboot -y进入目录：cd /export/home/ibss/batch执行：ibsssupershell.sh startall6、通知业务支持中心切换完毕，并进行业务方面的测试。7、记录测试结果。8、恢复系统运行。演练方案4：任意一台数据库和应用服务器1 （含接口） 无法提供服务34.1.目的模拟在ibss

26、系统任意一台数据库服务器以及应用服务器1（含接口）宕机 况下，实现在短时间完成故障处理，恢复业务。注意事项演练过程影响部分连接到故障数据库服务器上的业务（部分业务需要重启， 并再连接另一数据库）。历时要求总历时：XX分钟以内。参考操作步骤1、通知业务支持中心准备开始进行演练，并作相关记录、观察。2、模拟应用服务器1（含接口）和任意一台数据库服务器宕机3、参照演练方案1方式修改应用服务器2（含后台独立进程）上面的相关配 置。4、参照演练方案3方式修改应用服务器2（含后台独立进程）上面的数据库 连接配置。5、全部启动应用服务器2 （含后台独立进程）上面的IBSS服务和进程。6、通知业务支持中心切换

27、完毕，并进行业务方面的测试。7、记录测试结果。8、恢复系统运行。演练方案5：任意一台数据库和应用服务器2 （含后台进 程）无法提供服务351.目的模拟在ibss系统任意一台数据库服务器以及应用服务器2（含后台独立进程） 宕机情况下实现在短时间完成故障处理，恢复业务。注意事项演练过程影响部分连接到故障数据库服务器上的业务（部分业务需要重启， 并再连接另一数据库）。历时要求总历时：XX分钟以内。参考操作步骤1、通知业务支持中心准备开始进行演练，并作相关记录、观察。2、模拟应用服务器2 （含后台独立进程）和任意一台数据库服务器宕机3、参照演练方案2方式修改应用服务器1（含接口）上面的相关配置。4、参

28、照演练方案3方式修改应用服务器1 （含接口）上面的数据库连接配置。5、全部启动应用服务器1（含接口）上面的IBSS后台服务和进程。6、通知业务支持中心切换完毕，并进行业务方面的测试。7、记录测试结果。8、恢复系统运行。演练方案6：在应急环境下存储系统恢复性测试演练（IT 内控要求）361.目的模拟磁盘存储设备出现不可预知的问题导致配置信息或者数据丢失，利用 备份好的数据进行恢复工作。3.6.2.注意事项首先应做好磁盘阵列备份工作，具体操作如下：1）、配置信息备份磁盘阵列的备份需要通过手工方式将阵列信息及划分情况记录成文档，信息包括RAID方式、LUN的划分。以EMC CX3-40为例，配置信息

29、列表:配置项目设置RAID类型RAID 0+1LUN大小60G/个端口 mapMap到所有端口连接主机Ibssdbl，ibssdb2，ibssappl， ibssapp2存储组存储组 1(ibssdbl，ibssdb2，lun1-lun20)存储组 2(ibssapp1，ibssapp2，lun21-lun40)操作系统中所使用的存储划分情况可用以下命令收集:Sun平台：# vxprint -ht hostname_yxprint.outHP平台：# vgdisplay -v hostname_vgdisplay.outIBM平台：#lsvg hostname_lsvg.out2）、数据备份

30、DP备份软件通过运行软件HP OnmiBack 6.0客户端软件backup选项在文件列表中选择备份策略进行备份（系统平时按定制的策略自动执行备份，也可进行手工备份）。备份内容备注/lbill一般每月备份一次 NBU备份软件Ifvi-Dkl Bkckrn-1filQsysittt_abss2诚*颈_LtE正. 而血1“GEdlLuTiH-I L*bl正”L n L MtKJiar dv artPlll B-i:hiffDi FF-ir-iiit i il IruiI Tjt.LtLUrti:pCQrt Uflasl.yif J4tf74tf JSmite了 a E til FaliciMi |

31、目蜘、丘击 3h Eurknp SilEkL箜-11 v- r、5 新 g to ,瞄 hli 虾 at Acc-ni y uLumai正.LDTiLLheLl eoi.1012Stitt /jlLdOri*Ld. B.血erwMse Syslen I+J*4XfcLiJiLLuJi | Fy 白做fell虾 | fl L3 days1 Nk13 AvyiI t.7Ll-ssTtjiMri：-二I m|8，留G w_用妙鉴Ki： Lriti：dLHl. bwzkufi of 心 axiwlidE policyS&jv&j . Lbiurpor t 9.E0 CojuuclQd. 盘受主EEHg

32、m HTTiS Iijl rar ws - itx.sr：pif I 阻质口 Adaini x.乩 n wftdyiirSsx i-HTSL ftctiTit? UanitorjU LB Lckup M uixp.nBnt+ fy& EiLti：甲sE_ibal.出攻 V _11_条 cth_Eu11_卜回驰 mu： UnLt Q gj.；导E% X限*H, Hnxt Frnpwt _当 Iklb, ubi Qg 刑 * Brv 中；Trnce mwnlt V BiV.4 Q ladsx基 Pw CllCTit.启动SfI-Ctrl+C| w眼|匚| j| f|时卫fil0 .J曰口|IB 2

33、02224,卜IEZitdlici4 - ibsupo.打开NBU CONSOLE，然后选择Policies，选中文件系统的备份策略，然后 选右键菜单的Manual backup，做手工备份。历时要求总历时：XX分钟以内。参考操作步骤1）、配置信息恢复阵列配置信息的恢复需要建立在原来信息备份的基础上。阵列配置信息的备 份主要是记录配置参数，如果阵列出现配置信息丢失的情况，通过原来记录的 配置参数文档重建RAID及LUN，划分给相应的主机使用即可。注意：配置信息的恢复操作存在不可逆性，出现此类故障时，建议在厂家的指导下进行。2）、文件系统数据恢复阵列的文件系统数据出现丢失时，可以使用最近的备份进

34、行恢复。由于阵列 的数据量大，目前我们一般都通过备份软件（DP或NBU）采用磁带库进行数据 备份。基于备份基础之上，如果出现数据丢失，按以下方法进行数据恢复： DP恢复步骤通过运行软件HP OnmiBack 6.0客户端软件restore选项在文件列表中选择需 要恢复的文件进行恢复。 NBU恢复步骤先进入 NBU CONSOLE选 FILE 菜单，选择 backup、archive restoreE ActiYiLv Humitor -恤HB揖dk ii向甘Dtvires0 斜 &ut Maiaxni旦ntLtrH-WEl+Hari4BCJtri+PRLn the Haria, Archive

35、, and RMto-tRig-anI/】I幽JhTiJpDhw愚mrsf4sdf5df11?MMtcrEifPE arfasdF 匚omMtcdJobs Seirvlct Pfocesses Drlivtim进入到这个界面:Fila Ed.i t Viflw kctl cnc Vindaw HalpBackup, Arckive, and Kestore 一 BetB%eka 一 lestore: Server: ibEsrepert Source Cli ent： fsibSelect for Backup fSelect for Restore I 勃V*i Status I 囤 拿Na

36、tEackup Hi story勤口口白IttallKnitiOIb WLksi i 6 i -，-., M nr j H- Y- a w- =b b b b c d f 1 1 m pt 血口口口口口口 -!口口口口 言 口.0-3-.3-,0-.-.?-.卧.；.-LS-.S- In -Ham电 I Tine backed 迎 =eiport ZD06-5 19.03.5TReady选择 FILE - specify netbackup machines and policy type选择恢复的 server， source and destination client在这里 server 选 master