同城灾备中心建设情况及业务持续性演练方案汇报

同城灾备中心建设情况及业务连续性演练方案汇报同城灾备中心建设情况及业务持续性演练方案汇报第1页汇报内容同城灾备中心建设情况介绍业务连续性计划演练方案介绍同城灾备中心建设情况及业务持续性演练方案汇报第2页灾备体系建设必要性满足国家及行业监管要求《主要信息系统灾难恢复指南》GB/T20988-《保险业信息系统灾难恢复管理指导》20号文企业业务及IT发展到一定阶段内生性需求适应保险行业服务水平日益提升要求应对突发灾难最终一道防线同城灾备中心建设情况及业务持续性演练方案汇报第3页业内主流灾备复制技术对比

基于存放盘阵灾备复制技术基于数据库灾备复制技术网络支持同时传输异步传输底层硬件必须同构支持异购产品目标端不可用可用\双活状态支持模式多对一\一对多\级联\双向多对一\一对多\级联\双向是否支持按需复制全量同时支持数据丢失量零丢失分钟级同城灾备中心建设情况及业务持续性演练方案汇报第4页CaptureReadExportImportPostCapture

QueueExport

QueuePost

QueueSQLRedo-Logs源系统目标系统灾备软件复制原理同城灾备中心建设情况及业务持续性演练方案汇报第5页业务系统分类容灾A类业务系统B类支持支撑系统C类业务系统RTO<=2小时，RPO<=30分钟RTO<=2小时，RPO<=8小时RTO<=二十四小时，RPO<=8小时关键业务系统/银保互连互通域控ADCALLCENTER系统财务系统/OFSA准入系统EAD关键报表/MIS收付系统域名解析系统DNS稽核系统保险卡系统企业服务总线ESB偿付能力系统ILOG统一认证中心AC保监上报投资系统补丁分发系统WSUS反洗钱银企直连防病毒系统审计系统DM系统SVN系统工会系统网销系统OA系统邮件代理理赔影像系统ITS人力资源系统自主查询飞天诚信令牌认证系统准备金自助机

A、B两类系统为应用级容灾，C类系统为数据级容灾同城灾备中心建设情况及业务持续性演练方案汇报第6页本公司同城灾备中心建设方法论及路线图同城灾备中心建设情况及业务持续性演练方案汇报第7页本公司灾备中心与国家标准对标同城灾备中心建设情况及业务持续性演练方案汇报第8页同城灾备中心建设情况介绍业务连续性计划演练方案介绍同城灾备中心建设情况及业务持续性演练方案汇报第9页监管要求保监会第20号文第二十九条保险机构所制订灾难恢复预案，应按照由模拟到实际、从易到难、从局部到整体标准进行测试和演练，及时总结评定，完善灾难恢复预案，经过演练使得相关人员熟练灾难恢复操作及流程。灾难恢复预案演练包含但不限于桌面演练、模拟演练、实战演练、部分演练和全方面演练。保险机构应定时组织开展灾难恢复预案演练工作。灾难恢复预案每年最少演练一次，演练类型能够是模拟演练、实战演练、部分演练和全方面演练。同城灾备中心建设情况及业务持续性演练方案汇报第10页演练目验证业务连续计划完整性、易用性、明确性、有效性和兼容性；验证灾难恢复管理组织架构领导、决议与指挥能力；验证企业灾难恢复管理组织架构中各相关部门协同工作能力；使灾难恢复相关技术人员与业务人员能够熟悉业务连续计划，提升员工

灾难备份和业务连续意识，提升恢复团体实际操作技能；验证灾备技术有效性，确认灾难恢复水平是否满足中银保险灾难恢复目

标（RTO、RPO）要求。同城灾备中心建设情况及业务持续性演练方案汇报第11页此次演练形式桌面演练桌面演练是全部参演人员依据预设场景，采取会议方式，以角色饰演为基础，就应急响应和恢复流程中管理与指挥协调方面问题进行桌面推演。

模拟演练模拟演练（实际测试演练）是利用备用或测试系统进行模拟系统切换和进行业务恢复操作，不包括真实业务交易，不影响生产正常运行。实战演练实战演练是指对灾难备份系统进行真实切换和真实业务交流，因为系统切换复杂性，在进行系统切换和业务恢复时，可能会存在一定风险原因，而且带来短时间

服务中止。经过实战演练，能够最大程度地检验灾难备份系统和业务连续计划有效性和恢复能力。同城灾备中心建设情况及业务持续性演练方案汇报第12页演练范围包括信息系统保险卡系统

演练时间六月二十一日参演机构全辖同城灾备中心建设情况及业务持续性演练方案汇报第13页保险卡系统拓扑同城灾备中心建设情况及业务持续性演练方案汇报第14页演练对系统产生影响情况分析对前台服务影响用户只能访问前台应用首页，不能进行其它任何操作，与其它系统交互也就不能进行了。短信数据提取不到，发送不了短信。保单不能传送到后台。对后台服务影响因为登录调用是AC接口校验，所以用户能够登录系统，点击左边应用菜单，不过不能进行其它任何功效性操作。对代理服务影响因为登录调用是AC接口校验，所以用户能够登录系统，点击左边应用菜单，不过不能进行其它任何功效性操作，同时因为代理系统为银保通系统提供了服务，代理系统不能进行数据操作，银保通系统也就不能进行其它操作。对SFTP服务影响数据不能正常提取、传送。对电子签章服务影响因为电子签章服务不连接数据库，所以不会对该服务造成影响。AC系统使用不是保险卡数据库，所以保险卡数据库宕机不会对AC造成影响。同城灾备中心建设情况及业务持续性演练方案汇报第15页演练对系统产生影响分析同城灾备中心建设情况及业务持续性演练方案汇报第16页技术层指挥层决议层演练组织架构同城灾备中心建设情况及业务持续性演练方案汇报第17页相关职责灾难恢复领导组领导突发事件应急处置，负责应急资源协调和调度,对参加演练各工作组进行监督管理和组织,并做出重大应急处置决议；灾难宣告,负责与董事会沟通等。灾难恢复指挥组现场指挥应急处置、损害评定、灾难恢复；向演练领导小组汇报应急处置情况、损害评定情况、提供处置决议提议；灾难预警；监督、检验和总结灾难恢复工作。技术恢复组在指挥组指挥下实施应急处置、灾难恢复操作；现场评定灾难损害程度；负责灾难恢复过程统计、汇报和通讯联络；分析和总结灾难恢复工作。业务恢复组负责业务功效核查，追补数据等业务恢复职责；帮助技术恢复组进行突发事件和灾难恢复处置；完成业务测试案例；负责业务恢复确认。同城灾备中心建设情况及业务持续性演练方案汇报第18页相关职责后勤保障组负责突发事件设备、场地、人员、工具、后勤等资源保障管理和协调工作；负责保障人力、物力、电力、通讯、安全保卫等工作；与分支机构及合作搭档通讯联络；负责突发事件前资源统一准备和事件后资源回收；负责与总行、行业协会、监管机构等相关部门沟通，确保信息通常，防止灾难影响扩大。厂商支持组依据双方约定提供灾难恢复所需设备等相关资源；依据双方签署服务协议、服务等级协议（SLA）、以及备忘录等材料提供技术支持。客户投诉支持组负责企业公共关系处理，包含对外解释、媒体公关等事宜，降低企业因为灾难带来负面影响。同城灾备中心建设情况及业务持续性演练方案汇报第19页演练场景约定此次演练场景北京西单生产中心保险卡系统数据库系统应用和数据库分别出现宕机北京亦庄同城灾备中心开启对应应用和数据库服务接管保险卡系统后北京西单生产中心保险卡系统恢复正常，系统由亦庄灾备中心回切西单生产中心应急、切换、回切全过程同城灾备中心建设情况及业务持续性演练方案汇报第20页此次演练包括系统示意图一（正常应用）生产WEB+APP灾备WEB+APP生产数据库灾备数据库INTERNETIPsecVPN连接池连接池同城灾备中心建设情况及业务持续性演练方案汇报第21页此次演练包括系统示意图二（应用切换）生产WEB+APP灾备WEB+APP生产数据库灾备数据库INTERNETIPsecVPN连接池连接池同城灾备中心建设情况及业务持续性演练方案汇报第22页场景一场景一步骤执行人操作话述中午14点，监控系统短信告警：保险卡系统3台应用服务器中两台已经宕机，无法对外提供服务。汇报系统管理员看到告警短信后，向技术恢复组组长汇报汇报领导，当前保险卡系统3台应用服务器中两台停机对外提供服务，当前保险卡系统仍可用，但服务响应将会减慢，我们将会尽快修复，预计修复时间为30分钟。汇报技术组组长接到保险卡系统两台应用服务器停顿服务汇报后，向指挥组汇报汇报领导，保险卡系统3台应用服务器中两台出现故障，无法对外提供服务，当前保险卡系统仍有一台应用服务器可用，但服务响应将会减慢。现在已经组织人员进行修复，预计修复时间为30分钟。指示指挥组组长收到汇报后，进行修复工作安排知道了，一定要尽快修复。另外，安排数据库、网络相关人员随时监控保险卡系统业务，出现问题及时汇报。修复系统管理员系统管理员在紧急修复，进展比较顺利

汇报系统管理员修复应用服务器后，向技术恢复组组长汇报汇报，保险卡系统停顿服务两台应用服务器已经修复，并开始对外提供服务汇报技术组组长接到应用服务器恢复正常汇报后，向指挥组组长汇报汇报领导，当前保险卡系统停顿服务两台应用服务器已经修复，并开始对外提供服务，保险卡系统对外服务已经恢复正常。同城灾备中心建设情况及业务持续性演练方案汇报第23页此次演练包括系统示意图三（数据库切换）生产WEB+APP灾备WEB+APP生产数据库灾备数据库INTERNETIPsecVPN连接池连接池同城灾备中心建设情况及业务持续性演练方案汇报第24页场景二场景二步骤执行人操作话述15点，监控系统短信告警：保险卡系统数据库服务器已经宕机，无法对外提供服务汇报系统管理员看到告警短信后，向技术恢复组组长汇报汇报，保险卡系统数据库服务器出现故障，当前保险卡系统不可用，我们将会尽快修复，预计修复时间为30分钟。汇报技术组组长接到保险卡系统数据库服务器停顿服务汇报后，向指挥组组长汇报汇报领导，保险卡系统数据库服务器出现故障，无法对外提供服务，当前保险卡系统不可用。现在已经组织人员进行修复，预计修复时间为30分钟。指示指挥组组长收到汇报后，进行修复工作安排知道了，一定要尽快修复。另外，安排数据库、网络相关人员随时准备，一旦系统开启，立刻恢复业务，出现问题及时汇报。修复系统管理员系统管理员在紧急修复，进展不是很顺利

汇报系统管理员数据库服务器无法在预计时间内进行修复，后续修复时间预计为3小时，向技术恢复组组长汇报汇报，保险卡系统数据库服务器出现硬件故障，需要向厂家调取备件后才能恢复，暂时无法恢复业务，预计备件到场时间为2小时，后续1小时进行修复，所以提议开启灾难恢复预案。汇报技术组组长接到数据库服务器无法在RTO内恢复正常汇报后，向指挥组组长汇报汇报领导，保险卡系统数据库服务器修复预计还需要3小时，已经超出了我们设计RTO，后续该怎样操作，请指示。指示指挥组组长接到数据库服务器无法在RTO内恢复正常汇报后进行后续工作指示你们尽可能在RTO要求时间内恢复，同时我将请示灾难恢复领导组进行灾难恢复准备工作请示指挥组组长向灾难恢复领导组汇报汇报领导，保险卡系统数据库服务器30分钟前出现硬件故障，无法对外提供服务。备件到场及修复时间预计还需要3小时，超出RTO。已经责成相关人员尽快修复，当前是否开始进行灾难恢复准备工作？指示领导组组长

能够。你先通知相关人员，进行人员集结，开始进行相关应急指挥工作。同城灾备中心建设情况及业务持续性演练方案汇报第25页场景三场景三步骤执行人操作话述下午16点，应急指挥中心成立、人员集结完成应急指挥准备工作指挥组组长开始灾难准备工作请后勤保障组进行后勤保障及危机公关工作，请客户投诉支持组准备问题应答准备，请技术恢复组和业务恢复组对此次事件可能造成影响进行初步评定初步影响评定技术组组长进行初步影响评定，并向灾难恢复指挥组汇报汇报领导，依据指示，技术恢复组和业务恢复组人员已完成初步评定，数据库服务器备件不到场，服务器无法恢复正常。依据与厂商协调，备件已经发出，但到场最快还需要半小时，另外修复时间也需要最少半小时，且尚存在其它不可预估风险，提议灾难预警。灾难预警指挥组组长决定灾难预警马上向中金灾备中心预警，请技术组准备好系统切换前准备工作进行灾难预警技术组执行人进行灾难预警中金灾备中心，我是中银保险XXX，现通知你们进入预警状态，做好对应保障准备工作

技术组组长汇报准备工作进展汇报领导，现在一切技术准备工作已经就绪，灾备系统状态正常，能够准备进行切换。损害及影响评定指挥组组长再次进行损害及影响评定请技术恢复组和业务恢复组再次进行损害及影响评定汇报损害及影响评定结果指定灾难评定人员填写灾害评定表及灾难宣告表第一栏汇报领导，与厂家联络，因为道路拥堵，备件还在路上，详细恢复时间尚无法预计。《损害评定表》、《灾难宣告表》已经填写完成，提议进行灾难宣告，请指示向领导组汇报损害及影响评定结果指挥组组长填写《灾难宣告表》第二栏，向领导组汇报损害评定结果，提议灾难宣告汇报领导，依据现损害及影响评定结果，因为备件详细到场时间无法预计，业务停顿时间过长，提议领导组进行灾难宣告，另保险卡系统切换时间为15分钟，请指示。回复领导组组长就灾难宣告事宜进行回复领导组将认真研究是否进行灾难宣告，以及何时进行宣告，研究结果会及时通知。同时请亲密关注现场情况，有进展及时汇报。备件仍未到场，保险卡系统无法在预定RTO内恢复灾难宣告领导组组长签署《灾难宣告表》第三栏，同时进行灾难宣告经过领导组研究，接收指挥组灾难宣告提议，对外进行灾难宣告；请指挥组组织人员进行切换工作，防范风险，务必确保在16点前恢复保险卡系统运行；请后勤保障组依据需要向上级主管部门、董事会及其它监管部门进行解释，降低影响。灾备切换技术组进行切换工作，将保险卡生产系统切换到灾备中心运行

系统切换进展汇报技术组组长向指挥组汇报汇报，保险卡系统已经切换到灾备中心，数据库运行正常，业务恢复组能够开始业务验证与恢复工作灾备切换业务组业务验证与恢复

业务恢复进展汇报业务组组长想指挥组汇报汇报，经验证，业务已经恢复正常，业务数据也恢复到停顿服务时间，能够正式对外提供服务业务恢复进展汇报指挥组组长向领导组汇报汇报领导，保险卡业务已经恢复正常，并正式对外提供服务，灾难切换完成灾难切换进展指示领导组组长对灾难切换进展进行指示，安排后续工作很好。请指挥组继续关注生产恢复情况，并依据进展安排时间恢复到生产环境。同时因为由灾备环境顶替生产，请随时关注业务运行情况，以防范风险。同城灾备中心建设情况及业务持续性演练方案汇报第26页场景四场景四步骤执行人操作话述下午17点，备件到场，保险卡数据库服务器恢复生产环境恢复汇报技术组组长汇报生产环境恢复进展汇报，生产数据库服务器备件已经到场，数据库环境恢复正常，能够进行回切操作回切指示指挥组组长针对生产恢复情况进行回切指示17点15分开始，请技术恢复组进行回退操作，请业务恢复组进行回退后业务验证与数据恢复。有情况及时汇报回切技术组回切

回切汇报技术组组长针对回切情况向指挥组汇报汇报领导，系统已经回退到生产环境，数据库恢复正常，网络恢复正常，能够开始进行业务验证与恢复。回切业务组回切后业务情况验证

回切汇报业务组组长针对回切情况向指挥组汇报汇报，经验证，业务已经回退到生产环境，业务数据恢复到回退前，能够对外提供服务回切汇报指挥组组长针对回切业务恢复情况向领导组汇报汇报，业务已经回退到生产环境，业务数据恢复到回退前，现在已经开始利用生产环境对外提供服务，整体灾难恢复已经完成。指示领导组组长

很好，灾难恢复圆满完成。应急指挥中心解散，请安排好后续人员、汇报、总结等工作。此次灾难恢复到此结束同城灾备中心建设情况及业务持续性演练方案汇报第27页实战演练条件约定演练数据起源约定演练数据起源于真实生产数据演练数据去向约定此次是实战演练，演练数据将进入生产演练系统约定保险卡灾备系统演练网络约定生产网络数据安全约定（出现接管失败、数据丢失恢复方案）与应用系统日志进行查对等同城灾备中心建设情况及业务持续性演练方案汇报第28页演练前准备工作确认（一）序号

系统自查内容自查情况责任人1网络生产中心至灾备中心专线是否正常

吴震铭2生产中心内部各个域之间网络是否通畅

3灾备中心内部各个域之间网络是否通畅

4参演机构到两个中心之间网络是否通畅

5与短信网关等外围系统网络通畅

胡小红6服务器确认源\目标主机可登陆

7确认源\目标主机无硬件问题

8确认源\目标主机目录空间可用

9确认源\目标主机操作系统版本一致

10确认监控、管理平台保障

11应用确认应用对外提供服务正常

薛建龙12确认应用系统满足切换演练条件

同城灾备中心建设情况及业务持续性演练方案汇报第29页演练前准备工作确认（二）序号系统自查内容自查情况责任人13数据库确认数据库主备库硬件设备正常运行

宋国哲14确认主机资源、存放等参数满足切换需求

15确认主备库之间实时同时队列正常进行

16确认源\目标数据库版本

17冗灾确认同时复制软件布署情况

方航18确认容灾切换流程可行性

19相关人员资源确实认

20问题跟踪处理情况

21容灾系统维护方案及容灾切换流程可行性

22

确认保险卡系统切换手册为最新版本

23应急预案确认

同城灾备中心建设情况及业务持续性演练方案汇报第30页实战演练流程（一）阶段序号阶段名称操作小组序号工作事项责任人操作人复核人开始时间结束时间完成情况阶段一演练准备工作技术组1下发“中银保险业务连续性演练通知”

方航赵爱忠

业务组2确认演练所用业务案例李哲峰\甘正良

技术组3确认保险卡系统切换手册为最新版本

宋国哲方航

领导/指挥组4演练领导小组人员就位赵爱忠

技术组5演练技术组\厂商支持组人员就位方航

业务组6演练参加人员就位并通知参演机构确认准备工作李哲峰\甘正良

技术组7确认两中心环境状态是否正常

宋国哲\胡小红\吴震铭方航

同城灾备中心建设情况及业务持续性演练方案汇报第31页实战演练流程（二）阶段序号阶段名称操作小组序号工作事项责任人操作人复核人开始时间结束时间完成情况阶段二演练正式开始技术组1向指挥组上报灾难发生场景及灾难影响评定,填写损害评定表,提议灾难宣告并进行系统切换.方航

领导/指挥组2灾难宣告\指示系统切换赵爱忠

技术组3配置好复制链路

宋国哲方航

技术组4源端shutdownabort数据库

宋国哲方航

技术组5切换准备,调整目标库fk\job\trigger

宋国哲方航

技术组6停顿export进程

宋国哲方航

技术组7激活反向复制

宋国哲方航

技术组8应用切换到目标库.

宋国哲方航

技术组9灾备中心系统就绪确认

宋国哲方航

技术组10通知参演人员开始业务操作

宋国哲方航

参演机构11恢复原库

宋国哲方航

技术组12调整原库fk\trigger\job

宋国哲方航

技术组13开启目标库export

宋国哲方航

参演机构14参演机构以电话及传真方式通知业务组，完成交易测试。李哲峰\甘正良

业务组15生成报表，验证灾备中心业务数据于生产中心业务数据一致性李哲峰\甘正良

技术组16经过数据库技术验证灾备中心业务数据与生产中心业务数据一致性

宋国哲方航

同城灾备中心建设情况及业务持续性演练方案汇报第32页实战演练流程（三）阶段序号阶段名称操作小组序号工作事项责任人操作人复核人开始时间结束时间完成情况阶段三灾备系统恢复技术组1向指挥组上报生产中心系统恢复,请示回切

方航

领导/指挥组2演练领导小组下发恢复指令赵爱忠

技术组3目标库停顿应用

宋国哲方航

技术组4修改原库和目标库fk/job/trigger

宋国哲方航

技术组5确认原库sequence值比目标库大

宋国哲方航

技术组6停顿目标库export

宋国哲方航

技术组7切换应用到原库

宋国哲方航

技术组8检验数据被复制到目标库

宋国哲方航

技术组9确认生产环境数据库状态是否正常

宋国哲方航

技术组10确认数据库关联其它系统运行是否正常

宋国哲方航

业务组11用业务伎俩确认两中心数据一致性李哲峰\甘正良

技术组12用技术伎俩确认两中心数据一致性

宋国哲方航

同城灾备中心建设情况及业务持续性演练方案汇报第33页实战演练流程（四）阶段序号阶段名称操作小组序号工作事项责任人操作人复核人开始时间结束时间完成情况阶段四演练总结领导/指挥组1搜集“演练统计表”及演练总结汇报

技术组2编写演练总结汇报方航

业务组3编写演练总结汇报李哲峰\甘正良

同城灾备中心建设情况及业务持续性演练方案汇报第34页技术角度数据一致性对比比较几个关键业务表数据（首先是统计数，然后是工具逐条比对）卡前后台同名表是否实现前后台卡业务表card销售单表sellsettledoc、sellsettleitem前台保单信息表applicant、insurant同城灾备中心建设情况及业务持续性演练方案汇报第35页业务角度功效点及数据一致性对比测试业务系统全流程功效点测试业务功效点数据一致性检验同城灾备中心建设情况及业务持续性演练方案汇报第36页实战演练关键风险点评定切换前检验1、检验切换环境、切换脚本、测试用例、应急方案完备性依据切换前检验汇报，演练前1天上报决议层是否进行应急演练技术组、业务组2、检验同时队列是否正常3、检验主、备数据库是否正常4、检验应用进程是否正常5、关注切换演练通知反馈切换过程1、检验系统标识位是否正常切换依据检验结果，若没有抵达预期结果，及时上报。技术组、领导\指挥组2、检验主库同时队列是否有数据未完成同时切换后测试1、检验切换后灾备数据库是否正常接管业务若办理业务失败，或数据同时不正常，及时上报技术组、业务组2、检验切换后业务是否能够正常受理3、检验切换后同时软件是否反向同时回切生产1、

检验是否能将数据方向切换回生产若经过正常伎俩无法回切生产或产生数据不一致，及时上报。技术组2、检验主备数据库数据一致性3、检验回切后同时软件是否正常同时4、检验数据库关联其它系统运行情况同城灾备中心建设情况及业务持续性演练方案汇报第37页演练流程演练方案制订（业务连续性计划）演练方案审批演练方案实施演练后评价业务连续计划有效性和可用性；演练结果与演练目标差距；演练过程中发觉问题；演练工作组织；参演人员应急能力；应急资源协调、保障能力。业务连续性计划生效和公布业务连续性计划定时演练和更新维护同城灾备中心建设情况及业务持续性演练方案汇报第38页特此汇报，谢谢同城灾备中心建设情况及业务持续性演练方案汇报第39页1、不是井里没有水，而是你挖不够深。不是成功来得慢，而是你努力不够多。

2、孤独一人时间使自己变得优异，给来人一个惊喜，也给自己一个好交代。

3、命运给你一个比他人低起点是想告诉你，让你用你一生去奋斗出一个绝地还击故事，所以有什么理由不努力!

4、心中没有过分贪求，自然苦就少。口里不说多出话，自然祸就少。腹内食物能降低，自然病就少。思绪中没有过分欲，自然