项目验收-灾备中心v1.1目录农信灾难恢复计划

目恢复计划书介 概 容灾项目概 的定 突 恢复团队和职 团队组织 恢复管理小 应用恢复 业务 后勤保障 全部成员............................................................................................................. 响应和行动流 事故紧急响 切换启动决 权力人管 恢复管理小组行动计 其他各小组行动计 恢复管理小组行动计 应用系统恢复组行动计 业务组行动计 后勤保障组行动计 本计划的......................................................................................................................... 目 责任 人员培 附录：损失评 恢复计划书介DRP，社综合业务系统出现性或进行演习时使用。本恢复计划书规定了广西壮族农村联合社综合业务系统广西壮族农村联合社综合业务系统，如生产主机服务器、磁盘或后，造成综合业务系统在一定时间内不可用（即构成一个，就第1章公司概况本章节描述了信息系统DRP计划书所适用的客户概况。第2章容灾项目概况DRP难切换/回切的主要技术指标，程度分析和的定义。第3章恢复团队和职本章节描述了信息系统和应用程序恢复小组的主要责任人和团队的责任及。第4章响应和行动流本章节描述了DRP从响应、启动到完成所有切换任务的完整流程以及在上述流程中每个恢复小组的和成员必须执行的行第5章本章节描述了如何本DRP计划书的方法和步骤。第1 网络系统的切换和回 第3章系统的切换和回切本章节描述综合业务系 系统的切换/回切的详细步骤概广西壮族农村联合社2005年9月28日挂牌成立受人民的委托，对全区90家农村、农村商业银行、农村合作银行（统称网点2278个，从业人员22500人，分别占全区银行业金融机构的42%、37%，是广西资产规模最大、实力最强、服务网络最广的金融机构。、，在的正确下农村信用联社深入科学发展观，抓、促发展、强管理、带队伍、保平安，有力地促进了全区农村合作金融事业又好又快发展。2012年3月末，广西农合系统存款余额、300020002012年6月末，广西农合系统存款余额、余额分别达到3084亿元、2103亿元，（13500（列157200（154）行列。、，序内12容灾项目概广西壮族农村联合社综合业务系统容灾的主要技术指标具体子系恢复点目（RPO：恢复时间目（RTO：容灾级0202020202人行前置系0202（RPO（RTO它包括两个部分，发生后指示恢复流程开始的决策时间和进行根据广西农信的实际情况，满足以下条件的可以认为发生发生任何故障或意外使得综合业务系统在RTO要求的时间以内不能恢自然等导致的主中心、同城备份中心机房生产服务器严重故其可能使得系统在RTO要求时间之内不能恢复正常业务运行，我们就称之为“灾DRPDRP不包括自然关于如何将常规问题升级 ，请参考 级别的划分。更具的描述请参见“第4章响应和行动流程广西壮族农村联合社综合业务系统恢复策略是保证能够在31场景3-综合业务系统系统的切换和回→参考本计划书卷突发级别的划广西壮族农村联合社综合业务系统的DRP计划为各种大大小RT（每个级别都有其特定的应对计划级别一和二对应的行动计划主要是在生产数据中心本地进行维修恢复而级别三对应的行动计划则针对极其严重的故障或中断情况包括在上一“的定义中所定义“情形，此时必须启动DRP计划，进行切换。要理解级别的划分，要先理解几个关键概念：RTO、EDT、临界时间A、临界时间B。临界时间B业务定义的RTO时间减去所有技术及业务所需的恢复时间；主要量化考量技术层面恢复时间。即：临界时间B=RTO-(技术层面恢复时间临界时间A：临界时间B减去切换之前的必要准备/启动时间。即：临界时间A=临界时间B-(切换前必要准备/启动时间)EDT：EstimatedDownTime， 级别划分与RTO、临界时间A、B和EDT之间的映射关系可以用如下的“恢复时序图”表示（对于明显的，将没有上图中的“故障响应及本地处置”阶段，而直接进入判定及决策阶段）结合时序图，对级别的划分和升级关系定义详细说明如下级别一“一般（A恢复正常的，则视之为“一般。这样的情况下，不启动容灾系统和DRP计划仅进行本地修复工作，不需要或仅需要较小范围的调动恢复团队的人员。级别二“严重B，暂时不启动容灾系统和DRP计划，仅进行本地修复工作，但需要立即通知恢级别三 。如果中断的状况预计无法在RTO要求的时间以内恢复正常的，则视之为“灾难。DRP计划立即启动，立即通知恢复团队的人员随时待命。随时等待命令进行系统切换恢复管理小组决定切换后，将所有必要的应用程序立即切换至灾备数据中心同时恢复管理小组将广西壮族农村联合。上述三个级别存在升级关系比如某故障发生之初被评估为3小时内可以恢，障，还需要2小时才能恢复，此时该“一般”升级为“严重，本地维修继续，恢复团队待命；而1小时后又发生人为操作，导致系统一时无法修复，此时“严重”升级为“，恢复管理团队将带领各恢DRP将分析报告交与广西农信综合业务容灾系统恢复团队。当前对于关键IT业务系统所要求的级别划分，即临界时间的要求是不业务类临界时间临界时间大于该时间，定义为级别核心业务30分1小大前置业30分1小60分2小农信银前30分1小30分1小人行前置30分1小经营管理60分2小序内12通常一个完整的恢复的执行周期包含以下整体步骤其中警告和启动阶段的具体内容将在第4章中详细陈述恢复和回切阶段的具体操作将在广西壮族农村联合社综合业务系统DRP计划书（卷2）中详细陈述。阶 描警告阶就是否宣布发生及启动警告阶就是否宣布发生及启动恢复计划制定决如果破坏情况还未达到危急状态并且仍未宣布发生则对情况进行及重新评估直至破坏情况解决或其升级为。即此时应宣布 为 级别一或二。启动阶备指挥中启动阶备指挥中恢复阶恢复阶相应地确定并响应员工问题及需求在适当情况下启动关系与业回切阶执行回切计划以回切阶执行回切计划以返回到原数据中DRP4当管理恢复团队通过评估确定某事故为，决定启动DRP计划，就需要对公司内部员工和外部该由管理恢复团队负以下是针对生产中心IT部门员工的应包括的内容DRP确定紧急联系号码，通知员工在需要时可就各种问题向此以下是针对进行应包括的内容任何公布于的信息都应说明可以从公司公共关系部门的经理或以下是针对恢复中心和其它恢复团队和支持伙伴进行应包括对于级别一的仅通告恢复中心和各恢复团队不对于级别二的通告恢复中心和各恢复团队要求对于级别三的通告恢复中心和各恢复团队要求 生产中地个使用条正常情况下运行综合业务业务系正常情况下用于测试或运行部分中心发生时有相关人员集合在那里召开会议，分析损失和决定是否启动DRPDRP一般情况下，A、B两个指挥中心只启动1个，其中指挥中心A建议设立ITBIT当指挥中心A当指挥中心A指挥中心性地使用条大楼指挥中南宁市路20正常情况下用于综合业务系统的当综合业务系统发生的时候，用于综合业务灾 （建议2条以上直线移动信号和到内部系统及外部网络的接口（建议10个以上。3恢复团队和职本章节旨在定义恢复工作中涉及的团队以及各自的职责队的职责界定之后，则是一个团队成员的。包括他们的、家序内13整2灾备恢复管理团应 恢复后勤保障灾备执行灾 灾备恢复管理团应 恢复后勤保障灾备执行灾 容灾系统管理组织结构恢复管理小组下设业务组、应用恢复组和后勤保障组后勤保障组下设包括后勤支援、信息发布及宣传、环境保障等相关支撑灾备灾备组是广西壮族农村联合社综合业务系统容灾管理的最高指挥主要负责综合业务系统恢复相关协调事宜如根据的严重况作出最终的切换决定并协调人员行之有效的按照既定的流程工作此外，对于可能影响到业务连续运行的测试、演练进行。组长，由广西农信指定一名主要，如主管综合业务生产的副总任长行使组长职责。组员，由相关部门，如运维部经理、业务部经理等担任组（录【正常状态职责培训计划的【状态职责组是关键IT系统系统管理最高指挥 状态职责【演习状态职责组长由广西农信灾备组指定一名主要担任全面负责关键IT生后勤保障应用恢复业务副组执行组组后勤保障应用恢复业务副组执行组组（联系信息请填写组组其他组【正常状态职责关键IT系统生产系统及其容灾系统变更的、监督执行等关键IT系统生产系统及其容灾系统`相关的日常流程或规则的定期根据关键IT系统运行状况，触发、、监督测试及培训等【状态职责负责评估关键IT系统，填写关键IT系统评估报告，提交负责监督执行关键IT系统恢复的具体流程，如切换、回切等【状态职责根据风险程度进行评估，确定可行方案【演习状态职责制定演习计划，上报灾备组待批审核、验证恢复流程及相关文档的正确性、完整性应用恢复等组成应用恢复组，负责关键IT系统及其容灾系统的日常，演习、组长，由执行组指定一名主要担任。组长全面负责关键IT系统及其容灾系统的软硬件/机房等在正常状态、状态、状态及演习状态下的人、组员由相关人员担任如主机管理员管理员网络管理员、、由于广西农信的职责和名称有所不同，在此仅以职责/角色来描述。主主机管理（联系信息请填）综合业务系组副组主机管理管理网络管理数据库管理中间件管理应用管理机房环境管理值班管理设备厂商和系统集成商成【正常状态职责根据执行组的进行实施执行与关键IT系统及其容灾系统相关的日常流程或规则的变更【状态职责信息）、向执行组汇报系统受的影响程度处理情况恢复方案及预计恢复时间，供执行组制定评估时参考；、统一指挥恢复现场系统方面的操作完成恢复现场系统方面的操作【状态职责【演习状态职责根据既定的恢复流程，验证其相关内容的正确性和完整性管理员：负责系统,包括所有与设备及交换机的相关的日 主机管理员：负责主机系统,包括所有与主机相关的日常、恢复、应用管理员：负责综合业务应用系统,包括所有与应用相关的日常、灾数据库管理员：负责数据库系统,包括所有与数据库相关的日常、中间件管理员：负责中间件系统,包括所有与中间件相关的日常、网络管理员：负责网络,包括所有与网络相关的日常、恢复、测机房环境管理员：负责机房环境,包括所有与机房环境相关的日常、灾难恢复、测试、培训、演习过的配合工作；在恢复期间，受上级的统一调度，负责与机房相关的如下工作对第一现场和重大故障的机房环境方面信息收集整理确定、向上级通报系统和故障情形、处理情况恢复方案及灾、值班管理员：负责日常和故障的汇总上报日常期间,负责系统及环境恢复期间，汇总对第一现场和重大故障的系统方面信息收集整理设备厂商人员：负责各自设备的与支持工作应用厂商人员：负责各自应用产品的与支持工作系统集成商人员：负责对整体应用系统的应用/系统的技术支持注：在进行角色设计时，生产中心与容灾中心的同一角色由不同人员担任执行组应指定专职的业务方面的支撑人员组成业务组，负责关键IT系统及、、组长，由执行组指定一名主要担任。组长全面负责关键IT系统及其容灾系统的业务在正常状态状态状态及演习状态下的人员协调和工、、组员，一般由负责业务支撑/的管理员担任副组业务副组业务（联系信息请填写通录组综合业务系其他接值班管理【正常状态职责如果上述申请需要应用恢复组配合，应明确配合的具体要求，如环境、根据执行组的进行实施执行与关键IT系统相关的日常流程或规则的变更【状态职责负责对现场的应用业务信息进行收集整理，确定恢复方案向执行组汇报业务受的影响程度、处理情况、恢复方案及预计恢复时间，供执行组制定评估时参考；统一指挥恢复现场业务方面的操作完成恢复现场业务方面的操作【状态职责【演习状态职责/回切步骤（包括业务的测试、外部接口的协调根据既定的恢复流程，验证其相关内容的正确性和完整性后勤保障组负责为其他做好所需的后勤保障工作，包括安全、、组长，由执行组指定一名主要担任。组长全面负责关键IT系统生产系统及其容灾系统在正常状态状态状态及演习状态下的后勤保障工、、信信息发环境保后勤支副组后勤保障组组后勤保障组人员结构（联系信息请填写通录组组【正常状态职责筹备培训的相关准备，包括培训教室，培训的，培训的食宿安日常后勤保障及数据中心环境【状态职责【状态职责【演习状态职责4响应和行动流4.1警告阶4.1.1事故紧急响！第！第一步从这里开始请根据下表对事故情形作出紧急判断，以便执行相应事故紧急原事故现级响应对电、存毒、黑客严重起30分钟内不能解决，60分钟内不能解决，一般即时（10分钟内）通知起30分钟内不能解决，60分钟内不能解决， HA而响应和行动流程不适用于本地HA双机中一台服务器的宕机。当发生单台服务器宕机，请另行参考已有《本地应急预案。4.1.1.1不需要生产中心或生产中心可以进以下是当出现问题但不需要紧急生产中心或生产中心仍可进入时按步对于明显的需要进行全系统切换的重大事故情形广西农信灾备组或成员应在获得通知以后立即宣布发生，并转入“4.2切换启动段”部分，启动DRP计划快速快速参措日签IT系统正常运行的问题。此时将定级别为一或二，即非事故。现场的系统支撑部人员评估破坏IT影响（请参见“附录6损失评估评估评估破坏情快速参快速参措日签IT恢复管理小组或其他成员（请参“3.3全部成员所指定的最长3小时的宕机时间之其他成员（请参见“3.3全部成员通讯通措日参见“3.3全部成员IT至“4.2切换启动阶段”部分。如果此时没有宣布为，则灾（请转至“4.1.2切换启动决策部分[列表]应用系统恢复组组长、业务组组4.1.1.2紧急响应流4.1.1.3响应的要建议发生后，在问题解决中考虑以下要点在单位（消防部门、机关、医院等，由负责决定现场协调人、解决的指挥人是否需要通知相关人员，由负责通是否需要提前通知设备厂商、应用厂商，由负责通如果找不到相关人员，立即通知其替补人员或者相关广西农信灾备组根据切换原则决定是否要进行切（或者系统支撑部所有在应用系统恢复组组长和系统支撑组组长和系统支撑部）（如果出现双机宕机，考虑是否有本地应急方案，并根据4.1.2中的4.1.2切换启动决权力人（恢复管理小组以下人员依次具有宣布发生并启动本DRP计划的权力序职1灾备组组2灾备组副组4.1.2.2恢复管理小组行动计以下任务属于恢复管理小组的责任灾备组组长作为恢复管理小组的最高负有确保完成所有必需任务的最终责任。快速快速参启动启动措日签启动指挥中心（ECC）之一，ECC的详细和启动规则请参考“2.8生信息通知给恢复管理小组的其他成在ECC召集恢复管理小组及其他相召集召集人快速参快速参确保对情况进确保对情况进措日签RTO）措日签入“4.2切换启动阶段”部分[列表]应用系统恢复组组长、业务组组通通4.1.2.3切换决策参4.1.2.3.1级别升级策恢复管理小组应就估计业务中断时间和临界时间的比较作为级别业务类临界时间临界时间大于该时间，定义为级别30分1小统30分1小60分2小统30分1小30分1小人行前置30分1小60分2小除临界时间的估计以外恢复管理小组在进行级别升级时还应考虑中断的类型与在预计修复时间方面的信息的性质，例如火灾、数据中心破坏或某些自然非与数据中心相关的，例如普遍的通信或电力故障、毒气泄漏等问题问题警问题分Phase寻求支解决方法已知问题原因已知问题报问题被解解决问解决方案已知第容，进 切换启动阶段问题是否解决估计中断时间大于4.1.2.3.2切换决策因影响决策因素RTO业务系时是否具策时间序内14.12建议广西农信决策的原则如下对于重大，先进行故障定位。如果长时间内不能进行故障定位,进行切换故障定位后,先估计本地应急方案和切换所需的时间如果本地应急方案所需的时间远大于RTO规定的时间,建议进行切换RTORTO根据根据RTO、相关时能否快速对故障定是长时间内不故障定 是否能否有本地应急恢复方是否所超过的时间对业务影响的程度很是否系统切换的风险业务中断的影响否切换后是带来相同故是是决故障，再恢复业进 切采取本地应急恢复方听取系统组和业务组负人的情况介4.2切换启动阶以下人员依次具有指挥和安排在灾备中心进行切换的权力序职1灾备组组2灾备组副组4.2.2恢复管理小组行动计恢复管理小组将执行以下任务，恢复管理小组负有确保完成所有必需任快速快速参启动启动措如果没有启动恢复指挥中心则启动它，将ECC作为恢复管理与控制。ECC的详细位于“2.8生产中心和灾备指挥中心”部分。措措综合业务系统DRP计划书“附录6灾：“3.3全部成员， 确保所有参与恢复的人员拥有启动启动其它小获获取DRP计管理管理员工问措措坏情况（请参见“3.3部成员通讯参见“3.3全部成员。共关共关系问/管快速参指指记人安安恢管理小组成快速快速参措[列表]应用系统恢复组组长、业务组组通最其他各小组行动计通最措获得所需数目的DRP措获得所需数目的DRP计划的副本快速参快速参启动小组成获获得DRP计转到转到切换地4.3切换阶4.3.1恢复管理小组行动计灾备组行动计措员并指示他们使用本计划书“x.x事措员并指示他们使用本计划书“x.x事快速参快速参指记录员确定确定恢复任任务任务安排和分达给公司相应的主要。向向进行报广西农信灾备执行组具体负责的切换工作的具体实施工作，灾备执行组组长负有步措12联系广西农信主要的业务[列表见3与主要业务[列表见3.2.3]确4络、业务组与恢复管理小组的联络点，确保信5定期召开恢复管理小组会议通告切换的状措员并指示他们使用本计划书“x.x事措员并指示他们使用本计划书“x.x事DRP指指员则按照“3.3全部成员”联系快速参快速参措指指员员并指示他们使用本计划书“x.x事DRP则按照“3.3全部成员”联系人力资源与职业安全卫生问步措1一般情2定期向灾备执行组汇报状况和活动（依照最员工鼓励项3该项目应在宣布进行恢复后的24小时内进行实施，其内容包括咖啡杯、T恤衫等纪念倒休、加班等内容公共关系 关步措1配合灾备执行组及现场人员确定对外宣传的2确定是否有员工已与部门有过接触，并请求其3根据情况，在发生后尽快发布适当的信息，确保在发言稿中涉及了的所有方面以及公司对该的响应。这对员工伤亡的处理以及对员4维持与单位公开的、前瞻性的关系，以确保他们站在广西农信的立场上发送所希望的信息。制定计划以定期进行更新与发布。5与所有员工明确他们与之间的关系，6定期向灾备执行组汇报状况和活动（依照最本计划的5.1目本计划的主要目标是5.2责任广西农信容灾系统灾备执行组将负责本计划的全面工作，包括定期向灾备组进行汇报，以及通过工作，保证本计划书的及时更新并且随时可用。5.3工作的启工作包括两类：定期和非计划定