Trust DBRA灾难备份方案建议书.doc

厦门市公安局厦门市公安局 TrustTrust DBRADBRA 灾难备份灾难备份 方案建议书方案建议书 杭州美创科技有限公司杭州美创科技有限公司 2009 04 22 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 2 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 目目 录录 1 厦门市公安局灾难备份需求厦门市公安局灾难备份需求 4 1 1概述概述 4 1 2业务系统分析和推荐业务连续性指标业务系统分析和推荐业务连续性指标 4 1 3当前当前 IT 系统基础架构系统基础架构 6 2 软件平台技术方案软件平台技术方案 12 2 1TRUST DBRA DISASTER BACKUP SYSTEM工作原理工作原理 12 2 1 1Trust Log Capture Service 12 2 1 2Trust Log Transfer Service 13 2 1 3Trust Apply Service 13 2 1 4Trust Flashback Service 14 2 1 5Trust Active Disaster Site Service 14 2 1 6Trust Backup Service 14 2 2TRUST DBRA DISASTER BACKUP SYSTEM的安装部署的安装部署 14 2 2 1生产系统部署 15 2 2 2灾备系统部署 15 2 2 3产品部署模块 15 2 3性能和资源需求估算性能和资源需求估算 17 2 3 1网络需求 17 2 3 2日志传输速度 17 2 3 3数据同步速度 17 2 3 4CPU 资源占用 17 2 3 5生产端的缓存资源 18 2 4生产系统可靠性保障部署生产系统可靠性保障部署 18 2 4 1灾难备份链路的容错 18 2 4 2对于密集短暂网络失败的克服 18 2 4 3生产系统本地空间缓存 18 2 5计划内维护和全业务切换计划内维护和全业务切换 18 2 6TRUST DBRA 的日常运行维护的日常运行维护 19 3 硬件平台技术方案硬件平台技术方案 20 3 1服务器平台技术方案服务器平台技术方案 20 3 2存储平台技术方案存储平台技术方案 21 3 3网络平台技术方案网络平台技术方案 21 4 灾难恢复预案 灾难恢复预案 DRP 23 4 1DRP 的作用的作用 23 4 2灾难恢复预案的内容灾难恢复预案的内容 23 4 3灾难恢复预案演练灾难恢复预案演练 24 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 3 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 4 3 1演练的目的 24 4 3 2流程测试和演练的模式 25 4 3 3演练的关键步骤 27 4 3 4测试演练的主要考虑因素 28 附录一 附录一 TRUST DBRA DISASTER BACKUP SYSTEM 介绍介绍 30 附件二 附件二 TRUSTTRUST DBRADBRA 成功案例成功案例 37 附件三 美创科技公司简介附件三 美创科技公司简介 39 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 4 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 1 厦门市公安局灾难备份需求厦门市公安局灾难备份需求 1 1 概述概述 厦门公安经过多年的 IT 系统建设 已经建立了众多的 IT 信息系统来支撑 日常业务的运行 特别是在可靠性保障上 厦门公安历年以来投入了比较大的 资金和人力 对于核心系统构建了 Cluster 容错系统 核心系统通过 Legato Networker 7 0 备份软件构建了统一的备份系统 极大的提高了业务系统的可靠 性 在基础备份系统基本完善的基础之上 厦门公安着重考虑核心业务系统的 灾难备份能力 希望可以在生产节点遭遇重大灾难打击的时候可以快速的恢复 业务应用 提高抗重大灾难打击能力 厦门市公安局核心系统都运行在 Oracle 数据库之上 提供了厦门市公安局 IT 系统的稳定性基础保障 Oracle 数据库系统是一个较为复杂的数据库 作为 厦门市公安局的基础数据存储和运行平台 存储着核心数据资料和基本业务逻 辑 其稳定性与否直接关系着厦门市公安局的对外服务能力 如何确保厦门市公安局在重大灾难打击之下继续生存是厦门市公安局继续 发展的基础性工作 也是金融行业统一安全规范的要点之一 基于此考虑 数 据完整性要求是厦门市公安局业务多样化和快速发展期间所必须要面临的 IT 基 础体系需要重点考虑的现实问题 1 2业务系统分析和推荐业务连续性指标业务系统分析和推荐业务连续性指标 厦门公安的核心业务系统主要为 治安常住人口系统 治安暂住人口系统 和打防控系统 业务系统分析 治安常住人口系统 治安常住人口系统是公安系统的核心基础信息系统 为治安广大民警所广 泛应用 同时治安常住人口系统不仅仅是公安系统的核心基础信息系统 也是 整个社会的核心基础信息系统 治安人口数据信息的丢失或者完整性差错不仅 仅会给公安系统工作带来重大影响 同时也会造成重大的社会影响 基本而言 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 5 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 治安常住人口系统不允许出现数据丢失或者数据完整性问题 作为公安系统的基础信息平台 甚至是整个社会的基础信息平台 治安系 统需要很高的业务系统可用性要求 尤其是在 7 8 的白天上班时间 治安常住 人口系统如果长时间无法提供服务 造成的影响将会非常巨大 简单的说 治 安常住人口需要比较高的业务连续性 尤其在 7 8 时间段内 至少要求完成 7 8 365 天不间断运行 严格来说应该做到 7 24 365 天不间断运行 治安常住人口系统的业务特征表明该系统需要一个明确的业务连续性计划 该业务连续性计划要确保零数据丢失和业务灾难情况下的快速复员能力 业务系统分析 治安暂住人口系统 治安暂住人口系统的业务逻辑类似于治安常住人口系统 它是针对暂住人 口而存在 业务系统分析 打防控系统 打防控系统是公安的核心系统之一 是邢侦警察的主要工具 也是构建打 防控一体化构建平安宁波的基础信息管理平台 打防控系统的业务数据和常住 人口系统一样同样是公安系统的核心基础数据 对于公安系统而言 甚至更加 重要 依赖性更强 打防控系统对于数据的完整性和尽可能少的数据丢失性要 求是公安刑警工作的基本要求 作为公安系统的核心依赖平台和公安刑警工作的特点 该系统基本要求 7 24 365 天不间断运行 长时间的业务终止可能会延误某些重大决策的执行 后果比较严重 打防控系统的业务特征表明该系统需要一个明确的业务连续性计划 该业 务连续性计划要确保接近于零的数据丢失和业务灾难情况下的快速复员能力 业务连续性指标 IT 业务系统是厦门市公安局从事多项业务的基石 而存储在 Oracle 数据库 中的数据则更是关系到厦门市公安局生存和发展 数据完整性是公安行业业务 继续运行的基础性工作 绝对的零数据丢失和数据完整性要求也是公安行业的 最典型特征 依赖于常规的备份系统很难很好的完成零数据丢失保障 在高数 据完整性的要求基础之上 公安行业又是一个几乎完全面向公众用户的行业 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 6 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 具有比较高的业务连续性要求 基本要求 7 24 365 天不间断运行 即使在节假 日也要求 IT 系统正常运转 厦门市公安局业务是一个典型在绝对保障数据基础之上的要求 7 24 365 不 间断运行的 IT 业务系统 为了支持零数据丢失和业务连续性保障需要一个周到 的业务连续性计划来加以支持 备份 灾难备份 持续数据保护和多样化恢复 手段都应该成为厦门市公安局业务连续性计划的必要组成部分来共同完成业务 连续性计划目标 从容灾的级别来说 可以规划数据级容灾和应用级容灾 根据公安行业的 业务种类多 业务方式多样化的特点 仅建设一个数据级容灾是不够 容灾发 生时 业务快速的恢复是容灾系统的一大需求 所以建议厦门的容灾系统建设 成一个应用级别的容灾 应用级容灾是建立在数据级容灾的基础上 在容灾切 换时 除了切换核心的数据库数据外 还包含了 IP 地址切换 按客户需要可选 中间件服务 用户级业务 应用级容灾从流程上实现了全业务的连续性需求 从我们的灾难系统建设经验出发 厦门市公安局可以考虑以下业务连续性 计划目标 RPO 最大允许数据丢失时间 零数据丢失 RTO 最大允许宕机时间 30 分钟 应用级容灾需求 1 3当前当前 IT 系统基础架构系统基础架构 根据前期和沟通 了解到厦门市公安局 IT 系统的当前基础信息结构如下 基础硬件平台 两台 HP 4440 配置多个 CPU 两台数据库服务器 主机系统平台 两台主机之间通过 HA 软件 配置 Concurrent 并行 模式 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 7 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 HP EVA5000 存储系统平台 配置容量 未知 基础软件平台 Oracle 9 2 0 6 数据库 数据库 Oracle 数据库运行在 RAC 模式下 中间件未知 备份系统平台 备份软件Legato Networker 7 0 备份介质磁带机 核心应用软件系统 常住人口系统 暂住人口系统 打防控系统等 数据容量规模 未知 核心生产系统逻辑结构图如下 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 8 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 图 1 1 实际生产系统逻辑框图 厦门市公安局当前构建了自己的备份系统 并且采用了 bakbone 备份软件 把数据备份到磁盘上 这样的备份方式结合数据库的归档日志 基本可以保证 数据库的数据的完备性 但是依然具有以下缺点 数据备份的有效性无法确认 由于备份系统条件的限制 对备份的数据的有效性无法进行校验 无法进 行恢复性测试 数据恢复时间漫长 在数据库恢复时 需要中断业务系统 而且 恢复时间漫长 恢复过程中 容易出现故障 尤其是逻辑备份的恢复 无法保证数据的完整性 无论是逻辑备份还是目前的物理备份 都无法保证在出现故障进行恢复时 不会造成数据的丢失 出现网络故障会引起备份中断 网络故障时 会造成备份的中断 在网络恢复后 无法继续备份 对生产系统有性能压力 进行备份 尤其是物理备份时 往往由于备份脚本或者备份策略制定的问 题 对生产系统产生比较大的性能影响 尤其是 IO 压力 无法作为应急业务支持 在业务系统崩溃时 备份系统无法作为应急系统使用 基于上述这些因素的考虑 厦门市公安局的容灾系统的建设 势在必行 其灾备系统的建设 重要的是体现灾备一体 应用级容灾的概念 建设后的灾 难备份系统硬件架构图如下 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 9 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 灾难备份系统至少达到以下技术目标 编号编号要求要求描述描述 1 灾难切换时间要求灾难系统切换时间不超过 30 分钟 最好在 10 分 钟内实现 2 多种灾难切换方式提供自动灾难系统切换和手动灾难切换方式 3 计划内维护要求提供计划内维护支持能力 计划内维护切换时间 不多于 10 分钟 4 数据丢失性要求原则上要求零数据丢失 可以依据情况进行调整 5 数据同步方式提供同步和异步两种方式 6 备份和灾难备份方式采用物理备份方式实现 7 物理部件失败要求支持部分磁盘 文件系统 主机 磁盘柜等各种 物理部件失败导致的失败保护 8 站点失败要求支持由于火灾 电力以及其他因素导致站点失败 的数据保护 9 逻辑失败要求支持由于数据块腐败导致的数据库无法启动 数 据丢失等逻辑失败保护 10 人类错误失败要求支持由于人类误操作以及入侵等导致人类错误失 败导致的数据保护或者恢复 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 10 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 11 生产系统的性能影响 要求 生产系统性能影响不超过 5 12 生产系统可用性要求容灾系统不会降低生产系统可用性 13 网络链路分钟级别短 暂故障 要求不会对生产系统产生影响 14 网络链路小时级别长 期故障 要求不会对生产系统产生影响 15 网络链路密集的秒级 别短暂故障 要求不会对生产系统产生影响 16 网络链路容错支持网络链路的容错 可以利用网络的备份链路 比如多路网卡等 17 灾难系统的硬件故障由于灾难系统硬件故障导致的灾难系统不可用不 会对生产系统产生影响 比如网卡 磁盘以及控 制卡等 18 灾难系统的软件故障由于灾难系统软件故障导致的灾难系统不可用不 会对生产系统产生影响 比如灾难系统管理软件 部件等 19 网络协议采用 IP 网络实现 20 网络带宽一般的百兆或者千兆带宽 21 RTT 要求RTT 要求在 10ms 以内即可满足要求 可以容忍 部分时间的 30ms 响应 22 在线实施要求要求在备份系统实施期间保持生产系统运行 23 存储系统失败的原址 运行 在生产系统主机可用的情况下可以支持系统原址 运行 24 部分文件失败的原址 运行 在部分文件失败的情况下可以支持系统原址运行 25 原址运行要求 在生产系统出现以下故障时 不进行容灾切换 而原址运行 在生产系统主机可用的情况下可以 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 11 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 支持系统原址运行 在部分文件失败的情况下可 以支持系统原址运行 26 容灾切换要求提供一对多和多对一的容灾复制和切换 27 一键切换 支持单健切换 所有切换都要求提供字符菜单 命令行和图形界面三种模式 所有切换都要求一 步完成 28 全业务切换 支持业务系统级别切换 进行完整的 Oracle 数 据库 tuxedo 中间 web 中间件以及其他中间件 的自动切换 29 业务部件切换 支持业务部件级别切换 在业务系统某一部件发 生灾难 仅仅切换该部件到容灾系统 比如数据 库或者 tuxedo 或者 weblogic 等 30 网络切换 支持网络切换 并且可以指定在切换时候是否支 持网络切换 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 12 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 2 软件平台技术方案软件平台技术方案 本项目灾难备份中选用软件是美创科技的 Trust DBRA Disaster Backup System 2 1Trust DBRA Disaster Backup System 工作原理工作原理 图 2 1 Trust DBRA 软件工作原理图 Oracle 发出事务更新 写 Online Redo Log Trust Log Service 同步往灾难备 份中心存储写数据 在灾难备份中心 Trust RFS 接收 Trust Log Service 数据并 且生成对应的容灾端的 Online Redo Log 数据 在生产系统进行 Log switch 的时 候同步在灾难备份中心完成 Log Switch 在容灾端 Trust Apply Service 通过 Oracle Physical Recover 机制把相关归档日志内容更新到灾备中心数据库或者直 接把 Online Redo Log 内容更新灾难备份中心数据库 实时更新模式 在 Flashback Open 的情况下 Trust 采用 Copy on write 技术在更新灾难中心 数据库的同时把更新之前的数据进行备份 形成闪回区域 2 1 1Trust Log Capture Service Trust Log Capture Service 可以运行在同步方式 异步以及归档方式 以适 应不同的 RTO 需求和网络带宽需求 并且支持不同的网络类型 包括 IP SAN 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 13 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 以及 iSCSI 等 Trust Log Capture Service 工作在同步方式时 在 Oracle 写本地 Online Redo Log 的时候由 Oracle lgwr 进程同步完成完成远端 Online Redo Log 文件的写操作 从而完成生产端和灾难备份端的同步写操作 Trust Log Service 工作在异步方式时 Trust Log Service 通过快速日志分析 追踪日志变化 在变化的第一时间获得日志变化数据 日志变化数据缓存在本 地磁盘系统中 之后通过 Trust Transfer Service 服务传递到灾难备份端 Trust Log Service 工作在归档模式时 Trust Log Service 监控 Archived Log 变化 在生成 Archived Log 的第一时间通过 Trust Log Transfer Service 传递到灾 难备份端 不同的工作模式对于网络带宽有着不同的要求 工作在同步模式要求网络 带宽具有高峰期 Oracle 日志量 1 5 倍的带宽 工作在异步模式要求具备高峰期 Oracle 日志量 1 倍的带宽 工作在归档模式对于带宽没有明确的需求 2 1 2Trust Log Transfer Service Trust Log transfer Service 完成 Online Redo Log 数据从生产端到灾难备份端 的传递 并且对于传输碎片进行合成 形成和生产系统完全一样的 Online Redo Log 或者 Archived Log Trust Log Transfer Service 基于 ssh 传递 具有 ssh 天然 的加密和压缩传递能力 2 1 3Trust Apply Service Trust Apply Service 通过 Physical Recover 机制把同步或者异步传输过来的 归档日志进行应用 从而达到灾难备份和生产系统的实时同步 Trust Apply Service 支持腐败检验 在应用的 Oracle 日志出现错误的时候 Trust Apply Service 会自动触发重新获取服务 通知 Trust Log Transfer Service 重新从生产系 统获取腐败的 Oracle 日志 在 Trust Increment Backup 存在的情况下 Trust 可 以利用 Trust Increment Backup 来实现 Trust Apply Service 从而进一步加快 Trust Apply Service 降低系统资源消耗 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 14 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 2 1 4Trust Flashback Service Trust Flashback Service 是 Trust DBRA Disaster Backup System 的增殖应用服 务之一 通过 copy on write 技术实现 在 Trust Apply Service 运行的同时生成 Flashback Area Trust Flashback Service 可以使灾难备份回到过去的某一时刻点 是实现误操作等逻辑错误的灾难恢复的最有利工具 2 1 5Trust Active Disaster Site Service Trust Active Disaster Site 是 Trust DBRA Disaster Backup System 的增殖应用 服务之一 通过该组件 可以使容灾站点成为活动站点 Active Disaster Site 通 过一系列的 Trust Consistent 操作使灾难节点实例可以被打开访问 同时通过 checkpoint 刷新和 Cache 刷新来完成实时更新访问 2 1 6Trust Backup Service Trust Backup Service 提供 RMAN 兼容服务 使 Trust Disaster Backup 可以成 为常规备份存在 Trust Disaster Backup 以 Oracle Datafile 形式存在 并且允许 被外部访问 从而天然提供其 RMAN 兼容能力 完成 Trust 灾备一体化部署 2 2 Trust DBRA Disaster Backup System 的安装部署的安装部署 Trust DBRA Disaster Backup System 的部署分为三部分 生产系统 灾难备 份系统和管理平台 Trust DBRA Disaster Backup System 安装部署图如下 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 15 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 图 2 2 Trust DBRA 软件安装步署图 2 2 1生产系统部署生产系统部署 Trust DBRA Disaster Backup System 在生产系统的数据库实例上安装一个 Trust Diaster Backup Client Agent for Oracle Trust Log Capture Service 和 Trust Log Transfer Service 用来获取 redo log 数据和传输 redo log 数据 如果需要 进行应用服务器和文件数据同步 则需要同时部署 Trust Backup Client Agent for App 2 2 2灾备系统部署灾备系统部署 Trust DBRA Disaster Backup System 在灾难备份系统为每个对应的 client agent 安装 server 模块 一般建议同时把 Trust Disaster Backup Management Server 也部署在灾备系统上 2 2 3产品部署模块产品部署模块 产品 模块 名称描 述数量 Disaster Backup Management Server 实现 Trust Disaster Backup System 的统一管 理 提供简单命令行 字符菜单集成管理平 1 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 16 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 台和 Web 界面集成管理平台三种管理方式 Disaster Backup Client for Oracle 实现 Oracle 数据库的灾难备份 包含其 Cient 部署和 Server 部署模块 2 Diaster Backup for APP 实现应用服务器和文件备份可选 Full Bussiness Switchover 实现全业务级别的灾难切换可选 Add ons Full License增殖业务套件 包含 Backup Support FlashBack Area Active Disaster Site Instant Recover 等组件 可选 容灾系统专用服务器上需安装 Disaster Backup Management Server 和多个可 选模块 模块名称和描述如下 产品 模块 名称描 述可选性 Disaster Backup Management Server 实现容灾备份节点的管理 是一个集成容灾管 理平台 统一管理灾难备份的配置策略 运行 计划内维护以及灾难切换 必选 Flashback Area Option 回滚支持模块 实现对于数据库 表空间和表 格的闪回支持 可选 Backup Support备份支持模块 提供在灾难中心实现备份支持 实现原址恢复 可选 Active Disaster Site 负载平衡支持模块 提供只读和可读写两种能 力 可选 Fast Unload Tools支持在备份站点实现快速逻辑备份 支持逻辑 备份即时可用功能 支持逻辑快照 可选 Instant Recover实现即时恢复 包括文件即时恢复和数据块即 可选 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 17 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 时恢复 2 3 性能和资源需求估算性能和资源需求估算 在关键业务系统应用中 容灾备份软件所消耗的性能和资源压力是必须要 考虑的 Trust DBRA Disaster Backup System 仅仅传输 Oracle Online Redo Log 天生具备比较 Remote mirror 产品消耗更少的资源和生产系统压力 2 3 1网络需求网络需求 Trust Disaster Backup System 对于数据传输可以基于以下网络 TCP IP SAN 以及 iSCSI Trust DBRA Disaster Backup System 容灾仅仅读取传 输 Oracle 的日志文件 通过 TCP IP 或者其他可用网络进行传输 最大网络传 输容量 Oracle 日志产生量 特别在低速网络中 Trust 支持压缩传输 从而使网 络带块需求可以进一步的被降低 2 3 2日志传输速度日志传输速度 Trust Log Capture Service 工作在异步方式时候 在充分工作的时候可以达 到接近于磁盘速度 其工作能力几乎完全限制于网络速度 在我们的实际运行 案例中 在大量积压之下的千兆网环境下可以完成 30m s 加密 和 60m s 非 加密 的速度 2 3 3数据同步速度数据同步速度 Trust Apply Service 工作在 frp 和 mrp 模式的时候 基本而言其 Apply 速度 为生产系统 4 8 倍 在磁盘能力许可的情况下可以达到 10m s 的日志数据同步 速度 基于厦门市公安局 195k s 的生产系统数据完全可以和生产系统完成同步 2 3 4CPU 资源占用资源占用 Trust Disaster Backup System 通过获得 oracle 日志的变化来进行变化数据获 取和传播 无论是工作在同步还是异步模式下对于 CPU 的占用资源都比较少 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 18 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 考虑一个每天 20GB 的业务系统 其加密传输 CPU 不会超过 10 非加密传输 CPU 消耗不会超过 5 2 3 5生产端的缓存资源生产端的缓存资源 Trust 采用首先进行本地缓存的方式来进行变化数据传播 也采用本地缓存 来对抗灾难系统故障 我们一般建议系统提供 1 小时左右日志空间作为本地生 产缓存 并且考虑 1 天左右的归档日志缓存空间 假设每天生产 20GB 日志量 那么考虑高峰期大概需要 20GB 左右的缓存空间 2 4 生产系统可靠性保障部署生产系统可靠性保障部署 Trust DBRA Disaster Backup System 是一个充分考虑到生产系统可靠性保障 的灾难备份系统 Trust 部署了一系列的服务来完成生产系统可靠性保障 并且 以及实际情况自动在不同模式下进行转换 2 4 1灾难备份链路的容错灾难备份链路的容错 Trust DBRA Disaster Backup System 支持多条网络链路的容错 在网卡失败 交换机失败的情况下依然可以完成容灾数据的复制 2 4 2对于密集短暂网络失败的克服对于密集短暂网络失败的克服 在同步传播中 密集短暂的网络失败会挂起生产系统 Trust 通过模式的自 动转换来完成克服密集短暂的网络失败 2 4 3生产系统本地空间缓存生产系统本地空间缓存 在灾难系统链路长时间失败的情况下 生产系统将会完全挂起 Trust 通过 最后缓冲区以及网络缓冲区转移来克服长时间的网络中断 2 5计划内维护和全业务切换计划内维护和全业务切换 在容灾系统运行中 灾难切换始终是其中最为困难的一部分 Trust 提供的 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 19 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 全业务切换和单键切换能力使用户不需要复杂的流程自动完成切换 计划内维护能力是 Trust Disaster backup System 的特点之一 可以简单的通 过计划内维护能力在生产系统和灾难系统之间进行来回切换 从而完成一些长 时间的计划内维护操作 2 6 Trust DBRA 的日常运行维护的日常运行维护 对于 Trust Disaster Backup System 来说 运行维护是非常简单的 主要包 含以下内容 进程状态 查看是否有错误报告 查看日志传输延迟 查看日志应用延迟 查看保留策略是否生效 查看本地缓存 定期打开灾难库 事实上 以上所有工作 Trust 都会自动完成 用户所需要只是查看是否存在 延迟以及查找延迟原因即可 Trust Disaster Backup System 提供了命令行 字符菜单集成管理平台和 Web 集成管理平台来提供日常管理 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 20 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 21 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 3 硬件平台硬件平台技术方案技术方案 3 1服务器平台技术方案服务器平台技术方案 当前厦门市公安局的综合业务系统主机平台为 HP rp4440 小型机 并配置 HP eva5000 作为存储 在 Oracle 数据库 中间件作为业务系统软件平台 本项 目建设后的容灾硬件架构图如下 图 3 1 容灾建设后的逻辑框图 在构建异地容灾系统时 从业务系统对异地容灾主机系统的要求考虑 对 服务器的处理能力 性能和稳定性 主机维护都有一定的设计要求 1 本项目中灾难备份以实现数据级容灾为主要目的 数据库服务器具有一 定的承载能力 但可以低于生产系统主机的承载能力 2 数据库服务器具有较强的实时应答能力 当数据信息被检索到后 会反 馈给用户 如果数据库服务器不具有较强的应答能力 会造成反馈信息速度缓 慢 甚至造成数据库服务器死机的情况 3 数据库服务器要具有较强的扩展能力 随着业务的发展 伴随的就是 IT 系统的不间断扩展 因此数据库服务器的扩展能力必须留有一定余量 4 数据库服务器具有较强的可用性和可靠性 数据库服务器应具备 365 天 7 24 不间断运行的能力 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 22 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 异地容灾中心服务器将承担核心业务系统的应用级容灾需求 为节省费用 提供系统管理效率 减少容灾风险 客户需采购一台中端小型机作为异地容灾 服务器 帮助用户在实施容灾环境时提供足够的可靠性和灵活性 异地容灾中心将承担日常的容灾需求 一旦异地容灾出现容灾切换的情形 切换过来的应用都将成为核心应用 主机系统将承担业务系统的处理能力 处 理能力稍超出支撑业务系统的正常运行能力即可 3 2存储平台技术方案存储平台技术方案 生产中心的存储系统建立在 HP EVA5000 之上 具有一定扩展性 当异地 容灾当出现容灾切换时 核心业务系统都将会被同步到容灾中心数据库 这时 异地容灾中心实际上也将负载了所有的数据读写 IO 工作 这也要求异地容灾中 心的磁盘阵列具有良好的性能要求和扩展性 从另一方面来说 异地容灾中心不需要和业务系统一模一样的高级别存储 因为相对于生产中心来说 容灾中心的存储查询工作量不大 根据各种统计来 看 业务中心的数据库的负载读一般占 80 左右 写占 20 左右 而容灾中心 的存储无需承担这么多的读操作的 其主要任务是接受两大业务系统传输过来 的数据 主要是写的操作 从基准性能 IOPS 为 100000 出发来推算存储阵列的 要求 美创科技建议运行在中端存储上 3 3 网络平台技术方案网络平台技术方案 容灾网络带宽考虑设计 容灾网络带宽考虑设计 网络带宽按高峰期间的日志量为基准计算 比如厦门市公安局的实际日志量 select redo num trunc sum blocks block size max first time min first time 24 3600 k s from v archived log 得到平均每秒的日志量为 redo num k s 我们按照 平均高峰值 平均每日日志量 10 倍 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 23 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 容灾业务系统以建设生产业务系统为准设计 生产业务系统平均高峰日志 量已得到 然后极限考虑两者高峰并发 以及经验公式计算如下 高峰日志量计算公式 平均高峰日志量 1 5 倍 网络带宽计算公式 总的高峰日志量 8 折损率 注 计算网络带宽时 网络折损率取值 70 80 从以上计算可以看出厦门市公安局的异地容灾网络链路流量需求 容灾链路的距离延迟特性 容灾链路的距离延迟特性 容灾链路的延迟和距离密切相关 一般经验公式为每延长 100KM 网络响 应延迟增加 1ms 容灾链路运行安全保障 容灾链路运行安全保障 租用的广域网链路明显属于非安全网络 基于银行数据的机密性质 我们建 议链路数据必须加密运行 Trust 提供数据加密运行技术 使传输数据可以在非 安全网络上传输 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 24 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 4 灾难恢复预案 灾难恢复预案 DRP 4 1DRP 的作用的作用 DRP 是一系列用以保证灾难处理过程中各种操作连续性和关键资源可用性 的 IT 计划文档集合 其特点是最覆盖灾难发生事前 事中 事后 具有完整 集中和文档化的特点 并经过充分的测试 DRP 主要作用是使企业能够保证在灾难发生后能及时采用一定的策略 遵 循一定的过程和使用一定的技术迅速恢复 IT 系统 操作和数据 美创科技致力于不仅将先进的技术理念带给客户 同时通过咨询服务将客 户的流程和人员与技术合三为一 成为一个有机的整体 这种有机整体的载体 就是完整和有效准确的 DRP 从某种意义上来说 DRP 的有效性才是整个容灾 解决方案中 最大程度影响容灾技术恢复时间目标是否能够成功达到的最重要 因素 4 2灾难恢复预案的内容灾难恢复预案的内容 灾难恢复预案包括企业进行灾难恢复活动事前 事中 事后所需要信息的 方方面面 这些信息既包括技术恢复的流程和步骤 也包括技术恢复以外的对 于突发时间的响应和评估流程 容灾前的准备流程 以及灾难恢复决策和测试 演练的规范和要求等等 可以说 任何与容灾有关的信息都应在 DRP 中所描述 以便在容灾过程中 让所有人员均能够按照预定的流程技术有条不紊地执行容 灾操作 根据美创科技在企业实施容灾项目的经验 一般 DRP 文档至少应当包括 总体部分 陈述整个 DRP 的总体结构 适用范围以及容灾团队的结构和人员 紧急事件响应 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 25 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 描述了当紧急突发事件发生时 响应事件的人员和流程以及对于紧急事件的 严重程度评估标准 灾难恢复管理 描述了灾难恢复的目标和任务 灾难恢复的策略选项 灾难情况的简报方法 等等 灾难技术恢复 描述了灾难恢复的技术过程 技术人员的灾难恢复步骤和操作 技术恢复所 需要的资源需求等等 测试和演练 描述了定期进行测试和演练的要求和方法 备查信息 列述了所有灾难过程中可能用到的各类技术和非技术的备查资料信息 客户协调和后勤保障 描述了容灾过程中与企业内外部厦门市公安局沟通 协调 宣告的方法和流 程等等 以上列举了一部分 DRP 中可能会包括的重要内容 具体 DRP 的开发目标和 内容需要在项目过程中根据实际的容灾策略和架构再行定义 并为厦门市公安 局定制与其实际容灾操作有关的 DRP 技术恢复文档 4 3 灾难恢复预案演练灾难恢复预案演练 4 3 1演练的目的演练的目的 灾难恢复预案 DRP 的一个紧密的组成部分就是定期地演练 由于企业的 业务在不断发展 支撑业务的 IT 系统也将随之不断升级变化 相应的灾难恢复 预案也会随之进行更新 为了保证灾难恢复预案一直保有有效性 从而在灾难 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 26 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 发生时业务恢复时间能达到 RTO 要求 必须坚持不懈地通过演练来发现灾难恢 复预案的不足和缺陷 并进行完善 同时 企业的人员也处于动态的变化之中 为了让新员工了解 掌握企业的灾难恢复预案 美创科技可以把定期的演练作 为对其的一种培训手段 另外 通过演练美创科技可以 模拟灾害发生 演练业务恢复功能和业务持续性流程 通过全员参与 提高防灾抗灾意识 积累经验 发现 IT 环境潜在隐患 拾遗补缺 发现恢复流程漏洞 完善业务持续性计划 4 3 2流程测试和演练的模式流程测试和演练的模式 由于 DRP 演练的重要性 美创科技将演练流程化 并纳入 IT 系统的维护生 命周期中 如下图所示 IT 系统初始化 每当 IT 系统需要支撑新的业务时 美创科技都会对原有系统进行变更 或增加一部分内容 那么这样的变化称之为 系统初始化 当考虑这些变 更时 必须同时考虑对其容灾系统的影响 容灾系统需要进行河种变更 新流程制定 在了解 IT 系统需要做哪些变更后 一定要对原有的 DRP 进行相应的变 更 IT 系统 初始化 新流程 制作 测试 流程 正常 运作 定期 测试 IT 系统变更 运作 测试失败 运作 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 27 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 测试流程 对原有 DRP 变更后 为了验证其有效性 必须进行测试 若测试失败 将返回到第一步重新开始 若测试成功 那么即可进入正常运作状态 IT 系统变更以及定期测试 从上述流程可以看出 每当系统变更时 必须进行相应的定期测试 演习计划 制订 演习计划 讨论 演习计划 确定 业务数据备份 状况检查 资源协调 演习总结 报告 演习实施 计划 容灾系统 改建建议 业务系统恢 复运行 灾难恢复 流程整理 演 习 结束 范围管理 人员管理 变更管理 风险管理 进度管理 配置管理 质量管理 沟通管理 项目管理 演习计划 制订 演习计划 讨论 演习计划 确定 业务数据备份 状况检查 资源协调 演习总结 报告 演习实施 计划 容灾系统 改建建议 业务系统恢 复运行 灾难恢复 流程整理 演 习 结束 范围管理 人员管理 变更管理 风险管理 进度管理 配置管理 质量管理 沟通管理 项目管理 整个演练的过程可以看做一个项目管理的过程 由于每次演练会调动企业 大量资源 同时也会对业务造成影响 因此为了确保演练成功或者及时回退 必须制定详细而周密的演练计划和演练方案 经各方讨论后确定后才可实施 在正式演练之前 为了确保数据的安全 必须对业务数据进行备份 同时 为了确保演练脚本 流程和实际情况的一致 必须对主备中心 2 套系统进行状 况检查 此外 演练一般时间比较长 必须事先进行资源协调 做好人员的调 配工作 后勤工作以及供应商的支持工作 演练计划实施后 必须将业务系统恢复到原有状态 以保证业务的正常运 作 此外 演练后必须进行灾难恢复流程的整理及改进 形成演练总结报告 厦门市公安局 Trust DBRA 灾难备份方案建议书 美创科技 杭州美创科技有限公司 电话 0571 56898602 28 地址 杭州市文三路 477 号 华星科技大厦 225 传真 0571 56898622 为以后的演练提供经验教训 可以通过多种不同的形式进行演练 一般不建议直接进行整体演练 在这 之前 通过不同级别的演练循序渐进地进行 从而减少对业务的影响并不断完 善 DRP 流程 演练级别类型描述 1Checklist使用 checklist 检查计划的完备性 可行性 2Structured Walk thro