BOSS系统容灾备份技术规范

1、中国移动 BOSS 系统 容灾备份技术规范 中国移动集团公司 二零零三年四月 目目 录录 1.总则总则 .3 1.1.概述.3 1.2.目标和原则.3 1.3.考虑的因素.4 1.4.适用范围.5 1.5.起草单位.5 1.6.解释权.5 2.容灾备份系统概述容灾备份系统概述 .6 2.1.灾难的定义.6 2.2.容灾的定义.7 容灾定义.7 业务连续性定义.7 2.3.系统建设模型.7 2.4.BOSS 系统-容灾备份系统架构.9 3.容灾技术模型（容灾备份系统技术模型）容灾技术模型（容灾备份系统技术模型） .11 3.1.容灾备份系统的技术框架.11 3.2.容灾备份系统 IT 技术映射.

2、12 应用层.13 存储层.14 主机层.14 网络层.15 物理层.15 4.容灾备份系统模型的技术实现容灾备份系统模型的技术实现 .16 4.1.数据平台-业务状态数据的保护.16 业务状态数据的定义.17 业务状态数据保护机制的技术要求.17 技术手段分类.18 定点拷贝的技术实现.20 连续复制的技术实现.24 远程复制通信链路.32 技术手段的组合使用.33 4.2.业务平台业务处理能力的有效冗余和故障切换恢复.35 生产中心内部的处理要素有效冗余和业务流程切换恢复.35 双生产中心环境下的有效冗余和网络结构.38 4.3.接入平台的保护-外部接口冗余设计和外部接口的切换.40 外部

3、接口类型分析.40 生产中心内部的接口冗余.41 双生产中心环境下的接口冗余.41 4.4.容灾备份系统 IT 技术实现映射.42 5.系统切换和回切系统切换和回切 .43 5.1.系统切换.43 切换原则.43 切换必要性确认.44 切换可行性确认.45 切换方式.45 切换流程.47 5.2.回切.48 回切原则.48 回切可行性确认.48 回切流程.48 6.容灾备份系统建设策略容灾备份系统建设策略 .50 6.1.异地中心的选择策略.50 距离选择策略.50 建设模式策略.51 设备部署策略.52 地点选择策略.53 6.2.容灾技术选择策略.54 容灾技术选择的基本原则.54 容灾技

4、术可行性判断的一般方法.55 6.3.容灾备份系统不同实现级别的技术选择.58 平台完整性.59 备份和恢复完整性.60 信息完整性.62 处理完整性.66 企业完整性.68 7.名词解释名词解释 .69 1. 总则总则 1.1. 概述概述 中国移动业务运营支撑系统-容灾备份系统是中国移动业务运营支撑系统， 如 BOSS、 经营分析系统等的延伸。本规范作为中国移动的业务运营支撑系统- 容灾备份系统建设的技术指导意见，初步解决中国移动目前存在的缺乏统一的、 系统化、规范化的业务运营支撑系统-容灾技术解决方案的问题。 本技术规范主要包含容灾备份系统建设中相关技术方面的指导性意见。其 中主要涉及中国

5、移动业务业务运营支撑系统的技术模型、容灾模型的技术实现、 容灾备份系统的切换回切、容灾建设策略等方面的问题。 本文档附件包括相关名词解释 各省、自治区、直辖市公司在业务运营支撑系统-容灾备份系统的建设过程 中，应以本技术规范为指导，根据实际情况，进行技术选择、项目设计、系统 实施和系统维护工作。 1.2. 目标目标和和原则原则 中国移动业务运营支撑系统的容灾备份系统的总体建设目标是： 针对目前系统潜在的中断风险（灾难），提供预防机制，提高系统连 续运行能力 对无法抗拒的严重灾难，提供系统恢复机制，将引发的业务损失降低 到可接受的程度 具体到本期项目而言，中国移动业务运营支撑系统-容灾备份系统规

6、划和建 设的目标是： 实现关键业务系统及其关联系统的数据安全 减少计划停机次数/时间，消除对核心数据的争用 将异地中心接管业务的时间控制在可以接受的范围内 实现异地中心的软硬件设备和数据的复用 中国移动业务运营支撑系统-容灾备份系统规划和建设中须遵循以下技术原 则： 1.实用性与成熟性 使用业界成熟、可靠和实用的容灾技术。 2.先进性 系统结构能够满足和适应中国移动 IT 系统快速变化和发展的要求。 3.开放性与标准化 采用开放的技术标准和协议支持整个系统的运行，兼容性和恢复性强。 4.自动化和操作的简单化 系统各部分有机集成，集中控制。 1.3. 考虑的因素考虑的因素 业务运营支撑系统-容灾

7、备份系统的建设应综合考虑中国移动在本系统业 务规范中制定的总体建设策略、各省的建设目标及成本。具体因素包括： 系统的可恢复程度 系统的可恢复程度包括：处理能力的恢复程度、数据的恢 复程度、业务功能的恢复程度 系统的可容忍的中断时间 系统中断时间长短对应的业务损失程度应在可以接受的范 围内 成本 包括系统建设、维护成本，以及资源复用情况。 现有系统的保护机制 包括现有的技术、管理和人员 上述因素的综合考虑。 1.4. 适用范围适用范围 本规范适用于中国移动各省（直辖市、自治区）业务运营支撑系统-容灾备 份系统建设。 1.5. 起草单位起草单位 本技术规范由中国移动通信集团公司负责起草。 1.6.

8、 解释权解释权 本规范的增补、修订及解释权属中国移动通信集团公司。如中国移动在此 之前的文件与本规范有矛盾，按此规范执行。 2. 容灾备份系统概述容灾备份系统概述 2.1. 灾难的定义灾难的定义 灾难，对计算机应用系统来说，任何导致业务停顿并带来重大损失的事故或 意外都意味着灾难。 如果企业的计算机应用系统由于停机而中断了不可忍受的一段时间的事故或 丢失的重要信息无法恢复，从而导致业务停顿的自然的、人为的或技术上的故 障或问题，我们均称之风险风险! 因此，从广义来讲，任何风险都可能引起灾难。 中国移动业务运营支撑系统主要面临的风险有： 计划内 1. 应用软件等的升级, 2. 备份/恢复/归档

9、3. 数据中心迁移、整合 4. 测试、容灾演习 计划外 1. 系统处理能力下降 2. 人为操作故障：错误删除文件数据，造成不可恢复；错 误执行程序或命令，造成系统死机 3. 系统软硬件故障，主要包括电源及 UPS 故障、硬盘故 障、通讯控制器故障、系统总线、内存、CPU 故障等 4. 安全体系被攻破 5. 生产地点的灾难：水灾、火灾、地震及其他机房事故等 6. 瘟疫 其它：包括灾难的潜在影响，如水灾、地震等， 常伴随着电 力的供应问题。 2.2. 容灾的定义容灾的定义 2.2.1.容灾定义容灾定义 容灾，对于 IT 而言，就是一个提供能防止各种灾难的计算机信息系统。当 政府、企业、商家的核心计

10、算机系统遭受诸如火灾、水灾、地震、战争、人为 破、瘟疫等不可抗拒的灾难和意外时，能够及时恢复系统的正常运行。因此， 容灾的目的在于及时恢复系统运行而不在于数据复制。 容灾是业务连续性的实现方式之一。 2.2.2.业务连续性定义业务连续性定义 业务连续性业务连续性是一种预防性机制。它明确一个机构的关键职能以及可能对这些 职能构成的威胁，并据此采取相应的技术手段，制定计划和流程，确保这些关 键职能在任何环境下都能持续发挥作用； 业务连续性 = 从计划外停机中实现灾难恢复 + 在计划停机期间保持连续可 用 + 利用冗余资源提供增值服务 2.3. 系统建设模型系统建设模型 中国移动业务运营支撑系统容灾

11、备份系统的建设，必须按照需求分析、方案 设计、方案实施、测试/演习/维护的科学流程进行。本文档依据下面 2.1 图示 的系统建设模型，对各省移动公司进行 BOSS 系统-容灾备份系统建设时的各个 阶段的工作，做出指导和规范。 图 2.1 业务运营支撑系统-容灾备份系统建设模型 人员、流程和技术是保证业务运营支撑系统-容灾备份系统成功实施、有效 运行的三个重要方面： 人员，是技术和流程的制定者和执行者。 流程，是由人员制定的，人员依据容灾备份系统的目标的要求， 为保障目标的实现而制订了一整套完整的流程。在某些时候， 它也是技术的补充和完善。包括恢复、测试、演习和维护等； 技术，是手段、是载体；

12、人员、流程和技术通过管理机制有效结合。管理机制包括计划、映射、驱动、 调控等手段。 首先，人员制订了流程，并驱动流程的贯彻执行，维护流程的变更及督促流 程的完善。流程一旦建立，就对人员起到了调控作用，人员就要依据流程的要 求执行相应的工作步骤。其次，人员依据容灾备份系统目标的要求，选择适当 的技术来支持这些目标的实现，这时，就需要对当今的各种相关 IT 技术进行计 划，采用一种或多种技术建立容灾备份系统的技术基础。最后，流程也是技术 的映射，采用了哪种技术，人们就会制订适合这种技术的流程，而且，技术通 常会有一些缺陷，在对技术进行充分评估后，通过制订流程，可以对技术进行 补充，以实现系统目标。

13、 人员、流程和技术这三个重要的系统因素将贯穿整个容灾备份系统建设的始 终。 2.4. BOSS 系统系统-容灾备份系统架构容灾备份系统架构 中国移动 BOSS 容灾系统的体系架构应按照 BOSS 系统建设的体系进行划分， 即集团公司全国 BOSS 容灾系统和省公司 BOSS 容灾系统或区域级容灾系统，采 用两层的结构体系，如下图所示： 广域网 省级 BOSS 容灾系统省级 BOSS 系统区域级 BOSS 容灾系统第二级 第一级 第一级：集团公司全国 BOSS 容灾系统，负责中国移动集团公司的 BOSS 系统 的容灾建设； 第二级：省公司 BOSS 容灾系统或区域级的 BOSS 容灾系统，根据中

14、国移动 BOSS 容灾系统的规范要求，负责本省市/自治区的 BOSS 系统运行状况，或按业 务量大小、自然环境等具体情况，在邻近的几个省份实施区域级/BOSS 容灾系 统，构架区域级的容灾中心。 省公司业务业务运营支撑系统-容灾备份系统架构如下图 2.3 所示： 集团公司 BOSS 容灾系统 集团公司 BOSS 系统 图 2.3 省公司 BOSS 系统-容灾备份系统架构 3. 容灾备份系统技术模型容灾备份系统技术模型 3.1. 容灾备份系统的技术框架容灾备份系统的技术框架 中国移动核心业务支撑系统BOSS。系统的容灾备份保护，主要着眼于对 业务处理平台，数据平台和接入平台这三个重要的系统领域的

15、保护： 如图 3.2 示意： 图 3.2 业务平台的保护业务处理能力的冗余 容灾备份系统中，对于 BOSS 业务平台的保护，主要表现为对业务处理能力 的冗余和复用，其中牵涉： o支持应用系统运行的服务器和操作系统等系统软件 o支持应用系统运行的存储器及存储器和服务器的连接（存储网络 等） o连接服务器的 IP 网络系统 o支持应用系统实现的 Application Server、中间件或数据库等 o实现业务逻辑的应用软件系统 数据平台的保护业务状态数据的复制 在容灾备份系统中，对数据平台的保护主要表现为对业务状态数据的保护、 备份和恢复以及复制，需要保护的业务状态数据包括： o业务交易状态（数

16、据本身的数据属性为文件、数据库等） o系统状态-包括应用软件的初始数据、参数设置、以及系统软件的 配置数据、参数设置等。 o中间数据（或临时数据） 接入平台冗余和切换 接入平台在容灾备份系统里， 需要实现对外部接口的冗余及切换，其中牵 涉： o应用数据接口的切换-包括文件传输、消息机制等 o应用连接接口的切换- HTTP 连接、数据库连接、远过程调用、对 象的调用等 o网络连接的冗余和切换 包括城域网网络连接、拨号连接等等 3.2. 容灾备份系统容灾备份系统 IT 技术映射技术映射 根据上节对容灾备份系统技术框架的描述，对于某个（或数个）需要提供容 灾保护的 BOSS 关键业务，其容灾备份系统

17、建设将分别包括对其相应支撑系统 的处理平台、数据平台和接入平台的保护。而构成三个重要平台系统的 IT 元素 包括：应用软件， 网络， 服务器、数据库，存储， 中间件等等。这些技术分 属于应用，主机，存储，网络和物理 5 个层次。在分别讨论实现处理平台的冗 余和复用、接入平台的冗余和切换以及业务数据的有效复制的相关 IT 技术时， 将按照这 5 个层次逐一罗列相关技术。逻辑关系见下表 31。 表 3-1 容灾备份系统 IT 技术矩阵 3.2.1.应用层应用层 应用层指建立在网络系统之上的应用服务系统，如应用软件模块、Web 服 务、目录服务、认证服务等。 BOSS 容灾技术架构中，业务平台和接入

18、平台牵涉应用层技术。 在业务平台中，应用层主要涉及运行在应用服务器上（或数据库系统当中） 的实现业务逻辑、形成内部数据流的应用软件。 接入平台中，应用层指各类终端系统上运行的表示软件，如营业厅中运行 的基于浏览器界面的营业员操作终端软件；账务系统和银行代理系统之间的前 端机上运行的接口软件等。 理论上，业务状态数据是应用层技术产生的，因此可以在应用层技术中实 现其复制；但这样将使容灾技术实现和目前已经十分复杂的 BOSS 软件系统架 构过分紧密相关；将要求大量更动现有 BOSS 软件。 3.2.2.存储层存储层 BOSS 技术架构中，数据平台涉及存储层技术。存储层是业务数据存储的物 理平台，它

19、包括存储系统，存储网络和存储软件三类技术。而利用存储软件功 能实现关键业务状态数据的复制，是容灾备份系统的最重要的技术组成部分之 一。由于它和 BOSS 系统其他部分完全透明，因此是本次 BOSS 容灾备份系统 建设中首选的业务状态数据复制方案。 3.2.3.主机层主机层 主机层技术系服务器（或工作站平台）相关的技术，包括系统软件-操作系 统，集群系统；以及数据库，Application Server、中间件系统等应用软件平台 等。 主机层技术涉及 BOSS 系统的所有部分。其中最重要的部分是：在业务处 理平台当中所采用的 Application Server/中间件技术，以及 BOSS 各个

20、内部子系 统之间的其他接口技术如消息队列技术、文件传输协议等（如果业务逻辑部 分由数据库中的存储过程实现，则业务处理平台还包括数据库技术）。在 BOSS 容灾备份系统构成中，要考虑这些主机层技术对于 BOSS 内部各个处理 子系统之间，在系统部分或全部切换过程中相应的处理技术。 主机层技术在数据平台部分主要牵涉数据库技术，文件系统或网络文件系 统服务，这些技术实现业务状态数据的基本逻辑组织。在 BOSS 容灾备份系统 构成中，要考虑关键业务数据复制功能和这些技术的集成能力。另外，这些技 术本身也可实现业务状态数据的保护和复制功能。 主机层技术在接入平台部分牵涉和其他系统之间的各种软件接口技术如

21、消 息队列技术、文件传输协议等。在 BOSS 容灾备份系统构成中，要考虑这些主 机层技术在系统部分或全部切换过程中，外部系统和 BOSS 系统之间连接的相 应切换的支持处理技术。 3.2.4.网络层网络层 本规范中的网络层包括两个主要部分，即： 1、BOSS 系统省中心及其灾备中心的局域网，这些局域网用以联结省中心和灾 备中心的各种服务器。BOSS 系统业务平台主要涉及本部分技术。 2、省中心和灾备中心和外部系统连接的广域网（或城域网），包括和营业厅的 网络连接、和各个代理银行的网络连接、和各类采集系统、HLR 的网络连接等。 BOSS 系统接入平台主要涉及本部分技术。 3.2.5.物理层物理

22、层 物理层指中国移动业务支撑系统为实现应用所需要的场地，电源，通信线 路等基础设施以及空调、防尘、消防、门禁、保安等辅助设施。显然，它是整 个 BOSS 的 IT 实现的基本物质保障，将涉及整个 BOSS 系统中的所有部分，本 规范统一考虑业务平台、数据平台、接入平台的物理层要求。 综上所述， 五个不同技术层面对 BOSS 关键业务其相应支撑系统的处理平台、 数据平台和接入平台的映射关系如下图黄色所示： 4. 容灾备份系统模型的技术实现容灾备份系统模型的技术实现 容灾备份系统技术实现包含三个领域：业务状态数据的备份和复制、业务 处理能力的冗余和切换、外部接口的冗余和切换。本章说明这三个领域在应

23、用 层、存储层、主机层、网络层以及物理层的不同技术实现方法和特点，以及如 何将这些技术应用于容灾备份系统的不同实现阶段中。 4.1. 数据平台数据平台-业务状态数据的保护业务状态数据的保护 对业务状态数据即完整的业务运行状态的记录（以下简称生产数据）进行 保护，主要目的有两个：第一是生成定点拷贝，以防止生产数据发生逻辑故障 （如人为误操作破坏、病毒破坏、应用系统缺陷造成数据逻辑混乱等）或后台 业务处理（如磁带备份、新软件测试、报表生成、统计分析等）影响业务系统 的运作，；第二是连续复制，在生产运行过程中，连续不断地将生产数据复制 到异地，应对生产中心的严重故障对生产数据的整体或局部物理性损坏。

24、 4.1.1.业务状态数据的定义业务状态数据的定义 业务状态数据应包括系统状态和完整的交易状态。 系统状态包括操作系统、数据库、中间件、应用程序等软件的运行版本和 当前软件运行的配置数据等。 完整的交易状态指企业范围内各种交易执行涉及到的完整一致的数据对象 的集合，如用户的服务订购信息、帐务信息、明细账单、交费记录等。 4.1.2. 业务状态数据保护机制的技术要求业务状态数据保护机制的技术要求 完整性完整性：对维持业务正常运行的所有生产数据进行保护。可以采取两种策 略：分而治之或统一解决。分而治之即对生产数据的不同组成部分采用不同的 方法，如对操作系统软件和数据库数据分别采用不同的方法；统一解

25、决即用一 种方法保护所有的生产数据。虽然两种方法都能实现完整性，但统一解决方法 独立性强、易于扩展、维护，而且易于实现以下的一致性、管理性等指标。 一致性一致性：保证被保护的生产数据的各部分的业务逻辑上的一致。可以采取 事后一致性检验和事前同一时间点生产数据冻结技术。事后一致性检验技术主 要针对分而治之的完整性实现方法，在保护生成后验证各部分数据的逻辑一致 性；事前同一时间点生产数据冻结技术对生产数据各部分在同一时间的映像进 行保护，主要针对统一解决的完整性实现方法，从数据各部分之间时间上的同 步性实现业务逻辑一致性。 可验证性可验证性：针对备份或复制的数据，具有事先验证手段。可验证性保证在

26、需要利用保护介质恢复业务状态时，可顺利读出生产数据、恢复业务状态。 时效性时效性：生成完整的生产数据的保护工作进行频率。频率越高，时效性越 强，在业务终止时，不能恢复或需要人工恢复的数据就越少，业务就越易于准 确的恢复，业务的停顿时间和相关的损失就越少。RPO 是衡量时效性要求的重 要指标。 可扩展性可扩展性：生产数据保护机制随着 IT 基础结构和业务的变化而不断扩展、 适应的能力即可扩展性。可扩展性的优劣将决定保护机制的可持续发展能力和 投资保护能力。 可操作性可操作性：在保证完整性、一致性、可验证性、时效性、可扩展性的前提 下，所选择的技术手段的技术复杂度、可实施能力以及易维护能力。 可重

27、用性可重用性：所生成的生产数据的保护的多重利用能力。生成生产数据的保 护会占用 IT 的一部分资源，除利用其恢复业务状态之外，利用其进行其他任务， 如数据归档、软件测试、报表生成、统计分析将充分发挥这部分 IT 资源的价值， 增加投资回报。 可管理性可管理性：监控业务状态的保护机制的运行状态、运行性能、故障处理的 能力，保证其按照设定的保护要求运行。 集成性集成性：业务状态的保护机制与业务的运行和恢复机制的整合能力。整合 能力高低决定保护机制是否可顺利和当前业务运行体系良好配合，以及当业务 中断时，如何和业务处理能力恢复系统一起顺利恢复业务的运行。 4.1.3.技术手段分类技术手段分类 从生产

28、数据的保护的生成的时间和目标分，可分为以下两类： 定点拷贝 连续复制 . 定点拷贝定点拷贝 定点拷贝（Point-in-time Copy）是在业务运行过程中某一时刻的生产数据的 保护。该保护一般在业务正常运行时生成，主要预防业务因生产数据的逻辑故 障而造成的停顿；当生产数据因人为误操作或病毒破坏而损坏时，可以利用该 定点拷贝将业务状态恢复到损坏发生前的某一个时刻（即执行定点拷贝时）的 业务正常状态。在具体的业务恢复过程中，辅以其他手段（如手工录入等，在 技术上做好对已明确的业务恢复流程的支撑），可补充自定点拷贝生成时刻起 至业务中断时这一段时间业务运行产生的生产数据。 从保存定

29、点拷贝的介质分，可分为以下三类： 磁带或光盘备份 磁盘快照 磁盘备份 . 连续复制连续复制 连续复制是对业务状态数据进行持续不断的复制。主要预防业务系统遭遇 严重故障而造成生产系统长时间无法修复时，利用该复制作为恢复生产的基础。 当严重故障发生时，连续复制过程也终止；在进行业务恢复时利用复制结果可 以恢复系统中断现场的生产数据，从而恢复业务。 按照连续复制过程中生产数据和复制结果之间的时间关系，可以分为同步同步 复制复制和异步复制异步复制，以及介于这二者之间的半同步复制半同步复制。 按照数据复制的执行方，可以分为如下几种方式： 应用嵌入方式应用嵌入方式 采用应用层技术实现采用应用

30、层技术实现 执行方为应用程序的内嵌代码，复制的粒度是应用级交易，复制涉及的范 围为单个应用。复制的原理是应用程序负责将同一笔交易在本地中心（或称生 产中心）和备份中心（或称备份中心）都得到执行。其同步方式为“两阶段提 交（two-phase commit）”方式，同一笔交易同时向两个中心提交，获得两个中 心的交易完成应答后，该交易作为一个整体完成。其异步方式为“交易日志重 放”方式，生产中心定期将已完成的交易所需要的输入（或直接将输出结果） 发往备份中心，在备份中心重新执行（或直接记录结果）。 数据库方式采用（依靠）主机层技术实现数据库方式采用（依靠）主机层技术实现 执行方为数据库管理系统的辅

31、助程序，复制的粒度是数据库内数据操纵动 作（Data Manipulation Operation），复制涉及的范围为单个数据库。数据库管 理系统在执行数据操纵动作过程中，将需要整体完成的动作集合作为交易来管 理；利用联机日志（Online Logs）记录交易的执行情况，利用归档日志 （Archive Logs）定期将联机日志进行一定期限的保留。其同步方式为同时传输 归档日志和联机日志，保持备份中心和生产中心的数据库中已提交的交易的执 行的一致性；其异步方式为只传输归档日志。 文件系统方式采用主机层技术文件系统方式采用主机层技术 执行方为系统中特定的文件系统复制引擎，复制的粒度为文件系统中的文

32、 件，复制涉及的范围为单个服务器中的文件系统。文件是粗粒度的数据对象， 复制多发生在文件被关闭时。其复制方式多为异步的数据迁移方式，复制引擎 在文件一级比较生产中心和备份中心的差异，定期将生产中心被修改过的文件 传输到备份中心。 服务器卷管理软件方式采用主机层技术服务器卷管理软件方式采用主机层技术 执行方为服务器中的卷管理系统或操作系统的特定复制辅助部件，复制的 粒度为卷管理系统接受到的来自文件系统、数据库管理系统、服务器内存管理 系统的 IO 更新操作，复制涉及的范围为单个服务器管理的逻辑卷。一般利用服 务器的 CPU、Memory、磁盘更新日志、以及服务器之间的 TCP/IP 网络资源完

33、成复制。运行方式可以为同步、异步方式。 智能存储系统方式采用存储层技术智能存储系统方式采用存储层技术 执行方为智能存储系统，复制的粒度为存储系统接受到来自服务器的 IO 更 新操作，复制涉及的范围为企业中存放在智能存储系统中的所有信息，包括应 用程序、数据库、文件系统、数据卷等等。运行方式可以为同步、异步、半同 步方式。同步方式可分为两种：同步拷贝和完全镜像。异步方式下，在生产中 心可以按照两种方式缓存需延时复制的数据：复制队列技术和定点拷贝复制 技术。（延迟同步和缓冲区技术） 4.1.4.定点拷贝的技术实现定点拷贝的技术实现 . 磁带或光盘备份磁带或光盘备份存储层技术存储层技术

34、 磁带或光盘备份是基于磁带或光盘介质的定点拷贝。 目前磁带备份应用较普遍，下面以磁带备份描述备份技术。 磁带备份包括分散式备份和集中式备份。 在分散式备份分散式备份方式下，每台服务器自带磁带机，对该服务器管理的数据进 行备份。这种分散型备份存在扩展性不强、难以管理、安全性差等特点。 集中式备份集中式备份的架构是对备份采取集中式管理，要备份的生产数据分布在多 台服务器中。一般存在一台备份管理服务器（BACKUP SERVER），多个拥有 生产数据的备份客户端（Backup Client），一个或多个控制磁带库机械臂和磁 带驱动器的磁带介质服务器（Media Server），介质服务器可以位于备份

35、管理服 务器、特定的备份客户端或专门的服务器中。 备份管理服务器控制备份客户端和介质服务器，引导备份客户端将数据传 送到介质服务器中，并通过记录备份过程中的管理信息，对备份系统的设置、 监控、恢复进行有效的管理。 为了支持各种不同的备份客户端，如不同的操作系统、文件系统、数据库、 商用应用软件，各系统开发厂商在不同备份客户端中安装备份代理程序，实现 备份系统各部件之间统一、可扩展的备份架构。其中对于文件系统服务器，业 界包括文件系统服务器和备份软件系统厂商开发了 NDMP 协议，可对各厂商的 文件系统服务器进行统一的备份和恢复。 根据备份客户端和磁带设备之间数据传输使用的通信资源情况，备份架构

36、 又可分为如下几类： LAN-FREELAN-FREE：在介质服务器对磁带介质的控制以及备份管理服务器对 备份过程的控制配合下，备份客户端可以直接由 SAN 访问磁带设备； SERVER-LESSSERVER-LESS：备份数据由数据所在的在线存储设备直接写入磁带 设备，这一过程不使用生产服务器的处理资源。 根据备份客户端备份代理程序的不同，要备份的数据可以位于不同的层面： 应用程序 数据库 文件系统 服务器卷 磁盘存储设备 在不同层面备份的数据，在恢复数据时也将在对应层面进行，在整个业务 恢复流程中也将在对应层面和其他步骤进行整合。 根据备份进程对要备份的数据的争用情况，可以分为以下两类：

37、脱机备份脱机备份：在备份代理程序从备份客户端读取要备份的数据时，该 数据对生产进程已处于脱机状态； 联机备份联机备份：在备份代理程序从备份客户端读取要备份的数据时，该 数据对生产进程仍处于联机状态； 根据对备份介质的数量的要求，备份可分为如下两类： 单路备份单路备份：备份时为生产数据形成一份磁带拷贝； 多路备份多路备份：备份时为生产数据形成多份磁带拷贝。 根据备份客户端和介质服务器之间的距离，可以分为两类： 本地备份本地备份：备份客户端和介质服务器在同一机房内； 远程备份远程备份：备份客户端和介质服务器在不同机房内。 . 快照快照存储层技术存储层技术 快照是将数据快速备份到在线介

38、质中。 根据快照保存的机制，快照可以分为两类： 指针型快照指针型快照 被快照的生产数据在物理上由数据块构成，每个数据块具有相应的指针。 快照生成时完整拷贝生产数据包含的所有数据块的指针，逻辑上获得一个新的 生产数据的备份，但共享物理数据块；使用快照时，通过指针指向的物理块， 而获得实际的数据。无论生产数据还是快照被修改时，一般通过“copy on first write”机制，将共享的物理块的数据拷贝到专门的缓存区中，然后再对数据进 行修改。 指针型快照适用于修改量小、快照保留时间短，并不需要对快照数据进行 大量读写操作的场合。在这种情况下，缓冲区的大小可以设计为相当于生产数 据物理空间较小数

39、量的百分比，如 5%20%。 物理拷贝型快照（即克隆）物理拷贝型快照（即克隆） 快照生成时完整拷贝生产数据包含的所有物理数据块；随后对快照的修改与 生产数据无关，反之亦然。当生产数据发生损坏时，利用快照可以恢复生产数 据。在恢复过程中，利用生产数据和快照之间数据块的对应关系，可以只恢复 被修改过的数据块，以增量方式实现快速恢复。 物理型快照适用于修改量大、保留时间长、对生产数据和克隆数据需要同 时读写操作的场合。 根据快照生成的执行方层面，快照可分类如下： 文件系统方式文件系统方式 执行方为操作系统中的文件管理系统，快照粒度为文件的数据块，快照范围 可以为单个文件至整个文件系统。 服务器逻辑卷

40、服务器逻辑卷 执行方为操作系统中的卷管理系统，快照粒度为卷的数据块，快照范围为单 个卷至所有卷。 智能磁盘设备智能磁盘设备 执行方为智能磁盘系统，快照粒度为磁盘的磁道或柱面。快照范围为磁盘卷 至整个磁盘阵列；或者根据服务器文件及服务器逻辑卷与物理磁道的映射关系， 可以按文件或服务器逻辑卷执行快照操作。 由于不同厂商在不同层面上实现快照，必须对快照的定义、生成、监控、 恢复进行统一的管理。通过统一的管理，可以屏蔽不同实现的技术差别，按照 业务要求有效利用快照。 和磁带备份相比，磁盘快照具有速度快、数据易于验证等特点，要求高速 备份、频繁备份和快速恢复的应用程序倾向于使用磁盘快照。

41、. 磁盘备份存储层技术磁盘备份存储层技术 磁盘备份是利用磁盘代替磁带作为备份介质，具有备份、恢复速度快，数 据易于验证、备份管理手段成熟等优势，随着磁盘性价比的不断优化，可优先 考虑使用磁盘备份满足关键数据的备份要求。 4.1.5.连续复制的技术实现连续复制的技术实现 . 应用嵌入方式复制应用嵌入方式复制应用层技术应用层技术 应用嵌入方式下的业务状态复制嵌入到应用代码内，在两个中心业务平台逻 辑结构完全一致的前提下，利用对两个中心相同的系统输入，确保相同的系统 输出，同时保持业务交易在生产中心和备份中心的交易完整性。 在交叉耦合情况下，应用级别的交易可以涉及到多个服务器中运行的多

42、个 应用模块，更新多个数据库；在进行交易复制时，如果不能保证这些应用模块 和数据库在备份中心的“原子级”更新（原子级更新的含义为要么全部完成要 么都不更新，不允许部分更新对业务状态一致性的影响）。故嵌入的复制代码 除了传输交易数据外，必须编写大量的交易管理/异常处理/交易安全代码保证交 易完整性和安全性。 应用模式发生改变或交易的原子操作发生变化时，两个中心内嵌的复制代 码必须同步更新，从而增加同时维护多个系统的要求，否则会发生交易复制缺 失或交易复制不完整的错误。由于需要重新初始化复制过程、重新测试复制机 制，将增加系统升级的周期，增大新业务投产的风险。 当生产数据发生结构性变化时，这种结构

43、性变化往往不能通过交易复制传 输到备份中心；此时必须终止交易复制机制，在备份中心进行同样的数据结构 改变，从而要求系统管理人员实际上维护两个生产系统。 从保证业务状态数据的完整性看，该技术只能复制应用涉及的用户数据部 分，系统状态的同步必须通过其他方式来维护。 这种复制方式较适合于串行的流程，对于多个子系统交叉耦合的复杂业务 系统，因业务频繁发生变化而导致处理流程和数据结构频繁更动的情况下，需 频繁维护复制系统。实现难度很大。 . 数据库方式数据库方式主机层技术主机层技术 数据库方式的数据复制通过数据库管理系统对数据更新操作的交易管理来 实现，不同数据库的数据复制机制各不相同，其

44、共性的原理如下。 数据库的更新分为两种更新，元数据（metadata）的改变和用户数据的改变。 元数据的改变即数据库结构的改变，如数据库的表空间的扩展等；用户数据的 改变如用户数据库表中记录的增、删、改等。 应用的某个交易可能涉及到多个数据库表的增删改等操作。为了实现应用 交易的完整性，数据库管理程序将多个用户数据修改操作定义为数据库交易， 而在交易日志中具体记录交易的开始、子操作细节和结束(commit)。当数据库 重启或进行数据恢复操作时，利用日志中记录的信息，执行前滚操作（roll forward）保证已结束的数据库交易数据的不丢失，执行回滚操作（roll back） 完全丢弃未完成的交

45、易的部分更新。 数据库交易的复制机制利用日志的这种特性，在生产中心将日志传输到备 份中心；如果备份中心的数据库结构和生产中心的数据库结构保持一致，则备 份中心的数据库对日志中记载的交易执行前滚操作，即实现了对备份中心数据 库数据的更新。 日志分为联机日志和归档日志。联机日志在生产中心执行数据库交易时实 时生成，而归档日志为联机日志写满关闭后的状态。 同步方式由于同时复制归档日志和联机日志，而联机日志与数据库交易的 本地提交存在时序关系，会因为复制过程引入的处理开销和网络延迟而影响本 地数据库的性能，因而适用于近距离、低数据库交易负载的场合。 其异步方式由于只复制归档日志，可在长距离下避免复制联

46、机日志而对生 产数据库产生的影响，但要承受不复制联机日志而带来的交易丢失。 从数据库复制的过程看，数据库交易复制时要求数据库的结构保持稳定； 当数据库结构发生变化，如扩展表空间时，必须重新初始化复制过程。 从保证业务状态的完整性看，该技术只能复制数据库中的数据，需要采用 其他技术复制系统状态和为与数据库之外的如位于文件系统中的业务数据。 数据库方式复制适用于单数据库应用，对于多数据库、异构数据库等企业 级的 IT 生产环境，需同时妥善维护多个数据库方式复制系统。 . 文件系统方式文件系统方式主机层技术主机层技术 文件系统级复制嵌入到操作系统的文件管理模块中，不同操作系统采用不 同

47、的复制机制。 文件作为操作系统为上层提供的抽象数据服务单元，和数据库一样，文件 发生的变化分为结构的变化和文件内容的变化。文件系统用日志来记录文件内 容的变化，而文件结构的变化（如文件系统分区大小的改变，文件属性的改变） 则需要日志记录之外的手段来实现。 文件被复制时的状态分为两种：关闭和打开。 针对已关闭的文件，复制过程可直接传输文件的内容；传输文件内容时可 采取全传输和增量传输的方式；采用全传输方式时，需考虑对网络、生产系统 性能的影响；采用增量传输时，需使用服务器 CPU 和 Memory 计算增量内容， 需考虑对服务器处理性能的影响；经过网络传输时，为保障文件内容的完全， 应采用加密传

48、输方式，需考虑加密解密过程对服务器处理性能的影响。可以采 用压缩方式来减少网络传输的压力和网上传输的安全性。 针对正打开的文件，复制过程较为复杂，传输日志可以将在生产中心对文 件的修改持续不断的在备份中心得到重现；应考虑该复制过程对服务器性能的 影响。 从文件复制的过程看，文件内容或日志复制时要求文件系统的结构保持稳 定；当文件系统结构发生变化，如文件系统空间扩大，由于备份中心文件系统 的预留空间可能发生不足，必须重新检查复制的配置状况，重新设置复制过程。 从保证业务状态的完整性看，该技术只能复制文件系统中的数据，需要采 用其他技术复制数据库系统和裸设备中的数据。 文件系统方式复制适用于单操作

49、系统、无数据库应用，对于多服务器平台、 业务流程经常变化的企业级的 IT 生产系统的数据复制，需同时采用其他复制方 式以保持业务状态的完整复制。 . 服务器逻辑卷方式服务器逻辑卷方式主机层技术主机层技术 服务器逻辑卷方式复制嵌入在操作系统的卷管理系统中，不同操作系统采 用不同的卷管理系统，也有第三方的卷管理系统适用于多个操作系统平台，但 目前没有一个卷管理系统被所有操作系统使用。操作系统的卷管理系统位于磁 盘设备驱动程序之上，屏蔽各设备驱动程序形成的裸设备的差别，为上层实体 （如文件系统、数据库管理系统）提供统一的逻辑磁盘设备。 卷发生的变化分为结构的变化和卷内容的变化。卷内容的

50、变化通过数据复 制过程将引起该变化的操作在备份中心重现获得。复制的粒度为针对卷的基本 块的修改、插入、删除等操作。 卷结构的变化包括卷组中包含设备的变化、逻辑卷的大小变化等，该变化 不能通过数据复制过程获得，需要由系统管理员在备份中心执行同样的结构变 化操作。 由于卷复制部件引入的服务器 CPU、Memory 运行开销和 TCP/IP 网络的传 输延迟，同步方式将对业务的正常运行产生性能影响。性能影响的程度和当前 的 IT 资源配置和业务繁忙程度相关。 从保持数据复制的一致性看，某个复制进程只能复制一台服务器所管理的 数据，多台服务器的数据复制需采用多个复制进程，其数据一致性通过数据复 制机制

51、实现。 从数据复制机制的可管理性看，某一复制管理程序只能管理某一类卷管理 系统下的复制，对于属于不同卷管理程序的多平台 IT 系统，必须同时对多个复 制机制进行管理。 从卷复制的过程看，操作复制时要求卷管理系统的结构保持稳定；当卷系 统结构发生变化，如卷包含设备发生增删，由于备份中心设备配置的不同，必 须重新检查复制的配置状况，重新设置复制过程。 从保证业务状态的完整性看，该技术只能特定卷管理系统所管理的数据， 需要采用其他技术复制裸设备中（如操作系统启动盘）的数据。 服务器逻辑卷方式复制适用于单卷管理系统、无裸设备应用，对于多平台、 业务及卷管理结构将发生变化的企业级的 IT 生产系统的数据

52、复制，需妥善维护 多个复制系统，保证相互之间的数据一致性。 . 智能存储系统方式智能存储系统方式存储层技术存储层技术 磁盘系统利用自身的处理能力，通过磁盘系统之间的通道连接复制磁盘系 统内的数据更新，从而在备份中心保存生产数据的记录。 磁盘系统是信息的真正物理所在地，利用磁盘复制可以独立于服务器、操 作系统、卷管理系统、数据库、文件系统、中间件、应用程序。 磁盘系统数据的物理构成单位为扇区扇区（Sector）、簇簇（Cluster）、磁道磁道 （Track）、柱面柱面（Cylinder）、卷卷（Volume）。 一般基于卷建立磁盘复制的复制对应关系，复制过程中的数据传输单位可 能

53、为簇、磁道或柱面。 从生产中心和备份中心中心之间数据是否保持完全一致看，传输模式可分 为如下三种： 同步同步：从服务器来看，一个完整的磁盘 IO 更新同时包含对两个数 据中心的磁盘 IO 更新。 异步异步：服务器照常执行对生产中心的磁盘 IO 更新，复制程序将 IO 更新异步地从生产中心传输到备份中心。备份中心的 IO 更新将落 后于生产中心。 半同步半同步：备份中心的 IO 更新将落后于生产中心指定的数量。 当复制过程因为网络原因中断后，恢复时是否只追补自中断后新增的更新 来分，复制可分为两类： 增量复制增量复制：只复制中断期间新产生的 IO 更新。 全复制全复制：全部复制生产卷中的所有数据

54、。 当进行系统切换时，需要进行反向复制时，根据反向复制使用的技术，可 分为三类： 增量增量：只复制切换后在新生产中心新产生的 IO 更新。 完全完全：将新生产中心修改过的卷完全复制到老生产中心。 角色转换角色转换：在切换后转换复制关系，将新生产中心设置为复制源 （Source），将原生产中心设置为复制目的地（Target）。 从监控数据复制过程的方式看，分为两类： 命令行命令行：通过基本命令行监控。 图形图形：通过图形化的界面监控。 从监控程序使用的通信介质看，分为两类： 带内监控带内监控：通过数据复制网络（即磁盘之间的通道连接）进行监控。 带外监控带外监控：通过和存储设备相连接的服务器之间的

55、 TCP/IP 网络进 行监控。 从监控者所在位置看，分为两类： 生产中心生产中心：在数据复制远端监控数据复制。 备份中心备份中心：在数据复制目的端监控数据复制。 从监控数据复制过程的范围看，分为三类： 性能性能：监控数据复制过程是否达到业务的复制要求。 流量流量：监控数据复制系统各部件具体的 IO 流量。 故障故障：监控数据复制系统各部件的完好状态。 从数据复制在备份中心被存取的方式看，分为两类： 只读只读：备份中心对数据复制只能进行读操作。 可读可写可读可写：备份中心对数据复制可进行读写操作。 上层数据应用实体（如服务器卷、数据库、文件系统、裸设备）与磁盘系 统中的物理设备存在映射关系，从

56、磁盘数据复制保障上层数据应用实体的一致 性的层次和范围看，分为三类： 数据库数据库：将数据库对应的所有磁盘卷纳入到可统一进行复制操作的 磁盘数据设备组中。 应用应用：将某一应用对应的所有磁盘设备卷纳入到可统一进行复制操 作的磁盘数据设备组中。 跨应用跨应用：将多个应用对应的所有磁盘设备卷纳入到可统一进行复制 操作的磁盘数据设备组中。这些磁盘卷可以位于多个磁盘服务器中。 通过对多个磁盘服务器复制的集中管理实现跨磁盘服务器复制的数 据一致性。 从数据复制过程在复制过程故障中断情况下对数据一致性的保障看，分为 两类： 冻结停顿冻结停顿（freeze and stop）：一旦检测到复制机制任一故障，

57、立即停止复制操作并关闭应用。 应用于需保证两个数据中心数据 完全一致的环境。 冻结继续冻结继续（freeze and go）：一旦检测到复制机制任一故障，立 即停止复制操作，生产中心业务继续。 应用于需保证生产中心业 务运行的环境。 从数据复制过程对两端磁盘系统的硬件和软件要求看，分为： 硬件前后代兼容硬件前后代兼容：不同硬件版本的磁盘服务器之间可以进行磁盘数 据复制。 软件前后代兼容软件前后代兼容：不同软件版本的磁盘服务器之间可以进行磁盘数 据复制。 在同步状态下，从生产系统是否可联机存取数据目的端的能力看，分为： 数据同步拷贝数据同步拷贝：同步拷贝只能被备份服务器使用，当生产数据发生 损坏

58、时，生产服务器不能在不中断业务的前提下透明联机访问拷贝 中的数据，而只能通过启动备份服务器来恢复业务。 数据同步镜像数据同步镜像：除实现同步拷贝的功能外，生产服务器采用同一地 址访问镜像和数据源；当生产数据发生损坏时，生产服务器可在不 中断业务的前提下透明联机访问拷贝中的数据。 异步方式下，可以按照两种方式缓存需延时复制的数据：复制队列技术和 定点拷贝复制技术。 复制队列技术复制队列技术将所有生产数据的更新直接保存到缓冲区，复制进程连续不 断地读取缓冲区中的数据，传输到备份中心的存储系统定点拷贝复制技术下 的复制过程根据复制要求和复制网络带宽的状况，按合适的时间间隔记录生产 数据的更新，然后按

59、照将该更新完整的复制到备份中心。 在磁盘复制中，所复制的是物理设备中的业务信息；对于磁盘结构的变化， 如增加参与复制的硬盘数量，磁盘复制机制本身无法实现。功能完好的磁盘智 能系统支持联机修改磁盘配置，复制管理系统通过修改配置信息来保证磁盘复 制机制可适应业务的变化，并且在修改配置时，不必中断当前的数据复制过程。 在这点上，应用嵌入式复制、数据库级复制、文件系统级、卷管理级复制均不 能良好处理相应的应用结构、数据库结构、文件系统结构、卷管理结构的变化， 管理员需终止复制、修改配置后、重新初始化复制，从而对复制机制的连续性 和可操作性带来的威胁。 . 磁盘复制的补充磁盘复制的补充 磁

60、盘复制在数据复制技术上，是针对信息本身的解决方案。由于任何上层 数据实体，包括操作系统中的逻辑卷、数据库、文件系统、应用，其信息的存 储都会最终落实到磁盘系统的物理设备中，所以磁盘复制的覆盖范围可以同时 达到应用嵌入式复制、数据库方式复制、文件系统方式复制、服务器卷方式复 制所能实现的信息复制要求。 现代的磁盘系统可同时支持多种服务器，在多种服务器上又可运行多种卷 管理系统、数据库系统、文件系统、应用程序，磁盘复制技术是能保存跨平台 的 IT 业务支持系统的业务状态的完整记录的基础性技术。 需要指出，对于某些引起宕机的因素，如误操作、病毒对数据的破坏，磁 盘复制技术都会将故障因素复制到备份中心