异地大数据备份方案设计

1、新一篇：VERITAS的全线存储备份容灾解决方案第一章灾难备份背景及优势”二二二二二二二二二二二二二3'1.1 什么是计算机业务系统的灾难 31.2 国外计算机业务系统灾难备份应用情况 31.3 国内计算机系统的灾难备份计划的应用情况 41.4 建设灾难备份中心的重要意义 4第二章灾难分析 7第三章灾难备份设计目标 83.1 灾难备份的设计目标 8第四章灾难备份设计思路及模型 94.1容灾项目开始 94.2灾难风险分析 94.3制定恢复计划 94.4方案实施 94.5支持与维护 9第五章 XXXX 业务系统灾难备份/恢复体系设计 125.1 灾难备份/恢复体系总体设计 125.2 应用

2、层方式容灾结构简介 135.3 数据库方式容灾结构简介 155.4 镜像软件容灾方式结构简介 195.5 XP磁盘阵列容灾方式结构简介 215 . 5 . 1灾难恢复系统硬件，软件配置说明 235 . 5 . 2 XP CA软件容灾原理 245 . 5 . 3切换步骤265 . 5 . 5 XP容灾方案性能分析 30第六章灾难备份恢复流程 31第七章培训测试及维护 337.1 培训337.2 测试灾难备份计划 337.3 维护34第八章成功案例介绍 358.1 国外成功案例358.2 国内成功案例35第一章灾难备份背景及优势1.1 什么是计算机业务系统的灾难今天，XXXX比以往任何时候都更加依

3、赖于计算机系统，计算机系统在为 XXXX迅猛发展提供技术基础架构的同时，由于用户业务处理的高度集中，以及不可预见的故障和灾难，导致整个系统存在很多灾 难性破坏的隐患，有可能成为整体系统中的单故障点。因此，业务的拓展与灾难的防范是所有用户都必须 同步重视的问题。那么，什么是计算机业务系统的灾难呢？通常的定义是指采用计算机系统处理的重要电 子数据丢失至不可恢复或由此导致业务中断以至于延长到不可接受的时间。1.2国外计算机业务系统灾难备份应用情况灾难备份计划在发达国家电信行业和金融行业得到了较早的实施，现已较为普遍。例如在美国，因一 九八五年纽约银行计算机故障，联邦管理部门更加强了在这方面的监管力度

4、。现美国计算机业务系统一般 岀于以下三方面来考虑灾难备份计划：重要数据保护与业务连续运行的需要：在美国，各行业内部竞争激烈；在计算机管理制度上较为完善；一旦因突发灾难而造成数据丢失或业务中断，将会造成重大乃至致命的打击。审计的要求：美国较大型的企业一般会由第三家独立审计公司来提供其资信业务、管理等方面咨询服 务，而世界著名的六大审计公司在对企业的评估项目中均包含灾难备份计划一项；评估企业数据在灾难等 威胁破坏下数据的完整性，一致性与安全性，及业务的可恢复性等，有些咨询审计公司还会参与验证所制 订的容灾计划的具体过程和其可行性。缺少灾难备份计划及其危害性会在评估报告中被显示岀来。法律的要求：美国

5、政府及州政府通过多项法律强制性要求电信、金融业等大型企业备有计算机安全及 灾难备份计划。对于没有遵守这项灾难备份计划的企业，会遭受曝光及罚款等严重处理，同时亦可能对相 关责任人采取罚款甚至监禁等处罚。已知的灾难例子有：日本神户大地震、美国佛罗里达州飓风（数百家 企业实施了灾难备份计划）、台湾大地震等。1.3国内计算机系统的灾难备份计划的应用情况随着我国入 世”的脚步越来越近，传统产业在进入新市场新方式的竞争中，企业的电子信息架构的搭建，成为最具有战略意义的资源投资。作为信息架构核心的数据，其安全备份和灾难恢复随着世纪交替Y2K问题的引发，逐渐引起人们的思考和重视。现代企业必须直面一个迫在眉睫的

6、问题：如何对数据进行 持续不断地存储，并通过有效地应用这些信息，提高企业的利润率和竞争力。所以，在当今企业运营电子 化的进程中，存储将与网络、软件应用和系统CPU处于同等重要的地位，成为决定系统成熟与否的关键。由于存在着各种数据丢失的可能，随着人们对网络系统的依赖日益增加，从硬件到软件对数据的保护 和备份确实是不容忽视的环节。企业的IT专家们逐渐认识到，可能造成数据丢失的因素主要有三种：自然灾害的灾难性破坏造成数据永久丢失，最佳的解决方案就是异地数据备份；计算机和网络系统的硬件和 软件故障，这种损失也只有通过完整的数据备份来弥补；另外，自然免不了黑客的破坏以及人员的操作失 误。这些事故的发生都

7、是防不胜防的，唯一能把损失降到最低的办法就只有依赖具有数据备份和灾难恢复 功能的存储设备。近年来国内用户在计算机应用方面的飞速发展，计算机系统基础架构的建设、特别是计 算机容灾系统的设计与建设正逐渐被用户所重视。不言而喻，如果用户的业务系统有一套完备的灾难备份/恢复体系，当突发性灾难发生后，业务系统关键业务数据的损失将减至最小。特别是随着中国加入WTO的日益临近和行业竞争越来越激烈，完善的灾难备份/恢复体系在不远的将来将是国内企业发展的可靠保 障。在国内，随着In ter net的逐渐普及和电子商务热潮的兴起，企业需要整合越来越多的数据，而数据的合并、管理、分享、保护都需要一个强大的、高可靠性

8、的数据中心；同时，随着国内企业经营者对企 业数据信息的价值和数据安全备份的认识的提高，存储设备的投资也正在企业信息化建设的投入中占据着 越来越高的比重。IT行业权威人士认为，在将来的一至两年中，数据存储系统要花费所有企业计算系统投 资的70 %。1.4建设灾难备份中心的重要意义随着计算机管理技术和网络技术的发展，为了提高企业业务管理水平、增强企业市场竞争能力，越来 越多的企业开始使用计算机来处理内部日常事务和外部业务往来，从而使得这些企业越来越依赖于系统管 理数据和业务信息。尤其是在企业业务不断增加、数据量成倍增长乃至岀现数据膨胀现象时，由此引发的 企业从数据膨胀、到计算机性能提高、再导致新一

9、轮数据膨胀的循环不断加剧，进而在企业中引起新的数 据安全恐慌，数据失效问题时有发生。建设灾难备份中心的目的就是在于防止一些灾难性的小概率事件可 能对集中式信息系统造成的不可恢复的原始数据的丢失，这些灾难性事件可能包括为火灾，地震，电源故 障及一些人为的操作失误等，如下图所示。现代企业管理非常重视总体拥有成本（ TCO ）。所谓TCO，实际上是由实际成本、使用成本和风 险成本三项组成。实际成本和使用成本在企业的建设与生产中往往容易引起人们重视，因而考虑得非常周 到。而风险成本不仅是企业看不见、摸不着的东西，也是企业运作时很难预料和把握的内容。在使用计算 机系统的企业中，风险成本包含用于管理关系到

10、企业生命的各项数据与信息的安全、正常、可靠的高速运 行的所需费用。所以，为将风险成本降至最低，同时使企业长期处于最佳状态，对企业业务和计算机管理 与控制系统数据进行全面存储备份是一项绝对值得的、也是必要的投资。我们知道，随着企业计算机系统建设计划的逐步实施，XXXX的日常业务同计算机系统的联系越来越紧密。因此，业务主机系统的运行岀现故障所带来的业务影响范围会被迅速扩大，而客户对企业计算机 业务系统的连续运行，业务系统、用户数据的高可用性以及业务计算机系统抵御突发性灾难的能力的要求 也必然急剧提高。XXXX建设灾难备份/恢复中心有如下的意义： 重要业务数据在灾难发生后得以有效保护 重要业务在灾难

11、发生后可以在设定的时间内恢复，从而实现业务的连续运行 业务计算机系统抵御突发性灾难的能力和级别提高 进一步提高XXXX声誉，增强客户及潜在客户的信心 扩大对同行业竞争对手的优势第二章灾难分析可能发生的灾难因各城市/地域的地理、气候、社会治安、城市管理，如供水、供电、通讯条件等差 异而有所不同。仔细地分析各种突发性灾害发生的可能性以及由此所造成的后果，对于制定和构建完整的 和有很强针对性的灾难备份体系是有很大帮助的。下表是一张分析表样本，可使我们对于可能发生的突发性灾难评估有较为清晰的概念。可能的灾难可能性：12345工作场所火灾数据中心火灾电源故障气候灾难（台风，洪水等）工业破坏城市事件（罢工

12、，动乱等）硬件故障软件故障设备问题（如管道漏水等）供水故障通讯系统故障计算机故意破坏（如病毒等）爆炸威胁工作场所的环境紧急事件（化学污染等）第三章灾难备份设计目标3.1灾难备份的设计目标采用何种容灾方式（逻辑数据复制/物理数据复制）实现灾难备份系统的设计目标主要应从以下四个 方面来考虑：具体数据类型与目标的灾难保护：从用户业务系统正常运作的角度分析各种关键业务数据，作岀重要性与可恢复性要求的评估，并由此制定系统的数据灾难保护政策。灾难发生后的可恢复业务分析：对用户各种业务与管理流程进行分析评估，并据此制定岀用户核心业务系统的灾难备份/恢复策略。灾难发生后的可恢复分析： 对于突发性灾难这样的重大

13、事件，有时受灾地区并不苟求所有业务系统都能够可持续运营，故可按实际需求和比例进行分析，并由此配置相应的容灾设备。灾难发生后的业务可恢复时间指标：可以将灾难的发生分为两类，一类是可以预计具体时间的灾难，如损害性极大的台风等；另一类是不可预计具体时间的突发性的灾难，如地震、主机系统的非计划性Down机等。针对两种不同的灾难类型，要设定不同的业务恢复时间指标。一般来说，对第一类灾难的业务 恢复时间要大大短于对第二类突发性灾难的业务恢复时间.根据用户对系统容灾能力的不同要求以及投资方面的因素，HP公司提供多种容灾解决方案，各有侧重不同，我们会从不同的角度介绍容灾系统的实现方法，以及系统的典型配置。第四

14、章灾难备份设计思路及模型为了设计与实施xxxx的灾难备份系统，按照大型项目的管理方法和HP公司在项目管理方面所积累 的丰富经验，在这里将整体项目的设计与实施分为五个阶段：4.1容灾项目开始明确xxxx灾难备份/恢复计划的必要性 明确灾难备份计划的负责人和实施队伍制定项目实施时间表。4.2灾难风险分析确定对xxxx业务至关重要的系统、网络和用户确定由于自然或人为灾难对这些造成的威胁和损失，并尽可能准确为具体的损失 收集各种业务和用户对系统中断时间等的要求4.3制定恢复计划制定当灾难发生，原业务主机系统或网络系统不可用时，提供第二主机（灾备主机）或网络（灾备网 络）的选择策略。4.4方案实施开始实

15、施灾难备份计划，如数据实时在线备份、应用系统切换、记录本地数据备份的磁带管理等。4.5支持与维护由指定的人员、部门或公司提供容灾系统的日常支持与维护服务，保证灾难备份/恢复系统的可持续，高可用运行。以下为容灾方案实施各阶段的框图：项目开始灾难风险分析方案实施支持与维护制定恢复计划对于其中的核心部分-第三项制定恢复计划”，根据xxxx 的业务特点，这里分为以下几个步骤:1、制定业务主机系统集群系统热备份计划：包括对服务器、操作系统、应用系统、数据库系统、重 要数据等的热备份计划。2、制定位于生产地的、与业务主机系统相关的前置服务器数据热备份计划：包括对其他机型的操作 系统、数据库系统、应用系统、

16、重要数据和通讯配置等的热备份计划。3、制定网络通讯备份计划：对网络设备、网络协议、网络参数设定、故障切换的逻辑过程、通讯线 路的备份计划等。4、制定客户端备份计划：包括终端设备，终端用户的注册与权限管理的备份。5、制定磁带备份计划：包括系统备份、非系统数据文件备份、业务数据库数据备份，及与备份系统 相关的其他全量备份、增量备份等，以构成完整的系统保护措施。6、制定灾难备份指示系统：此系统用来提供清晰全面的灾难备份指南，可以在灾难发生时在最短时 间内找到灾难备份流程，与相关负责人和供应商的联系方式，以及应当采取的应急措施等。如下为流程框图：第五章xxxx业务系统灾难备份/恢复体系设计5.1灾难备

17、份/恢复体系总体设计惠普公司为xxxx业务系统提供的灾难备份/恢复方案可以满足用户对于计算机系统、数据的最高保护要求，保证即使发生断电，火灾等严重灾难时，用户业务也可以7x24小时的连续运行，同时确保业务数据在主中心和备份中心得到及时的更新，保证用户数据最大的完整性。根据惠普公司多年来所积累的实施高可靠性灾难备份/恢复解决方案的成功经验， 我们可以承诺用户在最小的投资范围内，按照惠普公司的项目实施流程，在最短的时间周期内达到整个项目的设计目标，并且通过惠普公司完善周全的售后服务体系，确保XXXX核心业务计算机系统的全天候、安全、稳定的运行。由于用户数据 中心的核心业务系统相对集中，因此在数据中

18、心实现关键业务数据的规范化的本地数据备份是灾备系统建设的前提基础；同时通过进行重要业务数据的远程同步实现用户重要业务数据的远程异地存储，为实现业务系统的远程正常运作奠定坚实的基础；容灾系统的关键就是远程生产数据的自动复制，由于用户的应用均为基于数据库的联机事务处理（OLTP）业务系统，所以业务数据远程复制的关键就是确保数据库数据的完整 性、连续性，实时性和可恢复性。而现在惠普公司基于用户不同的容灾需求所提供的灾难备 份/恢复方案主要有以下四大类型：1）通过应用程序来进行远程数据复制（应用层次）；其主要原理就是通过修改应用程序或者使用 BEA等公司的中间件产品，使得前端平台在向数据库服务器发 送

19、生产数据时，同时向主数据中心和备份数据中心均发送交易数据，主数据中心处理交易数据并返回处理结果，备份中心在正常情况下，只处理交易数据，当主数据中心无法正常工作 时，备份中心服务器接替主中心服务器向前端平台返回处理结果。2）利用数据库厂家的软件产品完成远程数据备份（数据库层次）；现有的一些数据库厂家例如Oracle数据库可以提供STANDBY数据库功能，通过通信网络将实际数据库日志文件传至备份中心存储系统，备份中心的STANDBY数据库按照主数据库结构从日志文件中重新恢复数据库；又例如Informix 数据库可以提供 HADR（High-AvailabilityData Replication）

20、功能，在初始化时将主数据中心的数据库中的所有dbspace进行一次零级备份，并恢复到备份数据中心的数据库中，之后主数据中心的数据库服务器可以通过通信网络将生产数据库的逻辑日志文件传送至备份中心的数据库服务器，备份中心的seco ndary数据库将这些逻辑日志恢复到相应的dbspace上.3）利用主机上安装的操作系统级镜像软件进行远程数据镜像（系统软件，如 HP-UX MirrorDisk/UX ，Veritas Volume Replicator 等）；主中心存储设备与备 份中心存储设备进行逻辑卷镜像，主机同时将数据分别写到本地和远程的磁盘设备上，实现业务数据的远程复制。4）通过惠普最新存储产

21、品 XP系列磁盘阵列（磁盘阵列硬件层次），可以实现主数据中心和备份中心的操作系统、文件系统、数据库、应用程序的实时远程拷贝复制。主、备中心XP磁盘阵列本身就可以通过阵列上的微处理器完成数据的实时同步功能， 将灾难发生时关键数据的损失降至最低，而且不需要主机干涉或占用主机资源，可以做到灾难发生的同时实现应用处理过程的恢复。远程备份系统的重新启动可以做到象一般输入电源故障后的重新启动那么简单。以下是对各种容灾实现方案的总体比较:数据量应用复杂度数据实时性对主机性能影响带宽投资成本交易数据备份交易数据高（可 能修改应 用）低<10%几十万数据库 日志备份2-4倍交易数据数据 库工具可能至少丢失

22、1个LOG较咼(10-20%)几十万镜像软件4-8倍交易数据应用透明高（I/O级）， 网络/镜像软件 故障影响主机业 务高(10-30%)几百万磁盘阵列4-8倍 交易数据应用透明高（I/O级）无几百万5.2应用层方式容灾结构简介利用应用层容灾方式建立针对用户业务的灾难备份系统，其主要原理是通过应用程序或者中间件产品同时向主中心和备份中心传输未经处理的生产数据，主中心服务器和备份中心服务器同时处理数据。在正 常情况下，只用主中心和业务系统联系，备份中心只在后台处理数据；当主中心瘫痪时，由于备份中心也 存有生产数据库，也存有生产数据，所以可以迅速接管业务。由于是利用应用软件来实现数据同步及保证 一

23、致性的，因而对于硬件方面的影响较小。如图所示：这种方案的主要优点就是：a）由于通过网络传输交易数据时未经数据库处理，所以传输数据量小，对传输数据的网络带宽要求不高；b）传输数据过程中，主中心和备份中心异步进行，由传输距离产生的延迟和通信带宽瓶颈不 会对应用产生较大影响.缺点是：a）对应用程序修改较大，增加应用软件商二次开发负担；b）由于主，备数据中心的业务处理过程为异步进行，如何保障数据的一致性非常困难，需要 在应用中对数据的同步进行周密的设计；这种容灾方式适合于传输距离极长（几千公里），且网络传输带宽和通信质量无法得到有效保证的用 户环境而对于存储设备则没有严格的限制，用户可以灵活的选择满足

24、容量和速度要求的存储设备。5.3数据库方式容灾结构简介5. 3. 1原理数据库方式由于只是传送数据库日志，与应用没有直接关系，因此无须对应用程序作大量修改。以下介绍主要以Oracle和Informix数据库为主。数据库方式容灾通过数据复制把数据定期、在线地复制到目的地的机器上去，以保持分布在不同地方的两个或多个数据库系统内容的一致性，来实现数据保护。但它 将消耗大量的主机资源（至少要占用监控和复制两个进程）。复制的对象是数据库的处理单位，如事务日 志（逻辑日志），实现方式也有同步与异步两种，严格来讲，这种方法很难有真正的同步方案。因为同步 数据复制要求做任何一笔交易，都要实时地将结果发送到远程

25、的站点中，等远程操作结束后，再执行下一 笔交易；而在实际操作中，很难做到这一点，只能做异步的数据复制。所以一个实时应用系统中，一般采 用异步方式。备份数据中心通过网络连接到中央数据中心。在正常情况下，Oracle数据库运行在主数据中心的服务器上，数据存储于主数据中心的磁盘阵列中。利用Oracle数据库提供的STANDBY数据库功能，可以通过通信网络将实际数据库日志文件传至备份中心存储系统，备份中心的STANDBY数据库按照主数据库结构从日志文件中重新恢复数据库，以保持数据的一致性。一旦中央数据中心出现问题，用户可以立即启动备份数据中心的备份数据库以及相关应用。Achivelog的备份方式这一实

26、现方式的关键在于通过一个专用程序将主数据中心的数据库中的Achive Log定时通过通信网络传输到备份中心的数据库中。一旦主数据中心不能提供服务，备份中心首先通过Redo Log恢复数据，然后再代替主数据中心恢复应用。基于数据库方式的容灾能够把变化了的数据定期、在线地复制到目的地的机器上去。对用户来说，这 种复制方式的优点是能够较好地保证数据的一致性，但它将消耗大量的主机资源（至少要占用监控和复制 两个进程）。此方案可以做到在有限的投资范围内，充分利用现有机器设备，实现应用系统和重要数据的灾难恢复功能。作为惠普公司成熟的灾难恢复技术，此方案已经在国内许多用户中成功实施过。其中包括：上海浦东国际

27、机场灾难恢复系统等。建立远程容灾环境：利用中央数据库的全备份（零级备份）建立灾难备份数据库由专门进程负责传输中央数据库生成的日志文件到远地，这里可以通过定义日志文件大小及传输时机来控制灾难发生时的数据损失尽量降低，并可加快容灾应用切换速度，尽快恢复业务在备份数据 中心系统上运行。灾难备份数据库使用传输来的日志文件（Archive log或Logical log ）不断更新备份数据库，这时数据库一直处于恢复状态 （In formix 数据库为quiesce nt 状态），其数据不可被访问（对 于Informix 数据库，备份数据库中的数据可被用来进行读操作，但无法进行写操作）。灾难备份数据库更新

28、岀错且无法解决时，应重新建立备份数据库。 灾难备份数据库应定期做激活测试，以确保其在关键时刻的可用性。 应用系统需考虑发生灾难时如何将联接切换到灾难备份数据库。容灾切换：将中央数据库的可取得的日志文件传至灾难数据库后，将灾难备份数据库更新到最近点，并开启数据库供应用系统使用；立即对灾难数据库做数据库全备份； 对损失的数据进行修补；以建立灾难数据库的同样方式建立中央数据库，并将运行系统切换回中央数据库，该次切换 可做到数据无损失；立即对中央数据库做数据库全备份； 重新建立灾难备份环境，恢复容灾系统.5. 3. 2容灾环境维护（中央数据库结构发生变化）日常管理中，需对中央数据库的归档日志（逻辑日志

29、）目录定期进行备份和清理，亦需清除灾难备份数据库的归档日志（逻辑日志）目录中使用过的归档日志（逻辑日志）。在系统运行过程中，可能发生改变中央数据库结构的情况，这时需要进行适当的操作使灾难备份数据库跟上更新变化，保持数据库结构的一致和同步：1增加数据文件在中央数据库上增加数据文件将产生相应的日志，当被施用到灾难备份数据库时控制文件中会加入此数据文件名，此时如灾难备份数据库能在相应目录找到此数据文件，恢复操作继续；否则会停止，在继续恢复操作之前，需选择以下操作：-将此新数据文件拷贝到灾难备份节点的相应目录下；-在灾难备份数据库上执行命令Alter Database Create Datafile

30、file name '.2数据文件更名对中央数据库的数据文件进行更名，需要刷新灾难备份数据库控制文件，或在对中央数据库作该操作时亦对灾难备份数据库作类似操作，即可确保中央与灾难备份数据库的同步。3修改联机日志文件设置在对中央数据库的联机日志文件进行增加、删除等操作后，都不会影响灾难备份数据库。但在中央数据库上执行命令Alter Database Clear Un archived Logfile，或以 Resetlogs选项打开数据库，则会使容灾备份数据库失效，因为容灾备份数据库无法得到进行恢复操作所需的归档日志文件，这时需要重新建立容灾环境。4修改控制文件若在中央数据库上使用Crea

31、te Con trolfile命令执行以下操作，将使容灾数据库的控制文件失效：-改变联机日志组或文件的最大数目参数-改变数据文件的最大数目参数-改变并发打开数据库的实例的最大数目参数 此时需要刷新灾难备份数据库控制文件。在中央数据库上使用带Resetlogs选项的Create Controlfile命令将在下一次打开中央数据库时重置联机日志，日志序列回到1，从而导致容灾备份数据库失效。5数据库启动参数建议使中央数据库与灾难备份数据库的参数配置相同，以免因参数不同影响容灾数据库的性能甚至恢复操作的实现。6刷新灾难备份数据库控制文件当中央数据库控制文件发生改变时，依照以下步骤刷新灾难备份数据库的控

32、制文件：-停止灾难备份数据库的恢复操作-关闭灾难备份数据库-在中央数据库上执行命令Alter Database Create Standby Database ControlfileAs file name '创建供灾难备份数据库使用的控制文件-在中央数据库上执行命令Alter System Archive Log Current归档出当前日志-将上两步产生的控制文件及归档日志文件传送至容灾节点-启动灾难备份数据库在Nomount状态，执行Alter Database Mount Standby Database使数据库处于Mount状态-进行灾难备份数据库的正常恢复操作7关于Un r

33、ecoverable 操作产生的数据中央数据库上用 Un recoverable 选项操作(如 Create Table un recoverable )产生的 数据更新不生产日志，因此无法传送到灾难备份数据库，此时只能采用以下三种方法之一：-在灾难备份数据库中，使受该操作影响的数据文件处于Offline 状态。灾难切换后，删除灾难备份数据库中相应的表空间。该方法在允许损失此整个表空间数据时才能使用。-重建容灾环境-在中央数据库上备份该操作影响的表空间，归档当前的日志，传送到容灾节点后，开启灾难备份数据库的恢复操作。注意：如在中央数据库做了 Un recoverable操作，而未采用以上方法进

34、行操作， 仍在灾 难备份数据库上进行正常恢复，将不会有错误信息提示，该错误信息将出现在数据库日记中($ORACLE_BASE/admin/<sid>/bdump/alert_<sid>.log)。因此管理员必须定期检查数据库日记。5. 3. 3优缺点比较用数据库功能实现远程数据复制的优点为：a）支持广域网协议，备份中心地点不受传输距离影响；b）硬件/软件投资较少；缺点主要为：a）传输归档日志或逻辑日志需占用主机资源（CPU，内存，网络等，具体指标未确定）；b）当灾难发生时，业务无法在备份中心得到迅速恢复；c）备份中心的数据无法快速恢复回主数据中心，从而应用无法快速切换回

35、主中心运行；d）无法实现非数据库数据的远程复制；此种容灾方式适合于只远程备份数据库数据，传输距离较长（几百公里以上），且网络传输带宽不大 的用户环境.5.4镜像软件容灾方式结构简介利用操作系统层的镜像软件,如HP-UX MirrorDisk/UX，实现本地主数据中心的逻辑卷和远端备份数据中心的逻辑卷之间的实时同步数据复制当主数据中心发生突发性灾难时，用户可以通过在备份中心服 务器上激活相应的卷组和逻辑卷，进而启动备份中心服务器上的数据库和应用系统，从而实现业务系统灾 难恢复的目标.正常情况下，业务系统运行在主中心服务器上，数据存储在主中心磁盘阵列中，同时在备份中心配置相同 容量的磁盘阵列。主中

36、心和备份中心的距离通常限制在10公里左右，主中心的服务器使用光纤通道卡通过光纤交换机和光缆分别连接两个中心的磁盘阵列，利用服务器端的镜像软件对数据镜像存储。在发生灾难时最严重的损失就是数据本身的丢失，而磁盘镜像要求向磁盘进行的每个物理写操作都被复制到另一个地点的另一个磁盘。因为复制是向磁盘进行的物理写操作，所以它与应用程序无关。在主中心因 故岀现存储阵列损坏、瘫痪时，备份中心的数据仍然完好。主中心的服务器仍能正常的访问备份中心的数 据。一旦主中心的磁盘阵列恢复后，可以在系统上使用磁盘重新镜像的命令将数据进行同步，从而备份中 心的阵列中的数据会拷贝到主中心的存储阵列中。镜像软件容灾方式优缺点比较

37、.优点：* 可完全确保数据复制的完整性，一致性；* 容灾结构相对简单；* 对磁盘子系统透明，主/备数据中心可采用不同的磁盘阵列设备. 缺点：* 远程数据复制操作占用主机较多资源（10 30%）;* 主中心应用系统写操作性能受主/备中心传输距离影响较大；* 网络连接和镜像软件故障将导致主中心业务系统的中止；* 备份中心更新数据无法快速恢复回主数据中心；这种容灾方式适用于对主机写操作性能要求不高，而且业务系统可以忍受因光纤传输线路的临时故障而导 致业务中止的用户环境.5.5 XP磁盘阵列容灾方式结构简介惠普公司 XP阵列由Continuous Access XP/XP Extension软件提供完

38、全的灾难备份 /恢复功能。主数据中心和备份数据中心的结构基本一致：采用HP XP系列磁盘阵列作为中心存储， 所有主机通过光纤与磁盘阵列相连。磁盘阵列上运行Continue Access XP容灾软件。主中心与备份中心之间的XP磁盘阵列物理上通过两条光纤通道直联，采用XP磁盘阵列上的容灾软件 Continue Access做到两地数据实时同步。两套磁盘阵列之间数据一致性依靠磁盘阵列本身的专用软件(直接运行在磁盘阵列上)来完成，完全不依赖主机系统，也不影响本地应用的响应速度。当配置了 Continuous Access XP/XP Extension软件的两台 XP阵列分别处于两数据中心时，通过光

39、纤线路进行连接，主数据中心的XP存储磁盘阵列可以随时自动将更新后的数据传送至异地的备份 XP存储设备，以保持两台 XP阵列数据的完全一致性。整个工作由XP阵列本身完成，对主机系统完全透明，不需占用任何主机资源。当主数据中心由于地震，火 灾等各种意外原因导致整个主中心核心业务系统崩溃时，异地备份系统将完全接管全部工 作，在极短时间内，恢复业务系统的运行。客户端也是灾难备份恢复系统防护的对象，需要通过网络连接到灾难备份中心运行系统。灾难备份中 心运行系统具有重构运行环境的能力，在灾难发生后替代生产中心行使运行系统职能，接受客户端注册和 访问，其运行环境和业务数据由备份服务器和备份数据系统提供。特点

40、：传统的灾难备份系统主备机切换的过程为1) 主机发生故障2) 系统切换到备机3) 修复主机4) 关闭全套系统包括主机及备机5) 将系统从新切换回主机其中在第4个步骤中，用户将不得不承受停机所带来的损失。而惠普公司 SureStore E Continuous Access XP/XP Extension软件将使用户避免这一损失，因为当系统从主机切换到备机后，备机将成为主机，修复后的“主机”成为备机使 用。此方案最大的优势就是对主机应用完全透明，所有数据复制工作由磁盘阵列硬件层完 成，不需修改应用，而且可以保证大量数据复制的性能。由于磁盘阵列数据复制原理是利用磁盘远程镜像功能，所以可以保证主数据

41、中心关键业务数据和备份中心关键业务数据的完全 一致，而且容灾系统实现起来非常简便。还可以充分利用现有服务器设备，实现应用系统和重要数据的灾难恢复功能。作为惠普公司成熟的灾难备份/恢复技术，此方案已经在国内外许多用户环境中成功实施过。其中包括上海热线，大连电信，云南建行，湖南建行等灾难备份恢复系统。由于 XXXX的容灾距离，用户环境和业务需求也十分适合于使用XP磁盘阵列 实现存储硬件层的灾难备份恢复方案，因此HP公司也向XXXX推荐这种容灾方式.而这种容灾方案的主要限制就是由于在磁盘一级进行数据复制，对应用系统完全透明， 所以相比应用层和数据库层的容灾方式，复制的数据量较大，对光纤数据链路传输质

42、量和传输带宽要求较高.优点：1、目前而言是所有异地容灾方式中最为可靠和成熟的技术；2、有磁盘阵列自身来完成，完全不影响主机的性能，也不依赖于操作系统的平台，因此形式 所有实现方式中性能最好，使用范围最广泛的一种；3、通过磁盘阵列之间的专用互连完成通信，因此不占用局域网资源。缺点：投资较大5. 5 . 1灾难恢复系统硬件，软件配置说明我们推荐数据中心的中心磁盘阵列采用 HP的高性能全光纤通道交换式结构的磁盘阵列XP512。为了适应当前数据中心越来越明显的存储中心化趋势（即：存储作为整套系统的关键，各种平台的服务器 作为存储的外设），XP512与传统的磁盘阵列相比已经不是单纯的硬盘堆叠，而是新一代

43、的存储+服务器结构。无论从它的硬件结构还是直接运行在XP512上的多种多样的软件都可以明显的感觉到这一点。系统的数据存储在主中心存储磁盘阵列XP512中。同时在异地备份中心配置相同结构的存储磁盘阵列XF。由于XXXX的容灾环境距离为10公里左右，从数据复制的性能以及数据复制的完整性和 一致性方面考虑，建议用户在主中心和备份中心之间构建单模光纤线路用于传输备份数据， 并选用DWDM密集波分复用）设备实现数据复制链路的多路复用，从而提高数据复制的传 输带宽，并改善远程数据传输性能。通过HP公司提供的灾难备份恢复软件 （HP Continuous Access XP） 可以自动实现主中 心存储数据与

44、备份中心数据的实时完整备份。在主数据中心，按照用户要求，还可以配置磁带备份服务器，用来安装 HP备份软件Omniback II ，以及Sure Store E 磁带库。备份服务 器直接连接到存储阵列和磁带库，控制业务系统的日常数据的磁带备份。为确保用户主数据中心的主机系统的负载分担，容错能力等功能，惠普公司提供了先进的，具有高度可靠性的群集结构。该结构可由两台或多台HP 9000/800系列高档服务器组成，并通过LAN和共用硬盘构成协调、高效的群集结构。当Cluster中的某个节点出现异常（服务器硬件，系统软件，应用程序和局域网故障等）时，MC/ServiceGuard可以及时发现故 障节点，

45、自动将故障节点的当前应用系统迁移到其它正常节点中，使之继续进行正常的业务处理，并可自动隔离故障节点以便于技术人员的故障排除工作，从而消除核心业务系统中的单故障点。主数据中心的配置为:部件名称数量说明XP512 1 台：高速数据缓存44 块 x 4GB（每块）=8GB磁盘柜173GB光纤磁盘8822 组 x 4（每组）x 73GB=6424GBHOT SPARE 磁盘222 组 x 4（每组）x 73GB=6424GB指令内存2主机接口卡2Comma nd View XP1不依赖于平台的基于 Web的控制 管理软件LUN Con figuratio n XP1LUN配置、管理软件存储光纤交换机2

46、台：光纤端口24备份数据中心的配置为:部件名称数量说明XP512 1 台：高速数据缓存44 块 x 4GB（每块）=8GB磁盘柜173GB光纤磁盘8822 组 x 4（每组）x 73GB=6424GBHOT SPARE 磁盘222 组 x 4(每组)x 73GB=6424GB指令内存2主机接口卡2Comma nd View XP1不依赖于平台的基于 Web的控制 管理软件LUN Con figuratio n XP1LUN配置、管理软件存储光纤交换机2台：光纤端口245. 5 . 2 XP CA软件容灾原理XP (MCU)RCPXP (RCU)服务器(主)服务器(备)Fiber Cha nne

47、l连接CA磁盘卷组拷贝方向SVPM-VOLR-VOLR-VOLLCPREMOTE CONTROLREMOTE CONTROL(TCP/IP)M-VOLSVP(TCP/IP)(1) CA磁盘卷组CA的磁盘卷组由不同的 XP磁盘阵列装置内或不同 CLUSTER 内命名为M VOL和R- VOL 的2个逻辑磁盘卷构成。在具有 CA磁盘卷组关系后，M VOL被称为主磁盘卷。 M VOL可被读/写。R VOL(远程磁盘卷)被称为副磁盘卷。在 XP磁盘阵列内部的控制装置的作用下， M VOL的内 容和服务器来的写数据被拷贝到 R VOL。CA卷组建立后，R VOL为只读磁盘卷。在一个 XP设备 内部，既可

48、有 M VOL，也可有R VOL。这样可以实现双向的数据境像。(2MCU 和 RCUMCU(主磁盘控制器)和RCU (远程磁盘控制器)分别和M VOL , R VOL相连，MCU控制由 服务器来的写向 MVOL的数据的写操作，还控制M VOL和R VOL之间数据拷贝的操作。 并且提 供CA磁盘卷组的状态和构成的管理。RCU执行由MCU发出的写命令操作。写操作的执行方法和执行服务器来的写操作过程相同。除此 之外，RCU还具有管理一部分 CA磁盘卷组的状态和构成信息的能力。对于任何一个磁盘卷组，都需要定义 MCU/RCU。一个XP设备的磁盘控制装置在控制 M VOL 时，可作为MCU使用，当控制

49、R VOL的时侯，又可作为 RCU使用。(3) 远程备份的连接MCU和RCU之间由专用光纤(ESCON)来连结。当光纤直联，不增加任何设备时，两台XP512之间最远可相隔3KM。在两台XP512之间加入ESCON的延长装置(ESCONDIRECTOR 或REPATER)可使磁盘阵 列间的距离最大延长至 43KM。如果使用E3或ATM远程电信协议，在两台 XP512之间将不会有距 离的限制。加入 ESCON延长装置的连接图如下图所示：通过ESCON光纤通道，MCU和RCU可相互进行数据传送和控制命的传送。在构筑 CA时，考 虑到消除单点故障的引患，两台 XP512之间的ESCON光纤最低需要2根

50、。这样当一根光纤出现意外 不能使用时，利用剩下的一根可完成 MCU和RCU间的通信。不至引起系统数据传输的中断。(4) Remote controlRemote Control可完成CA的构成设定，卷组的状态变更和表示。5. 5 . 3高可靠性方案与高可用性方案的选择当主运用端发生不可恢复的数据损失后，远地备份中心的镜象磁盘卷 R VOL里的数据与数据损失 发生前的主中心磁盘卷 MVOL的一致性往往会决定系统损失大小以及把主应用恢复到正常状态所需时 间。镜象卷组间数据完全一致时，只要将远地备份中心的数据拷回到主运用端起动修复程序便可恢复到正 常业务处理。但是由于数据传输是通过 ESCON及CN

51、T进行，并且路径较远，链路的中断等原因都有可能造成 镜象卷组间数据不完全一致。在镜象卷组失去同步时，主运用端发生不可恢复的数据损失后，将会造成部分数据丢失。当然，链路故障与主运用端同时发生损坏的可能性非常低。基于用户系统是否有优先保证在 任何时候镜象卷组都要一致的需要，CA XP提供两种运行方案：高可靠性方案与高可用性方案。«高可靠性方案：在此方案中，将日志文件和表数据的更新拷贝模式都设为DATA ”。在这种拷贝模式下，在 M V0L和R VOL镜象卷组失去同步前， MCU会据绝服务器对 MVOL发出的写操作并发出写错误信息。 因此，M VOL和R VOL镜象卷组的一致性得到保证。这

52、种模式虽然提供了良好的一致性保证，但是 对应用环境也有较高的要求。当两条 ESCON链路全部断掉或者远地备份中心的 XP512因停电造成运 行中断等偶发性故障发生时， CA XP镜象卷组的M VOL的状态变为 SUSPEND ”，MCU检测出 此状态后为了保证镜象卷组的一致性将禁止M VOL的写操作即有可能中断主运用端应用的正常运行。因此，此方案要求系统具有忍受应用暂时停止的能力。当由于M VOL以外的地方发生故障引起主运用端应用运行的中断时，系统管理员又想继续应用的进行，可以用命令删除 CA XP镜象卷组的逻辑关系 ，使M VOL的状态该变为 SIMPLEX ”，开放 对M VOL的写操作。

53、此后，主运用对M VOL的更新不会被反映到 R VOL端，即镜象卷组失去同 步。镜像失去同步后建议增加对在本地 M VOL的在线BACKUP的频度。高可靠性方案能够保证 MVOL和R VOL严格同步。但即使主运用端不发生故障也有可能造成应用中断。此方案适用于优先磁盘卷组内容一致的系统运用，且此方案要求系统具有忍受应用暂时停止的 能力。«高可用性方案在此方案中，将日志文件与表数据的更新拷贝模式都设为NEVER ”。在这种拷贝模式下建立起来的CA XP镜像卷组即使在光纤或 R VOL故障引起 M VOL和R VOL镜象卷组失去同步后，只要M VOL没有遭到损坏，MCU就不会据绝服务器对

54、M VOL发出的写操作。从服务器端来看，M VOL对R VOL镜象卷的数据更新象在正常进行，服务器的应用也不会被中断。但是实际当光纤链路故 障发生后，对R VOL的更新会被停止，M VOL里被更新的磁道会被标上标记， 并且MCU向服务器 和RETOME CONTROL发出磁盘卷组异常信息的提示。当出现光纤、CNT、远地备份中心 XP512停电等故障时，因为不影响应用的运行，所以没有必要 象DATA ”那样强制中断CA XP卷组。在此期间 M VOL的更新数据会被记录下来。故障修复后， 可用激活命令执行 M VOL更新部分的拷备再同步磁盘卷组。 镜像卷失去同步后建议增加对在本地M VOL的在线BACKUP的频度。此应用方案适用于优先保证主运用的系统和光纤线路状态不太安定的地区。但使用此方案前，必需有一个明确的认识，那就是在恢复 CA XP卷组同 步前，如果主运用端发生不可修复的灾害，将会造成数 据丢失。数据丢失量与 R VOL变为SUSPEND ”的时间有关，即 M VOL停止向R VOL更新的 时间。鉴于XXXX的业务为关键应用，由于一些次要因素的故障如线路故障等停止在线服务会对信誉，业务造成较大损失。因此我们建议用户使用高可用性方案。=:5 . 5 . 4切换步骤向备份中心切换概要：(a)主中心端XP的MCU因为灾难故障