（计算机软件与理论专业论文）自动安全数据备份系统的设计与实现.pdf

上海交通大学硕士学位论文 摘 要 第i页 自动安全数据备份系统的设计与实现 摘摘 要要 现代企业的运作日益依赖于信息技术，信息数据的丢失和损坏将对企 业造成难以估量的损失。毫无疑问，任何以预防为目的的保护措施，无论 其多么全面周到、细致入微，都只能尽量地减少而不是杜绝灾难的发生， 当突发事件和人为、意外所造成的计算机数据的破坏、丢失突如其来的时 候，数据恢复努力的成败就是事关信息系统数据安全与否的最后生死线。 从现阶段来看，采用数据备份系统备份关键数据是解决数据损坏和丢失的 唯一可行的解决方案。 研究国内外数据备份系统的应用现状，可以看到如今的数据备份恢复 软件几乎很少考虑对备份数据采取任何存储安全措施，存在数据存储安全 隐患；同时在远程备份模式下，因在数据恢复的方法中需要本地与远程之 间的频繁交互，故而产生了大量的网络传输，在延长了数据恢复时间的同 时还带来了传输安全隐患。另外，因对备份方式的不同选择而会带来存储 空间问题或恢复时间过长等问题。因此，设计和实现自动、安全、可靠的 数据备份系统有着很高的理论价值和实用价值。 本文设计并实现了一种自动安全数据备份系统，它除了在远程建立数 上海交通大学硕士学位论文 摘 要 第ii页 据备份中心并通过 internet 备份数据并在本地建立本地备份外， 主要是在相 当大程度上改进了数据存储和数据传输方面的安全性问题，同时改善了备 份方式和提高了系统的可用性，具有自动、安全、可靠的特点。自动安全 数据备份系统包括以下几个模块：备份模块、隐藏模块、恢复模块、传输 模块、加密解密模块、一致性验证模块。 具体来说，本文的主要贡献有： 1. 提出并设计了功能完善的自动数据备份系统。提出并设计了功能完善的自动数据备份系统。增加了恢复准备功 能，既可以作为自动的数据备份来使用，又可以在原始数据损坏和丢失时 进行可靠的自动恢复。 2. 设计实现了数据存储安全功能。设计实现了数据存储安全功能。在分析和研究了文件系统后，设计 并实现了关键数据和备份数据的可选择隐藏功能，保障了关键数据和备份 数据的存储安全性。 3. 设计实现了数据可靠传输安全功能。设计实现了数据可靠传输安全功能。采用高效的数据加密策略，结 合一致性验证技术，保障了关键数据在传输过程中的安全性和恢复时的完 整性、可用性。 4. 改进了数据备份方式，设计实现了增量差分数据备份。改进了数据备份方式，设计实现了增量差分数据备份。该种备份方 式结合了增量备份的恢复时间短的优点和差分备份的备份数据量小的优 点，它在最大限度的减少两地数据传输量的同时达到如增量备份一样快速 恢复数据的效果。 总之，该数据备份系统功能强大、安全、可靠，除了能完成现有数据 上海交通大学硕士学位论文 摘 要 第iii页 备份系统的备份、恢复功能外，特别加强了在数据存储安全性和数据传输 安全性方面的考虑，同时设计改善了备份方式，实现了一种自动安全数据 备份系统，具有很高的应用价值和意义。 2006 年 8 月，因该自动安全数据备份系统的创新性，本文作者申请了 名为“计算机网络数据恢复的方法”的国家专利一项。 关键词：关键词： 数据恢复，数据备份，数据存储安全，数据传输安全 上海交通大学硕士学位论文 摘 要 第iv页 auto-secured data backup system abstract the daily operation of modern corporations is now increasingly dependent on information technology. any damage or corruption of data will bring incalculable loss. undoubtedly, any protective measures based on prevention can only reduce but not eliminate the occurrence of disastrous data loss, no matter how comprehensive and detailed these measures might be. when the data become corrupted or lost as a consequence of an emergency, human errors or accidents, data recovery is the last line of defense to ensure information system data security. currently, the utilization of data backup and recovery systems is the only practical solution to address the issue of data damage and loss. research into the current status of national and international data backup and recovery systems reveals that such software almost never applies any storage security procedure on the backed up data. this represents a threat to data 上海交通大学硕士学位论文 摘 要 第v页 storage security. in parallel, under the remote back up mode, large amount of network data transmission occurs due to the need to frequently switch to local and remote servers during data backup. this process not only prolongs data recovery time but is also prone to security breaches during transmission. additionally, varying preference on the methods of backup can lead to other problems such as strain in data storage capacity and unacceptably long recovery time. therefore, the design and implementation of a safe and reliable automated data backup system is of great theoretical and practical value. this paper describes the design and implementation of an automated data security backup system. apart from establishing a remote data backup centre to achieve both internet-based and local data backup, this system considerably improved security procedures during data storage and transmission. this safe and reliable automated system also features enhanced backup methods and user-friendliness. this automated data security backup system consists of the following modules: backup, stealth, recovery, transmission, encryption and verification. specifically, the paper aims to address: 1. the proposal and design of a fully functional data backup and recovery system. it can be used both as a backup system and as a reliable automated 上海交通大学硕士学位论文 摘 要 第vi页 recovery system in the event of data damage or loss. 2. the design and implementation of secure data storage function. after careful analysis and research into file systems, the design and implementation of optional stealth function on crucial and backed up data ensures the safety of these data. 3. the design and implementation of secure data transmission function. a highly efficient encryption strategy combined with verification technologies provides security during transmission, as well as integrity and usability during data recovery. 4. the improvement in data backup method and the design and implementation of differential increment data backup. this method features the short recover time of increment backup and the characteristic small data size of differential backup. it rivals differential backup in terms of speed in data recovery, while minimizing data transmission between the local and the remote servers. in summary, this data backup and recovery system is powerful, secure and reliable. in addition to performing routine functions such as data backup and recovery, this system features enhanced data storage and transmission security 上海交通大学硕士学位论文 摘 要 第vii页 and an improved data backup method. this automated data backup and recovery system is of immense practical significance and value. considering the novelty of this automated data backup and recovery system, the author applied for a national patent titled “a method of computer network data recovery” in august 2006. key words：key words： data recovery， data backup， data storage security, data transmission security 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明a 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：t 委而夕：_ f 日期：d 舻7 年月台曰 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密眦 ( 请在以卜方框内打“j ”) 学位论文作者签名：屡了 指导教师签名 日期：。f 月舌日日期：跏7 年 上海交通大学硕士学位论文 第一章 绪论 第 1 页 第一章 绪论第一章 绪论 1.1 课题背景课题背景 现代企业的运作日益依赖于信息技术， 很多个人、 企业、 政府将大量重要信息存储在计算机上， 一旦这些信息数据丢失或损坏，将造成难以估量的损失。毫无疑问，任何以预防为目的的保护措施， 无论其多么全面周到、细致入微，都只能尽量地减少而不是杜绝灾难的发生，当突发事件和人为、 意外所造成的计算机数据的破坏、丢失突如其来的时候，数据恢复努力的成败就是事关信息系统数 据安全与否的最后生死线 1,2。 从现阶段来看，采用数据备份系统备份关键数据是解决数据损坏和丢失的唯一可行的解决方 案。数据备份系统包含数据存储、数据备份和高可用技术，是各种技术的综合应用，并且因用户需 求的不同和使用环境的不同而有不同的解决方案。 目前，数据备份系统的研究和产品还主要集中在国外，如 ibm、veritas、emc 等国际知名的 大公司都有自己研制的数据备份系统。研究国内外数据备份系统的应用现状，可以看到如今的数据 备份恢复软件几乎很少考虑对备份数据采取任何存储安全措施，存在数据存储安全隐患；同时在远 程备份模式下，因在数据恢复的方法中需要本地与远程之间的频繁交互，故而产生了大量的网络传 输，在延长了数据恢复时间的同时还带来了传输安全隐患。另外，因对备份方式的不同选择而会带 来存储空间问题或恢复时间过长等问题。因此，设计和实现自动、安全、可靠的数据备份系统有着 很高的理论价值和实用价值 3。 本课题是邹恒明博士主持的上海交通大学高可靠实验室的众多课题之一， 高可靠实验室长期致 力于高可靠软件系统、灾难恢复系统、计算机网络与安全等领域的理论与技术的研究，研制成功高 可靠软件系统、自动安全数据备份系统等多个产品。这些产品的研发成功标志着我们在灾难恢复理 论以及应用的研究上都取得了重要的进展，不仅具有大的理论意义，同时具有广阔的应用前景。 上海交通大学硕士学位论文 第一章 绪论 第 2 页 1.2 现有备份技术的研究现状与进展现有备份技术的研究现状与进展 1.2.1 国外数据备份恢复技术的发展及现状国外数据备份恢复技术的发展及现状 数据备份系统是多种存储、备份和传输技术的综合解决方案 4,5。 服务器数据存储经过了三个发展阶段：直接外挂存储（das） 、存储区域网络（san） 、网络附加 存储（nas） 。das 是在以 cpu 为中心的计算为主的时代的产物，适应于最初计算机工业的发展，而 对于 san 和 nas，其技术上最大的区别在于是采用专门的协议还是现有的 ip 技术，以及数据共享等 问题的分别考虑，san 的优势在于最初解决网络带宽问题的考虑，而 nas 更侧重于通用性和数据共 享的考虑 6。 数据备份方式主要有：完全备份、增量备份和差分备份。完全备份是指拷贝指定的备份对象的 所有内容，这种备份会以一定的格式将数据及文件属性完整的保留在备份存储设备上。这种备份所 需时间最长但恢复时间最短且操作方便。增量备份每次所备份的数据只是相当于上一次备份后增加 的和修改过的数据，这种备份的优势在于没有重复的备份数据，从而节省磁带空间并缩短了备份时 间；它的不足在于恢复数据比较麻烦。差分备份就是每次备份的数据是相对于上一次全备份之后新 增加的和修改过的数据，这种备份结合了以上两种备份的优点，不但备份时间较短而且恢复数据较 容易；它的不足在于没有修改的历史记录 7,8,9。 目前国外几家在存储和数据备份恢复领域处于领导地位的知名 it 企业都有各自的存储备份技 术和数据恢复系统产品。比如、emc 公司的 srdf 使用同步复制技术；ibm 的 ess 的 pppc 使用了远程 拷贝和扩展远程拷贝技术；veritas 的 replication manager 的数据复制技术。而这些容灾系统运 行在存储区域网络 san 平台上，造价昂贵，一般只在电信、银行等行业使用 10，一般的企业根本无 法承受。不久前，emc 推出了部门级数据备份系统，其它公司也已将目光投向性能价格比高、价位 低且更智能化、个性化的数据备份恢复方案。 1.2.1 国内数据备份恢复技术的发展及现状国内数据备份恢复技术的发展及现状 在国内，虽然金融、电信等 it 应用较高的行业已经打下一定的数据备份恢复基础，但整体而 言，数据备份恢复的重要性才刚刚提上讨论的日程。很多中小型企事业单位没有意识到数据备份恢 复的意义而且也根本无力承担建立和维护数据备份系统所需的先进技术及高昂费用，故而一旦灾难 发生将造成严重的损失。 上海交通大学硕士学位论文 第一章 绪论 第 3 页 除了国际反恐的大形势，2003 年的 sars 是一个转折点，当时很多机构都遣散员工在家休无限 期的长假，造成业务中断。这段恐慌没有延续太久，但是改变了我们以往对 it 容灾想当然的看法 11,12。 实际上灾难的冲击并不局限于消防、 电力、 治安等等对数据载体的“物理”破坏。 这些“固定” 的信息只是一个恢复的基础，对于企业真正有价值的是信息循环往复的流动。在 sars 中，机构并没 有发生直接的物质损失，办公室毫发无伤，只是没有人在工作，结果和那些“物理”破坏的效果并 无分别。吸取这个教训，在 sars 之后，众多机构，特别是政府启动了应急预案的规划和操练 13,14。 国内商业环境的成熟则对企业 it 容灾的发展有着潜移默化的影响。如今，政府加强了对企业 it 容灾的推动力度。特定的行业监管机构，如银监会、证监会早已将容灾的精神包含在风险控制的 相关规章中， 而国信办也专门发布了一个指导性文件， 要求商业和行政机构长久之计， 居安思危 15,16。 1.3 论文的主要工作和结构论文的主要工作和结构 1.3.1 论文的主要工作论文的主要工作 本文设计并实现了一种自动安全数据备份系统，它除了在远程建立数据备份中心并通过 internet 备份数据并在本地建立本地备份外，主要是增加了恢复准备功能，同时在相当大程度上改 进了数据存储和数据传输方面的安全性问题，此外，还改善了备份方式和提高了系统的可用性，具 有自动、安全、可靠的特点。 具体来说，本文的主要贡献有： 具体来说，本文的主要贡献有： 1. 提出并设计了功能完善的自动数据备份系统。增加了恢复准备功能，既可以作为自动的数 据备份来使用，又可以在原始数据损坏和丢失时进行可靠的自动恢复。 2. 设计了数据存储安全功能。在分析和研究了文件系统后，设计了关键数据和备份数据的可 选择隐藏功能，保障了关键数据和备份数据的存储安全性。 3. 设计了数据可靠传输安全功能。采用高效的数据加密策略，结合一致性验证技术，保障了 关键数据在传输过程中的安全性和恢复时的完整性、可用性。 4. 改进了数据备份方式，设计了增量差分数据备份。该种备份方式结合了差分备份的恢复时 间短的优点和增量备份的备份数据量小的优点，它在最大限度的减少两地数据传输量的同时达到如 上海交通大学硕士学位论文 第一章 绪论 第 4 页 差分备份一样快速恢复数据的效果。 自动安全数据备份系统在技术上取得了如下重大突破： 自动安全数据备份系统在技术上取得了如下重大突破： 1. 在互联网上建立了功能完善的具有自动恢复准备的数据备份系统，大大提高了数据正确恢 复的可能性、缩减了数据恢复的等待响应时间，同时降低了建立数据备份系统的费用。 2. 设计了关键数据和备份数据的可选择隐藏功能，保障了关键数据和备份数据的存储安全性。 3. 改进了数据备份方式，设计了增量差分数据备份。该种备份方式仅仅传输两地文件不一致 的部分数据，从而大大减少了传输的数据量，缩短了两地数据同步所需时间。 本人的研究内容主要在于系统的整体设计和恢复子系统的实现。 隐藏子系统及备份子系统的实 现和最终的系统性能测试由项目组中其他同学完成。 2006 年 8 月，因该自动安全数据备份系统的创新性，本文作者申请了名为“计算机网络数据恢 复的方法”的国家专利一项。 1.3.2 论文结构论文结构 本文主要论述数据备份系统的设计和具体实现，并介绍了其相关理论及技术，论文结构如下： 第一章，（即本章）讲述课题背景、来源，国内外研究发展和现状及本文工作。 第二章，介绍现有备份技术基础知识和应用。 第三章，提出数据备份系统的总体设计，以及每一个子系统的功能描述和模块设计。 第四章，给出数据备份子系统的具体实现，工作流程和主要函数。 第五章，对全文的总结。 1.4 本章小结本章小结 现代企业的运作日益依赖于信息技术。信息已经成为公司拥有的最有价值的资产，这些数据的 丢失和损坏将对企业造成难以估量的损失。从现阶段来看，采用数据备份系统备份关键数据是解决 数据损坏和丢失的唯一可行的解决方案。研究国内外数据备份系统的应用现状发现，如何克服现有 技术中的不足，提供一种计算机网络数据恢复的方法，使其能解决现有技术不能同时满足对恢复时 上海交通大学硕士学位论文 第一章 绪论 第 5 页 间要求、存储空间要求、数据存储传输安全性要求及正确恢复数据使之可用等诸多要求下进行数据 恢复的技术问题，这样的自动、安全、可靠的数据备份系统有着很高的理论价值和实用价值。 yb7 上海交通大学硕士学位论文 第二章 数据备份系统相关基础知识 第 6 页 第二章 数据备份系统相关基础知识第二章 数据备份系统相关基础知识 2.1 数据备份系统的基本原理数据备份系统的基本原理 2.1.1 数据备份系统的定义与分类数据备份系统的定义与分类 数据备份系统，也称为容灾系统或灾难恢复系统，就是通过特定的数据备份恢复机制，能够在 各种数据损坏发生后，仍然能够最大限度的保障数据可用性的计算机信息系统 17,18,19。 数据备份系统按照所保障内容分类，可以分为数据级和应用级数据备份系统。数据级数据备份 系统需要保证用户数据的完整性、可靠性和安全性，而并不能保障正确恢复与数据相关的服务、设 置和系统状态。应用级数据备份系统能够在数据损坏发生后，透明地毫无察觉的正确恢复到备份时 的服务、设置和系统状态，保证信息系统提供的服务完整、可靠、安全 20。 数据备份系统按照数据备份恢复功能实现的距离远近， 又可以分为远程备份恢复系统和本地备 份恢复系统。远程应用级数据备份系统是指距离较远的，能够在数据损坏发生后，透明地毫无察觉 的正确恢复到备份时的服务、设置和系统状态的计算机信息系统，它不仅是数据的动态备份系统， 也是应用的动态备份系统，是最能经受灾难考验和最具战略价值的数据备份系统，也是实现难度最 大的数据备份系统 21,22。 远程数据备份是指通过在远程建立和维护一个备份存储系统， 利用地理上的分离来加强系统和 数据对数据损坏事件的抵御能力 23。根据数据备份系统对数据损坏事件的抵抗程度，可分为数据备 份恢复和应用备份恢复。数据备份恢复是指建立一个对本地关键数据备份的远程数据系统，当本地 发生数据损坏时，从远程备份获取备份数据从而迅速恢复数据到本地。应用备份恢复的层次更高， 它在异地建立一套完整的、与本地数据系统相当的备份应用系统，当本地发生数据损坏时，可以代 替本地信息系统运行。 2.1.2 数据备份系统的体系架构数据备份系统的体系架构 一个完整的数据备份系统应该有以下几个部分组成： 上海交通大学硕士学位论文 第二章 数据备份系统相关基础知识 第 7 页 本地的备份系统。用于追踪关键数据，确保备份数据与关键数据的及时同步更新，并确保本地 关键数据发生损坏时能最快速的恢复数据 24。 数据安全机制。用于保障关键数据及其备份的安全性。 数据远程备份系统。用于自动备份数据并保证本地数据和远程备份数据的数据一致性。 数据恢复处理系统。在数据损坏发生时，实现备份数据的恢复。 其中，数据的远程备份技术是数据备份系统的核心技术，是保证数据损坏时能及时正确恢复数 据的关键。数据备份技术存在两种主流模式 25,26： 硬件数据备份技术； 软件数据备份技术。 硬件数据备份技术是指通过专线实现磁盘存储设备之间的数据交换， 由存储系统的专用硬件控 制实现。备份时主机开销较小，但磁盘开销大，传输距离有限。 软件数据备份技术是指通过备份软件进行系统逻辑卷的备份。 数据可以通过互联网传输实现备 份。软件备份方式传输距离长，存储设备开放，但对主机的开销较大。 数据备份的方式 27,28,29主要有： 同步方式； 异步方式。 同步数据备份方式是指通过数据备份恢复软件（或硬件系统）将本地生成的数据以完全同步的 方式备份到远程，每一本地 i/o 事务均需要等待远程备份操作完成后方予释放。这种方式的远程数 据和本地数据完全同步，但本地数据处理过程受网络环境影响较大，本地 i/o 访问效率下降，远程 网络故障后的恢复机制复杂 30。 异步数据备份方式是指通过数据备份恢复软件（或硬件系统）将本地生成的数据以后台同步的 方式拷贝到异地，它不影响本地的数据操作，受网络环境影响较小，在软件备份方式中被广泛采用 31。 一个典型的数据备份系统包括三个部分：本地备份系统、远程备份系统和两地间的传输连接 上海交通大学硕士学位论文 第二章 数据备份系统相关基础知识 第 8 页 32,33。其拓扑结构图如图 2-1 所示。 加密 交换机 网关 交换机 远程网关 本地 数据 本地 备份 internet 远程 备份 远程 应用 解密 图 2-1 数据备份系统拓扑结构图 fig.2-1 structure graph of data backup system 2.2 数据备份相关知识数据备份相关知识 2.2.1 数据备份重要性及两种主要的数据复制模式数据备份重要性及两种主要的数据复制模式 虽然， 数据的存储备份在多年前就已经诞生并得到应用， 但直到 9.11 事件造成有大量的公司因 为数据的毁灭而损失惨重之后， 数据的重要性和保护问题才引起 it 业界的广泛重视。 网络存储近几 年发展迅速，远程异地备份因其能保证当某一服务器受到损害之后，存储于数据中心的数据能迅速 得到恢复而成为企业首选的备份方案 34,35。 但是数据远程异地存储备份无疑对数据的安全性带来了威胁：无论是传输过程中数据的泄漏或 对备份文件的恶意篡改都将使备份数据变得不完整或不可用。 基于磁盘系统的远程数据备份技术是以磁盘系统为基础，利用磁盘控制器提供的功能，采用磁 盘镜像技术在物理磁盘卷级上实现两地磁盘机之间数据的复制 36。这种方式独立于主机和主机操作 系统，不占用主机 cpu、主机通道和网络资源，对应用透明，不需要对现有应用系统做任何改动和 上海交通大学硕士学位论文 第二章 数据备份系统相关基础知识 第 9 页 变化。为在保证数据的即时性、完整性和系统性能之间的平衡，基于磁盘系统的远程数据备份主要 有两种工作方式 37,38,39： 同步数据复制模式：同步数据复制模式：来自处理器的更新数据在被写入本地连接的磁盘系统之前，通过磁盘镜像 技术，将更新数据转发至异地的磁盘系统，只有更新数据在两个磁盘系统完成写操作后，本地磁盘 系统才会向处理器返回一些写完成指令，从而确保了两地磁盘系统数据的一致性和完整性，无数据 丢失。在同步数据复制模式下，应用系统会因等待写 i/o 操作完成而被延迟。 异步数据复制模式：异步数据复制模式：来自处理器的更新数据首先被写入本地连接的磁盘系统，并立即向处理器 返回一个 i/o 写完成指示， 其后磁盘镜像系统在很短的时间内， 将更新数据发送至异地的磁盘系统。 异步数据复制模式对应用程序性能影响最小，但远程磁盘系统的数据和本地磁盘系统相比有一个延 迟。 2.2.2 几种不同备份方式及优缺点比较几种不同备份方式及优缺点比较 现有数据备份方式主要分为三种 40,41,42： 1.全备份1.全备份（ full backup） 所谓全备份，就是在每个备份时间点都需要对整个备份文件所有的档案资料进行完全备份，每 次都生成一份所有数据的拷贝。例如，星期一用一盘磁带对整个系统进行备份，星期二再用另一盘 磁带对整个系统进行备份，依此类推。这种备份方式的特点和好处就是备份的数据最全面、最完整： 当发生数据丢失的灾难时，只要用一盘磁带（即灾难发生前一天的备份磁带） ，就可以恢复丢失的数 据。然而它亦有不足之处，首先，由于每天都对整个系统进行完全备份，占用大量的存储空间并且 造成备份的数据大量重复。这些重复的数据占用了大量的磁带空间，这对用户来说就意味着增加成 本。其次，由于需要备份的数据量较大，因此备份消耗的时间过长。如果每天进行这种全备份，则 在备份数据中会有大量内容是完全重复的，这些重复的数据占用了大量的磁带空间，这对用户来说 就意味着增加成本。对于那些业务繁忙、备份时间有限的单位来说，选择这种备份策略是不明智的。 2.增量备份2.增量备份 (incremental backup) 增量备份指在完全备份的基础上每个备份时间点都只备份上一次备份以来更新的数据 （增量数 据） ， 当需要恢复至某一备份时间点 a 时系统要从该时间点之前最近一次的完全备份开始恢复， 然后 依次恢复每一次增量数据直至时间点 a 的增量数据被恢复才算完成所有数据的恢复。例如，星期天 进行一次完全备份，然后在接下来的六天里只对当天新的或被修改过的数据进行备份。这种备份策 上海交通大学硕士学位论文 第二章 数据备份系统相关基础知识 第 10 页 略的优点很明显：没有重复的备份数据，数据的提取量最小，节省磁带空间，又缩短了备份时间。 但是它的缺点在于，当灾难发生时，恢复步骤较为繁琐，且每份备份文件都依赖之前的所有备份， 其中一份文件损坏都会造成之后备份的所有文件失效。例如，系统在星期三的早晨发生故障，丢失 了大量的数据，那么现在就要将系统恢复到星期二晚上时的状态。这时系统管理员就要首先找出星 期天的那盘完全备份磁带进行系统恢复，然后再找出星期一的磁带来恢复星期一的数据，然后找出 星期二的磁带来恢复星期二的数据。很明显，这种方式很繁琐。另外，这种备份的可靠性也很差。 在这种备份方式下，各盘磁带间的关系就像链子一样，一环套一环，其中任何一盘磁带出了问题都 会导致整条链子脱节。比如在上例中，若星期二的磁带出了故障，那么管理员最多只能将系统恢复 到星期一晚上时的状态。 3.差分备份3.差分备份 (differential backup) 差分备份是在完全备份的基础上每个备份时间点都只备份每个数据文件较上次完全备份所更 新的部分 （差分数据） ， 当需要恢复至某一备份时间点 a 时系统先恢复该时间点之前最近一次的完全 备份，然后再恢复时间点 a 的差分数据即可完成所有数据的恢复。例如，管理员先在星期天进行一 次系统完全备份，然后在接下来的几天里，管理员再将当天所有与星期天不同的数据（新的或修改 过的）备份到磁带上。差分备份策略在避免了以上两种策略的部分缺陷，具有明显的优点：首先， 它无需每天都对系统做完全备份，因此备份所需时间短，并节省了磁带空间，其次，恢复步骤比较 简单。系统管理员只需两盘磁带，即星期一磁带与灾难发生前一天的磁带，就可以将系统恢复。差 分备份的缺点在于：每次备份时的差分数据可能包含大量相同数据，提取差分数据时可能进行重复 数据的提取工作。 在实际应用中，备份策略通常是以上三种的结合。例如每周一至周六进行一次增量备份或差分 备份，每周日进行全备份，每月底进行一次全备份，每年底进行一次全备份。 在实际应用的以上三种方法还存在以下缺陷 43,44： （1） 已知的备份方法都依赖于完全备份，而对于需要备份数据量较大的用户，经常的进行完 全备份需要花费大量时间而且往往需要暂停系统工作来保证备份前后的数据一致性，因而导致用户 无法正常使用系统而遭受大量损失。 （2） 当用户需要进行数据的远程备份时，按照已知的备份方法备份系统要对备份数据的整个 文件进行传输，当文件较大时备份系统对网络资源的消耗过大造成整个系统的网络堵塞使得系统备 份效率极低，而且大数据量的传输增大了数据丢失的概率。 上海交通大学硕士学位论文 第二章 数据备份系统相关基础知识 第 11 页 2.3 数据备份恢复方案常用技术数据备份恢复方案常用技术 磁带备份 磁带备份 磁带备份是用磁带机的磁带对系统运行数据进行备份 45。由于磁带的成本低，容量大，所以应 用比较广泛，一盘磁带的容量可以有 10g、20g、40g 等不同容量，而成本较其他设备材料便宜。但 磁带备份却有另外一个明显的缺点：读写数据速度慢，甚至不到硬盘速度的 1/10。 磁带备份的数据分为系统数据备份、应用数据备份。其中系统数据备份是对主机系统的系统数 据进行的备份，由于系统数据的变化较少，通常备份不会太频繁，故采用全备份，一般为一个季度 一次。而应用数据的备份则相对较为频繁，对于重要的数据每天都要进行备份，如企业要对当天的 业务数据进行备份。为了减少每次备份的数据量，常用的办法是每天进行增量备份或差分备份，即 对每天更新部分的数据进行备份。每周或更长间隔的时间再对数据进行一次全备份。这样就能保证 在关键数据受损时，将损失的数据控制在一天内。 磁带备份的存储一般是进行异地专门存储，以此来保证系统和备份磁带数据不会同时受损，从 而保证备份数据的可用性。 设计磁带存储方案一般需要考虑存储系统的工作量和完成备份时间， 通常将磁带备份技术分为 三类 46：即桌面备份方案、中型备份方案（中型企业用户）和企业级备份方案（大型企业用户） 。 其中桌面备份即为单机数据系统， 使用最多的主要有 dc2000 技术； 中型备份方案属于工作组级数据 备份，使用较多的主要有 exabyte 的 8mm 和 dat 技术；而企业级备份方案主要涉及数据系统和主机 数据备份， 使用较为普通的是 ibm 的 3480/3490/3590 和各种 1/2 英寸的 9/18/36 轨磁带技术。 各类 存储系统对数据量和数据安全的要求区别较大，设计要求不同，相应在相匹配的磁带备份系统的价 格及性能上有较大差异。 磁盘镜像与双工 磁盘镜像与双工 磁盘镜像一直是存储管理的基础。 实现镜像化磁盘的根本原因在于， 当一个磁盘驱动器失败时， 系统能够依旧保持数据的可访问能力。 简单地讲，磁盘镜像就是一个原始的设备虚拟技术，它的原理是 47：系统产生的每个 i/o 操作 都在两个磁盘上执行，而两个磁盘看起来就像一个磁盘一样。精确地说，镜像磁盘的访问并不是同 时的，一个驱动器通常在另一个之前运行，它们通常是按照有序的方式管理，其中，一个磁盘称为 主磁盘，另一个称为从属磁盘。一般在开始磁盘镜像配置时，确定磁盘的主次，按照这个有序访问 上海交通大学硕士学位论文 第二章 数据备份系统相关基础知识 第 12 页 计划，数据首先被发送到主磁盘，然后被发送到从属磁盘。 磁盘镜像和磁盘双工的主要区别是磁盘镜像的主从磁盘共用一个磁盘控制器， 而磁盘双工的主 从磁盘有各自的磁盘控制器，他们独立完成自己的工作，实现磁盘控制器的冗余备份。次盘作为主 盘的镜像工作。当将数据块写入时，写到两个盘上；当读出数据块时，读命令发送到两盘上。最快 的盘读出响应作为要使用的数据块。如果主盘失效，次盘接替。当主盘修理恢复正常工作后，次盘 信息传送到主盘。如果盘控制器失效，连到同一控制器上的次盘也就不能使用。磁盘双工则克服这 种缺点，磁盘双工的主盘和次盘分别连到各自的盘控制器上独立地完成工作。 raid 技术 近年来，硬盘无论在容量、存取速度还是可靠性方面都得到了很大提高，然而这一提高还是跟 不上处理器的发展要求，使得硬盘仍然成为计算机系统中的一个瓶颈。为了解决应用系统对磁盘高 速存取的要求，人们采取了多种措施。1988 年，美国加州大学伯克利分校的 d.a.patterson 教授提 出的廉价冗余磁盘陈列（redundant array of inexpensive disks，简称 raid）就是其中一种 48。 raid 将普通硬盘组成一个磁盘阵列，在主机写入数据，raid 控制器把主机要写入的数据分解 为多个数据块，然后并行写入磁盘阵列；主机读取数据时，raid 控制器并行读取分散在磁盘阵列中 各个硬盘上的数据，把它们重新组合后提供给主机。由于采用并行读写操作，从而提高了存储系统 的存取速度。根据 raid 所采用的方法不同，可以将其分为 raid0、raid1、raid5、raid01、raid1 0 等不同技术。 在探讨各个 raid level 之前，我们先看看形成磁盘阵列的两个基本技术： 磁盘延伸（disk spanning） ：它是由一个磁盘阵列控制器同时连接四个磁盘。这四个磁盘形成 一个阵列（array） ，而磁盘阵列的控制器（raid controller）是将此四个磁盘视为单一的逻辑磁盘， 即是把小容量的磁盘延伸为大容量的单一磁盘，用户不必规划数据在各磁盘的分布，而且提高了磁 盘空间的使用率。磁盘阵列更可连接几十个磁盘，形成数百 gb 至数百 tb 的阵列，使磁盘容量几乎 可作无限的延伸；而各个磁盘一起作存取的操作，比单一磁盘速度更快。很明显的，有此阵列的形 成而产生 raid 的各种技术。 而关于 inexpensive， 则是因为四个 250mbbytes 的磁盘比一个 1gbytes 的磁盘要便宜，尤其以前大磁盘的价格非常昂贵，但在磁盘越来越便宜的今天，inexpensive 虽然 已非磁盘阵列的重点，但是对于需要大磁盘容量的系统，仍是考虑的要点之一。 因为磁盘阵列是将同一阵列的多个磁盘视为单一的虚拟磁盘（virtual disk） ，所以其数据是 以分段（block or segment）的方式顺序存放在磁盘阵列中，数据按需要分段，从第一个磁盘开始 上海交通大学硕士学位论文 第二章 数据备份系统相关基础知识 第 13 页 放，放到最后一个磁盘再回到第一个磁盘放起，直到数据分布完毕。至于分段的大小则视系统而定， 有的系统以 1kb 最有效率，有的以 4kb，也有以 6kb，甚至是 4mb 或 8mb 的，但因为磁盘的读写是以 一个扇区为单位，若数据小于 512byte，系统读取该扇区后，还要做组合或分组的动作，这会降低 读写效率，故而除非数据小于一个扇区，否则其分段应是 512byte 的倍数。数据分段策略使得输的 存取有最好的效率， 因为本来第一个包含若干个分段的数据所需要的时间 t(磁盘的 access time + 数据的 transfer time)*（分段数） 次。现在只要 t/（分段数）次就可以完成。 hot spare hot spare 技术也叫磁盘热备份，就是在磁盘阵列的一组磁盘中设置一个硬盘作为热备份盘， 当系统检测到此组磁盘中有一个磁盘出现故障而不可用时，系统自动用热备份盘接替故障盘进行处 理，以此来保证系统的可用性 49。通常 hot spare 技术需要热插拔技术作为基础，即系统在撤换故 障磁盘时不需要停机。同时，hot spaer 技术一般都是和其他数据保护机制联合起来使用，因为如 果没有采用其他数据保护机制，一旦磁盘出现故障，hot 磁盘接替故障磁盘运行，但却无法恢复故 障磁盘的数据。例如：hot spare 技术和 crc 校验机制或 md5 一致性验证机制结合起来使用，当主 磁盘或镜像磁盘出现故障时，hot 磁盘将接替故障磁盘，系统会自动把正常磁盘上的数据完全拷贝 到 hot 磁盘上。 双机热备 双机热备 双机热备是指两台主机同时运行， 其中一台主机对另一台主机起热备份作用或两台主机之间相 互备份，当其中一台主机发生故障时，另一台主机接替其工作，从而保证系统业务的连续性。同时 数据分别保存在两台主机中，也起到数据的备份作用。 双机热备份系统一般采用“心跳”方法保持主系统与备份系统的联系 50。所谓“心跳”方法， 是指主系统与备份系统之间，相互按照一定的间隔发送通讯信号，表面系统目前的运行状态。一旦 “心跳”信号明白主机系统发生故障，或者一定时间内备用系统接收主机系统“心跳”信号失败， 则系统的管理软件认为主机系统发生故障，主机停止工作，并将系统资源转移到备用系统上，备用 系统随时替代主机发挥作用，以保证系统正常运行。 从发现故障开始一直到接管工作，所需时间视当时服务器的运行状况不同而不同，在极短的时 间之内就能够使备份服务器正常投入工作。待主机修复后，再将所有已切换至从机的主机资源切换 回主机，并且被保护的卷上的所有数据自动恢复至主机。 服务器双机热备形式通常为激活/备份模式（active/standy） ，在此模式下，由于备份机在正 上海交通大学硕士学位论文 第二章 数据备份系统相关基础知识 第 14 页 常状态下不运行任何数据库服务， 这样可以保证在最短的时间内完成切换。 也可以为激活/激活模式 （active/active） ，