数据保护概述(1.5)

1、1数据保护数据保护数据信息的可用性数据信息的可用性( (Availability) )% Uptime% DowntimeDowntime per YearDowntime per Week98%2%7.3 days3hrs 22 min99%1%3.65 days1 hr 41 min99.8%0.2%17 hrs 31 min20 min 10 sec99.9%0.1%8 hrs 45 min10 min 5 sec99.99%0.01%52.5 min1 min99.999%0.001%5.25 min6 sec99.9999%0.0001%31.5 sec0.6 secMillions

2、 of US Dollars per Hour in Lost RevenueMillions of US Dollars per Hour in Lost Revenue6.56.53.63.62.82.82.62.62.02.01.61.61.61.61.51.51.31.31.21.21.11.1Retail brokerageRetail brokeragePoint of salePoint of saleEnergyEnergyCredit card sales authorizationCredit card sales authorizationTelecommunicatio

3、nsTelecommunicationsCall locationCall locationManufacturingManufacturingFinancial institutionsFinancial institutionsInformation technologyInformation technologyInsuranceInsuranceRetailRetailSource Meta Group, 2005数据丢失的原因数据丢失的原因 用户误操作用户误操作 系统错误系统错误 电力电力故障故障 灾难事故灾难事故 介质故障介质故障数据丢失原因统计数据丢失原因统计人为错误应用软件故障

4、计算机病毒场地灾害系统硬件故障32%44%3%7%14%RAID, 集群以及本地远程数据镜像唯一方式是采用远程数据复制或离线数据备份及介质异地存放软件投产前在本地的数据拷贝上进行测试source: Ontrack, a data availability service provider隔离的，实时的数据复制6建立容灾高可用环境的必要性建立容灾高可用环境的必要性 降低关键业务运行风险 最大限度地保护业务数据的实时性，完整性和一致性 增强数据中心的可用性和业务规划的灵活性 增强企业的核心竞争能力部分灾难大事记1993年，世贸中心大楼发生爆炸，爆炸前，约有350家企业在该楼中工作。1年后，再回到世

5、贸大楼的公司变成了150家，有200家企业由于无法存取重要的信息系统而倒闭、消失。1995年1月，日本阪神大地震，摧毁了1700多套计算机系统。1999年6月，美国一家著名的商业交易网站的主机宕机，由于24小时内未能恢复访问，事件发生的两个星期后，该公司的股票值下跌了36%。在我国台湾地区，直到1999年大地震之前，各公司对灾害防备都不重视，地震发生后，由于关键业务中断为很多公司带来了损失。“911”事件中，由于有1993年爆炸的前车之鉴，在世贸大楼内的一些公司建起了自己的容灾系统，因此，当灾难再次降临时，有一批公司仍可及时地通过自己的容灾系统很快恢复营业。7数据保护的基本原则 信息冗余设备级

6、 RAID1 RAID3、RAID4、RAID5 系统级 备份（本地、远程） 快照 连续数据保护 信息冗余空间上 RAID1 RAID3、RAID4、RAID5 软件镜像时间上 备份（本地、远程） 快照 连续数据保护名词术语名词术语 RPO-Recovery Point Objectives 恢复点目恢复点目标标（指能把数据恢复到过去的那一个时间点 ） RTO- Recovery Time Objectives 恢复时间恢复时间目标目标（指在出现问题后“什么时候”可以恢复数据 ） Data Replication 数据复制数据复制（将数据拷贝到另外一个或多个不同的物理站点上，从而保持源数据与目

7、标数据的一致性。分同步、异步复制 ） CDP (Continuous Data Protect) 持续数据保护Tape Tape BackupBackupPeriodic Periodic ReplicationReplicationRecovery Point Objective (RPO)WksDaysHrsMins SecsRecovery PointRecovery TimeRecovery PointRecovery TimeTape Tape BackupBackupPeriodic Periodic ReplicationReplicationAsynchronous Async

8、hronous ReplicationReplicationAsynchronous Asynchronous ReplicationReplicationSynchronous Synchronous ReplicationReplicationSynchronous Synchronous ReplicationReplicationSecsMinsHrs Days WksRecovery Point Objective (RPO) is the point in time to which systems and data must be recovered after an outag

9、e. This defines the amount of data loss a business can endure. Different business units within an organization may have varying RPOs.Recovery Time Objective (RTO)Recovery Time includes:Recovery Time includes:Fault detectionRecovering dataBringing apps back onlineRecovery Time Objective (RTO) is the

10、period of time within which systems, applications, or functions must be recovered after an outage. This defines the amount of downtime that a business can endure, and survive. Global Global ClusterClusterWksDaysHrsMins SecsSecsMinsHrs Days WksRecovery PointRecovery TimeRecovery PointRecovery TimeGlo

11、bal Global ClusterClusterManual Manual MigrationMigrationTape RestoreTape RestoreTape RestoreTape Restore传统数据保护方案备份与恢复：备份与恢复：低廉低廉费时、费力费时、费力安全性？安全性？13介质变革：磁盘 vs. 磁带磁带离线顺序访问容量大速度慢价格低磁盘在线随机访问容量速度快价格更适宜构建系统一种常用的数据保护技术 快照（snapshot）15为什么“快照”？（1/2） 1K、1M、1G、1T我们是否愿意等待？ 可否不停机进行备份？漏备、错备、多备 “快快”：解决批量数据备份中的长时间

12、窗口问题； “照照”：至少在逻辑上生成独立冗余数据，解决硬件故障以外的本地数据保护问题；16快照技术快照技术的提出最初主要用于备份，在以前要备份某个时刻的数据，需采用一种叫分离镜像的方式（远程镜像或是本地镜像），这种方式需要占用一块和主卷相同容量大小的卷作为镜像卷，并且需要停掉主机IO一段时间（分离主卷与镜像卷），具体的步骤如下：1，如果某个时刻想要对整个镜像卷进行备份，需要停止读写主卷的应用，然后分离主卷和镜像卷。2，拆分之后，主卷恢复上层IO（整个停机时间不会很长，如果不采用镜像卷，会有很长的停机时间，损失过大），之后主卷的读写不再跟镜像卷关联。此时的镜像卷保持停止IO那一时刻原卷数据的完

13、整镜像，此时可以使用备份软件，将镜像卷上的数据，被分到其他介质。3，拆分镜像后，主卷的所有IO回以bitmap的方式记录下来。Bitmap每一位表示卷上的一个块。带备份完成后，恢复镜像，镜像卷的数据需要重新同步，程序搜索bitmap中所有为1的块，如果镜像卷上对应的块尚未写入，则同步两个卷。 17 为什么使用这么复杂的方式备份，到了每个时间点需要备为什么使用这么复杂的方式备份，到了每个时间点需要备份，直接份，直接copy不行吗不行吗？ 1， 备份的时候，如果停掉主卷的应用服务，直接将主卷的数据备份是可以的，但由于备份数据量大，需要很长一段时间完成，停机所造成的损失太大。 2， 不停掉IO服务，

14、直接在某一时刻备份会有什么后果？ 由于备份时间太长，备份过程中的IO会造成备份的数据不一致（漏备，错备，多备）1， 备份过程中，一个已备份的文件移到一个未备份的目录多余的备份2， 备份过程中，一个未备份的文件移到一个已备份的目录漏掉的备份3， 备份过程中，一个即将备份的数据已被修改错误的备份18为什么“快照”？（2/2） 存储网络工业协会（SNIA）对快照的定义：快照（snapshot）为一个数据对象产生完全可用的副完全可用的副本本，它包含对该数据对象在某一时间点时间点的映象，快照在快照时间点对数据对象进行逻辑复制逻辑复制操作，产生数据对象在该时间点的一致性数据副本时间点的一致性数据副本，但实

15、际的部分或全部物理复制过程可能在复制时间点之外的某些时间进行。快照可以在非常短的时间内完成数据对象逻辑副本的创建，其数量级通常为几秒，因此也称为零时间复制快照技术可以最大限度减小复制操作对上层应用的影快照技术可以最大限度减小复制操作对上层应用的影响，同时保证复制操作语义的原子性响，同时保证复制操作语义的原子性分层分层与虚拟化虚拟化：快照背后的思想（1/2） “零时间复制产生一致性数据副本”意味着什么？独立的逻辑数据视图独立的逻辑数据视图关联的物理数据分布关联的物理数据分布 “完全可用”的副本意味着什么？逻辑的副本具备可用性、一致性逻辑的副本具备可用性、一致性分层分层与虚拟化虚拟化：快照背后的思

16、想（2/2）快照技术的主要策略分离镜像（1/3）ApplicationsWrite Read逻辑数据集物理数据集应用Is it RAID1Is it RAID1？ 分离镜像技术是基于硬件的快照，其基本思想是建立一个分离的可寻址的存储实体，包含真实的数据快照，可以在这个实体上执行操作。 具体来说，分离镜像快照技术在快照时间点到来之前，首先要为源数据卷创建并维护一个完整的物理镜像卷，这一过程与标准的RAID1相似：同一数据的两个副本分别保存在由源数据卷和镜像卷组成的镜像对上。在快照时间点到来时，镜像操作被停止，镜像卷转化为快照卷，获得一份数据快照。快照卷在完成数据备份等应用后，将与源数据卷重新同步

17、，重新成为镜像卷。对于要同时保留多个时间点快照的源数据卷，则必须预先为其创建多个镜像卷。 分离镜像快照的优点为：在快照命令发出之后立即就能得到一个完整的物理副本，不再需要额外的复制操作。快照操作的时间非常短，仅仅是断开镜像卷对所需的时间，通常只有几毫秒，这样小的“复制窗口”几乎不会对上层应用造成影响。但是分离镜像快照也存在一些缺点：首先，这种快照技术缺乏灵活性，无法在任意时间点为任意的数据卷建立快照：如果源数据卷没有预先创建镜像卷，将无法建立快照；当一个镜像卷正处于重新同步状态时，也无法用于建立快照。其次，预先创建镜像卷占用了大量的存储资源，并极有可能造成资源的浪费。最后，快照时间点之前持续的

18、镜像操作将会增加系统的开销，尤其当一个源数据卷同时维持多个镜像卷时。按需复制快照技术按需复制快照技术在快照时间点之后，才开始建立一份快照时刻源数据卷的完整物理副本。存储子系统接收到快照操作请求，首先暂停上层应用；接着为源数据卷建立快照卷，并为其分配大于或等于源数据卷容量的存储空间；并建立一个控制位图，控制位图的每一个控制位表示源数据卷的一个复制单位是否已经被复制到快照卷，复制单位一般为数据块或磁道；控制位图建立之后，所有的控制位都被初始化，表示所有的数据块尚未复制。至此创建快照的操作已经完成，源数据卷的数据已经被逻辑复制到快照卷上，被暂停的上层应用恢复运行，源数据卷和快照卷都能被访问。此时源数

19、据卷上的数据并没有被物理复制到快照卷上，快照卷实际上是空的。快照建立之后，一个后台复制进程开始将源数据卷的数据块顺序复制到快照卷，并在控制位图上标记该数据块完成复制。如果上层应用要访问快照卷的某数据时，将首先检索控制位图：如果对应的控制位显示该数据还没有被复制到快照卷上，则从源数据卷访问实际数据，否则直接访问快照卷。当源数据卷上某数据要被更新时，如果该数据尚未完成复制，这些数据将首先被复制到快照卷上，并标记控制位图对应的控制位，然后才能更新源数据卷的数据，这种操作称为写前复制，也就是我们前面所提到的CoW；如果要更新的数据已经完成复制，则数据更新将直接进行，不再影响快照卷的操作。写前复制技术确

20、保复制操作发生在更新操作之前，使快照时间点后的数据更新不会出现在快照卷上，保证了快照操作的原子性。按需复制快照按需复制快照在快照时间点之前，不会占用任何的存储资源，也不会影响系统性能；而且它在使用上非常灵活，可以在任意时间点为任意数据卷建立快照。在快照时间点，存储子系统要为快照卷分配存储空间，并建立控制位图，因此，产生的“复制窗口”的长度与源数据卷的容量成线性比例，一般为几秒钟。通过后台复制进程和写前复制技术，源数据卷所有的数据块最终都将被复制到快照卷，得到源数据卷的完整物理副本，但完成这一过程的时间不仅与源数据卷的容量有关，而且还受到上层应用数据访问的影响，很难准确估算，可能需要几个小时甚至

21、更长时间。3.2.3虚拟视图快照技术虚拟视图快照技术虚拟视图快照技术在快照时间点之后，只建立一份快照时刻源数据卷的逻辑副本，最终也不会产生完整的物理副本。这种快照技术也在创建快照时才建立快照卷，但只需分配相对少量的存储空间，用于保存快照时间点之后源数据卷中被更新的数据。由于被更新的数据通常仅占源数据卷容量很小比例，一般建议为每个快照卷保留源数据卷20%的空间，如果数据更新超过这一比例，快照将失效。在虚拟视图快照技术中，每个源数据卷都有一个数据指针表，该指针表的记录数量等于源数据卷的数据块数量，每条记录保存着指向对应数据块的指针。在创建快照时，存储子系统为源数据卷的指针表建立一个副本，作为快照卷

22、的数据指针表。当快照时间点结束时，快照建立了一个可供上层应用访问的逻辑副本，快照卷与源数据卷通过各自的指针表共享同一份物理数据。快照创建之后，当源数据卷中某数据将要被更新时，为了保证快照操作的原子性，使用写前复制技术：首先将原始数据复制到快照卷的某个数据块，并修改快照卷数据指针表的对应记录，使其指向该数据块，最后才能更新源数据卷。对快照卷中数据的访问，必须查询数据指针表，根据对应数据块的指针确定所访问数据的物理存储位置。虚拟视图快照的工作原理如图3-2所示虚拟视图快照技术的“复制窗口”的长度也为几秒钟，但为快照卷分配的存储空间却大大减少；复制操作只在源数据卷发生更新时才发生，因此系统开销比后台

23、进程复制源数据卷的全部数据要小得多。但是由于快照卷仅仅保存了源数据卷被更新的数据，此快照技术无法得到完整的物理副本，它对需要完整物理副本的应用是不适用的。3.3 写前复制（写前复制（CoW）策略）策略我们可以看到，在当前的主流快照技术中，都使用了如下同样的方法来保证数据的一致性。那就是，快照创建之后，当源数据卷中某数据将要被更新时，为了保证快照操作的原子性，均使用了写前复制技术。本小节我们将专门来讨论该策略。下面我们以文件系统快照为例来讨论CoW策略19。文件系统快照是整个文件系统某一时刻的静态只读副本。在文件系统快照中采用CoW策略来保证副本的一致性，同时也能较容易地实现文件系统的活备份。文

24、件系统中的文件和目录都是由磁盘上的数据块构成的，文件系统级的快照是在数据块一级进行操作的。图3-3中显示了文件系统中的一个文件myfile.dat由磁盘上的3个连续数据块构成，内容分别为A，B和C。创建了快照S0后，S0中的myfile.dat仍由活动文件系统中原来的myfile.dat的3个物理块构成。快照的CoW策略基本原理如下：当一个用户修改了该文件的数据后，快照S0中就要分配一个空块，将活动文件系统中的原数据块内容C复制到S0中，然后才将原数据块内容C改写为C'。这样一来，活动文件系统中myfile.dat的版本就包含数据块A，B和C'。快照中的myfi

25、le.dat旧版本则包含数据块A，B和C。结果如图3-4所示。此后如果继续有对C块的操作，则直接对C'进行修改，快照中保存的始终是快照开始时刻的文件系统的一个静态副本，快照得到的数据是一个一致性得到保证的副本，而文件系统此时也可以进行正常的工作。文件的完整性和一致性也就都可以得到保证了。前面所提到的当前主流快照技术可以说都是基于数据块层次的，无法保证文件或文件集的数据完整性和一致性，同时由于这些技术往往与存储设备相关，实施代价较高，移植性不好，也不适合我们的容灾备份系统。所以，为了保证数据一致性，本文将要实现的快照技术将是基于文件级的热快照。快照技术的主要策略分离镜像（2/3）

26、ApplicationsApp: e.g. BackupWrite Read逻辑数据集物理数据集应用ReadWrite差量数据集缓冲区快照技术的主要策略分离镜像（3/3）ApplicationsWrite Read逻辑数据集物理数据集应用差量数据集缓冲区优：安全性优：安全性高，响应快，高，响应快，对系统性能影对系统性能影响小响小缺：空间效率低，缺：空间效率低，可扩展性差，快照不可扩展性差，快照不适合写适合写快照技术的主要策略写时拷贝（1/3）ApplicationsWrite Read逻辑数据集物理数据集应用3.3 写前复制（写前复制（CoW）策略）策略我们可以看到，在当前的主流快照技术中，都

27、使用了如下同样的方法来保证数据的一致性。那就是，快照创建之后，当源数据卷中某数据将要被更新时，为了保证快照操作的原子性，均使用了写前复制技术。本小节我们将专门来讨论该策略。下面我们以文件系统快照为例来讨论CoW策略19。文件系统快照是整个文件系统某一时刻的静态只读副本。在文件系统快照中采用CoW策略来保证副本的一致性，同时也能较容易地实现文件系统的活备份。文件系统中的文件和目录都是由磁盘上的数据块构成的，文件系统级的快照是在数据块一级进行操作的。图3-3中显示了文件系统中的一个文件myfile.dat由磁盘上的3个连续数据块构成，内容分别为A，B和C。创建了快照S0后，S0中的myfile.d

28、at仍由活动文件系统中原来的myfile.dat的3个物理块构成。快照的CoW策略基本原理如下：当一个用户修改了该文件的数据后，快照S0中就要分配一个空块，将活动文件系统中的原数据块内容C复制到S0中，然后才将原数据块内容C改写为C'。这样一来，活动文件系统中myfile.dat的版本就包含数据块A，B和C'。快照中的myfile.dat旧版本则包含数据块A，B和C。结果如图3-4所示。此后如果继续有对C块的操作，则直接对C'进行修改，快照中保存的始终是快照开始时刻的文件系统的一个静态副本，快照得到的数据是一个一致性得到保证的副本，而文件系统此时

29、也可以进行正常的工作。文件的完整性和一致性也就都可以得到保证了。前面所提到的当前主流快照技术可以说都是基于数据块层次的，无法保证文件或文件集的数据完整性和一致性，同时由于这些技术往往与存储设备相关，实施代价较高，移植性不好，也不适合我们的容灾备份系统。所以，为了保证数据一致性，本文将要实现的快照技术将是基于文件级的热快照。快照技术的主要策略写时拷贝（2/3）ApplicationsApp: e.g. BackupWrite Read逻辑数据集物理数据集应用ReadWrite快照技术的主要策略写时拷贝（3/3）ApplicationsApp: e.g. BackupWrite Read逻辑数据集

30、物理数据集应用ReadWrite1:Copy2:Write优：空间优：空间效率高，快效率高，快照可读写，照可读写，可扩展性好，可扩展性好，易改进易改进缺：缺：COW操作影响系操作影响系统性能统性能快照技术的主要策略写重定向（1/4）ApplicationsWrite Read逻辑数据集物理数据集应用快照技术的主要策略写重定向（2/4）ApplicationsWriteRead逻辑数据集物理数据集应用App: e.g. BackupReadWrite快照技术的主要策略写重定向（3/4）快照技术的主要策略写重定向（4/4）ApplicationsWrite Read逻辑数据集物理数据集应用App:

31、 e.g. BackupReadWriteROW优：空间优：空间效率高，快效率高，快照可读写，照可读写，响应快，可响应快，可扩展扩展缺：物理缺：物理数据交叠，数据交叠，映射关系维映射关系维护复杂护复杂数据备份方法数据备份方法 热备份（Hot Backup）: 应用服务不中断. 冷备份（Cold Backup）: 应用服务被中断. 一般通过备份代理管理备份不同类型的数据:结构化数据 (such as databases)半结构化数据 (such as email)非结构化数据 (file systems)Backing up datab can occur useing two differen

32、t methods:A Hot backup, which means that the application is still up and running, with users accessing it, while backup is taking place.A Cold backup, which means that the application will be shut down for the backup to take place.Most backup applications offer various Backup Agents to do these kind

33、s of operations. There will be different agents for different types of data and applications. 40备份的分类和级别备份的分类和级别全备份（全备份（Full Backup）累积（差分）备份（累积（差分）备份（Cumulative Cumulative (Differential(Differential) )）增量备份（增量备份（IncrementalIncremental）FullCumulativeIncremental数据备份中的去重42 重复数据删除（Deduplication） 重删级别：Fi

34、le，Block 数据指纹： MD5, SHA-1, SHA-256, SHA-512 重删后的数据恢复连续数据保护 (CDP) SNIA对连续数据保护(CDP)的定义：CDP是这样一种方法，它在不影响主要数据运行的前提下，可以实现持续捕捉或跟踪目标数据所发生的任何改变，并且能够恢复到此前任意时间点。连续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提供足够细的恢复粒度，实现几乎无限多的恢复时间点 三种实现方式：基准参考数据模式、复制参考数据模式、合成参考数据模式 产品方案：基于应用，基于文件，基于数据块的CDPCDP是一个实时的数据备份系统，它自动地将应用数据的所有变化实时的纪录下来。它的关键是将每一个应用数据的变化加上了时间索引。这样，当出现数据丢失、数据损坏、或者安全问题时，就可能恢复到最近的完好数据。持续数据保护1基于应用实现持续数据保护 对需要保护的关键应用程序，可以在其中直接嵌入和运行CDP功能。这种实现CDP的方式首先能够和应用进行深度整合，确保应用数据在持续保护中的一致性。CDP功能可以由软件厂商将其直接嵌入在软件产品中，也可以是软件