数据快照技术总结

数据快照技术总结培训目的掌握数据快照基本原理理解各种快照技术的优缺点掌握快照技术与克隆技术的异同掌握数据快照在IX1000上的应用了解各存储厂商对数据快照的应用目录数据快照概述数据快照技术数据克隆技术数据快照的应用主流厂商对快照技术的应用数据快照概述

——数据快照发展（一）随着存储应用需求的提高，用户需要通过在线方式进行数据保护。在使用存储产品时会遇到以下方面的问题：备份速度的要求操作不够简单化需要保护数据一致性恢复数据的时间要求数据快照概述

——数据快照发展（二）为提高数据存储的安全性和效率，保护企业的数据，数据快照技术是其中比较成熟的技术之一。可以在短时间内建立拷贝，供备份应用所用。数据快照的映像可以在短时间内把数据恢复到做快照的时间点，还允许系统管理员选择性地迅速恢复受损或被删文件。数据快照概述

——数据快照定义SNIA（存储网络行业协会）对快照（Snapshot）的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点（拷贝开始的时间点）的映像。

数据快照概述

——数据快照基本原理（一）快照类似于拍照。拍照记录了某时刻的景象，并把该时刻景象通过某种介质存放，类似的，快照记录了某时刻设备上的数据状态，并把这些信息存放在存储介质上。接下来以在文件系统上数据快照的应用为例，加深理解数据快照的原理。BlockC

数据快照概述

——数据快照基本原理（二）正常情况下的文件系统在存储上的示意图：文件系统描述区ABlockBBlockA活动的逻辑卷

应用I/O文件系统描述是一系列的指针，记录着磁盘上的数据块的逻辑关系

数据快照概述

——数据快照基本原理（三）创建快照后，快照功能完成三个事情：把文件系统描述复制一份。在磁盘空闲空间创建一个存储区。在文件系统写操作中增加一个判断。BlockC文件系统描述区ABlockBBlockA应用I/O文件系统描述区B应用I/OCOPY

活动的逻辑卷快照存储区

数据快照概述

——数据快照基本原理（四）创建快照后，当有应用要修改数据块时，快照功能把原来的数据块保留入存储区，同时把数据快照的访问入口转而指向缓冲区。BlockC文件系统描述区A更新的BlockBBlockA应用I/O被移动的BlockB文件系统描述区B应用I/OCOPY

活动的逻辑卷快照存储区

数据快照概述

——数据快照作用快照的作用主要体现在两个方面：能够进行在线数据恢复，当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复，将数据恢复成快照产生时间点的状态。为用户提供了另外一个数据访问通道，当原数据进行在线存储应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。目录数据快照概述数据快照技术数据克隆技术数据快照的应用主流厂商对快照技术的应用

数据快照技术

——数据快照技术概述数据快照是对在特殊时间点（point-in-time）“复制”的数据的映像。以下是创建数据快照的三种主要技术：虚拟映象中断镜像按需复制

数据快照技术

——虚拟映像虚拟映像依赖于源资源，只有源资源与时间点数据状态不同的才存入独立的物理区域中。当写入源资源时，首先引发当前内容向相应的时间点变化区域复制。147102581136912快照147102581136912267762时间点变化区域267有数据写入时

数据快照技术

——中断镜像（一）中断镜像能够在时间点来临之前将源资源的内容不断地复制到目标镜像资源中。到达时间点，将与镜像的数据同步中断掉，即将目标资源独立出来，仅对源资源进行数据更新。中断镜像需要源资源与目标镜像资源相联系。源资源

数据快照技术

——中断镜像（二）利用中断镜像实现数据快照分为三个步骤：创建目标镜像资源，保证两资源数据同步更新需要快照时使源资源与目标镜像资源脱离使用完毕后，将目标镜像资源与源资源的再同步数据同步

数据更新

中断掉镜像镜像镜像源资源

数据快照技术

——按需复制（一）按需复制是在时间点之后，开始从源资源向目标资源进行完全复制。一旦完成完全复制，就没有必要再继续对目标资源不断写入而造成额外的资源开销。对源资源的要求写入引起了源资源块当前内容向对应目标资源的复制。从而保证了对源资源更改时时间点数据得到保护。

数据快照技术

——按需复制（二）AB发出快照前

目标资源写入数据AB数据拷贝中

源资源

源资源

时间点拷贝写入数据该图描述了按需复制的典型应用。发出创建快照指令后，从源资源向目标资源拷贝数据；当源资源有数据更新时，会引发源资源块向目标资源的写入，从而保证时间点的数据状态。创建快照

数据快照技术

——三种快照技术特点总结中断镜像：时间点到达之前对数据进行完全物理复制按需复制：时间点到达之后对数据进行完全物理复制虚拟映象：时间点到达时刻对数据进行虚拟的、非物理的复制

数据快照技术

——优劣比较（一）虚拟映像优点在于该种技术占用较少的存储资源。另外它具有快速抓取数据的能力，资源开销较小。不足之处在于判断源磁盘数据改变并抓取改变的原数据时会占用系统资源。

数据快照技术

——优劣比较（二）中断镜像优点在于它能立即得到时间点映像，并且创建了一个独立的数据复件，从而保证存储、使用时间点映像时对源资源的影响非常小。不足之处在于它耗费存储资源，并且在生成镜像时因为要保持镜像的同步性，软件开销随之增大。

数据快照技术

——优劣比较（三）按需复制优点在于它不会引起有关维持副本资源的软件开销。不足之处在于它的复制是在时间点创建之后，复制过程中，会发生某些难以觉察的错误，从而导致复件有可能不完整。但该情况发生概率较小。目录数据快照概述数据快照技术数据克隆技术数据快照的应用主流厂商对快照技术的应用

数据克隆技术

——数据克隆技术概述数据克隆技术是对某一个数据卷或文件系统上的数据的物理拷贝，且是完整拷贝。数据拷贝的过程可以由主机完成或者由存储级的硬件完成。传统的数据克隆技术是指离线拷贝，不支持拷贝时源资源数据更新。但快照克隆技术在此方面有了改进，支持在线拷贝。

数据克隆技术

——数据克隆与数据快照比较数据克隆技术是对源资源的完整拷贝。属于物理级别的数据复制。所花费时间较长，占用资源较多。不支持在线拷贝。数据快照是对源资源改变数据的拷贝，非完整拷贝。可以使用较短的时间，较少的资源。支持在线拷贝。

数据克隆技术

——快照克隆中断镜像和按需复制的功能更类似于数据克隆，也称为快照克隆（SnapClone）。目录数据快照概述数据快照技术数据克隆技术数据快照的应用主流厂商对快照技术的应用

数据快照的应用

——我司使用的快照技术我司的存储产品种使用的数据快照是虚拟映像技术。其核心是第一次写拷贝（CopyOnFirstWrite，COFW）。在某一时间点为数据卷创建快照后，当该数据卷上的任何一块数据发生变化时，系统都会先把原数据拷贝到一块独立的存储资源（即快照资源）中，然后再把新数据写入数据卷。这样，系统记录了源数据卷在创建快照时刻的历史状态，而且由于只拷贝数据的变化量，所以只占用很少的存储资源。

数据快照的应用

——COFW1234567891011121234567891011122712当创建快照时，快照资源为空，维持与源资源同样的映射源资源快照资源快照当向源资源写数据时，数据块是被第一次修改，则会将原数据转移到快照资源中。新数据写入原数据被转移

数据快照的应用

——数据快照在我司产品中的主要应用数据快照在IX1000中的主要应用TimeMark快照拷贝复制快照代理

数据快照的应用

——TimeMark

（一）特性TimeMark使用了快照技术。生成的TimeMark仅仅记录此次和下次创建TimeMark之间第一次被改变的原数据，而不是对整个数据卷的完整拷贝。TimeMark可以防止出现软错误，即非灾难性数据丢失，包括软件程序导致的数据损坏、病毒破坏等。TimeMark可以防止数据受到人为的破坏。TimeMark适用于大多数逻辑资源，包括SAN资源、NAS资源、副本磁盘和组。IX1000支持自动或手动创建TimeMark。

数据快照的应用

——TimeMark

（二）TimeMark支持回滚操作，即把数据恢复到原始状态。IX1000支持TimeMark拷贝，可以使用任何一个已有的TimeMark来创建真实的永久资源。IX1000使用快照资源记录前一次创建TimeMark之后改变的数据，节省了系统资源。IX1000支持为每个逻辑资源创建255个TimeMark。达到上限后，最早创建的TimeMark将被删除。快照资源支持自动扩展功能。在IX1000中查看某个TimeMark时间点状态有三种方法：TimeMark回滚：对源资源回滚TimeMark拷贝：拷贝生成另一个资源TimeView：虚拟非真实资源

数据快照的应用

——查看TimeMark数据状态的方法9am10am11am12pm147102581136912写入新数据块10:00-10:5914710258113691211:00-11:59写入新数据块1471025811369129:00-9:59147102581136912写入新数据块267910112267910112267267910

数据快照的应用——TimeMark应用实例源资源自动每小时创建快照快照资源数据存储块初始(不包含任何数据)

数据快照的应用——TimeMark应用实例9am10am11am12pm147102581136912写入新数据块10:00-10:5914710258113691211:00-11:59写入新数据块1471025811369129:00-9:59147102581136912写入新数据块26791011226791011212:17pm发生应用错误将数据恢复到10点!!!267267910快照资源初始(不包含任何数据)自动每小时创建快照源资源数据存储块10:00am!!!111234581269107写入新数据块10:00-10:5914710258113691211:00-11:59写入新数据块1471025811369121122679109am10am11am12pm1471025811369129:00-9:59写入新数据块147102581136912267910267910112267147102581136912126910127111234581269107112112910

数据快照的应用——TimeMark应用实例自动每小时创建快照快照资源初始(不包含任何数据)数据存储块源资源恢复某时间点数据时需要用到源资源和快照资源两个部分。在本例中，要恢复到

10am…TimeView是TimeMark的扩展功能，它把TimeMark当作一个虚拟磁盘。可以在该虚拟磁盘中查看文件的历史状态，还可以把它绑定给多个客户端，实现对数据并发、独立的处理。而不必将整个磁盘回滚到以前的时间点。TimeView生成的目标是虚拟的，不占用任何磁盘空间；TimeMark拷贝生成的目标资源是真实、永久的，要求与原始资源同样大小的磁盘空间。创建TimeView比TimeMark拷贝更快。TimeView由两部分组成：源资源和快照资源，缺一不可。

数据快照的应用

——TimeView

数据快照的应用

——快照拷贝（一）IX1000的快照拷贝应用了快照技术。通过快照拷贝选项，在不影响客户端正常运行的情况下，IX1000可以为逻辑资源创建独立的时间点拷贝（称为目标资源），形成一个新的逻辑资源，这就是快照拷贝。在快照拷贝过程中，系统会自动创建一个TimeMark，开辟一块快照资源，当快照拷贝结束后，该TimeMark会被自动删除，快照资源被释放。源资源快照!NeoStor时间点

映像快照资源拷贝客户端读/写操作独立资源可分配给其他客户端

数据快照的应用

——快照拷贝（二）2712123456789101112123456789101112拷贝过程源资源快照资源创建数据拷贝时，首先查看快照资源的存储块中是否保存有数据。如果有，会把数据块从快照资源拷贝到目标资源中。如果没有，就从源资源拷贝数据块到目标资源中。

拷贝结束后，目标资源的数据状态是创建快照时源资源的数据状态。快照拷贝目标资源

数据快照的应用

——快照拷贝（三）数据快照的应用

——复制IX1000的复制方式结合了数据快照的策略，可以在渐变式灾难发生时快速把数据恢复到健康状态，重建生产系统。具体的复制方式如下：使用现有的

TimeMark：复制的对象是源服务器现有的最新的一个TimeMark不选择使用现有的TimeMark：IX1000将在复制触发的时间点，自动创建TimeMark，并根据新建的TimeMark开始数据复制，完成以后就自动删除该TimeMark。启用复制–在源资源端和目的资源端分别创建一个TimeMark

，然后开始复制源资源端的TimeMark保证复制时间点数据不被破坏并按某种顺序向目的端资源拷贝目的资源端的TimeMark保护目的端的数据。当同步过程中造成数据损坏，可以恢复到该TimeMark时间点的数据状态？？一旦所有的数据在复制同步结束后，源端和目的端的TimeMark均会被自动删除。数据快照的应用

——不选择使用现有TimeMark的复制方式？？？

数据快照的应用

——快照代理使用快照时需要搭配快照代理SnapshotAgent，中文为快照代理，它主要实现对某时间点的数据进行一致性保护，而且允许在此过程中不间断地进行数据存取。在IX1000开始对某资源进行快照之前，会发送一个请求到运行快照代理的服务器上，该服务器上挂载有该资源。快照代理收到后，会强制将缓存中的数据写入资源所在磁盘，然后再执行快照。快照代理常被应用在对数据安全级别要求较高的存储应用中，可以是数据库或者文件系统。IX1000Server数据库服务器②发出快照通知①要执行快照⑤可执行快照④触发数据库后通知IMA已触发③触发快照代理数据库IMA快照代理存放库文件存放数据库运行文件

数据快照的应用

——快照代理基本工作模型该图描述了快照代理在数据库中的应用。目录数据快照概述数据快照技术数据克隆技术数据快照的应用主流厂商对快照技术的应用

主流厂商对快照技术的应用

——各厂商使用快照技术的产品EMCTIMEFINDER和HITACHIDataSystemsShadowImage采用中断镜像方法实现时间点快速转储的产品。IBMConcurrentCopy(IBM同时复制)是采用按需复制技术的产品。IBMSnoopShot(IBM快速抓取)和NetworkAppliance的产品是采用虚拟映像技术。NetworkAppliance1992年成立，是提供网络数据高端存储和高速缓存设备的专业公司。其网络存储服务器（FILER）及网络缓存解决方案（NetCache）提供高效、简捷、可靠的数据存取。Filer可以为每个文件系统在线保留255个版本的快照。可以手动生成或删除快照，也可以根据用户定义的日程自动生成和删除。快照占用的空间取决于用户数据变化的频率，可以通过指定快照占用空间的大小。Filer文件系统最长每10秒就会生成一个内部快照，成为一致性检查点。

主流厂商对快照技术的应用

——NetApp概述

主流厂商对快照技术的应用

——NetApp快照实现原理左图示意了一个简化的文件系统，一个指针指向文件对应的磁盘块中间的图示意通过指针结构的复制生成了快照右图示意当块C被修改，修改后的值存入新块C’，当前文件系统指向C’，而快照仍保存了文件系统在快照时的状态RootinodeABCDRootinodeRootinode快照快照C’快照之前快照之后快照后数据改变磁盘块新数据块ABCDABCD磁盘块HitachiDataSy