NetApp D2D快照备份方式

1、NetApp快照备份方式在介绍快照技术之前，我们可以简单了解一下存储系统的管理机制，存储 系统的核心包括磁盘管理和连接管理，磁盘管理主要是管理存储系统的磁盘，通 过校验容错提供高可靠的逻辑存储空间，连接管理主要实现存储系统与主机系统 的连接交互，实现主机系统存储集中的目标。在存储系统的磁盘管理机制中，有 一个重要的功能是存储系统可以对每一个划分的逻辑空间实现快照，也就是记录 下1个逻辑存储空间在某个时间点时数据块的信息和状态，这种操作都是可以瞬 时完成的。正是这种技术和功能为我们以上所介绍的备份革新提供了可能。但要 以这种快照方式实现数据卷在某一时间点的快照备份，同时也对这种快照功能提 出了特

2、殊的要求，首先是这种存储系统的快照的生成和维护都不能都影响到存储 系统的性能，其次是快照与快照之间保留的是变化了的数据块。NetApp公司提 供的存储系统和快照备份解决方案可以完全满足了以上的要求。传统的快照功能都采用的是一种“copy-on-write”模式，原理就是先开辟一 个存储预留区，通过记录数据卷某一时间点的状态实现快照，快照完成后对数据 卷的所有改动就会先把未改动的数据块拷贝到预留区，然后再改变原数据块，这 样造成的结果就是，原来的一步简单的写操作，在数据卷有快照的情况下就变成 了需要先做1步读操作，然后再进行2步的写操作，造成的结果就是做完快照以 后，如果要长期维护和保留快照，就

3、会造成整个存储系统本身的性能下降。这样 的快照模式，是不适合采用快照方式实现数据备份的。目前主流的存储系统还有另外一种快照模式，就是NetApp公司所采用的 “零拷贝”快照模式，不需要设置和维护存储预留区，也不需要不断的拷贝变化 了的数据，快照的生成和维护都不会对存储系统造成影响，不涉及到数据块的移 动，一套存储系统可以维护的最多快照数可以达到127, 000个。NetApp的这种快照技术完全得益于NetApp专利的Data ONTAP操作系统 和WAFL文件系统，这2个专利技术都是专门为存储系统管理而设计的，是 NetApp存储系统的核心。通过WAFL管理的数据块，可以在存储系统的任意位 置

4、上写入数据，这就避免了需要开辟预留区，同时也避免了数据块频繁拷贝。NetApp通过这一技术，对采用NetApp存储系统的数据中心，提供了完全革新的 备份解决方案，作为NetApp存储系统最大的特点和增值点之一。NetApp快照备份方式是NetApp特有的解决方案，从根本上改变用户现有 的存储和备份管理和使用方式。对于数据存储，我们将为用户提供NetApp高性 能的统一网络存储系统平台，将用户除操作系统和应用程序以外的所有数据都整 合到NetApp的统一网络存储系统平台上来，实现集中和统一的管理。NetApp 存储系统的最大特点除了高性能、管理简便以外，还有可以为用户提供FC SAN、 NAS、

5、iSCSI多种网络存储架构，无论用户现有的环境是采用的服务器本地磁盘、 直连磁盘，是使用的文件系统环境还是数据库裸盘环境，使用现有的FC光纤环 境、还是现有的千兆以太网环境，都可以很方便的整合到NetApp存储系统上来， 架构非常的灵活，管理也非常的简便。在实现第一步的应用系统数据网络集中存储以后，NetApp可以提供一系列 的基于NetApp存储系统的软件实现数据的备份和复制。首先是NetApp存储系 统提供的SnapShot快照软件，用户可以对每一个应用系统分配的逻辑数据卷作 255份快照备份，快照操作在几秒钟内完成，维护快照也不会对存储系统造成任 何的影响。我们可以订制策略，定时对逻辑数

6、据卷进行快照，每一份快照就是应 用数据的一份全备份，而且每一份快照也只占用相对于原数据变化了的数据块， 是一种基于数据块变化量的增量备份。这样在用户的主存储系统上就既实现了集 中存储又实现了近期数据的逻辑全备份。我们同时需要把主存储系统上的数据复制一份到2级采用SATA磁盘的备 份存储系统上去，提供数据的物理全备份，以防止主存储系统数据完全损坏的状 况出现。在这里我们会利用NetApp 的 SnapVault磁盘阵列间数据备份软件，通 过IP链路，实现数据备份。SnapVault完全利用NetApp的SnapShot快照机制， 在实现第一次的初始“ 0”级备份之后，以后假设时间间隔是一小时，S

7、napVault 会首先在主存储系统上生成一个快照，这一份快照会跟上一个时间点的快照做比 对，将变化了的数据块通过IP网络传递到2级备份储存系统上，同时以快照的 形式保留，在2级备份存储系统上同样形成了原始数据加上快照的数据备份模 式，每一份快照都是一份全备份数据。在这里我们利用NetApp的FlexClone软 件，可以利用快照迅速克隆出来一份数据，这份数据就是快照时间点的数据状态。 对于这份数据应用系统可以根据自己的网络存储部署方式通过FC SAN、NAS、 iSCSI多种方式直接访问。同时这份数据并不是对原数据的一对一拷贝，只有相 对于原数据变化了的数据块才会占用实际存储空间。克隆的操作

8、在秒级时间内就 可以完成。而且不会占用过多的存储空间。应用系统对克隆数据的访问也只需要 做简单的访问重定向就可以完成。我们还可以使用原有的磁带库系统和备份管理软件，对备份存储系统作定 期的归档备份，备份数据流可以通过NetApp存储系统支持的NDMP标准协议， 直接从NetApp系统备份到磁带库上去，对前端的应用系统毫无任何影响。NetApp的数据集中存储和备份解决方案，通过一套统一的网络存储平台， 解决了所有的数据集中存储和备份管理的问题，可以为用户提供SAN、NAS、 iSCSI多种网络存储连接，同时通过NetApp的备份方式，可以实现备份窗口接 近于“0”，备份恢复时间接近于“0”，备份

9、恢复点小于1个小时。整套集中存 储和备份解决方案是效率最好、可靠性和可用性最高的解决方案。NetApp基于存储系统快照的备份解决方案的革新优势NetApp的这种完全基于存储系统的备份解决方案，不同于传统的备份解决 方案最大的一个特点就是，这种备份解决方案从他诞生那天起就是基于的磁盘存 储系统这种随机存储介质而不是磁带这种专用的顺序存储介质，它可以避免所有 顺序存储介质为备份系统带来的所有问题，也可以获得所有的磁盘存储介质带来 的数据存储优势。这种备份解决方案始终以NetApp的磁盘存储系统为核心，直 接面向磁盘存储系统的最小逻辑单位，即4KB的数据块，通过对数据块的保留 和比对，实现了所有的备

10、份系统所要求达到的目标。采用这种备份解决方案我们 可以获得在以下几个方面的对备份系统的彻底革新，彻底摆脱磁带备份系统的低 效、低可靠性、低利用率的问题，最大限度地发挥备份系统的价值。首先通过这种存储系统本身的数据卷快照方式实现备份，可以更充分的发 挥实现数据中心集中存储以后对整个IT管理架构的革新所能带来的数据管理优 势。数据集中存储以后，在存储系统端我们来看数据，数据就是一个个的逻辑存 储卷，只要我们能够保证在备份时间点的数据一致性，通过对逻辑数据卷做快照 的方式来实现数据备份，无疑是最优的备份方式，通过快照我们保留了逻辑数据 卷的“元数据”（metadata），这种操作对存储系统来说都是可

11、以在瞬间完成的， 通过这种方式，我们彻底摆脱了数据备份窗口（RTO）的困扰，因为即使需要应 用系统参与到备份过程中来，通过静默应用系统来保证备份时间点数据的一致 性，这种静默所需要的时间也是以“秒”来计算的，因此NetApp这种快照备份 方式实际所需要的备份窗口（RTO）就是以“秒”来计算的，和传统的备份解决 方案相比，几乎可以忽略不计了。我们再也不需要因为要考虑备份窗口（RTO）的限制，每天只能做一次备 份。只要存储空间允许，我们可以彻底的改变备份系统的恢复点目标（RPO）， 每天可以做4到8次的备份，尽可能减少由于各种各样的原因造成数据损坏需要 恢复时，由于备份恢复点（RPO）的问题造成的

12、数据丢失。这种备份方式带来的另外一个好处是，每一个快照备份都是一份全备份， 不再像传统备份解决方案那样只能定期的做全备份，每天做增量备份或差量备 份。恢复方式也只能是先恢复全备份的数据，再依次恢复增量备份或差量备份数 据，才能恢复到指定的时间点。采用NetApp的这种备份解决方案，我们只需要 恢复一次就可以恢复到指定的时间点，获得需要恢复的数据。基于存储系统的快照备份，我们不再使用磁带这种顺序存储介质作为备份 和恢复的介质，备份的数据在存储系统上是可以直接访问的，可以直接进行单文 件恢复这种最常见的恢复请求，可以直接验证备份数据的可靠性和可用性。利用 NetApp特别提供的FlexClone软

13、件，我们还可以把一个只读的快照备份快速的克 隆成另一份和原始数据完全相同的临时数据，我们可以对这份数据进行所有的操 作，可以利用这份数据快速搭建一个测试环境，用于系统升级补丁的测试、系统 开发的测试等等各种测试功能，而又不会伤害到原始数据和快照备份数据，占用 的空间只是克隆出的数据卷产生的不同于原始数据部分的新的4KB的数据块。 通过这种方式我们可以实现备份数据和备份设备的功能最大化，备份系统不再作 为一个摆设，可以带来实际的效益。这种存储系统到存储系统之间的数据块级别复制，也根本的不同于传统的 基于文件变化的备份复制方式，一个文件变化量达到10%的数据如果以数据块变 化量来计算一般只能达到2

14、%的数据块变化量，要远远小于文件的变化量，这种 传输是一种缩量传输，使用很小的广域网带宽就可以实现数据传输和数据集中备 份。另外这种数据传输是在存储系统和存储系统之间进行的，是把主存储系统上 已经完成的快照备份复制到备份存储系统上去，对前端应用系统没有任何的影 响，我们甚至可以设置这种传输为使用固定占用带宽的持续传输，更好更高效的 利用有限的广域网带宽。NetApp SnapVault备份管理软件NetApp SnapVault专门用于管理NetApp存储系统磁盘到磁盘的备份机制， SnapVault备份解决方案是NetApp特有的快照备份解决方案，他最大的优势在 于效率和带宽节省。由于采用的

15、是快照备份模式，这种备份解决方案对主机平台 的影响几乎为“0”，备份数据也可以即时访问和快速回复。同时由于采用的是 一次全备份和永远基于数据块增量的数据备份方式，SnapVault备份方式虽然是 基于IP传输数据，但是对于局域网和广域网的带宽都占用的极小，是一种非常 好的多分支机构集中备份解决方案。SnapVault磁盘到磁盘备份，从根本上改变用户现有的存储和备份管理和使 用方式。NetApp提供一系列的基于NetApp存储系统的软件实现数据的备份和复 制。首先是NetApp存储系统提供的SnapShot快照软件，用户可以对每一个应用 系统分配的逻辑数据卷作255份快照备份，快照操作在几秒钟内

16、完成，维护快照 也不会对存储系统造成任何的影响。我们可以订制策略，定时对逻辑数据卷进行 快照，每一份快照就是应用数据的一份全备份，而且每一份快照也只占用相对于 原数据变化了的数据块，是一种基于数据块变化量的增量备份。这样在用户的主 存储系统上就既实现了集中存储又实现了近期数据的逻辑全备份。我们同时需要 把主存储系统上的数据复制一份到2级采用SATA磁盘的备份存储系统上去， 提供数据的物理全备份，以防止主存储系统数据完全损坏的状况出现。在这里如 果应用系统的数据已经整合到了 NetApp存储系统上来，我们会利用NetApp的 SnapVault磁盘阵列间数据备份软件，通过IP链路，实现数据备份。

17、只拷贝有变化的数据NetApp备份数据容灾站点君爵dtdiSnapVault Software只通过ip网络复制和传输有变 化的数据SnapMirror Software通过只复制有变化的数据实现 2个或多个NetApp存储系统之 间的高速数据复制，实现全球 范围的数据保护的业务连续性SnapVault备份具备以下优势：在NetApp存储系统之间进行，基于策略驱动定时自动完成，是一个 自动化解决方案，可以节省管理时间和资源，同时降低日常备份数 据的成本。在实现初次基线同步后，以后的备份都是基于NetApp的SnapShot 快照的增量备份。基于数据块变化的增量备份，极小的备份窗口，极低的网络带

18、宽占 用，极小的磁盘存储空间占用。每一份基于快照的备份都是一份特定时间点的全备份，是原始数据 的镜像，无须恢复，直接可用，可以作为经济的容灾数据。 SnapVault可以联机存储多达255个长期Snapshot副本，实现数据 长期在线备份保存。在NetApp存储系统之间进行，对前端的应用不会造成任何的影响， 真正的ServerFree备份方式。对于NAS存储数据和SAN、IP SAN架构存储数据，我们都可以利 用它们在主存储系统上产生的SnapShot快照备份，利用SnapVault 软件，在主存储系统和备份存储系统之间实现数据备份和容灾，通 过设定备份频度和快照保留份数，长期的保存数据。使用

19、SnapVault，管理员可以首先恢复最重要的关键数据，以最快 的速度使业务运作恢复正常。 SnapVault支持集中和统一备份，因此其基础设施成本较同类解决方 案要低得多，从而进一步降低了总备份成本。SnapVault备份的优势，基于数据块变化量和增量存储，可以极大的减小磁 盘备份存储空间，对磁盘备份存储空间的耗费上远低于传统的备份方式，同时可 以充分利用NetApp重复数据删除的优势，通过下图的对比，我们可以充分体会到SnapVault备份对备份存储空间的节省。NetAppD2D备份变成可以负担:通过副本消除节省开支Weve realized an 80% space savings ov

20、er tape. ”Keith Scott, IT Analyst Department of Human Assistance, Sacramento County重复数据删除应运而生大家都知道，存储系统的容量正在以惊人的速度增长。在过去的10年里， NetApp提供的存储系统容量从数十GB发展到数百TB，足足翻了 10,000倍! 但是，多数企业发现它们对存储的需求甚至增长得更快，一一除了存储所有这 些数据的磁盘或磁带的成本外，一一数据中心空间和电源也变得越来越昂贵。 因此，它们的重要目标之一就是尽可能高效地使用存储。从存储数百个Snapshot副本仅需极少磁盘空间的独特的Snapshot

21、技 术，到允许系统管理员在运行时扩展和设定卷的FlexVol技术，NetApp 一直 是高效利用存储的行业先锋.NetApp宣布了一种新的A-SIS重复数据删除技术，能够大大提高指定磁盘 空间可存储的数据量：高级单实例存储重复数据删除。FAS系统均可使用该技 术（免费！）A-SIS重复数据删除能以单个共享数据块为参考寻找相同的数据块并将其 替换，从而提高效率。相同的数据块可能属于多个不同的文件或LUN，或者可 能重复出现在同一个文件中A-SIS重复数据删除是NetApp WAFL文件系统不 可或缺的一部分，该系统管理NetApp FAS系统上所有存储。因此，不管您运 行何种应用程序或如何访问数

22、据，A-SIS重复数据删除都在后台运行，并且开 销很低。您可以节约多少空间？这取决于数据集和它所包含的重复数据删除量。以 下是NetApp客户实现节约的几个示例： 一家全球性石油和天然气公司为其主目录存储节约了 35%的空间。某投资管理公司减少了 90%的VMware映像备份副本。某个测试和测量仪器制造商在日常数据库备份方面节约了 98%的 空间。重复数据删除如何运作实质上，A-SIS重复数据删除采用老式的计算机科学技术-参考计算。以前， WAFL仅跟踪数据块是否在使用。借助A-SIS重复数据删除，它还能跟踪有多 少在使用。在目前的实施中，不同文件或同一文件中的单个WAFL块可参考多 达256

23、次。文件并不知道它们之间在共享数据-WAFL内的簿记会在后台管理 这些细节。n存储副本消除技术NetApp普通数据卷副本消除卷里的单 实例数据WAFL如何确定哪两块可以共享？答案是WAFL会为每块计算出”指纹 ，这是块数据的哈希。具有相同指纹的两个块即可用于共享。在卷上启用A-SIS重复数据删除后，它会为备份卷中所有正在使用的块计 算出一个指纹数据库（此过程称为收集）。完成初步设置后，卷即可用于重复 数据删除。为了不减缓普通文件操作，副本搜索将作为一个单独的批次处理来完成。 由于文件系统会在正常使用过程中进行更新，WAFL将创建描述其数据块更改 的日志。该日志不断累积，直到出现以下某种情况：管

24、理员发布sis start命令 sis config计划中指定的下一次发生日志更改超出了预定的阈值这些事件中的任何一件都会触发重复数据删除过程。启动重复数据删除过 程后，A-SIS会使用变更块的指纹作为密钥来给日志排序，然后将排好序的列表 与指纹数据库文件合并。一旦两个列表中出现相同的指纹，则可能有两个相同的 块可折叠成一个。这种情况下，WAFL会弃用其中一个块，并用另一个块的参 考将其替换。因为文件系统时刻在变，除非两个块确实仍在使用并且含有相同的 数据，否则我们当然可采取这一步骤。A-SIS重复数据删除实施利用了 WAFL的某些特殊功能，从而使重复数据 删除的成本降到最小。NetApp很早

25、以前就发现，要确保存储在磁盘上的数据的 完整性，应该采用皮带与吊带式(belt-and-suspenders)方法。(事实上，最好有 几双吊带。)因此，磁盘上的每个数据块都通过校验和得到保护。A-SIS使用该校验和作为它的指纹。由于无论如何都会计算指纹，相当于 无消耗，因此不会给系统增加任何负担。且由于WAFL绝对不会覆盖正在使 用的数据块，因此在闲置数据块之前，指纹将保持有效。A-SIS重复数据删除 与WAFL的紧密集成也意味着更改日志是一种高效的操作。其结果是A-SIS 重复数据删除可用于广泛的工作负荷，而不仅是用于备份，其它重复数据删除实 施的情况也是如此。哪些类型的环境较使用适合重复数

26、据删除？首先，您的数据应是使用了很长时间。如果您想马上更改数据，则努力寻 找重复数据意义不大。系统还应具有CPU剩余空间。更改日志和指纹匹配是为 效率而设计的，但都要耗用CPU。如果您的系统长时间处于高CPU利用率， 则重复数据删除带来的额外负载将是致命一击。节约磁盘空间的其它方法NetApp提供了许多其它可更加高效地使用磁盘空间的方法，它们各具优缺 点。不必仅选择一个；因为它们大部分都可以结合使用。Snapshot 副本从一开始，WAFL就允许通过Snapshot技术共享数据块。由于文件会随 时改变，您可使用Snapshot副本捕获该文件的多个版本，并且存储成本仅与版 本之间的更改量相对应。

27、无论作为本身的功能，还是作为诸如SnapVaultR和SnapMirrorR之类 的应用程序的基础，Snapshot副本都已证明了其价值。在WAFL中，就性能而 言它们没有问题。它们的主要限制是它们只能在同一文件的不同版本之间提供块 共享，这与在不同文件之间共享重复块的A-SIS不一样。有时，如果您未使用过NetApp存储，您会发现Snapshot副本的NetApp 纯增量方法在所有主要的存储供应商中独树一帜，并且是我们的SnapVault和 SnapMirror产品背后的基本技术，也是它们成功的主要原因。压缩在将数据写入磁盘之前进行压缩是一种节约空间的好方法。很多算法（如 gzip）可将文件

28、压缩到一半或更小，即使没有可供共享的重复数据也能做到。压 缩的缺点是它需要耗用大量CPU资源。而且，有些类型的数据（如映像）已经 过压缩，不能得到这种优势。由于A-SIS重复数据删除可将数据的数百份副本 压缩成一份，在拥有很多副本的环境中这可能比压缩节约远远更多的空间。NetApp目前在DecruR和VTL产品中提供了压缩功能。内容寻址存储（CAS）尽管内容寻址存储的实施方法常常很不一样，但它在概念上与A-SIS重复 数据删除相似。数据的斑点”经过哈希处理后，哈希值将用于对其进行识别。对 于指定哈希值的数据只会存储一个副本。一个文件可能包含许多斑点。从某种意义上说，CAS比A-SIS重复数据删

29、除更灵活，因为CAS斑点 不必是整个文件系统块。但是，在某个很重要的方面，CAS却不够灵活。借助 A-SIS重复删除功能，WAFL可使用指纹作为密钥来共享块，但其基本数据结 构仍然不变并且该共享是隐蔽的。（当然，您可随时关闭A-SIS重复数据删除 功能。）反之，在大多数CAS实施中，始终是通过哈希值来找到斑点。这就 使它很难获得较高的性能，因此CAS通常是用于大部分为写入操作的归档应用 程序，而不是需要对电子发现和数据恢复等即时读取作出快速反应的应用程序。CAS有一个方面有时会引起争议，即如果两个斑点具有相同的哈希密钥， 则将其视为相同。如果两个不同的斑点碰巧具有相同的哈希值，那么数据就会丢 失。这叫做哈希冲突或误判。有些统计数据可以很好地说明这种情形极不可 能出现，但许多人还是不以为然。A-SIS重复数据删除因此采取了一种保守的方 法，只有块的内容（不单单是指纹）相同时才会共享块。在删除作为副本的块之 前，A-SIS逐个字节进行了比较以确保该数据确实相同。