NetApp 存储数据压缩技术

NetApp存储数据压缩技术高效是灵活IT的关键所在。作为存储效率创新的领导者，NetApp一直努力为您提供最新的效率创新技术，包括Snapshot®和相关技术、精简配置、FlexClone®、主存储重复数据删除等。当然，数据压缩技术巳经推出很长时间了，但是给大型存储系统带来了难题，在性能影响方面尤为严重。直到最近，磁带驱动器和VTL等设备的数据压缩还几乎一直是通过专用硬件实现，导致成本和复杂性提高。现在，NetApp开发了一种实时透明的数据压缩技术，压缩过程在软件中完成，同时降低了对计算资源的影响。这使我们能够在不花费额外成本的条件下将DataONTAP®中数据压缩的优势用在升级到DataONTAP8.0.1或更高版本的现有NetApp®存储系统。在本文中，我要讨论NetApp数据压缩的概念及其工作原理，还会提到一些常见用例，以及每个用例的实测空间节省。我还会讨论数据压缩如何与其他NetApp技术结合使用，并回顾NetApp如何推出这一新功能以取得成功。什么是NetApp数据压缩？NetApp数据压缩作为集成到DataONTAP8.0.1中的免费选项提供，是基于软件的透明实时数据压缩解决方案。要使用NetApp数据压缩，无需更改应用程序。NetApp数据压缩技术可以在主存储、二级存储和归档存储上压缩灵活卷(FlexVol®)中的数据，从而减少在存储系统上存储数据所需的物理容量。它可以压缩常规文件、虚拟本地磁盘和LUN。本文其余部分所参考文件也适用于虚拟本地磁盘和LUN。NetApp数据压缩不是将整个文件作为一个连续的字节流进行压缩。如果要处理部分文件的小量读取，作为连续的字节流压缩成本非常高，因为需要在处理读取请求之前从磁盘读取整个文件且文件处于未压缩状态。读取大型文件就显得尤为困难。为了避免这一问题，NetApp数据压缩技术一次只压缩少量连续数据块。这是NetApp数据压缩得以更高效的一个关键设计要素。收到读取请求之后，只需读取和解压缩少量数据块，而不是整个文件。这样可以优化读取，还能提高压缩的文件大小的可扩展性。NetApp压缩算法将文件分成32KB的数据区块，称为“压缩组”，每个压缩组仅包含一个文件的数据。写入数据。写入请求在压缩组级别得到处理。形成组之后，当数据还在内存中时执行测试，以确定数据是否可以压缩。如果不能压缩，直接将其传输到磁盘。仅当测试表明数据可以压缩时，才会压缩整个组。这样可以优化节省，同时最大限度地降低资源开销。由于经过压缩的数据所含要写入磁盘的数据块较少，因此减少了每个压缩的写入操作所需的写入I/O数。这不仅可以减少磁盘上数据的占用空间，而且还能缩短完成磁盘写入请求的时间，并显著缩短执行备份所需的时间。■ 压婚组 任逻辑数据块物理数据块逻辑数据块物理数据块, 磁盘上压缩的裁据 •图1）在进行任何压缩之前，都要测试压缩组是否可以压缩。然后，将数据发送到磁盘，是否压缩则取决于测试结果。读取数据。收到压缩数据的读取请求之后，DataONTAP仅读取包含请求数据的压缩组，而不是整个文件。这样可以最大限度地减少处理请求所需的I/O数，并且开销微乎其微。压缩性能NetApp数据压缩可以单独使用，也可以与NetApp重复数据删除结合使用，以获得最佳节省效果。您可以计划在最方便的时候运行NetApp重复数据删除，而NetApp数据压缩在数据写入磁盘时实时运行。如果在同一卷上同时启用这两种技术，则数据首先经过压缩，然后再删除重复数据。重复数据删除不仅对未经压缩的数据起作用；它可以轻松删除数据卷中经过压缩或未经压缩的重复数据块。数据压缩利用DataONTAP的内部特性高效执行。尽管NetApp数据压缩可以最大限度地降低性能影响，但并不能消除影响。应该评估工作负荷对执行数据压缩所需资源的容限。实际影响取决于以下几个因素：应用程序类型数据集的可压缩性数据访问模式（例如连续访问与随机访问、I/O大小和模式）平均文件大小更改率系统中启用数据压缩的卷数硬件平台一系统中的CPU/内存量系统中的负载磁盘类型和速度聚合体中的磁盘轴数我们设计了最佳实践，帮助您完成大小调整和其他活动，以优化实施。由于许多因素起着一定的作用，因此要确定数据压缩是否适用于预期使用目的，最好的方法是在环境中进行测试。下面几部分讨论在各种应用程序数据集和一些典型用例中，测得的空间节省。执行数据压缩和重复数据删除节省的空间NetApp数据压缩通过实时压缩数据立即节省空间。NetApp重复数据删除定期运行（后处理），提供积累的空间节省。结合使用数据压缩和重复数据删除时，应注意，节省的空间不一定等于对数据集单独运行每种技术所节省的空间之和。对于某些数据类型，与单独使用重复数据删除相比，结合使用数据压缩不会增加节省。在其他一些情况下，与单独使用数据压缩相比，结合使用重复数据删除不会增加节省。另外还有这样的情况：结合使用数据压缩和重复数据删除，存储节省最多。下表中的示例可以说明这几点。表1）各种数据类型的最佳空间节省组合。数据集类型应用程序最佳节省组合典型空间节省主目录数据压缩和重复数据删除65%虚拟服务器和桌面仅重复数据删除70%数据库仅数据压缩65%电子邮件Exchange2003/2007仅数据压缩35%Exchange2010数据压缩和重复数据删除40%工程数据软件开发数据压缩和重复数据删除75%Geoseismic仅数据压缩75%尽管这些节省示例都很典型，但是并非所有数据集都相同。应该对数据进行测试，以评估会节省多少空间。NetApp始终都能帮助您完成评估过程。典型用例如上所述，数据压缩可以显著节省存储，但是会降低一些性能。为了确定在您的存储环境中将数据压缩用在何处能起到最大作用，综合衡量这两方面非常重要。数据库备份（和常规备份）可能是数据压缩的最佳作用点。数据库通常容量非常大，许多用户愿意以备份存储略微的性能影响换来65%以上的容量节省。另一个可能的用例是文件服务。在繁忙状态时间约占50%、数据集可压缩率为50%的系统中，使用文件服务工作负荷进行测试，经测算，吞吐量仅减少了10%。在文件响应时间为两毫秒的文件服务环境中，这将转化成仅增加0.2毫秒，即响应时间增加到2.2毫秒。若能节省65%的空间，这一小幅度的性能降低您也许可以接受。借助NetApp卷SnapMirror®技术复制数据，您可以节省网络带宽和二级存储空间，从而进一步增加节省。（在这种情况下，二级存储继承主存储的数据压缩，因此无需另外进行压缩处理。）在这种情况下，您可以实现：主存储容量节省65%通过网络发送进行复制的数据量减少65%复制速度提高65%二级存储容量节省65%数据压缩还可以在其他许多用例中发挥重要作用，我们提供了多种工具和指南，可以帮助您确定哪些用例最适合您的环境。将数据压缩与其他NetApp技术结合使用通过前面的介绍，大家巳经知道，NetApp数据压缩与NetApp重复数据删除是两项互补的技术。本部分讨论数据压缩与其他一些常见的NetApp技术的结合使用。卷SnapMirror。卷SnapMirror在物理块级别起作用；如果在源卷上启用重复数据删除和/或数据压缩，在线缆上和在目标卷上可以保持重复数据删除和数据压缩节省的空间。这样可以显著减少复制期间所需的网络带宽，并大大缩短完成SnapMirror传输所需的时间。一般需注意以下几点：源系统和目标系统应该使用相同版本的DataONTAP。数据压缩和重复数据删除都仅在源系统管理一目标系统上的灵活卷继承效率属性和存储节省。共享块仅传输一次，因此重复数据删除还可以减少网络带宽。数据压缩在整个传输过程中持续进行，这样可以减少传输的数据量，从而降低网络带宽使用。没有必要执行SnapMirror链路压缩，因为NetApp数据压缩巳经压缩了数据。网络带宽和SnapMirror传输时间的减少量与空间节省量直接成比例。举个例子，如果您能节省50%的磁盘容量，则SnapMirror传输时间会缩短50%，而且必须通过线缆传输的数据量也会减少50%。qtreeSnapMirror和SnapVault®。qtreeSnapMirror和SnapVault都在逻辑块级别起作用；源存储系统和目标存储系统单独运行重复数据删除和数据压缩。这样，即使源数据并未经过压缩或重复数据删除，也可以对qtreeSnapMirror和/或SnapVault备份进行数据压缩和/或重复数据删除。克隆。NetAppFlexClone技术实时创建文件或数据卷的虚拟副本，在对克隆进行更改之前，这些副本不占用额外的存储空间。FlexClone支持重复数据删除和数据压缩。NetApp数据压缩入门NetApp数据压缩可以在运行DataONTAP8.0.1及更高版本的所有NetAppFAS和V系列系统上运行。数据压缩在卷级别启用。这意味着由您选择在哪些卷上启用该技术。如果您知道某个卷包含不可压缩的数据，则无需（也不应）在该卷上启用数据压缩。卷容量可以高达16TB，并且必须包含在64位聚合体中，这是在DataONTAP8中引入的一项功能。（了解有关DataONTAP8的更多信息，请参阅本期TechOnTap中的姊妹篇。）若要开始使用数据压缩，只需在存储系统上安装免费许可证，然后在选择的卷上启用它。就是这么简单。面向早期采用者的数据压缩计划。与几年前推出的重复数据删除技术一样，NetApp也管理数据压缩技术的早期采用。如果您申请数据压缩许可证，我们将评价您的环境，并提供最佳实践建议。结论NetApp数据压缩