基于SNSM的历史数据归档迁移解决方案

1、基于StorNext Storage Manager实现历史数据归档迁移管理历史数据归档迁移背景任何企业的IT部门都需要面对数据爆炸性增长，数据的存储量每间隔69个月就会成倍增长。这一存储容量的变化对企业IT部门造成非常大的投资压力，通常80存储在主存储设备中的数据文件均为非用户应用经常使用数据文件，而且基本上不会再作任何更改。同时，无论是业务还是国家法律要求，很多数据需要保存很长时间，特别是金融和上市企业这个要求更为严格和长久。因此企业的IT不能非常有必须考虑部分数据的存储在质与量之间进行一个选择优化：将一些不被经常使用的历史数据从主存储设备中移至成本较低的二级存储设备。同时可根据应用需求，

2、将数据由二级存储设备移动回主存储设备，再进行访问，或直接进行访问。这种历史数据移动将不仅可以即时提升当前系统工作性能，而且更能提供数据保护作用和减低应用对昂贵的、高性能的主存储设备的过度投资。从长远来看，这种数据由主存储设备归档迁移到较低级存储设备（低端磁盘阵列、磁带库、虚拟磁带库）的操作是势在必行。 将不常用的文件长期地保存在一份磁记录媒体上，应该说企业承担着非常大的风险，因为这个数据可能会出现损坏，被意外删除或被电脑病毒破坏，因此企业必须考虑到万一出现数据丢失时的损失，以及随之而来的法律诉讼、罚款、重认证、营业损失，甚至可能影响到企业的存亡。因此建立一套长期的、有效的和自动化的数据保护和迁

3、移归档系统可以避免出现以上有可能发生的问题，避免企业承担沉重的代价风险。 企业应用数据存储结构上图为企业数据存储的一个系统逻辑图，可以看出随着企业存储数据量的增长，存储数据的可用磁盘空间将逐渐缩小，可以考虑的容量扩充方法一是增大磁盘空间的可用容量，二是将一些老旧的图片数据移出磁盘阵列以释放存储空间，给新增的图片数据进行存储。采用方法一，客户不得不为日益增大的存储容量增大资金投入和人力管理投入。如果是基于数据备份恢复手段实现方法二，毫无疑问客户的管理成本就更要上升。因为通过数据备份软件将数据首先备份到高性价比的存储设备，例如一台大容量的磁带库或虚拟磁带库中，而后还需要在原有存储系统中再删除这些备

4、份过的数据文件，以腾出这些数据文件存储所占用的磁盘阵列上的存储空间，用于新数据的存储。但当客户还需要使用这一数据时，还需要由专人通过备份管理软件去从磁带库/虚拟磁带库中将所需要的数据恢复出来。这肯定要加大系统维护人员（数据管理人员）的工作强度，同时更不利于客户的应用对这些图片数据的浏览使用。最好的解决方案是将高端的磁盘阵列设备和性价比高的磁带库存储设备建立一个数据的虚拟存储系统，图片数据可直接存储到这个虚拟存储设备中，数据的使用和客户原来通过磁盘阵列的使用方式是一样的，没有备份和恢复，就好像图片的存储空间是磁盘阵列的存储容量加上磁带库的存储容量一样。从企业数据应用角度来看，解决企业历史数据存储

5、的建设方案无疑必须满足以下两个前提：n 首先是降低历史数据的存储成本，即采用高性价比的存储设备存储历史数据。n 其次是减轻历史数据的访问难度，即让所有客户应用在访问历史数据时就像访问存储在本地硬盘上的数据一样，无需借助其他人员就可以访问到所需要的各类数据。因此创建一个虚拟的数据存储管理层，来实现用户数据的存储管理无疑是最为行之有效，且节省用户投资的一个解决方案。企业历史数据归档迁移解决方案如以上分析可见，虚拟的数据存储管理层呈现给客户应用的是一个巨大的存储空间，其存储资源将包括磁盘阵列存储设备和磁带库/虚拟磁带库设备的在线容量，而这些存储容量呈现给客户应用的是一个文件目录或盘符，客户应用操作访

6、问这些图片数据就像访问本地硬盘上的数据一样。如果考虑将迁移到磁带库/虚拟磁带库中磁带可以移出磁带库，理论上客户可使用的存储空间几乎是无限的。基于StorNext Storage Mananger实现的数据归档的核心实现技术是采用虚拟化存储技术来实现用户数据存储的虚拟化。采用虚拟化数据存储架构，可以为用户整合当前系统内存在的不同存储设备。在完成整合后，对于每一个系统的用户来说，看到的是一个统一数据存储视图，而无需关心存储系统的内部物理结构。StorNext的Storage Manager将为用户提供一个统一的存储平台，并在后端根据用户数据特点，根据预先制订的存储策略将其存储到不同的存储位置，对客

7、户应用提供统一的存储服务。如上图所示，在本方案中，是采用了美国昆腾国际公司StorNext 数据存储管理软件实现存储资源虚拟化的。StorNext数据存储管理软件包括StorNext共享文件系统（以下简称SNFS软件）管理模块和StorNext数据迁移管理（StorNext Storage Manager，以下简称SNSM软件）模块两个部分。基于StorNext文件系统模块可实现多台同种或异构服务器间共享访问同一个文件，是实现不同级别的文件系统共享访问服务，是构成基于策略的数据存储管理的基础。同时，StorNext更可为用户实现基于共享文件系统中的存储系统整合，进一步提高了宝贵的数据存储资源的

8、利用率、数据访问和数据管理效率。在本方案中，主要的数据虚拟化存储软件配置、部署及虚拟化化存储实现描述如下：n 在StorNext元数据管理服务器上安装美国昆腾国际公司的StorNext数据存储管理软件，包括StorNext共享文件系统管理软件和StorNext数据迁移管理软件两部分。n 在企业的其他数据应用服务器可选择安装配置StorNext共享文件系统管理软件以直接对存储在磁盘阵列上的数据文件的访问。n 基于StorNext虚拟化存储管理软件，可实现系统配置中的磁盘阵列中的存储存储资源和二级存储（磁带库/虚拟磁带库存储设备）存储虚拟化，实现虚拟化后的存储系统容量为以上两级存储设备的容量之和。

9、同时存储在虚拟存储上的任何数据文件，无论其实际的存储位置在何地，都可以直接被所有的应用服务器直接进行访问。这一虚拟化的存储系统可通过StorNext提供的数据存储策略，根据文件创建或修改的时间自动实现数据在多级存储设备之间的流动。对于用户的应用来说，无需更改任何存储条件，就可直接实现数据访问。这一虚拟化的存储结果对用户应用是透明的。n 此外，StorNext的虚拟化存储管理软件还可为用户提供一个与用户数据管理应用结合更为紧密的API接口，我们称之为SNAPI。基于此接口，用户的应用就可根据自身的特殊应用需求，来直接部署实现用户数据存储管理的特殊管理策略，以实现特定数据的存储需求。实现数据文件在

10、两级存储设备之间进行自动数据流动的StorNext数据存储管理软件中的Storage Manager模块，采用这一数据存储管理模块可实现这些数据的生命周期管理，可为虚拟化存储系统提供在线、近线和离线数据的存储分级管理。在StorNext数据存储管理软件，StorNext Storage Manager中具有一个实时策略引擎，可以可根据应用数据存储特点，预先定义的策略，自动地移动和复制数据到不同级别的存储设备当中。系统的工作原理，如下图所示：n 基于StorNext数据存储管理软件（简称SNSM软件）可实现无人职守的自动转移。SNSM软件不断对磁盘阵列的存储空间进行监控，根据应用对数据的存储时间

11、上的控制，以及其他的数据存储特性：例如磁盘空间达到预定的饱和度（数据存储到磁盘文件系统后达到的容量水位线）、数据文件大小、数据创建时间等来实现数据由在线到近线存储设备（磁带库、虚拟磁带库、NAS存储设备等）的迁移管理。这一技术是实现数据由在线存储设备到进行存储设备之间的虚拟化存储，虚拟化存储系统自身可根据客户预先制订的数据迁移存储管理策略，将数据文件由磁盘阵列（在线存储上的SNFS共享文件系统中）迁移到近线的存储设备，在迁移完成后，原有的磁盘阵列在线存储设备（SNFS共享文件系统中）上的用于标识数据文件存储位置的 “Stub”文件将指明当前完成迁移后数据文件的存储位置，此存储位置信息将包含原数

12、据在SNFS共享文件系统中的存储位置和迁移到进行存储设备后的位置信息。已被迁移的数据文件仍可根据用户的需要存储在SNFS共享文件系统中，用户可预先设定策略，以根据系统需求释放原有文件所占的存储空间，磁盘存储空间的释放是自动进行的，SNFS共享文件存储空间的释放将根据文件系统存储容量的水位线进行控制。n 如上所述，对于存储在SNFS共享文件系统中的数据文件迁移管理是基于策略实现的，用户可自行在StorNext数据存储管理软件中，根据应用特定需要设定或调整数据的迁移管理策略，灵活策略配置模式可适应客户应用对迁移数据的不同存储需求，客户可以利用大量的参数来确定可转移的文件，例如，以被访问时间或文件大

13、小等参数作为判断迁移文件的选择方式等等。n 数据迁移到其他存储设备上的数据可以最多存储四个备份，这些数据备份可存储到不同的存储介质上，多份数据的分别存储，也可进一步提高迁移数据存储的安全性。对于同一份数据，StorNext在进行数据迁移存储时，也可为用户自动保留25个版本，多版本保留，也为客户数据产生历史进行了更为合理的保护。n 客户可对被迁移到磁带库中的数据进行透明访问。在完成数据由磁盘到磁带的迁移后，在磁盘阵列存储设备中仍保留一个“Stub”文件（占位文件），该文件对于应用和用户依然是可见的，其大小、创建时间、修改实现及显示位置都没有任何改变，一旦有任何客户的应用对此文件提出访问请求时，此

14、访问请求将被SNSM软件接管，SNSM软件首先暂缓应用对此数据文件的访问，将首先完成此数据由磁带到磁盘阵列的回迁操作，而后将数据的访问交还给客户的原有应用。客户的应用是以透明的方式对此文件进行访问的。在本方案中，StorNext的元数据服务器将负责数据迁移、恢复与清理任务的调度与安排。投资估算以下为基于StorNext Storage Manager实现历史数据归档管理的软硬件配置：产品描述数量StorNext 3.1 Mediakit with Warranty, Initial OrderStorNext 3.1介质软件的安装介质1StorNext File System Linux Cl

15、ient. Volume 1-4 clients. Price per client.StorNext共享文件系统，Linux平台用于实现基于一二级存储的共享文件系统，3StorNext Storage Manager. Capacity 10TB.StorNext Storage Manager模块，10TB管理容量用于实现数据进行迁移存储管理。1元数据服务器用于实现数据共享访问及数据迁移管理的服务器1软件安装及一年银牌支持服务与其他备份软件厂商提供的数据归档功能的比较基于StorNext Storage Manager的数据生命周期管理系统从存储架构实现上来看是基于SAN的，也就是说用户的

16、数据存储可以拥有更高的数据存储带宽，以满足应用数据的存储需求，同时可真正在存储层面实现D2D2T的数据存储管理模式，节省主机数据的存储资源的占用。StorNext Storage Manager是基于StorNext共享文件系统的，StorNext共享文件系统可实现数据的跨平台共享访问，不仅仅消除了数据存储孤岛，同时提高的数据访问效率。数据可根据预先定制的存储策略由主存储设备（高端的磁盘阵列）迁移到其他低端存储设备（低端磁盘阵列），而后迁移到磁带库或其他存储介质上，以便长久保存。而这个数据文件的句柄依旧可直接被用户的应用进行访问，用户应用无需关心数据存储位置，只要用户应用需要访问这个数据文件，StorNext Storage Manager就