非结构化数据跨域整合实施方案

非结构化数据跨域整合实施方案

非结构化数据相对于结构化数据而言，不方便用数据库二维

逻辑表来表现的数据即称为非结构化数据，包括所有格式的办

公文档、文本、图片、XML、HTML、各类报表、图像和音频/视

频信息等等。

非结构化数据库是指其字段长度可变，并且每个字段的记录

又可以由可重复或不可重复的子字段构成的数据库，用它不仅

可以处理结构化数据（如数字、符号等信息）而且更适合处理

非结构化数据（全文文本、图象、声音、影视、超媒体等信

息）。

非结构化WEB数据库主要是针对非结构化数据而产生的，与

以往流行的关系数据库相比，其最大区别在于它突破了关系数

据库结构定义不易改变和数据定长的限制，支持重复字段、子

字段以及变长字段并实现了对变长数据和重复字段进行处理和

数据项的变长存储管理，在处理连续信息（包括全文信息）和

非结构化信息（包括各种多媒体信息）中有着传统关系型数据

库所无法比拟的优势。

非结构化数据，顾名思义，是存储在文件系统的信息，包括

视频、音频、图片、图像、文档、文本等形式。非结构化数据

具有某种特定和持续的价值，这种价值在共享、检索、分析等

使用过程中得到放大。

如何管理好这80%的数据，是企业构建协同生态的关键一

环。非结构化数据的存储和流转，大都采用邮件、FTP以及QQ

等IM工具为主。这些工具传递文件时速度不稳定，安全性得不

到保障，并且无法很好地满足企业中一对多的高频数据传递场

景。

在数字化过程中需要处理大量报表、账单、影像、电子文

档、图片、音频、视频等非结构化数据，这些数据难以用传统

的关系型数据库管理，内容管理遂应运而生。许多企业都正在

评估和选择实现信息资源整合的最佳途径，而其中绝大多数所

瞄准的都是基于文件结构使用SAN或NAS进行整合的这种方

式。

数据整合的驱动因素

进行存储系统整合的根本目的是为了减少存储资源的数量。

文件服务系统的规模会随着新的企业应用的部署和新的扩展需

求而不断增长，最终会形成一个拥有越来越多文件服务器的庞

大的文件服务环境。

1.降低管理成本

系统整合所带来的一个好处就是能够减少企业的IT管理工

作。随着需要管理的存储设备的减少，处理这些管理任务所需

要用到的人力资源也可以相应地减少。而如果任随这些系统不

断增长，随着时间的推移，最终将积累起大量的文件服务器资

源，这些资源的维护对IT人员来说将是一个极大的负担。

2.经济利益

存储系统整合的实现同样会对企业的经济产生极大的正面促

进作用。当企业将多个系统整合成一个之后，就能够节省下多

余的软件许可费用和磁盘空间，得以节省大量的IT成本。更重

要的是，IT管理员花费在管理这些系统进行软硬件更新和解决

相关问题上的时间也能够得到极大的节省。

3.资产保护

实现存储系统整合的另一个基本的驱动因就是要更好地进行

企业资产的保护。备份机制是否为数据提供了足够的保护？有

没有合适的安全控制？如果这些过程都能够从中央来统一进行

和控制，那么以前所必须要进行的备份过程的次数以及系统的

安全控制点都能够大大减少，企业就将有机会确保企业资产都

得到了完善的保护。

实现整合的不同方式

目前在整合多个存储系统时有多种不同的方式可供选择。-

种方式企业购买一个大型NAS设备并淘汰掉其他小型的存储系

统，在整个企业范围内只存在一个存储系统；另一种方式是采

用虚拟数据中心的方式，也就是说其他已有的小型存储设备都

隐藏在一个中央存储系统之后或分散在不同的物理地点，所有

的资源实际上和以往一样都仍然存在，但只有一个单一的数据

界面需要管理。

1.文件服务器整合

存储系统整合的第一种类型是针对那些被部署用于解决某个

特定应用需求的单独的文件服务器。在原有的基础架构之下，

越来越多的文件服务器会随着新的企业应用的上线而被独立部

署到企业IT环境中，企业的存储系统将无法避免地变得越来越

膨胀。我们的目标是通过设施整合将系统控制在一个更小的机

构，比如一个工作小组或一个部门中统一集中起来。常见的处

理问题的方法是安装部署一个“全功能盒子”或类似的设备将

这些多个文件服务器结合在一起并放到一个统一的平台上去。

通常，一个NAS设备盒可以整合5到10个文件服务器。在

一个数据中心环境中，企业的数据，也即存储在这些文件服务

器上的信息将被整合到一个中央控制点，这些过程通常在数据

中心里处理和完成。文件服务器在完成整合之后，系统的可用

性和可靠性将比单独的文件服务器的集合要高的多。

2.非结构化数据的整合

在向企业现有的系统中添加其他应用时所要面临的一个主要

问题在于，系统是做为存储资源的角色而存在的，如果一个应

用本身有一些问题，那么对存储信息的访问就可能受到影响，

而部署了文件区域网之后，这种情况将有效地得以避免。因此

非结构化数据整合是一个具有更高系统可用性和可靠性的解决

方案。

很显然，企业之所以使用基于文件的存储系统（如文件服务

器）的一个主要的目的就是为了进行数据的共享，而在实现非结

构化整合之后，数据的访问控制就能交由中央统一进行控制，

这个优势在某些情况下特别有用，一个典型的例子是它支持从

一个地方就能建立起所有的访问权限策略而不必访问多个存储

点才能定义好数据的访问级别。

存储系统整合的第二种类型其实反映出了存储产业的一个逐

步成熟的过程。已经拥有了多个NAS设备并部署了NAS系统的

企业开始意识到现有的整合规模可能还是太小了。从经济尺度

的角度来说，一个更大的存储系统或者一个中央化的存储设备

将引发更多的投资和原有数据的迁移，因此建立虚拟的数据中

心将成为趋势。

这种类型的中央化整合或者说通过虚拟数据中心管理软件可

以将数据中心的存储设备与分散的文件服务器进行整合。现在

企业普遍都有一个共同的认识，即一个更大型的NAS系统有助

于增强存储系统扩容性方面的能力并且能够消除分布各处的独

立的存储设备，但存在整合过程较为复杂以及成本过高的问

题。建立虚拟的非结构化数据中心将能够统一管理分布在各个

物理地点的存储设备，但为管理员和客户提供唯一的访问路

径，显然更加符合企业不断扩展，多个物理数据中心并存的现

实状况。

其他需要考虑的因素

企业在实现了存储系统的整合之后还是有一些其他的因素是

需要认真考虑的，其中包括系统的安全控制，数据的迁移和管

理过程上的变化等等。

1.访问权限的管控

即使实现了整合，原先存在的那些安全问题依旧还是会存

在。系统的整合并不意味着就不再需要对访问控制列表的权限

进行设置了。可能对于那些相对复杂困难的安全过程的设置来

说，系统整合之后在这方面会比较有优势，或者在清理这些安

全过程所创建的一些访问控制规则时会更容易一些，但无论如

何安全控制的实现仍然是不可或缺的。

2.非结构化数据的迁移，复制，分发

整合之后的数据迁移过程同样必不可少。现在市场上有多种

数据迁移解决方案可供选择，比如有一些硬件设备产品可以帮

助完成数据的迁移，在这些设备内部有一个数据转移器，它在

把数据从一个系统转到另一个系统的同时仍然可以为数据的访

问提供服务。另外也有一些主机服务软件程序可以完成这个过

程。最后，市场上还有一些只负责转移数据的设备提供给用

户。

在数据从文件服务器或其他NAS设备上迁移到整合的中央平

台后，比较理想的情况是访问权限设置和控制列表等所有其他

东西也都能够自动一起全部迁移过去。因此在实现整合的过程

中非常重要的需要认真考虑的一点是，象安全控制、访问控制

等诸如此类的信息也都必须要被迁移到整合后的平台上。

Brocade公司的StorageX产品全面实现数据的迁移，权限的继

承，路经的自动更新等重要功能

3.数据操作流程的变化

另一个需要认真考虑的因素是在整合之后企业的数据操作流

程可能会发生变化。数据的备份方式将与以往有所不同。不管

是数据快照还是克隆，如果能够在不同的存储平台上实现时间

点拷贝功能的话，就有机会把中央化整合做得更好一些。另外

在整合之后也将有机会能够利用一些远程数据功能来实现更好

的商业连续性。多数情况下，新平台中做为标准功能提供的那

些新功能新特征在老的平台上是找不到的，或者即使有也要更

昂贵得多。Brocade公司的StorageX产品和FLM产品将数据按

照重要性分类，提高备份的策略性和恢复的速度。

在整合计划实现的过程中有机会可以选择去改变企业现有的

数据操作和管理模式，去发现整合系统所带来的这样或那样的

优点，最终得出一个更好的数据操作流程从而实现更好的数据

安全保护和更高的数据可用性，以及缩短数据在备份时的系统

宕机时间等等。

4.非结构化数据的虚拟数据中心符合集中管理分布使用的

需求

在计划存储系统整合的时候还有一些比较特别的问题需要考

虑，那就是政策问题。一个企业里可能会有不同的部门或机

构，而它们又都有自己独有的控制域，因此在隔离各个控制域

的时候就有一些问题需要解决。某些解决方案可能会选择在一

些平台上安插某种类型的虚拟NAS设备来实现隔离。而如果企

业同时要求存储系统支持更加全局化的数据访问的话，那么在

这种情况下自然就会有其他一些政策因素需要考虑。

在整合的过程中，很多时候人们希望能够基于不同组织对资

源的使用情况来对各个组织进行内部收费。因此很重要的一点

是我们要弄清楚我们所选择的平台是否具有这方面的功能，比

如是否能够根据不同组织在使用资源时对容量和访问能力的不

同要求来确定应该分配给对方多少资源回充率，以及是否能够

支持细粒度的针对部门组织甚至个人的资源使用率收费等等。

通常这要求硬件设备能够支持一些配套的软件来收集这些信息

并加以利用。

5.评估存储设备的承载力

在制定整合计划的时候，至关重要的一点是要立足于未来，

要花时间去仔细评估存储系统的承载力是否具有向前发展的能

力。整合计划的成功与否依赖于企业是否在各个方面都有经过

周密的计算，包括是否该全部整合到一个设备上，这个设备能

够满足多长时间的需求，它是否具有必要的扩展能力等。其他

要问的问题包括存储系统最终会达到什么样一种规模，而现在

这种整合方式是否能够达到那种规模等。

在实现整合的时候，要确保整合后的系统可以支持所有的企

业所要求的访问和条件，包括响应时间和带宽等等。正确地做

出这些决定是要求企业对系统的整合有一个全面且完整的了

解，不成熟或欠考虑的决定在日后可能会迅速变成一个瓶颈，

并出现在整合后资源时常过载的情况。这就是为什么在市场上

具有优秀扩展能力、能够同时支持容量上的增加和系统性能上

的提升的解决方案显得更加有吸引力的缘由。

总结

非结构化数据的整合是一个能够解决很多问题并让很多事情

变得更加容易的解决方案。问题在于有时候人们并没有足够认

真地对待它们。有些人在进行了一部分调查之后就轻易放言

“你看，这个地方我可以很快地把它们整合起来”，但他们常