非结构化数据需要新的存储体系结构

1、非结构化数据需要新的存储体系结构数据和存储正在以每年约 60%的速度递增。虽然这带来的挑战已经非常艰巨，但是我们依然期待下一波数据需求激增，那时我们现在所能想象的到的容量需求将会相形见绌。非结构化数据将会是这一波增长的驱动力。Tony Assaro最近在博客中提到： “大部分公司所创建的非结构化数据，包括公文、演示稿、电子工单、图形、图像等，比结构化数据多得多。另外，即使在一些主流公司，创建视频和音频文件都已经成为很普遍的事情了，这将耗费大量的存储容量。 这些数据大多是非结构化的， 其创建、存储、访问和使用将推动 CAS市场前进。”另外，我认为各种传感设备也将生成大量的非结构化数据，如 RFI

2、D标签、智能卡、 监视摄像头和其他各种检测设备等。波音 787 一次飞行所生成的监测数据就达到数 TB。今后，我们还将看到一些老传感数据的重新利用，比如用 50 年前的地震数据来判断我们从老油田继续采油是否安全。尽管数据库中的结构化数据和类似电子邮件的非结构化数据增长的速度没有那么快，但是它们也同样需要内容存档系统来存储那些不经常使用的数据。现在已经有了2GB 的电子邮箱，不经常使用的电子邮件需要进行存档，与产品系统隔离，否则整个电子邮件系统将会混乱不堪。就算这些结构化 / 半结构化数据存储于活动存储， 它们也需要作为对象进行存储，这样才能方便地查找到它们并进行进一步操作。由于这些数据并没有组

3、织好，就需要更加智能的存储系统。这些系统要能够提取不同类型的数据对象，包括它们的原数据和相关的策略信息，还要能够保留数据的完整性，并能够提供普通搜索和海量数据的查询处理。为了满足正在增长的需求，我们必须改变我们现有的数据存储方式。 20 年前设计的使用静态缓存配置的存储体系结构已经不能满足要求了。它需要一个强大的存储控制器，这个控制器能够调动数百 PB 的数据、成千上万的主机连接以及数以百万计的 IOP(输入输出处理器 )。使用简单的应用分簇无法满足这样的需求。新的存储系统必须提供端到端的存储虚拟化服务，这是为了能够转换到新的存储通道，实现端口连接的虚拟化、卷和文件的虚拟化，以及包含这些卷和文

4、件内存储容量的虚拟化。我们还不能破坏和替换我们现有的系统。为了转换到新的存储体系结构，而不影响现有的操作，保留以前的投资成果，我们就需要使用虚拟化技术。为每个内容管理系统都配备备份存储系统的做法是很不经济的。不管哪个应用程序生成了数据，我们都必须能够集中地进行管理。这正是我们计划在我们公司的 Hitachi Content Archive Platform 中实现的功能，它将集成在我们公司的 Universal Storage Platform V 中。由于我们反对为内容存档引入额外的存储系统，也反对引入额外的软件工具和管理接口，因此我们在通用管理框架中提供了内容存档服务。我们能够调动20PB 的数据，最多支持 320 亿个数据对象，充分利用了日立的异构存储虚拟化服务。在存储区域网(SAN)加独立节点阵列(SAIN)的体系结构中，使用企业级日立存储功能的首选方案就是Hitachi C