EMCisilon存储系统建筑行业的应用概述

1、EMC isilon大数据解决方案为BIM构建坚实的信息基础架构关键词： BIM数据增长 HYPERLINK /docms/api/klist/9a8729cfe2931a1c3e3c9c16e5117a38.html t _blank 大数据横向扩展存储系统 BIM及其数据快速增长的挑战在建筑行业的信息化过程中，第一次设计手段革命是发生在1991年前后的从手工绘图转向计算机二维绘图，第二次设计手段革命是发生在当下的从计算机二维绘图转向计算机三维BIM绘图。BIM使“计算机辅助绘图”成为真正的“计算机辅助设计”，对于建筑行业具有重大意义，无疑将是建筑设计技术发展的重要转折点。BIM数据概述BI

2、M（Building Information Modeling，建筑信息模型）是以三维数字技术为基础，集成了建筑工程项目中的各种相关信息的工程数据模型。该模型是对该工程项目的详尽而完备的描述。它既包含了建筑的几何形状信息，还包括完整的工程信息描述，如对象名称、结构类型、建筑材料、工程性能等设计信息；还包括施工信息，如工序、进度、质量、人工等；还包括维信息，如工程安全性能、材料耐久性能等；甚至还包括构件的造价、供应商等采购信息等ZU2中国BIM门户 - ChinaBIM.com。BIM就是通过数字化技术，在计算机中建立一座虚拟建筑，这个建筑模型就是一个单一的、完整的、一致的建筑信息库。 BIM对

3、设计行业好处相当多。通过使用BIM，F5T中国BIM门户 - ChinaBIM.com实现三维设计，即便非常复杂的项目，BIM也可以进行三维空间的表达，实现F5T中国BIM门户 - ChinaBIM.com可视化设计，从而使得业主能够事前决策，减少设计的返工量。对于设计人员，通过BIM，实现大规模F5T中国BIM门户 - ChinaBI协同设计，不同专业、不同工序在同一个平台上进行工作绘图，有利于拆分组合设计，提高整个设计工作的效率。而且F5T中国BIM门户 - ChinaBIM.com修改方便，同步更新，版本一致。F5T中国BIM门户 - ChinaBIM.com通过BIM，还可以实时分析，

4、自动统计。工程量及材料表相对于人工制作更加精确，F5T中国BIM门户 - ChinaBIM.co质量控制更加容易，提高图纸质量。最后BIM使得整个设计过程更加F5T中国BIM门户 - ChinaBIM.com绿色节能环保。应用建筑信息模型，从根本上解决项目规划、设计、施工、维护管理各阶段及应用系统之间的信息断层，实现全过程的工程信息管理乃至建筑生命期管理（Building Lifecycle Management, BLM）。BIM为整个建筑全生命周期期间提供连续和即时响应的基础信息。这些信息准确、完整、一致，为设计人员和工程技术人员提供了一个和谐的协同工作的环境。大大提高设计乃至整个工程的质

5、量和效率，显著降低成本并减少风险。建筑信息模型，是应用于建筑业的信息技术发展到今天的必然产物。事实上，多年来学术界和计算机创新企业一直在对如何在计算机辅助建筑设计中进行信息建模进行积极深入持续的探索。然而，由于建筑业本身所固有的特性，如产业结构的分散性、工程对象的唯一性、工程信息的复杂性等，使得BIM 的实现异常复杂且艰难。而业界长期以来没有能够形成事实上工业标准。直到国际协同工作联盟（IAI ）推出的IFC（Industry Foundation Classes）为BIM的实现提供了建筑产品数据表达与交换的标准，以及其他的国际标准，为BIM商业应用确立基本条件，推动BIM 技术的发展。目前，

6、建筑信息模型的概念已经在学术界和软件开发商中获得共识，并出现了一批应用了建筑信息模型技术的建筑设计软件公司和成熟的商用产品，如: Autodest、Graphisoft、CATIA、Gehry Technologies等，他们大多数都可以支持建筑工程全生命周期的集成管理环境。随着BIM系统上线并使用，各项目将逐步积累大量需要共享的工程数据。正如其他行业的信息化实践所表明的，数据对企业是极其重要的。BIM应用所产生和处理的数据也是如此，数据一旦丢失，所有其他计算资源和计算能力将变得毫无价值。数据是企业和机构的关键资产和财富。加强对数据的管理、保护和使用，将为企业带来更大的业务价值。然而，信息技术

7、发展到现今阶段，有太多的数据管理、保护和使用的技术、产品和解决方案可供选择，它们提供不同的服务等级。为了能够选择合适的技术，产品和解决方案，不能不对BIM数据的特点进行具体分析。BIM数据的大数据特性BIM的计算机环境是一个网络化的协同计算环境。数据的集中存储是共享和协同工作的基础。这些数据具有4维特征（三维立体加时间），并且相关性极大，结构十分复杂，既有数据库特性（有人甚至直接称之为四维关系型数据库），但与传统关系型数据库又有显著区别，这些数据的非结构化更明显，它们是体积庞大的非结构化文件。事实上，BIM数据具有典型的大数据的特征。按照维基百科（Wikipedia）的定义，大数据是指其大小或

8、复杂性无法通过现有常用的软件工具，以合理的成本并在可接受的时限内对其进行捕获、管理和处理的数据集。这些困难包括数据的收入、存储、搜索、共享、分析和可视化。在越来越大的这种数据集上的工作能够得到更大的好处，而这种趋势将持续。Gartner Group指出大数据的数据增长挑战（或机遇）是三维立体的：包括不断增长的数据量、不断增加的速率（数据I/O的速度）和不断增加的种类（数据类型、数据源）。而传统的存储技术难以应对大数据处理的三大挑战。挑战一：不断增长的数据量。通常大数据是不能删除的，这是企业的宝贵的财富，因此，数据将不断地积累增长。同时，增长的有加速的趋势，经常会超出人们预计或规划，从而，对信息

9、系统带来了极大的挑战。信息中心需要管理数十TB级甚至PB级数据。要为这些数据提供存储、保护和使用的方案，IT系统需要不断的作相应升级或重构，需要投入大量人力物力。一旦企业实施数字化战略，BIM数据将日积月累，走上长期增长的不归路。挑战二：多格式数据。海量数据包括了越来越多不同格式的数据，这些不同格式的数据也需要不同的处理方法。从简单的电子邮件、数据日志和信用卡记录，再到仪器收集到的科学研究数据、医疗数据、财务数据以及丰富的媒体数据（包括照片、音乐、视频等），都具有这个特点。比如视频文件格式就非常繁多，有各软件厂商的厂商标准的格式，工业标准组织的工业标准格式。各种格式在当前高清化的趋势下，数据粒

10、度更小，处理更精细，更复杂的格式还不断出现，造成单一文件的体积成倍增加，从而要求处理速度要求也成倍增加。当前BIM的单个文件数据体积大多是在几百兆字节（+100MB）,文件大小还不是非常庞大。但同样存在格式更大、更精细的趋势。挑战三：性能。速度是指数据从客户端到处理器和存储的移动速度，涉及到终端数据处理能力、数据流访问和交付、服务器计算处理能力和后端存储的吞吐能力。速度意味着要求数据有多快和必须被多快得以处理。大数据处理需要不同于交易类应用的速度，通常其对带宽的要求比iops更重要。BIM数据存储需要新方案 BIM数据除了上述大数据的数据增长、多格式和性能上的三大挑战之外，还有另外一些显著的特

11、点。BIM的信息生命周期特性BIM数据将具有显著的信息生命周期的特点，在建筑设计期间是BIM素材数据调用、新数据产生、综合分析、协同工作的期间，数据访问频率很高；建筑建造期间数据的访问频率会很高，之后在建筑使用维护期数据的访问频率将显著降低。BIM数据的生命周期要比建筑的生命周期更长。因此，访问频率高的数据称为活跃数据，反之，称为非活跃数据。活跃数据需要更高的性能和业务不中断的能力，而非活跃数据则需要长期保存，也许是永远保存。通常活跃数据从产生时间上说，是时间较近的数据；而非活跃数据是时间较早的数据。现在的活跃数据是明天的非活跃数据。活跃数据通常需要不断更改的，而定稿的BIM数据对象可能永远也

12、不再更改。相对而言，活跃数据的增长较慢，非活跃数据的增长却要快的多，且持续增长。将非活跃数据定期归档到磁带是一种成本较低的方法，这种方法现在越来越遭到摒弃的原因是数据存放到磁带离线后再读极为不便，另一个原因是磁带是难以让人放心的不可靠的介质，存在数据丢失的风险。非活跃数据在线的另一个原因是需要处理长尾效应，尤其是在建筑维护期间，早期BIM数据极有可能不定期地被访问，能不能准确和及时的获得信息对建筑维护工作极其重要。因此，许多公司需要所有的数据能够在线访问，而不是离线存储，这为数据管理系统带来了更大的挑战。通常情况下，一段时间以后大概有75%以上的数据将会是非活跃的数据。非活跃数据的增长和确保即

13、时访问的有效性使得数据存储需要新的存储策略了。许多企业通过简单地增加存储容量、增加存储系统数量来满足需求。但从长远来看，这种方式的性价比较差，因为这样的方式，势必形成数据孤岛，增加系统管理的难度。如果企业不能采用更具效率的方式来管理存储系统，那么总体拥有成本（TCO）将很快超出控制。BIM信息存储架构要求全球大型企业的数据中心基础架构所面临的最大挑战是数据增长，其次分别是系统性能、可扩展性，以及网络阻塞和接入架构。这些挑战和趋势将推动数据中心的变革。BIM对建筑行业的影响和冲击是根本性，BIM数据是企业正日益使用的新形式的信息。管理这些极端数据却是他们的核心竞争力。BIM数据是企业的最高层次的

14、资产，需要企业级数据中心的信息基础架构支撑。该信息基础架构的角色没有改变，仍然是为关键业务提供支持，但对于BIM应用而言，现在还必须能处理更复杂的数据类型、更大的容量和提供更快的即时响应的性能。这对于当前普遍使用的10年前设计出来的数据存储系统来说，需要作体系结构上的根本革新。适合BIM的存储系统应当满足以下要求，才能有效的存储、管理、保护和使用BIM数据，从而使得企业充分利用数据业务价值，提高企业的竞争力。扩展性存储基础架构应当具有超强的扩展能力。BIM数据增长的速度难以准确估计，如果存储架构能够支持的扩展能力超过极限增长速度，达到事实上的容量无限，那么企业就无须考虑数据增长的压力而按需购买

15、，随时扩展，从而从“一年一扩容、三年一重构”的增长压力中解放出来。为此，存储架构还必须支持平滑地扩展，不能要求停机中断业务，也不能影响客户端的性能。而且，存储必须支持平滑处理硬件升级换代的更新周期。没有硬件能够永远使用，而传统存储通常的产品周期5到10年，而BIM数据必须能够平滑的迁移到新的存储架构。性能存储基础架构应当具有超强的性能。BIM营造了一个协同工作环境，存储架构必须支持大量并发的数据读写请求。由于单一的BIM客户端的性能要求已经很高，成百上千的并发将需要超强性能。存储架构必须能够扩展容量的同时，同步扩展性能。高可用和可靠性存储基础架构应当具有超强的高可用和长期的可靠性。当前普遍使用

16、的存储系统在高可用和可靠性上已经达到很高标准，可用性都超过59。但是它们主要是针对短期的，针对当下的，只要在系统的三五年内不发生长时间停机事故即可。而BIM的可用性和可靠性要求是长期的，因此，需要更强的可靠性，并且，系统要求具备相当高的自愈能力。分层存储 存储基础架构应当支持分层存储功能，以应对BIM数据的信息生命周期的规律，提高存储资源的利用率，降低成本。存储架构自身有数据按照设定的策略在不同层次的存储之间移动数据的能力，而数据的移动应当不以牺牲存储架构的服务性能为代价。从而使得活跃数据和非活跃数据各得其所。使用方便性存储管理是系统管理员的最复杂的日常工作之一。当前普遍使用的企业级存储系统是

17、以RAID为基石的，所有系统管理从RAID开始，然后是卷、文件系统和映射关系。在使用中还需要不断地调整优化，十分繁琐。因此，一个存储工程师只能管理有限的TB数。而BIM数据的增长的特性，使得传统的管理方式不适用，需要更多自动化的处理方式，简化数据存储管理任务，这些死板的程序型性工作尽量让软件和系统自己去完成。容灾和业务连续性存储基础架构应当支持远程容灾，提高 HYPERLINK /wiki/%E4%B8%9A%E5%8A%A1%E8%BF%9E%E7%BB%AD%E6%80%A7 o 业务连续性 业务连续性和数据保护能力。传统存储远程复制技术通常是内容不敏感的，它将一个卷的数据一股脑全部复制过

18、去，这种技术用于交易类应用非常合适。而BIM数据在使用中会生成许多中间数据，这些数据没有必要复制，因此，基础架构的复制功能需要支持基于策略选择复制内容的能力，以提高复制的效率和有效性。 总体拥有成本所有数据中心基础架构从某种程度上会影响到成本。数据增长这个因素与硬件、软件、维护、管理和服务不断增长的成本有密切关系。由于控制成本仍然是大多数企业机构的一个关注焦点，所以找到与控制成本密切相关的技术是一个很有效的方法。除了要考虑购买成本、使用维护成本，还需考虑系统扩展时连带的成本。数据增长给总体拥有成本新的内容。ZU2中国BIM门户 - ChinaBIM.comisilon集群存储的技术特点SAN

19、和 NAS 存储系统所依赖的技术和设计已有20年了，无法扩展以应对当今企业面对的难题。需要有一个新的专门设计用来根据需要而扩展的平台。存储平台的扩展必须以经济高效、无中断、可预测的方式进行，并且在容量和性能提高时必须仍然易于管理和维护。它提供无限地无缝增长环境而不增加复杂性的能力，这种可扩展性设计称为“横向扩展”。EMC isilon横向扩展存储系统是业界技术最突出的代表，是大数据存储、保护和管理的最佳平台。是BIM数据值得依赖的存储基础架构。Isilon 存储集群和 OneFS 操作系统 Isilon硬件系统是横向扩展存储系统（称为“集群”）。一个 Isilon 集群由多个存储“节点”组成，

20、这些节点采用可安装在机架上的企业级应用装置的构造，每个节点包含内存、CPU、网络、NVRAM、Infiniband 和存储介质。Isilon 集群开始只有三个节点，可以横向扩展到多达 144 个节点。所有节点通过内部的 40 Gb/s 的 Infiniband交换网络互连。目前，Isilon 横向扩展存储系统的单文件系统总容量从最低6TB ，可以横向扩展到最高15PB。往集群添加节点，就可以增加总的磁盘、缓存、CPU 和网络容量。由于容量和性能均在单一存储系统、单一文件系统和单一卷中提供，系统的复杂性和存储管理员的管理时间不会随着系统的扩展而增加。EMC Isilon 革命性的新存储体系结构，

21、是其管理存储集群的 OneFS 操作系统。EMC Isilon 存储的最重要设计选择和根本差异在于，OneFS（请参见图 1）将三个传统的存储软件层（文件系统、卷管理器和 RAID）合并为一个统一的软件层，从而创建一个跨越存储系统中所有节点的单一智能文件系统。在此商用硬件的基础上，OneFS 操作系统支持数据保护和自动数据平衡及迁移，并且无需系统停机即可无缝地添加存储和性能特性。图 1. OneFS 操作系统：为 Isilon 横向扩展存储平台提供支持OneFS 跨所有节点对数据条带化。数据从客户端发送到集群时（使用 NFS、CIFS或多iSCSI等），OneFS 会自动划分内容并将其并行分配

22、到不同的存储节点。此工作通过专用的内部 Infiniband 网络上进行。客户端要读取文件时，OneFS 会并行地从多个存储节点检索相应的数据块，自动重新组合文件，并传送到客户端。这种以透明方式自动跨多个节点分布数据的能力，对 OneFS 实现增长、新一代数据保护和极高性能的能力非常重要。OneFS文件系统将屏蔽了存储架构中RAID、卷和文件系统等复杂性，这意味着在isilon系统中只有单一卷，单一文件系统。没有卷大小和文件系统的硬性的限制，用户无需管理多个网络驱动器，用户只要开子目录，然后共享或export即可。重新配置或扩展存储时，不需要停机。OneFS为用户提供了管理单一NAS存储的便利

23、性和简单性，而且其可扩展性、性能和灵活性都要胜过 SAN系统。可扩展性和分层存储OneFS 使 Isilon 存储系统能够“横向扩展”，从而无缝地将现有文件系统或卷的容量提高到 PB 级别。此外，借助 OneFS 的灵活性，单个集群或“池”中可以通过增加 SmartPools 软件混合使用不同的节点类型，从而提供投资保护并避免在需要不同的容量或性能级别时进行“推倒重来”式升级。SmartPools（请参见图 2）使企业和存储管理员能够轻松部署单一文件系统，以满足存储分层，满足不同的性能和容量要求。 图2. SmartPools 通过自动、透明的数据移动将单个文件系统用于多个层 Isilon 集

24、群扩展非常容易，只需执行三个简单步骤即可：在机架中添加另一个节点、将该节点连接到 Infiniband 网络，然后指示集群添加该附加节点。新节点可以提供额外的容量和性能，因此，存储系统整体的容量和性能就同步增加了。然后，OneFS 的 Autobalance 功能会自动通过 Infiniband 网络移动数据，使得现有数据会部分移动到该新存储节点上。这种自动重新平衡功能可以确保新节点不会成为新数据的热点，并且现有数据能够获得功能更强的存储系统的好处。Autobalance 功能对用户是完全透明的。凭此功能可使 OneFS 能够透明地从 6TB 动态扩展到高达 15 PB，同时不会增加管理员的管

25、理时间，也不会增加存储系统的复杂性。性能大规模存储系统必须提供各种工作流所要求的性能，无论这些工作流是顺序、并发还是随机的。应用程序之间和单个应用程序之内存在不同的工作流。OneFS 利用智能软件同时满足了所有这些需求。更重要的是，利用 OneFS（请参见图 3），吞吐量和 IOPS 可随单个系统中存在的节点数量线性扩展。由于平衡的数据分布、自动重新平衡和分布式处理，OneFS 能够在系统扩展时利用额外的 CPU、网络端口和内存。图 3. OneFS 线性可扩展性为了满足各种工作流的需求，OneFS提供跨所有节点的全局一致性缓存。每个存储节点都包含标准 cache（ 6 GB 至 96 GB）

26、，缓存总数随着集群中添加更多节点而增长，一个存储系统中缓存可扩展到 13.8 TB。此外，OneFS 让存储系统管理员能够按文件或按目录指定工作负载的类型，从而对特定文件/目录的访问模式是随机、并发还是顺序的。这种独特功能使 OneFS 能够定制磁盘上的布局决策、缓存保留策略和数据预取策略，以便最大限度提高各个工作流的性能。管理新一代数据中心的重点是以可持续、可扩展和高效，成功的关键是减少管理复杂性。OneFS 旨在简化管理活动，并在总体系统扩展时保持这种简单性，如图 4 所示。Isilon可在 60 秒内增加节点，从而添加性能和/或容量，且无须配置RAID、卷和文件系统。同时，借助 Smar

27、tConnect 和 Autobalance，避免手动数据及连接重新均衡。在系统管理员添加新的存储资源后，下一个步骤通常是将现有存储设备中的内容手动迁移到新设备中，以便均衡资源之间的容量。Isilon IQ 在扩展时自动迁移内容，彻底消除了中断企业应用程序的必要性。使用其 AutoBalance功能，可在60秒内将新的存储节点添加到Isilon IQ集群。节点打开、网络电缆连接后，AutoBalance通过集群的互连后端交换机，立即着手将现有存储节点中的内容移至新添加的节点，在集群的所有节点中重新平衡全部内容并实现最大的利用率。图 4. OneFS 的简单性与传统 NAS 的复杂性Isilon

28、 IQ 的“即插即用”的设计，使很多工作可以自动完成，再也不用与其他高端系统那样进行手工操作了。只要花费几分钟时间就能够完成Isilon IQ集群的初始安装和配置，对容量进行扩容就更为简单了，正如一个客户所说：“使用Isilon存储系统，能容易地添加新的节点。而原来在SAN上扩容则是另外一回事不仅复杂，且特别耗时。”OneFS的另外一个自动功能是SmartConnect。SmartConnect功能支持存储节点间的客户端连接负载均衡、动态 NFS故障转移和客户端连接故障恢复，以最佳地利用集群资源。由于无需安装客户端驱动器，管理员能够轻松管理庞大而且数量不断增加的客户端，即使遇到系统故障也可以放

29、心，读写操作将会成功完成，且不会失败。 SmartConnect采用智能策略（即CPU使用率、连接数、吞吐率）来简化连接管理任务，方法是根据已定义的策略在集群内自动分布客户端连接，从而实现性能的最大化。 而 Isilon IQ 存储系统构建了单一存储池，消除管理多个“存储孤岛”（服务于不同的用户群和应用程序）所产生的成本。Isilon IQ 存储系统使用简便，管理几十TB和管理几个PB都只要一个管理员。 数据保护传统存储系统扩展时，在规模尚小时适用的技术在规模较大时变得不再适用，RAID 就是最好的例子。OneFS不依赖基于硬件的RAID技术来提供数据保护。OneFS包含核心技术FlexPro

30、tect，此技术利用 Reed-Solomon 编码来提供冗余和可用性。FlexProtect 可以提供针对最多四个同时发生的全节点或单个驱动器的故障的保护，并且在集群规模扩展时，FlexProtect 可以满足确保将单个故障的重新构建时间缩至最短这一要求。FlexProtect是OneFS中的一项重要创新技术，它采用特定于文件的方法来实现数据保护，为每个文件单独存储保护信息。这种独立保护允许将保护数据连同文件数据一起散布在整个集群中（请参见图 5），从而在需要时大幅提高数据访问和重建的潜在并行度。举例来说，Isilon的“n+2”双ECC纠错在单一集群和文件系统内最多允许磁盘或整个节点同时出

31、现两个故障。每个文件皆在集群内的多个节点中进行块级拆分，其中每个数据块有两个奇偶校验块级拆分。与“n+1”单奇偶校验不同，如果此次重建过程中出现了第二个故障，所有数据仍全部可用，因为最初已通过双重ECC保护对数据进行了块级拆分。相反，如果同样的情形发生在使用 RAID5 的传统系统中，则将造成数据丢失，而且无法恢复。Isilon 工程师估计，n+2 RAID的平均故障间隔时间(MTBF)比单奇偶校验RAID的长100倍。现在，设想一下，Isilon Systems的这种功能最高达到“n+4”，使得任何集群存储系统均可以承受驱动器或整个节点的四个同时故障，这是史无前例的，Isilon Systems是可用性最高的解决方案。图 5. OneFS N+4 数据保护SyncIQ软件：快速而可靠的基于文件的复制企业希