EMCisilon存储系统建筑行业的应用概述

EMCisilon大数据解决方案为BIM构建坚实的信息基础架构关键词：BIM数据增长大数据横向扩展存储系统BIM及其数据快速增长的挑战在建筑行业的信息化过程中，第一次设计手段革命是发生在1991年前后的从手工绘图转向计算机二维绘图，第二次设计手段革命是发生在当下的从计算机二维绘图转向计算机三维BIM绘图。BIM使“计算机辅助绘图”成为真正的“计算机辅助设计”，对于建筑行业具有重大意义，无疑将是建筑设计技术发展的重要转折点。BIM数据概述BIM（BuildingInformationModeling，建筑信息模型）是以三维数字技术为基础，集成了建筑工程项目中的各种相关信息的工程数据模型。该模型是对该工程项目的详尽而完备的描述。它既包含了建筑的几何形状信息，还包括完整的工程信息描述，如对象名称、结构类型、建筑材料、工程性能等设计信息；还包括施工信息，如工序、进度、质量、人工等；还包括维信息，如工程安全性能、材料耐久性能等；甚至还包括构件的造价、供应商等采购信息等。BIM就是通过数字化技术，在计算机中建立一座虚拟建筑，这个建筑模型就是一个单一的、完整的、一致的建筑信息库。BIM对设计行业好处相当多。通过使用BIM，实现三维设计，即便非常复杂的项目，BIM也可以进行三维空间的表达，实现可视化设计，从而使得业主能够事前决策，减少设计的返工量。对于设计人员，通过BIM，实现大规模协同设计，不同专业、不同工序在同一个平台上进行工作绘图，有利于拆分组合设计，提高整个设计工作的效率。而且修改方便，同步更新，版本一致。通过BIM，还可以实时分析，自动统计。工程量及材料表相对于人工制作更加精确，质量控制更加容易，提高图纸质量。最后BIM使得整个设计过程更加绿色节能环保。应用建筑信息模模型，从根本本上解决项目目规划、设计计、施工、维维护管理各阶阶段及应用系系统之间的信信息断层，实实现全过程的的工程信息管管理乃至建筑筑生命期管理理（BuilldingLifeccycleManaggementt,BLMM）。BIM为整个个建筑全生命命周期期间提提供连续和即时响应的基础信息。这些信息准确确、完整、一致，为设计人员和和工程技术人人员提供了一一个和谐的协同工工作的环境。大大提高设设计乃至整个个工程的质量量和效率，显显著降低成本本并减少风险。建筑信息模型，是是应用于建筑筑业的信息技技术发展到今今天的必然产产物。事实上上，多年来学学术界和计算算机创新企业业一直在对如如何在计算机机辅助建筑设设计中进行信信息建模进行行积极深入持续的探索。然而而，由于建筑筑业本身所固固有的特性，如如产业结构的的分散性、工工程对象的唯唯一性、工程程信息的复杂杂性等，使得得BIM的实实现异常复杂杂且艰难。而而业界长期以以来没有能够够形成事实上上工业标准。直到国际协同工作联盟（IAI）推出的IFC（IndustryFoundationClasses）为BIM的实现提供了建筑产品数据表达与交换的标准，以及其他的国际标准，为BIM商业应用确立基本条件，推动BIM技术的发展。目前，建筑信息息模型的概念念已经在学术术界和软件开开发商中获得得共识，并出出现了一批应应用了建筑信信息模型技术术的建筑设计软软件公司和成成熟的商用产产品，如:Autoddest、Graphhisoftt、CATIAA、GehryyTechhnologgies等，他们大多数都都可以支持建建筑工程全生生命周期的集集成管理环境境。随着BIM系统统上线并使用用，各项目将将逐步积累大量需要共享享的工程数据据。正如其他他行业的信息息化实践所表表明的，数据据对企业是极极其重要的。BIM应用所产生和处理的数据也是如此，数据一旦丢失，所有其他计算资源和计算能力将变得毫无价值。数据是企业和机构的关键资产和财富。加强对数据的管理、保护和使用，将为企业带来更大的业务价值。然而，信息技术发展到现今阶段，有太多的数据管理、保护和使用的技术、产品和解决方案可供选择，它们提供不同的服务等级。为了能够选择合适的技术，产品和解决方案，不能不对BIM数据的特点进行具体分析。BIM数据的大大数据特性BIM的计算机机环境是一个个网络化的协协同计算环境境。数据的集集中存储是共共享和协同工工作的基础。这些数据具有4维特征（三维立体加时间），并且相关性极大，结构十分复杂，既有数据库特性（有人甚至直接称之为四维关系型数据库），但与传统关系型数据库又有显著区别，这些数据的非结构化更明显，它们是体积庞大的非结构化文件。事实上，BIM数据具有典型的大数据的特征。按照维基百科（WWikipeedia）的定义，大数数据是指其大大小或复杂性性无法通过现现有常用的软件工具，以合理的成成本并在可接接受的时限内内对其进行捕捕获、管理和和处理的数据集。这些些困难包括数数据的收入、存存储、搜索、共共享、分析和和可视化。在在越来越大的的这种数据集上上的工作能够够得到更大的的好处，而这种趋势将将持续。GaartnerrGrouup指出大数数据的数据增长挑挑战（或机遇遇）是三维立体的：包括不断增长的数据量、不断增加加的速率（数据I/O的速度度）和不断增加加的种类（数数据类型、数数据源）。而传统的存存储技术难以以应对大数据据处理的三大大挑战。挑战一：不断增增长的数据量。通常大数据是不能删除的，这这是企业的宝贵的的财富，因此此，数据将不不断地积累增增长。同时，增长的的有加速的趋趋势，经常会超出人人们预计或规规划，从而，对对信息系统带来来了极大的挑战。信息息中心需要管管理数十TBB级甚至PB级数据。要为这这些数据提供供存储、保护和和使用的方案案，IT系统统需要不断的的作相应升级或重重构，需要投投入大量人力力物力。一旦企业实施数数字化战略，BBIM数据将将日积月累，走走上长期增长长的不归路。挑战二：多格式式数据。海量数据包包括了越来越越多不同格式式的数据，这这些不同格式式的数据也需需要不同的处处理方法。从从简单的电子子邮件、数据据日志和信用用卡记录，再再到仪器收集集到的科学研研究数据、医医疗数据、财财务数据以及及丰富的媒体体数据（包括括照片、音乐乐、视频等），都具有这个特点。比如视频文件格式就非常繁多，有各软件厂商的厂商标准的格式，工业标准组织的工业标准格式。各种格式在当前高清化的趋势下，数据粒度更小，处理更精细，更复杂的格式还不断出现，造成单一文件的体积成倍增加，从而要求处理速度要求也成倍增加。当前BIM的单单个文件数据据体积大多是是在几百兆字字节（+1000MB）,,文件大小还还不是非常庞庞大。但同样样存在格式更更大、更精细细的趋势。挑战三：性能。速度是是指数据从客客户端到处理理器和存储的的移动速度，涉及到终端数数据处理能力力、数据流访访问和交付、服服务器计算处理能力力和后端存储储的吞吐能力力。速度意味味着要求数据据有多快和必必须被多快得得以处理。大数据处理理需要不同于于交易类应用用的速度，通通常其对带宽宽的要求比iiops更重重要。BIM数据存储储需要新方案案BIM数据除了了上述大数据据的数据增长长、多格式和和性能上的三三大挑战之外外，还有另外外一些显著的的特点。BIM的信息生生命周期特性性BIM数据将具具有显著的信信息生命周期期的特点，在在建筑设计期期间是BIMM素材数据调调用、新数据据产生、综合分析、协协同工作的期期间，数据访访问频率很高高；建筑建造期间数据的访访问频率会很很高，之后在在建筑使用维护护期数据的访问频频率将显著降降低。BIMM数据的生命命周期要比建建筑的生命周周期更长。因此，访问频率率高的数据称称为活跃数据据，反之，称称为非活跃数数据。活跃数数据需要更高高的性能和业业务不中断的的能力，而非非活跃数据则则需要长期保保存，也许是是永远保存。通常活跃数据从产生时间上说，是时间较近的数据；而非活跃数据是时间较早的数据。现在的活跃数据是明天的非活跃数据。活跃数据通常需要不断更改的，而定稿的BIM数据对象可能永远也不再更改。相对而言，活跃数据的增长较慢，非活跃数据的增长却要快的多，且持续增长。将非活跃数据定定期归档到磁磁带是一种成成本较低的方方法，这种方方法现在越来来越遭到摒弃弃的原因是数数据存放到磁磁带离线后再再读极为不便便，另一个原原因是磁带是是难以让人放放心的不可靠靠的介质，存存在数据丢失失的风险。非活跃数据在线线的另一个原原因是需要处处理长尾效应应，尤其是在在建筑维护期期间，早期BBIM数据极极有可能不定定期地被访问，能不不能准确和及及时的获得信信息对建筑维护工作作极其重要。因此，许多公公司需要所有有的数据能够够在线访问，而而不是离线存存储，这为数数据管理系统统带来了更大大的挑战。通通常情况下，一一段时间以后后大概有75%%以上的数据将会是非活跃的数数据。非活跃数据的的增长和确保即时访问的有有效性使得数数据存储需要要新的存储策策略了。许多企业通过简简单地增加存存储容量、增增加存储系统统数量来满足需求求。但从长远远来看，这种种方式的性价价比较差，因因为这样的方方式，势必形形成数据孤岛岛，增加系统统管理的难度度。如果企业不能采用用更具效率的的方式来管理理存储系统，那那么总体拥有有成本（TCCO）将很快快超出控制。BIM信息存储储架构要求全球大型企业的的数据中心基础架构所面面临的最大挑挑战是数据增增长，其次分别是是系统性能、可扩展性，以及网络阻阻塞和接入架架构。这些挑挑战和趋势将推动数据中心心的变革。BIM对建筑行行业的影响和和冲击是根本本性，BIMM数据是企业业正日益使用用的新形式的信信息。管理这这些极端数据据却是他们的核核心竞争力。BIM数据是企业的最高层次的资产，需要企业级数据中心的信息基础架构支撑。该信息基础架构的角色没有改变，仍然是为关键业务提供支持，但对于BIM应用而言，现在还必须能处理更复杂的数据类型、更大的容量和提供更快的即时响应的性能。这对于当前普遍使用的10年前设计出来的数据存储系统来说，需要作体系结构上的根本革新。适合BIM的存存储系统应当当满足以下要要求，才能有有效的存储、管管理、保护和和使用BIMM数据，从而而使得企业充充分利用数据据业务价值，提高企业的竞争力。扩展性存储基础架构应应当具有超强强的扩展能力力。BIM数数据增长的速速度难以准确确估计，如果果存储架构能能够支持的扩扩展能力超过过极限增长速速度，达到事事实上的容量量无限，那么么企业就无须须考虑数据增增长的压力而而按需购买，随随时扩展，从从而从“一年年一扩容、三三年一重构”的的增长压力中中解放出来。为此，存储架架构还必须支持平平滑地扩展，不不能要求停机机中断业务，也也不能影响客客户端的性能能。而且，存储储必须支持平平滑处理硬件件升级换代的的更新周期。没没有硬件能够够永远使用，而传统存储通常的产品周期5到10年，而BIM数据必须能够平滑的迁移到新的存储架构。性能存储基础架构应应当具有超强强的性能。BBIM营造了了一个协同工工作环境，存存储架构必须须支持大量并并发的数据读写请求求。由于单一一的BIM客户端端的性能要求求已经很高，成成百上千的并并发将需要超超强性能。存存储架构必须须能够扩展容容量的同时，同同步扩展性能能。高可用和可靠性性存储基础架构应应当具有超强强的高可用和和长期的可靠靠性。当前普普遍使用的存存储系统在高高可用和可靠靠性上已经达达到很高标准准，可用性都都超过5’99。但是它们们主要是针对对短期的，针针对当下的，只只要在系统的的三五年内不不发生长时间间停机事故即即可。而BIM的可用用性和可靠性性要求是长期期的，因此，需需要更强的可可靠性，并且且，系统要求求具备相当高高的自愈能力力。分层存储存储基础架构应应当支持分层层存储功能，以以应对BIMM数据的信息息生命周期的的规律，提高高存储资源的的利用率，降降低成本。存存储架构自身身有数据按照照设定的策略略在不同层次次的存储之间间移动数据的的能力，而数数据的移动应应当不以牺牲牲存储架构的的服务性能为为代价。从而而使得活跃数数据和非活跃跃数据各得其其所。使用方便性存储管理是系统统管理员的最最复杂的日常常工作之一。当当前普遍使用用的企业级存存储系统是以以RAID为基基石的，所有有系统管理从从RAID开始始，然后是卷卷、文件系统统和映射关系系。在使用中中还需要不断地调调整优化，十十分繁琐。因因此，一个存存储工程师只只能管理有限限的TB数。而BIMM数据的增长长的特性，使得传统的的管理方式不不适用，需要要更多自动化化的处理方式式，简化数据存存储管理任务务，这些死板的的程序型性工工作尽量让软软件和系统自自己去完成。容灾和业务连续续性存储基础架构应应当支持远程程容灾，提高高\o"业务连续性"业务连续性性和数据保护能力。传统存储远远程复制技术术通常是内容容不敏感的，它它将一个卷的的数据一股脑脑全部复制过过去，这种技技术用于交易易类应用非常常合适。而BIM数据在使用中中会生成许多多中间数据，这这些数据没有有必要复制，因因此，基础架架构的复制功功能需要支持持基于策略选选择复制内容容的能力，以以提高复制的的效率和有效效性。总体拥有成本所有数据中心基基础架构从某某种程度上会会影响到成本本。数据增长这个个因素与硬件、软件、维维护、管理和和服务不断增增长的成本有有密切关系。由由于控制成本本仍然是大多多数企业机构构的一个关注注焦点，所以以找到与控制制成本密切相相关的技术是是一个很有效效的方法。除了要考虑虑购买成本、使使用维护成本本，还需考虑虑系统扩展时时连带的成本本。数据增长长给总体拥有有成本新的内内容。isilon集集群存储的技技术特点SAN和NNAS存储储系统所依赖赖的技术和设设计已有200年了，无法扩展展以应对当今今企业面对的的难题。需要要有一个新的的专门设计用用来根据需要要而扩展的平平台。存储平平台的扩展必必须以经济高高效、无中断断、可预测的的方式进行，并并且在容量和和性能提高时时必须仍然易易于管理和维维护。它提供供无限地无缝缝增长环境而而不增加复杂杂性的能力，这种可扩展展性设计称为为“横向扩展”。EMCissilon横横向扩展存储储系统是业界界技术最突出出的代表，是是大数据存储储、保护和管管理的最佳平平台。是BIM数据值值得依赖的存存储基础架构构。Isilon存储集群和和OneFSS操作系统Isilonn硬件系统是是横向扩展存存储系统（称称为“集群”）。一个Isillon集群群由多个存储储“节点”组成，这些些节点采用可可安装在机架架上的企业级级应用装置的的构造，每个个节点包含内内存、CPUU、网络、NVVRAM、Infinnibandd和存储介质质。Isillon集群群开始只有三三个节点，可可以横向扩展展到多达1144个节节点。所有节节点通过内部部的40Gb/s的Infinnibandd交换网络互互连。目前，Isillon横向向扩展存储系系统的单文件件系统总容量量从最低6TB，可以横向扩扩展到最高15PB。往集群添加节点，就就可以增加总总的磁盘、缓缓存、CPUU和网络容容量。由于容容量和性能均均在单一存储储系统、单一一文件系统和和单一卷中提提供，系统的的复杂性和存存储管理员的的管理时间不不会随着系统统的扩展而增增加。EMCIsiilon革革命性的新存存储体系结构构，是其管理理存储集群的的OneFSS®操作系统。EEMCIsiloon存储的的最重要设计计选择和根本本差异在于，OneFS（请参见图1）将三个传统的存储软件层（文件系统、卷管理器和RAID）合并为一个统一的软件层，从而创建一个跨越存储系统中所有节点的单一智能文件系统。在此商用硬件的的基础上，OOneFS操作系统支支持数据保护护和自动数据据平衡及迁移移，并且无需需系统停机即即可无缝地添添加存储和性性能特性。图1.OnneFS操作系统：：为Isiloon横向扩扩展存储平台台提供支持OneFS跨跨所有节点对对数据条带化化。数据从客客户端发送到到集群时（使用用NFS、CIFS或多多iSCSII等），OneFFS会自动划分分内容并将其其并行分配到到不同的存储储节点。此工工作通过专用的内部Infinnibandd网络上进行行。客户端要要读取文件时时，OneFFS会并行地从从多个存储节节点检索相应应的数据块，自自动重新组合合文件，并传传送到客户端端。这种以透透明方式自动动跨多个节点点分布数据的的能力，对OneFSS实现增长、新新一代数据保保护和极高性性能的能力非非常重要。OneFS文件件系统将屏蔽蔽了存储架构构中RAIDD、卷和文件件系统等复杂杂性，这意味味着在isiloon系统中只只有单一卷，单一文件件系统。没有有卷大小和文文件系统的硬硬性的限制，用用户无需管理理多个网络驱驱动器，用户户只要开子目目录，然后共共享或expport即可可。重新配置置或扩展存储储时，不需要停机。OneeFS为用户户提供了管理理单一NASS存储的便利利性和简单性性，而且其可可扩展性、性性能和灵活性性都要胜过SAN系统统。可扩展性和分层层存储OneFS使使Isiloon存储系系统能够“横向扩展”，从而无缝缝地将现有文文件系统或卷卷的容量提高高到PB级别。此此外，借助OneFSS的灵活性，单单个集群或“池”中可以通过过增加SmarttPoolss™软件混合使使用不同的节节点类型，从从而提供投资资保护并避免免在需要不同同的容量或性性能级别时进进行“推倒重来”式升级。SmmartPoools（请请参见图2）使企业和和存储管理员员能够轻松部部署单一文件件系统，以满足存储分分层，满足不同同的性能和容容量要求。图2.SmartPools图2.SmartPools通过自动、透明的数据移动将单个文件系统用于多个层Isilonn集群扩展非常常容易，只需需执行三个简简单步骤即可可：在机架中中添加另一个个节点、将该该节点连接到到Infinnibandd网络，然后后指示集群添加该附附加节点。新新节点可以提提供额外的容容量和性能，因此，存储系统整体的容量和性能就同步增加了。然后，OneFFS的Autobbalancce™功能会自动动通过Infinnibandd网络移动数数据，使得现有数据据会部分移动到该该新存储节点点上。这种自自动重新平衡衡功能可以确保保新节点不会会成为新数据据的热点，并并且现有数据据能够获得功功能更强的存存储系统的好好处。Auttobalaance功能对用户户是完全透明明的。凭此功功能可使OneFSS能够透明地地从6TB动态扩扩展到高达15PB，同时时不会增加管管理员的管理理时间，也不不会增加存储储系统的复杂杂性。性能大规模存储系统统必须提供各各种工作流所所要求的性能能，无论这些些工作流是顺顺序、并发还还是随机的。应应用程序之间间和单个应用用程序之内存存在不同的工工作流。OnneFS利用智能软软件同时满足足了所有这些些需求。更重重要的是，利利用OneFSS（请参见图图3），吞吐量量和IOPS可随单个系系统中存在的的节点数量线线性扩展。由由于平衡的数数据分布、自自动重新平衡衡和分布式处处理，OneeFS能够在系统统扩展时利用用额外的CPU、网络络端口和内存存。图3.OnneFS线性可扩展展性为了满足各种工工作流的需求求，OneFFS提供跨所有节节点的全局一致性缓存。每个个存储节点都都包含标准cachee（6GB至96GBB），缓存总数随着集群中添加更更多节点而增增长，一个存储系统中缓缓存可扩展到到13.8TB。此外外，OneFFS让存储系统统管理员能够够按文件或按按目录指定工工作负载的类类型，从而对对特定文件//目录的访问问模式是随机机、并发还是是顺序的。这这种独特功能能使OneFSS能够定制磁磁盘上的布局局决策、缓存存保留策略和和数据预取策策略，以便最最大限度提高高各个工作流流的性能。管理新一代数据中心心的重点是以以可持续、可可扩展和高效效，成功的关关键是减少管管理复杂性。OneFS旨在简化管理活动，并在总体系统扩展时保持这种简单性，如图4所示。Isilon可在60秒内增加节点，从而添加性能和/或容量，且无须配置RAID、卷和文件系统。同时，借助SmartConnect™和Autobalance，避免手动数据及连接重新均衡。在系统管理员添添加新的存储储资源后，下下一个步骤通通常是将现有有存储设备中中的内容手动动迁移到新设设备中，以便便均衡资源之之间的容量。IsilonIQ在扩展时自动迁移内容，彻底消除了中断企业应用程序的必要性。使用其AutoBalance功能，可在60秒内将新的存储节点添加到IsilonIQ集群。节点打开、网络电缆连接后，AutoBalance通过集群的互连后端交换机，立即着手将现有存储节点中的内容移至新添加的节点，在集群的所有节点中重新平衡全部内容并实现最大的利用率。图4.OnneFS的简单性与与传统NAS的复复杂性IsilonIQ的“即即插即用”的的设计，使很很多工作可以以自动完成，再再也不用与其其他高端系统统那样进行手手工操作了。只只要花费几分分钟时间就能能够完成IssilonIQ集群的的初始安装和和配置，对容容量进行扩容容就更为简单单了，正如一一个客户所说说：“使用IIsilonn存储系统，能能容易地添加加新的节点。而而原来在SAAN上扩容则则是另外一回回事—不仅复复杂，且特别别耗时。”OneFS的另另外一个自动动功能是SmmartCoonnectt。SmarttConneect功能支支持存储节点点间的客户端端连接负载均均衡、动态NFS故障障转移和客户户端连接故障障恢复，以最最佳地利用集集群资源。由由于无需安装装客户端驱动动器，管理员员能够轻松管管理庞大而且且数量不断增增加的客户端端，即使遇到到系统故障也也可以放心，读读写操作将会会成功完成，且且不会失败。SmartConnect采用智能策略（即CPU使用率、连接数、吞吐率）来简化连接管理任务，方法是根据已定义的策略在集群内自动分布客户端连接，从而实现性能的最大化。而IsillonIQQ存储系统统构建了单一一存储池，消消除管理多个个“存储孤岛岛”（服务于于不同的用户户群和应用程程序）所产生生的成本。IIsilonnIQ存存储系统使用用简便，管理理几十TB和管理几几个PB都只要一一个管理员。数据保护传统存储系统扩扩展时，在规规模尚小时适适用的技术在在规模较大时时变得不再适适用，RAIID就是最最好的例子。OneFS不依赖基于硬件的RAID技术来提供数据保护。OneFS包含核心技术FlexProtect™，此技术利用Reed-Solomon编码来提供冗余和可用性。FlexProtect可以提供针对最多四个同时发生的全节点或单个驱动器的故障的保护，并且在集群规模扩展时，FlexProtect可以满足确保将单个故障的重新构建时间缩至最短这一要求。FlexProotect是是OneFSS中的一项重重要创新技术术，它采用特特定于文件的的方法来实现现数据保护，为为每个文件单单独存储保护护信息。这种种独立保护允允许将保护数数据连同文件件数据一起散散布在整个集集群中（请参参见图5），从而而在需要时大大幅提高数据据访问和重建建的潜在并行行度。举例来说，Issilon的的“n+2”双ECC纠错在在单一集群和和文件系统内内最多允许磁磁盘或整个节节点同时出现现两个故障。每每个文件皆在在集群内的多多个节点中进进行块级拆分分，其中每个个数据块有两两个奇偶校验验块级拆分。与与“n+1”单奇偶校验验不同，如果果此次重建过过程中出现了了第二个故障障，所有数据据仍全部可用用，因为最初初已通过双重重ECC保护对对数据进行了了块级拆分。相相反，如果同同样的情形发发生在使用RAID55的传统系系统中，则将将造成数据丢丢失，而且无无法恢复。IIsilonn工程师估估计，n+22RAIDD的平均故障障间隔时间((MTBF))比单奇偶校校验RAIDD的长100倍。现现在，设想一下，IsillonSyystemss的这种功能能最高达到“n+4”，使得任何集群存储系统均可以承受驱动器或整个节点的四个同时故障，这是史无前例的，IsilonSystems是可用性最高的解决方案。图5.OnneFSNN+4数据据保护SyncIQ软软件：快速而而可靠的基于于文件的复制制企业希望避免计计划外停机和和数据丢失。这这一领域的最最佳做法通常常是创建重要要数据的远程程副本