（机械电子工程专业论文）基于netapp存储设备与技术的企业网络数据高效存储与备份系统的研究.pdf

江苏大学硕士学位论文 摘要 从二十世纪末期开始我们的社会已经进入信息化的时代。作为信息基础的数据， 其价值被越来越多的企业所认识。我们已经知道，数据支持着许多企业每日的交易 及决策，数据也支持着许多工厂的生产线的正常运转。一个疏于数据管理的企业在 当今社会很快会被淘汰出局。所以，现在的企业都非常注意保护他们的数据。企业 可以采用很多方法来保护数据不被丢失、损坏或盗取。一个常用的做法是复制数据， 然后将拷贝存储在其他的地方。基于现代企业对数据共享性的要求，许多企业已把 数据转移到网络上存储，于是网络数据的存储与备份成为当今企业面临的新课题。 本文基于现代企业对数据存储简便、高效、可靠的要求，介绍了数字存储系统 广为应用的d a s 、n a s 和s a n 三种存储结构，分析比较其优缺点，指出n a s 与s a n 融合使用的方案及i ps a n 的使用前景。并以笔者设计的某企业网络改造项目为例， 具体分析企业如何根据自身情况灵活使用n a s 、s a n 、i ps a n 技术构建满足企业数 据安全存储与高效应用的存储结构，总结其实施效果及不足之处，并提出相应改进 意见。最后基于企业数据量不断增长的事实与存储成本控制的要求，提出近线存储 这一分级存储的方案，指出实施这一方案的基本方法及意义。 本文主要结论包括： 1 中小企业为控制成本，可考虑在数据访问速度要求较高的部分使用s a n 存 储结构，在备份部分采用n a s 结构。 2 实际测试表明，n e t a p p 产品在局域网范围内的n a s 结构性能达到甚至优于 同类产品的s a n 结构。 3 采用n e t a p p 的f r i e r 产品，在实施远程容灾方面有较高的性价比。 4 为进一步降低成本，远程容灾部分的存储设备可采用成本较低的线存储设 备。 关键词：n a s ，s a n ，i s c s i ，1 1 s a n ，s n a ps h o t ，s n a p m i r r o r , 数据存储与备份， 远程容灾，近线存储 江苏大学硕士学位论文 a b s t r a c t w eh a v eb e e ni na ni n f o r m a t i o ne r as i n c el a t et w e n t i e t hc e n t u r y a st h es o u r c ea n d t h eb a s eo ft h ei n f o r m a t i o n ，d a t ai st h em o s te s s e n t i a lp a r to ft h ee n t e r p r i s e s t h i si s r e c o g n i z e db ym o s to r g a n i z a t i o n s a sw e h a v el e a r n e d ，d a t as u p p o r t se v e r y d a yb u s i n e s s t r a n s a c t i o na n dd e c i s i o nm a k i n go fm a n yc o m p a n i e s ，i ta l s os u p p o r t st h ep r o d u c t i o nl i n e o fm a n ym a n u f a c t u r e s s i n c ea no r g a n i z a t i o nn o tm a n a g i n gt h e i rd a t aw e l lw i l ls o o nb e o u to fb u s i n e s s ，o r g a n i z a t i o n sa r es e r i o u si np r o t e c t i n gt h e i rd a t a t h e r ea r ean u m b e ro f a c t i o n st h a to r g a n i z a t i o n s 继et op r o t e c td a t aa g a i n s tl o s s ，d a m a g ea n dt h e f t ac o m m o n a p p r o a c hi s t od u p l i c a t ed a t aa n ds t o r et h ec o p ya to t h e rl o c a t i o n s b c e a t t s eo ft h e r e q u i r e m e n to fd a t as h a r a b l e ，m a n yo r g a n i z a t i o n sb e g i ns h i f tt h e i rd a t as t o r a g et ot h e n e t w o r k t h u s ，n e t w o r kd a t as t o r a g ea n db a c k u pb e c o m ean e wt o p i c 缸魄m o d e m e n t e r p r i s e s b a s e d0 1 3 t h e r e q u i r e m e n to fs i m p l e ，e f f e c t i v ea n dr e l i a b l ed a t as t o r a g ei nm o d e m o r g a n i z a t i o n s , t h i s t h e s i si n t r o d u c et h r e e s t o r a g es l r u c t u r e sd a s ，n a sa n ds a n c o m m o n l yu s e di nm a n ye n t e r p r i s e s ，a n a l y z et h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s ，s u g g e s t t h es o l u t i o no f c o m b i n i n gn a sa n ds a n ，f o r e c a s tt h ef u t u r eu s e0 f 口s a n f u r t h e r m o r e b ye x a m i n ef i l le x a m p l ef r o mam a n u f a c t u r e sn e t w o r kr e b u i l d i n gp r o j e c t t h et h e s i ss h o w s h o wae n t e r p r i s eu s ed a s ，n a $ a n ds a n f l e x i b l yt os a t i s f yt h e i ro w nn e e d s a l s o ，8 0 m e p r o b l e m si nt h ec u r r e n ts o l u t i o na r ea d d r e s s e da n d 蛆a l t e r n a t i v es o l u t i o ni sp r o m o t e d f i n a l l y , b e c a u s eo r g a n i z a t i o nd a t aw i l la c c u m u l a t eq u i c k l ya r i dc o s ts h o u l db ec o n t r o l l e d ， n c a rs t o r a g es o l u t i o ni sp r e s e n t e d i t sp e r f o r m i n gm e t h o da n dv i r t u ea r ed e s c r i b e di nb d e k e yw o r d s ：n a s ，s a n ，s t o r a g e ，b a c k u p ，i s c s i ，f cs a n ，i ps a n , s n a p s h o t ，s n a p r e s t o r e ，s n a pm i r r o r , r e m o t ed i s a s t e rr e c o v e r y , n e a rs t o r a g e 江苏大学硕士学位论文 第一章绪论 1 1 课题研究的背景 对于现代企业来说，网络数据的安全性是极为重要的，一旦重要的数据被破坏 或丢失，就会对企业日常生产造成重大的影响，甚至是难以弥补的损失。调查显示， 一个中型企业用于数据恢复的时间可长达十几天甚至一个月以上，耗资可达数万美 元。而且在恢复过程中，相关部门实际上是处在瘫痪状态。在今天，长达数个星期 的瘫痪足以导致任何一家公司破产! 而唯一可以将损失降至最小的行之有效的办法 莫过于数据的存储备份。 分析网络系统环境中数据被破坏的原因，主要有以下几个方面： 1 ) 自然灾害，如水灾、火灾、雷击、地震等造成计算机系统的破坏，导致存储 数据被破坏或完全丢失； 2 ) 系统管理员及维护人员的误操作； 3 ) 计算机设备故障，其中包括存储介质的老化、失效； 4 ) 病毒感染造成的数据破坏； 5 ) i n t e m e t 上“黑客”的侵入和来自内部网的蓄意破坏。 从国际上看，以美国为首的发达国家都非常重视数据存储备份技术，而且将其 充分利用，服务器与磁带机的连接已经达到6 0 以上。而在国内，只有不到1 5 的 服务器连有备份设备，这就意味着8 5 以上的服务器中的数据面临着随时有可能遭 到全部破坏的危险。近几年来，国内网络系统的规划和设计不断推陈出新，在众多 网络方案中，通常对数据的存储和备份管理的重要性重视不够，至少在方案中提及 不多，甚至忽略。当网络建成运行后，缺乏可靠的数据保护措施，等到出现事故后 才来弥补。总之，不论是规划设计还是运行维护阶段，都缺乏对整个系统数据存储 管理和备份应采取的专业而系统的考虑，往往陷于盲目之中。因此，加强国内企业 对数据存储备份重要性的认识，并不断引进最先进的数据存储备份设备来确保网络 数据的安全是很有必要的。 国内企业往往是出于资金问题及对存储备份工作的不了解而忽视这一网络构建 的重要环节，本课题的研究即是针对这一状况，通过n e t a p p 公司的存储产品在某企 江苏大学硕士学位论文 业运用中的具体表现，分析其技术要点及对企业运营和管理方面产生的效益，以期 为一些准备在这方面进行投资的企业提供参考。 1 2 课题研究的意义 人们对数据存储备份一词并不陌生，然而对备份的真正内涵并不完全了解。在 一般人脑海里，往往把备份和拷贝等同起来，把备份单纯看作是更换磁带、为磁带 编号等一个完全程式化的、单调的操作过程。其实不然，因为除了拷贝外，还包括 更重要的内容即管理。备份管理包括备份的可计划性，磁带机的自动化操作、历史 记录的保存以及日志记录等。事实上，备份管理是一个全面的概念，它不仅包含制 度的制定和磁带的管理，而且还能决定引进备份技术，如备份技术的选择、备份设 备的选择、介质的选择乃至软件技术的挑选等。 有不少人往往把硬件备份等同于数据存储备份，事实上，硬件备份只是拿一个 系统、一个设备等作牺牲来换取另一台系统或设备在短暂时间内的安全。若发生人 为的错误、自然灾害、电源故障、病毒侵袭等，引起的后果就不堪设想，如造成所 有系统瘫痪，所有设备无法运行，由此引起的数据丢失也就无法恢复了。事实证明， 只有数据存储备份才能为人们提供万无一失的数据安全保护。 可以说，网络设计方案中如果没有相应的数据存储备份解决方案，就不算是完 整的网络系统方案。计算机系统不是永远可靠的。双机热备份、磁盘阵列、磁盘镜 像、数据库软件的自动复制等功能均不能称为完整的数据存储备份系统，它们解决 的只是系统可用性的问题，而计算机网络系统的可靠性问题需要完整的数据存储管 理系统来解决。因此，对原网络增加数据存储备份管理系统和在新建网络方案中列 入数据存储备份管理系统就显得相当重要了。 综上所述，用户特别是网络用户理想的数据存储备份就是用一种容量大、具有 先进自动管理功能、价格又相对便宜的设备对整个系统，特别是对整个网络系统的 数据进行备份，才是人们所希望的数据存储备份。本课题的研究，即是通过分析融 合s a n 和n a s 的n e t a p p 的存储产品在企业的作用及达到的效果，使人们对存储与 备份有更深刻的认识，并可对现今正在发展的存储与备份的新技术逐步地了解并掌 握，从而能从中选择适合自己企业的存储与备份方案，为企业高效可靠地运作打下 坚实的基础。 2 江苏大学硕士学位论文 1 3 本课题研究的内容 目前流行的存储结构模式的适用特点及比较。 n e t a p p 存储产品应用于不同存储模式的技术要点。 现代企业对存储与容灾的一般需求及实施方法。 主流存储备份产品性价比较及评价。 江苏大学硕士学位论文 第二章网络存储架构的发展状况 2 1d a s 存储架构 d a s 是d i r e c t a t t a c h e ds t o r a g e 的缩写，即“直接连接存储”，是指将外置存储 设备通过连接电缆，直接连接到一台计算机上。数据存储是整个服务器结构的一部 分，在这种情况下往往是数据和操作系统都未分离。d a s 这种直连方式，能够解决 单台服务器的存储空间扩展、高性能传输需求，并且单台外置存储系统的容量，已 经从不到1 t b ，发展到了2 t b ，随着大容量硬盘的推出，单台外置存储系统容量还 会上升。 图2 - 1 基于d a s 结构的存储备份口q d a s 存储解决方案适用于一些结构较为简单的应用业务，最为经济实惠。采用 直接外挂存储( d a s ) 方案的服务器结构如同p c 机架构，外部数据存储设备都采用了 直接挂接在内部总线上的方式，服务器仅仅需要外接较低容量的存储设备，就可以 满足数据存储的需求，在这个时期，往往都是数据和操作系统都未分离。随着对视 频处理、数据库应用的需求增加，数据存储需求越来越大，d a s 很快就不能满足数 据存储和管理的需求，于是就诞生了n a s 和s a n 专门的数据存储解决方案。但是 在很多的方案中还是有d a s 的存在，从趋势上看，d a s 仍然会作为一种存储模式， 继续得到应用。 d a s 结构中，数据存储设备直接连接在各种服务器或客户端的扩展接口。它完 4 江苏大学硕士学位论文 全以服务器为中心，存储硬件设备依附于相应的服务器。 d a s 安装方便、成本较低的特性使得d a s 特别适合于对存储容量要求不高、 服务器数量较少的中小型局域网，其优点在于存储容量的扩展简单，投入的成本少 而见效快。d a s 将存储设备直接通过电缆线连接到服务器上，服务器和存储设备之 间的访问请求是直接通过电缆传输进行的( 见图2 1 ) 。 2 2n a s 存储架构 n a s ( n e t w o r ka t t a c h e ds t o r a g e 网络连接存储) 是指将存储设备通过标准的网 络拓扑结构( 例如以太网) ，连接到一群计算机上。n a s 产品包括存储设备和集成在 一起的简易服务器，可以实现涉及文件存取和管理的所有功能。 随着网络应用的飞速发展，许多信息资源每天都要接受大量用户的访问，从而 出现了把资源存储及共享服务从网络主服务器上分离出来的n a s 网络连接存储，用 户无需通过服务器就可直接访问n a s 设备。网络附加存储( n a s ) 是最成熟的网络 存储解决方案，而且是唯一一种允许通过连接的主机系统共享数据的网络存储技术。 它已成为中小企业应用程序和数据库环境的首选解决方案。它通过自动性能调整和 高级数据管理能力，可以降低成本，提高数据可用性，同时简化操作。 n a s 系统主要由n a s 光盘服务器、n a s 硬盘服务器和n a s 管理软件三部分组 成。n a s 光盘服务器实现对光盘的存储共享；n a s 硬盘服务器不仅可实现对各种格 式文件的存储共享，还能对存储空间进行分区，通过网络进行在线存储扩容；n a s 管理软件用于对网络中的多台n a s 设备进行集中管理，网络管理员无需东奔西走， 就可对n a s 设备进行远程设置、升级及管理。 n a s 是通过网线连接的磁盘阵列，它具备了磁盘阵列的所有主要特征：高容量、 高效能、高可靠。n a s 将存储设备通过标准的网络拓扑结构连接到一群计算机上， 无需服务器直接上网，不依赖通用的操作系统，而是采用一个面向用户设计的、专 门用于数据存储的简化操作系统。n a s 能够满足那些无法承受s a n 昂贵价格的中小 企业的需求，具有相当好的性能价格比。与任何其他存储方法相比较，n a s 设备 的总拥有成本最低，而且具有可扩展性和可用性。 n a s 模式以网络为中心，利用现有的网络资源来接入专用的网络存储设备，而 不是另外再部署光纤交换机网络来连接传统的存储设备( 如图2 - 2 ) 。 5 江苏大学硕士学位论文 图2 - 2 基于n a s 结构的存储备份 n a s 为用户提供了易于安装、易于使用、易于管理、可靠性高和扩展性好的网 络资源存储解决方案，该解决方案提供了高性能、绝佳的可靠性以及前所未有的易 用性。n a s 实施步骤简单，价格便宜，用户可以根据自己的特别需求，逐步扩展网 络和存储容量，因而它受到了用户越来越广泛的喜爱和应用，是中小企业理想的选 择。 2 3s a n 存储架构 s a n ( s t o r a g ea r e a n e t w o r k i n g ) 存储区域网络，是指以数据存储为中心，采用 可伸缩的网络拓扑结构，通过高速的光纤连接，在s a n 内部任意节点之间提供数据 交换，并且将数据存储管理集中在相对独立的存储区域网内。 s a n 是通过核心的交换设备建立的存储网络子系统，采用了智能的、集中的存 储设备，主机系统通过光纤通道h b a 卡接入s a n 。建立s a n 存储网络后，不仅实 现了存储集中、存储整合，也实现了应用整合，各应用间可建立基于光纤通道的高 速文件共享，可实现多节点的集群应用，亦可实现并行应用服务，对于存储设备的 管理、空间的划分、空间的利用率均得到很好的解决。 6 江苏大学硕士学位论文 图2 - 3 基于s a n 结构的存储各份 如图2 - 3 所示，s a n 存储系统由光纤交换机、存储设备、备份设备和存储管理 软件等组成，具有较强的可伸缩性。针对于大数据量存储、需要实时访问数据的应 用。与传统技术相比，s a n 技术的最大区别在于：将存储设备从传统的以太网中隔 离出来，成为独立的存储区域网络( s a n ) ，大量的数据只是在服务器和存储设备 之间流动，不占用网络带宽，极大提高访问速度；s a n 完全采用光纤连接，从而保 证了数据传输带宽为2 0 0 m b s ，对于所有的应用都可以很好地满足。因此推荐使用 此方案进行数据的存储和备份。 7 江苏大学硕士学位论文 2 4 三种架构的比较及适用性特点 图z - 4 三种结构对比示意图。1 此三大系统各自拥有其优缺点：d a s 技术成熟，应用比较普遍，但已无法满足 现今企业资料多元化与容量的需求； d a s 存储方式存在问题：( 1 ) 可扩展性差。服务器内部广泛使用的s c s i 通道 的个数和可连接的硬盘数、连接的距离以及连接的可靠性都是有限的； ( 2 ) 网络负 载大，系统的性能低。采用d a s ，重要业务数据的备份需要在局域网上传输，会造 成较大的网络负载，并且传送的性能也很差，还需要占用服务器的c p u 资源，对业 务会有很大的影响；( 3 ) 存储分散，也会导致可管理性差，管理成本高。目前存储 一般分散在服务器上，而不同的应用可能会采用不同厂家的产品和购置不同的软件， 为此系统管理员需要掌握不同存储产品的管理技能，增加不少负担。因此，为了解 决以上问题，专家提出了基于s a n 的存储备份解决方案。 n a s 优点为使用方便，成本低廉，但最大缺点为存储效能不及s a n ；s a n 优 点为储存效能优异，大幅提升网路上工作效能与资料传输效率，但缺点为封闭式架 构，无法整合不同系统，且规模过大成本较高。 n a s 可以很经济地解决存储容量不足的问题，但难以获得满意的性能，对于关 键事务应用而言，它必须使用专用的宽带网络。因此，如果企业的发展将需要大量 的n a s 设备或是网络带宽需求超过千兆以太网，就应该考虑最高端的存储解决方案 s a n 。s a n 与n a s 体系的融合正在积极发展。这种融合存在其合理性，s a n 提供 速度，n a s 提供由文件处理带来的协作性 江苏大学硕士学位论文 2 5 新兴的i s c s is a n 技术 s a n 以其优异的存储效能成为企业高端存储的理想选择。但如上所述，其本身 也存在一些缺陷：s a n 中的光纤的使用费用尽管比d a s 稍低一些，但仍然很高。而 i t 人员往往对光纤管道的专业知识掌握有限，因而也加大了维护与培训的成本。另 外，尽管光纤的理论局限是1 0 k l v i ，但由于s a n 中光纤各种模式的结点使得实际局 限变为2 5 0 到5 0 0 米。随着网络存储的发展，很多s a n 都在离n 较远的区域， 地理上的丰富多样性，可以更好地预防数据灾难。这样一来使得一万米也变得不大 够用。也就是说，s a n 在实现异地容灾方面还存在着缺陷。于是，一种既能保留s a n 的优势，又能降低成本，且能突破f cs a n 的距离限制的i s c s i 技术便应运而生。 i s c s ( 互联网s c s i ) 是一项草案协议标准，该协议将s c s i 命令压缩进t c p i p 包内，并且使i o 大量数据通过口互联网得以传输。i s c s i 可以用于建立以口为基 础的s a n ，从而为网络服务供应商、企业和其它组织构建高速度、低成本、长距离 的存储方式提供了新的方法。【3 3 j i s c s i 主机总线适配器( t t b a ) 通过以太网将存储资源连接起来，这样，核心传输 层就可以使用现有的网络管理方式。i s c s i 模块的高层次管理活动，诸如许可、设备 信息以及配置，都可以很容易嵌入应用程序协议中。 基于i s c s i 技术的i ps a n 应用： 图2 - 5 基于i s c s i 技术的i ps a n 存储与备份【3 3 】 上图为比较简单的i ps a n 结构图。例子中使用千兆以太网交换机搭建网络环 境，由i s c s ii n i t i a t o r 如文件服务器、i s c s it a r g e t 如磁盘阵列及磁带库组成。这里的 i n i t i a t o r 即典型的主机系统，发出读、写数据请求；t a r g e t 即磁盘阵列之类的存储资 源，响应客户端的请求。即指发送端及接受端。图中使用i s c s ih b a ( h o s tb u s 9 江苏大学硕士学位论文 a d a p t e r ，主机总线适配卡) 连接服务器和交换机，i s c s ih b a 包括网卡的功能，还 需要支持o s i 网络协议堆栈以实现协议转换的功能。在i ps a n 中还可以将基于i s c s i 技术的磁带库直接连接到交换机上，通过存储管理软件实现简单、快速的数据备份。 由上图可以看出，基于i s c s i 技术，利用现有的口网络搭建i ps a n 是极其简 单的，且无须对现有i t 员工进行培训即可掌握存储网络的管理。基于i g b 的口网 络搭建i ps a n ，其数据传输速率在8 0 9 0 m b s 左右，如果是全双工模式的交换机， 可以达到1 6 0 m b s 左右，相比光纤通道1 9 0 m b s ( 全双工3 6 0 m b s ) 的传输速率还 是有明显差距，但光纤通道的高成本也是众所周知的。而在实际应用中，8 0 9 0 m b s 的数据传输速率还是能够满足要求，因此i s c s i 技术的应用环境提供了更好的性价 比，从而会从传统s a n 中分得一席之地。 1 0 江苏大学硕士学位论文 第三章n e t a p p 存储产品简介 3 1n e t a p p 产品总体介绍 时至今日，n e t a p p 存储产品已经发展到u n i f i e ds t o r a g e 存储结构，一方面继承 了“s i m p l ei sb e s t ”的核心思想，另一方面，产品由原来的n a s 结构发展到支持 n a s i p s a n s a n 的统一结合，保持了独特性，又具备了b i a s 和s a n 的优点。而基 于n e t a p p 的解决方案也日益更新，对应用系统和数据管理提供丰富的内涵 图3 - in e t a p p 的统一网络存储伫】 表3 1n e t a p p 存储的硬件型号，如下：嘲 型号容量使用环境 f a s 2 5 0 ，f a s 2 7 0可扩充到6 t b企业入门级 f 8 8 09 t b 企业级 f a s 2 7 0 c ，f a s 9 2 0 c ， f s 9 4 0 c ，f a s 9 6 0 g ， 可扩充到6 4 t b 企业级 f a s 9 8 0 c 对于企业来说，只有极少部分的数据是仅能应用在s a n 或n a s 的环境下的。 绝大部分的数据是既能应用在s a n 上，又能应用在n a s 上。所以，人们意识到s a n i l 江苏大学硕士学位论文 和n a s 融合的必要性：减少管理复杂度，提高存储的有效利用率。 n e t a p p 企业存储系统的作用相当于“统一引擎”，同时支持光纤通道s a n 、 i s c s i 存储区域网络( s a n ) 和网络附加存储( n a s ) 。n e t w o r ka p p l i a n c e 统一存储 便于部署单个集成的存储解决方案。这样，用户可以集中精力满足应用程序需求而 不是技术，同时确保存储网络能够无缝地为您提供支持，满足长期存储需求。 目前业内实现n a s 和s a n 融合的方法有两个：一种是在s a n 前增加n a s 网 关；另一种是n e t a p p 的统一网络存储。 在s a n 前增加n a s 网关的方式是在原有的s a n 存储前面增加一个n a s 网关， 原有的s a n 存储可以继续连接光通道交换机形成s a n 网络，新增的n a s 网关可以 连接以太网交换机形成n a s 网络。这种方式需要宿主s a n 存储物理隔离一部分空 间供n a s 网关来使用。这种方式的缺点是：彼此之间的空间无法进行有效利用；系 统中存在两套设备( 有可能n a s 网关是另一个厂商的) ，管理复杂度增加。这种方 式就像给病人换一条胳膊，虽然可以用，但毕竟不如自身本来的胳膊好用，而且两 者偶尔可能还会出点问题。 业内另一实现的方式是n e t a p p 的统一网络存储。这种实现方式和s a n 前加n a s 网关正好相反，不是s a n 到n a s 的支持，而是n a s 到s a n 的支持，即在原有的 n a s 基础上，增加对f c p 协议的支持就完成了。由于n a s 具有自己的操作系统和 文件系统，因此增加的f c p 和原有的n f s 、c i f s 、h t t p 一样，仅是一个协议的支 持。同一网络存储可以通过不同的接口卡完成对s a n 和n a s 的同时支持，如通过 以太网卡提供n a s 的访问服务，而同时又可以通过h b a 卡提供s a n 的访问服务。 至于n a s 和s a n 则可以共同的有效使用所有虚拟化的空间。同时，可以看到这种 实现的模型其管理还是原有的n e t a p p 的产品，因此管理复杂度没有大幅度的改动。 换言之，这种统一网络存储也给s a n 的存储带来了一种简单化管理的实现方式。 3 2 稳定高效的软件系统 n e t a p p 的存储产品f i l e r 提供简单、快速、可靠、可扩展的数据管理解决方案， 解决数据共享、数据保护、数据管理等一系列问题。f i l e r 使用了高效率的d a t a o n t a p 微内核操作系统，不同于其他的以w i n d o w ss d k 或l i n u x 为操作系统n a s 产品。 d a t ao n t a p 精悍而又功能强大，专注在存储一级的功能，没有额外的服务和进程， 江苏大学硕士学位论文 从而避免了效率低下和潜在的b u g 。系统包含了文件系统、卷管理、磁盘冗余， 读写加速，用户管理、安全管理、数据保护等等功能。其中的w a f l 文件系统与硬 件紧密结合，在无需复杂配置和人工调优的情况下，提供异常迅速的响应速度和很 高的吞吐量。 n e t w o r ka p p l i a n c e 的单一用途操作系统d a t ao n t a p 经过了1 0 多年市场考 验，只包含提供根本服务所需的必要代码。其代码行数仅为当前被广泛应用的用来 运行应用程序的通用操作系统的二十分之一。软件的缺陷数量和代码行数有着非常 密切的联系，代码行数越少，缺陷和故障也就越少。由于系统微核心具有单一行和 简单性，所以可以更容易地对代码进行全面、彻底的测试，从而保证代码的正确性 和可靠性。d a t ao n t a p 已经经受了数千用户十多年时间持续使用的考验，通过不 断的改善和补充，d a t ao n t a p 已经成为了功能强大、成熟可靠的操作系统。 3 3 简单、可靠的a p p ii a n e e 系统架构 f i l e r 作为a p p l i a n c e 具有下列优点：易于管理、高性能和性价比、高数据和系统 的可用性、快速部署和升级能力，以及较低的总体拥有成本。 通过a p p l i a n c e 方式的设计，以网络为服务器提供数据，使得n e t a p p 可以提供 一种传统的存储方式，以及基于u n i x 和n t 的系统无以比拟的存储管理 快速而简单的系统安装 快速的重启，即使在掉电或者系统故障停机后 通过增加磁盘在线扩充分区 快照提供简单的备份方式 简单的管理，5 0 条命令 这些特点，以及a p p l i a n c e 方式带来的高性能和高可用性，使得f i l e r 成为十分 易用且性价比很高的产品。 在硬件方面，n e t a p p 存储设备也遵从了“越简单越好”的理念。只需不到1 5 分钟的时间就可以完成系统的典型安装。不必将系统置于离线状态就可以添加和配 置磁盘货架，而且不会中断正在进行的数据服务，从而极大地提高了存储性能。因 为有了创新的系统架构，另外添加用于连接光纤信道存储的i o 卡网络接口 卡( n i c ) 和主机总线适配器( h b a ) 的操作可以在几分钟内就可以完成，而且只 江苏大学硕士学位论文 需要进行一次系统重启和最少的适配器配置操作。 最大限度地降低部件的数量以及选用高度整合、高度稳定的被广泛证明的、符 合业界标准的组件，可以大幅降低硬件故障发生的几率。两个系统内存都采用了 e c c 内存，w a f l 日志数据系统使用了电池供电的n v r a m 。 所有最有可能发生故障的部件都配备了冗余功能。例如，n e t a p p 存储设备在系 统机柜和磁盘货架中都配备了冗余的、热插拔的风扇和电源。重要的参数，如温度、 风扇速度、电压、电源、和磁盘通道功能等都处于持续监测之下，从而保证系统能 够正确运行、不出故障。 3 4 f ii e r 的文件系统 f i l e r 由控制器机头和磁盘子系统组成。机头通过光纤通道接口连接磁盘s a n 子 系统，通过网络接口提供数据到应用服务器，机头的接口数量通过p c i 插卡扩充。 磁盘子系统由可以堆叠的磁盘柜组成。 f i l e r 的基本软件结构如下图所示，一些紧密耦合的处理模块处理n f s ，c i f s ，和 h t t p 请求。一个请求从下方的网络驱动开始，经过网络协议层和文件系统，向上到 达磁盘f o ，当文件系统完成了请求，它把请求送回网络。这些模块建立在一个简 练的r e a l t i m e 内核上，提供产生进程，内存分配，消息传递和中断等基本处理。 图3 - 2f i l e r 的文件系统【2 】 网络层支持t c p i p ，与u n i x 系统相比，为f i l e r 的文件服务进行了优化，以增 加f i l e r 文件系统通讯的效率。 w a f l t m , f i l e r 的文件系统，是专门为通过网络提供文件服务而设计的，而且与 江苏大学硕士学位论文 f i l e r 的r a i d 配合设计，解决常规操作系统由于r a i d 而引起的性能问题。 纾肥一w r i t ea n y w h e r ef i l el a y o u t f i l e r 文件系统是经过重新设计的，而不采用常规文件系统，是为了达到三个主 要目标： 文件系统应当和r a d 高效协同 文件系统可以在新增磁盘时动态扩充 文件系统无需进行费时的一致性检验 而且，由此产生了支持s n a p s h o t 的要求。 江苏大学硕士学位论文 第四章n e t a p p 数据保护技术 4 1s n a p s h o t 和s n a p r e s t o r e 专有技术 4 1 1s n a p s h o t 技术 s n a p s h o t 可以快速地对整个文件系统做一次各份，备份的时间通常只需要几秒 钟，与其他厂商不同的是，n e t a p p 的s n a p s h o t 不会引发系统内部的c o p y 进程，因 而不会对系统产生性能下降。每个文件系统允许3 l 份快照，可以通过r s h ，f i l e r c o n s o l e ，f i l e r v i e w 执行。通过制定良好的策略，可以保存系统较长时间的备份，也 能应付突发事件诸如病毒入侵等，手工执行快照，从而保护数据丢失。它可以有效 与数据库结合，实现数据库的在线各份。$ n a p r c s t o r e 可以快速对文件系统做完全恢 复，通常恢复的时间是几秒钟。用户可以根据需要将系统恢复到某个时间点。 s n a p s h o t 的工作过程可分为下面几个步骤：假设当前文件x 含有三个文件块， 如图4 - 1 。 图4 - 1s n a p s h o t 工作原理图示i s n a p s h o t 在某个时间点对三个文件块实施快照，如图4 - 2 图4 - 2s n a p s h o t 工作原理图示2 坫 江苏大学硕士学位论文 之后当前文件中的c 文件块被改写变成c ，如图4 - 3 ： 图4 - 3s n a p s h o t 工作原理图示3 此时当前文件与s n a p s h o t 所做的备份就有了差异。如图4 4 ： 囤4 - 4s n a p s h o t 工作原理图示4 在下一个时间点，s n a p s h o t 再次实施快照，如图4 5 ： 图4 - 5s n a p s h o t i - 作原理图示5 江苏大学硕士学住论文 由此可见，快照实施得越频繁，就能保留越近时间的数据备份。这对我们把数 据恢复到最近状态比较有利。 4 1 2s n a pr e s t o r e 技术 在一些情况下需要完整地恢复以前保存的数据，当发现数据库损坏时，就需要 这样的恢复。在n e 谯p pf i l e r 上，s n a p s h o t 使得一个v o l u m e ( 或称f i l es y s t e m ) 的数据 冻结在某个时间点上， s n a p r e s t o r e 使文件系统回到以前的某个s n a p s h o t 的状态。 过程如下所示： 假设文件x 被损坏或丢失，此时x 包含a 、b 、c ，如图4 - 6 ： 图4 6 文件x 技损坏 s n a p r e s t o r e 将x 恢复到包含a 、b 、c 的状态，如图4 7 图4 - 7s n a p r e s t o r e 恢复文件 s n a p s h o t 和s n a p r e s t 0 r e 的有效结合可以大大提高系统的安全性，它为系统管理 员提供了避免数据丢失的，将风险降到最低的重磅武器。 江苏大学硕士学位论文 4 2 r a i dd o u b i ep a r ；t y 多重r a i d 保护手段 通常情况下，一个r a i d 组中只含有一个奇偶校验盘( p a r i t y ) ，当r a i d 组中一 个数据盘出现故障时，可以利用p a r i t y 盘将数据恢复。如下图： 图4 s 具有一块校验盘的r a i d 组 如果r a i d 组中有两块以上的数据盘在数据恢复之前出现故障，则系统的数据 就会遭到破坏。 n e t a p pd a t ao n t a p 6 5 的出现改变了业界多年来r a i d 中的问题。它通过设 置两块p a r i t y 盘从而避免了r a i d 组中两块数据盘同时出现故障导致的数据丢失。 如下图： 图4 - 9 具有两块校验盘的r a i d 组 1 9 江苏大学硕士学位论文 4 3 同步、异步自适应s n a p m ir r o r 功能 d a t ao n t a p ( f i l e r 的操作系统) 利用w a f ls n a p s h o t 功能提供了自动的文件 系统级的复制功能：s n a p m i r r o r 。通过s n a p m i r r o r 技术，一个源f i l e r 可以通过t c p i p 网络将一个或多个文件系统复制到伙伴f i l e r ，使伙伴f i l e r 上的文件系统与源f i l e r 的自动生成的s n a p s h o t 同步。伙伴f i l e r 可以分布在任何地方，可以在同一大楼或者 地球的另一边，只要源和目的之间有网络连接和复制数据需要的带宽。s n a p m i r r o r 在 w a f l 里的对b l o c k 进行操作，效率很高。 s n a p m i r r o r 的工作过程如以下所示： 粒遍程着 嘲隧隧圈蹲陟 啦捌f 描 图4 1 0 源卷快照a 准备向远程卷传输 蕾薯茜秘 图4 1 1 进行0 级传输同时源卷继续改变 江苏大学硕士学位论文 图4 1 2 增量传输过程1 薄眷远程誊 图4 - 1 3 增量传输过程2 n e t a p p d a t a o n t a p 6 5 中的s n a p m i r r o r 可以自动检测并根据网络情况自动选择同 步或异步复制。在网络状况好的情况下，可以选择同步复制，使得s o u r c e 和t a r g e t 之间没有延迟。如果网络出现堵塞或带宽不足，s n a p m i r r o r 自动调整到异步复制，等 网络状况好时，再回到同步复制模式，整个过程是透明的，不影响应用。 2 l 江苏大学硕士学位论文 第五章案例：某制造企业网络存储的具体实施与改造 5 1 企业简介 某制造企业( 以下简称a 盯e ) 成立于2 0 0 0 年，公司总部位于中国上海，2 0 0 2 年，公司决定拓展产品线，从国外引进全套自动化生产设备，生产医疗设备用精密 元器件。并在浦东开设分部，其中包含四个车间，分别占据新厂区大楼的四个楼面。 目前，a i t e 每个月都要收到来自国内及海外的大量订单，以至四条生产线必须二十 四小时不问断地投入生产，以满足客户的订货要求。2 0 0 3 年a i t e 被评为上海市先 进制造企业。 a i t e 的发展之所以如此之快，与他们日常科学严格的管理分不开。信息技术 支持部负责各车间的生产系统和数据库的维护及公司o a 系统的管理，按照他们的 行话说，“如果生产线出现停机，那么其损失相当于印钞机上的钞票在不停流失”。 由于责任重大，所以该部门养成了严谨、求实的工作作风，技术精深且办事效率高。 对待集成商，他们不欢迎口头推销，选择产品往往需要经过严格的测试和反复对比， 没有优秀的品质和卓越的解决方案，是不可能获得他们的信任和采纳的。笔者在完 成项目的过程中深切体会到企业在选择产品与方案时近乎苛刻的认真。这种做事的 态度对本人也是一次教育。相信所有成功的企业，其员工都会有同样认真的工作态 度。 笔者于2 0 0 4 年暑期进入该公司实习，恰逢a i t e 公司的网络改造项耳，本人在其 中承担了存储与备份系统的改造设计，现就整个设计过程及其中的问题进行一些探讨。 5 2 企业原网络存储结构及问题分析 企业原存储网络示意图如下： 江苏大学硕士学位论文 图5 1a i t e 企业原存储网络结构图【l j 从上图可以看出，该结构包含了d a s 、n a s 和s a n 三种存储结构，其中像 w e b 服务，邮件服务，打印服务等采用了n a s 存储结构。备份服务器上的数据由 于不会经常在网络上传递，因而采用了比较经济的直连式存储结构。原有的分厂生 产系统p l a n t l 、p l a n t 2 、p l a n t 3 、p l a n t 4 采用的是t r u 6 4i 肘系统，运行o r a c l e s i 数 据库。各p r o d u c t i o n 集群系统采用s a n 连接方式，连到不同的i - i pm a s 0 0 0 存储上。 ( 为简便起见，图中只画出p l a n t l 的图示。) 这样的系统存在如下安全隐患： 生产系统虽然有c l u s t e r 集群保护，但c l u s t e r 系统只能保护单台服务器的硬件 故障，不能避免存储系统的损坏而带来的数据丢失。 现有的备份系统采用磁带库的备份方式，当出现紧急情况时，磁带恢复速度太 慢，而且可靠性也不高，应急反应不足。 不能有效减免误操作带来的损失。因为只有一份实时的数据，所以，一旦出现 误操作，难以回到误