网络存储比较

1、 l 随着网络技术的发展，越来越多的企业使用计算机 系统处理日常业务，从最早的服务器 /客户机 （Server/Clinet）模式，到今天的网络计算（Network Computing）环境，今后的移动计算（Pervasive Computing）环境，对数据的请求不再受时间和空间的限 制。 。随着计算机的能力不断提高，数据量也在不断膨 胀。一切的发展似乎已经陷入了一个可怕的循环：数据数据 膨胀膨胀提高计算机性能提高计算机性能导致新一轮的数据膨胀导致新一轮的数据膨胀 引来数据存储、利用、分析和管理都非常地复引来数据存储、利用、分析和管理都非常地复 杂杂 l 和 目前的网络存储技术有SAN、NA

2、S和iSCSI。 uSAN uNAS uiSCSI SAN主要是基于光纤 通道的、面向数据块 的存储，可以看成是 传统总线的扩展。 NAS是在TCP/IP协议 基础上提供文件的存 取服务。iSCSI则是前面两种技术在 TCP/IP网络上的融合，通 过把面向数据块的SCSI协 议封装在TCP/IP包中，以 便在TCP/IP网络上传送 uDAS特别适合于对存储容量要求不高、服务器的数量很 少的中小型局域网，其主要的优点在于存储容量扩展的实 施非常简单，投入的成本少而见效快。 u具体地讲，DAS问题主要有以下几点： （1）容易形成服务器到存储设备的瓶颈。 （2）影响数据的可用性。 （3）存储设备分散

3、，不便于管理监控。 （4）容易造成存储空间浪费。 （5）对重要的数据进行备份时将会极大地占用网络的带宽。 l NAS网络附加存储，即将存储设备连接 到现有的网络上，提供数据和文件服务。NAS服 务器一般由存储硬件、操作系统以及其上的文件 系统等几个部分组成。它基于TCP/IP协议实现文文 件级数据件级数据的存取服务。 NAS将存储设备通过标准的网络拓扑结构连 接，可以无需服务器直接上网，不依赖通用的操 作系统，而是采用一个面向用户设计的、专门用 于数据存储的简化操作系统，内置了与网络连接 所需的协议，因此使整个系统的管理和设置较为 简单。 l 主要面向高效的文件共享任 务，适用于那些需要网络进

4、行大大 容量文件数据容量文件数据传输的场合。 l 以IBM为代表的业界各大存储 厂商纷纷推出NAS解决方案 NAS产品是真正即插即用产品是真正即插即用 的产品，内置专门用于数据的产品，内置专门用于数据 存储的简化操作系统和网络存储的简化操作系统和网络 协议，可以直接挂接到网络协议，可以直接挂接到网络 上。上。 用户可根据需要来确定用户可根据需要来确定 NAS的物理位置，一般将的物理位置，一般将 其放置在访问频率最高的其放置在访问频率最高的 地方，以进一步缩短用户地方，以进一步缩短用户 的访问时间并提高网络吞的访问时间并提高网络吞 吐量。吐量。 客户不需安装任何额外软客户不需安装任何额外软 件，

5、件，NAS服务器的设置、服务器的设置、 升级及管理均可通过升级及管理均可通过Web 浏览器远程实现。浏览器远程实现。NAS服服 务器与网络直连，当增加务器与网络直连，当增加 或移去或移去NAS设备时不会中设备时不会中 断网络的运行。断网络的运行。 无需应用服务器的无需应用服务器的 干预，干预，NAS设备允许设备允许 用户在网络上存取数用户在网络上存取数 据；这样既可减小据；这样既可减小 CPU的开销，也能显的开销，也能显 著改善网络的性能。著改善网络的性能。 NAS独立于操作系统平独立于操作系统平 台，可以支持台，可以支持Windows、 UNIX、Mac、Linux和和 Netware等不同

6、操作系等不同操作系 统。统。 采用磁盘阵列技术，采用磁盘阵列技术， NAS可保证硬件设备和数据可保证硬件设备和数据 的安全与完整。的安全与完整。 通过网络共享数据，即通过网络共享数据，即 使相应的应用服务器不再工使相应的应用服务器不再工 作了，仍然可以读取数据。作了，仍然可以读取数据。 采用嵌入式操作系统，采用嵌入式操作系统， 具有很强的稳定性和可靠性。具有很强的稳定性和可靠性。 网络管理员可方便地设网络管理员可方便地设 置用户或用户组对置用户或用户组对NAS服务服务 器的访问权限。器的访问权限。 NAS是精简型服务器，在是精简型服务器，在 硬件架构上只需硬件架构上只需CUP、内、内 存、硬盘

7、、网卡和主机板存、硬盘、网卡和主机板 等。在软件方面，操作系等。在软件方面，操作系 统也是精简型系统，有些统也是精简型系统，有些 甚至是免费的甚至是免费的Linux。 l NAS的缺点 在拥有以上优点的同时 ，有些致命的弱点： 1）只适用于较小网络规模较小网络规模或者较低数据流量较低数据流量 的网络数据备份。因为NAS仍使用应用网络进行 备份和恢复，LAN除了处理正常的最终用户传输 流外，还必须处理包括备份的存储磁盘请求。 2）投资成本较高（后期扩容成本高）而可靠 度不高， 一般文件服务器没有高可用配置，存在 单点故障 存储区域网络技术存储区域网络技术 -什么是什么是SAN ? l SAN是英

8、文Storage Area Network的 缩写，通常译为“存储区域网络”，它是 一种在服务器和外部存储资源或独立的存 储资源之间实现高速可靠访问的专用网络专用网络。 SAN 采用可扩展的网络拓扑结构连接服务 器和存储设备，每个存储设备不隶属于任 何一台服务器，所有的存储设备都可以在 全部的网络服务器之间作为对等资源共享对等资源共享。 Server （服务器） Storage（存储设备） SAN fabric（连接设备） Software（管理软件） Service（服务） l 1)数据共享数据共享： 由于存储设备的中心化，大量的文 件服 务器可以低成本的存取和共享信息，而同时也不会使系统

9、性能有明显的下降； l 2)存储共享存储共享： 两个或多个服务器可以共享一个存储单 元，这个存储单元在逻辑上可以被分成多个部分，而每个 部分又连接在特定的服务器上； l 3)数据备份数据备份： 使用SAN，数据备份操作可以独立于原 来的网络，对异构平台服务器和多数据形式进行集中备份， 从而能够提高操作的性能和管理的集中； l 4)灾难恢复灾难恢复： 使用SAN，可以采用多种手段实现数据 的自动备份，而且这种备份是热备份形式，也就是说，一 旦数据出错，立即可以获得该数据的镜像内容。 l 在Internet协议（IP）统治着局域网和广域网的今天， 数据存储的需要也在日益增长。这两股力量似乎不可避免

10、 地要汇聚在一点。Internet小型机系统接口小型机系统接口（iSCSI）协议 整合了存储和IP网络，使通过IP网络完成存储数据块的传 输成为现实。它建立在两个已被广泛应用的技术之上 -为 存储而建立的SCSI命令和为网络化而建立的IP协议。 l iSCSI是一种端到端的协议，用于在IP网络中传输存网络中传输存 储储I/O数据块数据块。该协议被使用于服务器（initiator）、存储 设备（target）和协议传输网关设备。ISCSI使用标准的以 太网交换机和路由器，将数据从服务器转移到存储设备。 它还使得IP和以太网基础设施可以被用于对SAN存储系统 的扩展访问，跨过任意距离完成对SAN的

11、扩展接入。 l iSCSI协议定义了在TCP/IP网络发送、接收 block（数据块）级的存储数据的规则和方法。发 送端将SCSI命令和数据封装到TCP/IP包中再通过 网络转发，接收端收到TCP/IP包之后，将其还原 为SCSI命令和数据并执行，完成之后将返回的 SCSI命令和数据再封装到TCP/IP包中再传送回发 送端。而整个过程在用户看来，使用远端的存储 设备就象访问本地的SCSI设备一样简单。支持 iSCSI技术的服务器和存储设备能够直接连接到现 有的IP交换机和路由器上， iSCSI产品从功能上可以分为3个类别： 起始端产品、连接件产品和目标端产品起始端产品、连接件产品和目标端产品

12、ISCSI 技术的优缺点技术的优缺点 l 优势优势 1)连接距离更长，突破FC SAN目前10公里的局限 2)利用现有的TCP/IP基础设施来构筑SAN，网络部 署成本相对较低 3)相对其他大多数协议而言：带宽高，功能强（特特 别是远程复制和灾难恢复别是远程复制和灾难恢复），可用性强 不足不足 1)与其他存储协议兼容性不好,例如FC SAN 融合不 能解决 2)从广域网角度说,速度仍不理想 3) 相关技术和产品正处于发展阶段,用户可以选择的 余地较小 DAS、NAS、SAN与与ISCSI的性能特的性能特 点比较点比较 中小型网络存储技术选择中小型网络存储技术选择 l 1. 与现有应用系统的兼容

13、性与现有应用系统的兼容性 l 2. 存储系统未来升级和扩展存储系统未来升级和扩展 l 3. 选用选用DAS的场合的场合 l 4. 网络存储首选网络存储首选NAS l 5. 慎选慎选SAN和和iSCSI（适合于中大型企业）（适合于中大型企业） 相关技术相关技术 lRAID技术 lHSM分层存储管理 lILM 信息生命周期 l存储虚拟化技术 l统一存储网 lInfiniBand 接口技术 lIP SAN （iSCSI、FCIP、iFCP） l 备份的三个层次 l 硬件级备份 l 软件级备份 l 人工级备份 l 硬件级的备份是指用冗余的硬件冗余的硬件来保证系统 的连续运行。比如磁盘镜像，双机容错等方

14、式。 如果主硬件损坏，后备硬件马上能够接替其工作， 这种方式可以有效地防止硬件故障，但无法防止 数据的逻辑损坏。 l 当逻辑损坏发生时，硬件备份只会将错误复 制一遍，无法真正保护数据。硬件备份的作用实 际上是保证系统在出现故障时能够连续运行，更 应称为硬件容错。 l 软件级的备份是指将系统数据保存到其他介 质上，当出现错误时可以将系统恢复到备份时的 状态。由于这种备份是由软件来完成的，所以称 为软件备份。当然，用这种方法备份和恢复都要 花费一定时间。但这种方法可以完全防止逻辑损防止逻辑损 坏坏，因为备份介质和计算机系统是分开的，错误 不会复写到介质上。这就意味着，只要保存足够 长时间的历史数据

15、，就能够恢复正确的数据。 l 人工级的备份最为原始，也最简单和有 效。但如果要用手工方式从头恢复所有数 据，耗费的时间恐怕会令人难以忍受。 l磁盘镜像磁盘镜像(Mirroring)：可以防止单个硬盘的物理 损坏,但无法防止逻辑损坏。（硬件级） l磁盘阵列磁盘阵列(Disk Array)：磁盘阵列一般采用RAID5 技术，可以防止多个硬盘的物理损坏，但无法防 止逻辑损坏。（硬件级） l双机容错双机容错：SFTIII、Standby、Cluster都属于双机 容错的范畴。双机容错可以防止单台计算机的物 理损坏，但无法防止逻辑损坏。（硬件级） l数据拷贝数据拷贝：可以防止系统的物理损坏，可以在一 定

16、程度上防止逻辑损坏。（软件级） l 理想的备份系统是全方位、多层次的。首先，要使 用硬件备份来防止硬件故障。如果由于软件故障或人为误 操作造成了数据的逻辑损坏，则使用软件方式和手工方式 结合的方法恢复系统。这种结合方式构成了对系统的多级 防护，不仅能够有效地防止物理损坏，还能够彻底防止逻 辑损坏。 l 系统备份与普通数据备份的不同在于，它不仅备份系 统中的数据，还备份系统中安装的应用程序、数据库系统、 用户设置、系统参数等信息，以便迅速恢复整个系统。 l 与系统备份对应的概念是灾难恢复灾难恢复。灾难恢复同普通 数据恢复的最大区别在于，在整个系统都失效时，用灾难 恢复措施能够迅速恢复系统。而普通

17、数据恢复则不行，如 果系统也发生了失效，在开始数据恢复之前，必须重新装 入系统。也就是说，数据恢复只能处理狭义的数据失效， 而灾难恢复则可以处理广义的数据失效。 l Vs 拷贝 备份不等于单纯的拷贝，因为系统的重要信息无法用拷贝 的方式备份下来，而且管理也是备份的重要组成部分。 l Vs 硬件备份 对于那些由于人为错误或故意破坏而引起的数据丢失，硬 件备份无能为力。 l Vs 数据文件备份 除数据文件备份外，还需备份系统文件与应用程序。在网 络环境中，系统和应用程序安装和配置相对较复杂。因此， 最有效的方法是对整个网络系统进行备份。 l LAN-Based备份方式 l LAN-Free备份方式

18、 l Server-Free备份方式 l LAN-Based备份，在该系统中数据的传输是以网 络为基础的。其中配置一台服务器作为备份服务 器，由它负责整个系统的备份操作。磁带库则接 在某台服务器上，在数据备份时备份对象把数据 通过网络传输到磁带库中实现备份的。 LAN-Based备份结构的优点是节省投资、磁带库 共享、集中备份管理；它的缺点是对网络传输压 力大。 Network Backup Today Disk Storage Disk Storage Disk Storage Tape Network Server Backup Server Network Server Network

19、Server LAN ClientClientClient l 由于数据通过LAN传播，当需要备份的数据量较大， 备份时间窗口紧张时，网络容易发生堵塞。在SAN环境下， 可采用存储网络的LAN-Free备份，需要备份的服务器通 过SAN连接到磁带机上，在LAN-Free备份客户端软件的 触发下，读取需要备份的数据，通过SAN备份到共享的磁 带机。 这种独立网络不仅可以使使 LAN 流量得以转移流量得以转移，而且 它的运转所需的 CPU 资源低于资源低于 LAN 方式，这是因为光纤 通道连接不需要经过服务器的 TCP/IP 栈，而且某些层的 错误检查可以由光纤通道内部的硬件完成。在许多解决方 案

20、中需要一台主机来管理共享的存储设备以及用于查找和 恢复数据的备份数据库。 l 有别于传统通过LAN链路的备份方式,这样可以不占用不占用 以太网络的带宽以太网络的带宽. LAN-Free Backup SAN Network Server (backup node) Network Server Network Server LAN Client Tape ClientClient Disk Storage l 首先，它仍旧让服务器参与了将备份数据从一个存储设 备转移到另一个存储设备的过程，在一定程度上占用了宝 贵的CPU处理时间和服务器内存。 l 还有一个问题是，LAN-free技术的恢复能力

21、差强人意， 它非常依赖用户的应用。许多产品并不支持文件级或目录并不支持文件级或目录 级恢复级恢复，映像级恢复就变得较为常见。映像级恢复就是把 整个映像从磁带拷回到磁盘上，如果您需要快速恢复某一 个文件，整个操作将变得非常麻烦。 l 此外，不同厂商实施的LAN-free机制各不相同，这还 会导致备份过程所需的系统之间出现兼容性兼容性问题。 l 免服务器的备份和恢复是数据直接在存储设 备之间传输，备份过程能够在SAN内部完成，无 需服务器干预，从而提高了备份和恢复速度，缩 短了应用主机的CPU周期，释放出的宝贵的CPU 周期可用来提高操作的效率并增加工作量。这种 方式是在LAN-free的基础上的

22、进一步改进，克服克服 了了LAN-free备份需要服务器参与的问题备份需要服务器参与的问题，从而全 面释放网络和服务器资源。 Serverless Backup Disk Storage SAN Backup Server Network Server Network Server LAN Client Tape ClientClient l 无服务器备份与LAN-free备份有着诸多相似的优点。 如果是无服务器备份，源设备、目的设备以及SAN设备是 数据通道的主要部件。虽然服务器仍参与备份过程，但负负 担大大减轻担大大减轻，因为它的作用基本上类似交警，只用于指挥， 不用于装载和运输，不是主要

23、的备份数据通道。 l 无服务器备份技术具有缩短备份及恢复所用时间缩短备份及恢复所用时间的优 点。因为备份过程在专用高速存储网络上进行，而且决定 吞吐量的是存储设备的速度，而不是服务器的处理能力， 所以系统性能将大为提升。此外，如果采用无服务器备份 技术，数据可以数据流的形式传输给多个磁带库或磁盘阵 列。 l 虽然服务器的负担大为减轻，但仍需要备份应 用软件（以及其主机服务器）来控制备份过程。 元数据必须记录在备份软件的数据库上，这仍需 要占用CPU资源。 l 与LAN-free一样，无服务器备份可能会导致 上面提到的同样类型的兼容性问题。而且，无服 务器备份可能难度大、成本高。最后，如果无服

24、务器备份的应用要更广泛，恢复功能方面还有待 更大改进。 l 目前主流的备份软件，如IBM Tivoli 、 Veritas，均支持上述三种备份方案。三种方案中 LAN备份数据量最小，对服务器资源占用最 多，成本最低； LAN free备份数据量大一些，对服务器资源 占用小一些，成本高一些； SAN Server-free备份方案能够在短时间备份 大量数据，对服务器资源占用最少，但成本最高。 中小客户可根据实际情况选择。 l 灾难备份常用的技术有磁带备份、磁盘镜像和双工、 RAID技术、HotSpare技术、双机热备、服务器双工、网 络冗余和远程磁盘镜像等。针对灾难级的灾难备份技术， 通常在多种

25、常用技术应用叠加的基础上，还需要实施远程 备份技术。下面从技术的角度分析远程灾难备份的实现原 理。 l 镜像是在两个或多个磁盘或磁盘子系统上生 成同一个数据同一个数据 的镜像视图镜像视图的信息存储过程，一个 叫主镜像系统，另一个叫从镜像系统。按主从镜 像存储系统所处的位置可分为本地镜像和远程镜 像。本地镜像的主从镜像存储系统是处于同一个 RAID阵列内，而远程镜像的主从镜像存储系统通 常是分布在跨城域网或广域网的不同节点上。 l 远程镜像又叫远程复制，是容灾备份的核心技术核心技术， 同时也是保持远程数据同步和实现灾难恢复的基础。 它利用物理位置上分离的存储设备所具备的远程数据 连接功能，在远程

26、维护一套数据镜像，一旦灾难发生 时，分布在异地存储器上的数据备份并不会受到波及。 远程镜像按请求镜像的主机是否需要远程镜像站点的 确认信息，又可分为同步远程镜像同步远程镜像和异步远程镜像。异步远程镜像。 将因灾难引发的数据损耗风险降低到最低（异 步）甚至为零（同步） 一旦发生灾难，恢复进程所耗费的时间比较短。 这是因为建立远程数据镜像，是不需要经由代理服务 器的，它可以支持异构服务器和应用程序。 同步远程镜像 l 同步远程镜像（同步复制技术）是指通过远程镜 像软件，将本地数据以完全同步完全同步的方式复制到异地， 每一个本地的I/O事务均需等待远程复制的完成确认 信息，方予以释放。同步镜像使远程

27、拷贝总能与本 地机要求复制的内容相匹配。当主站点出现故障时， 用户的应用程序切换到备份的替代站点后，被镜像 的远程副本可以保证业务继续执行而没有数据的丢 失。 异步远程镜像 l 异步远程镜像（异步复制技术）则由本地存储系统提 供给请求镜像主机的I/O操作完成确认信息，保证在更新 远程存储视图前完成向本地存储系统输出/输入数据的基 本操作。它采用了“存储转化（存储转化（store-and-forward）” 技术，所有的I/O操作是在后台同步进行的，这使得本地 系统性能受到的影响很小，大大缩短了数据处理时的等待 时间。异步远程镜像具有“对网络带宽要求小，传输距离 长（可达到1000公里以上）”的

28、优点。不过，由于许多远 程的从镜像系统“写”操作是没有得到确认的，当由于某 种原因导致数据传输失败时，极有可能会破坏主从系统的 数据一致性。 l 可以按照实现远程备份功能的主体对象分为 两类，远程磁盘镜像技术远程磁盘镜像技术和远程主机技术远程主机技术。 两种技术都是实现远程盘机镜像数据的同步异 步拷贝。远程主机技术是通过主机系统控制和完 成数据的拷贝，远程磁盘镜像技术则是由盘机本 身的控制软件完成盘机之间的数据的同步/异步拷 贝，完成的过程不需要主机参入。 l 远程磁盘镜像技术是实现盘机之间的直接镜 像，其控制过程直接由盘机控制软件盘机控制软件完成，主机 不需参与控制远程磁盘镜像技术实现盘机镜

29、像 有几种方式，其中包括同步、异步、半同步和自 适应等不同方式。 l 对于盘机数据的每一个I/O的写过程都经过：主机 写I/O一主端盘机写数据、同时发送写I/O于远端盘机+ 从端盘机完成写I/O并发送写完成信号+主端盘机收到从 端盘机写完成信号并发送写I/O全部完成信号给主机。 其中盘机写过程不一定是真的写完成，而是I/O到达盘 机，盘机就发送写完成，以此来提高整个写的效率。 l 主机的一连串写I/O到达主端盘机，主端盘机 完成写I/O后(很多实际处理中是收到写I/O后即回 复主机完成，实际需要写I/O放到了高速缓存中， 在有盘机控制部件完成卷的写入，以此提高整个 写的效率)，即刻回复主机写I

30、/O完成。主盘机将 接收的一系列写I/O发给远端从盘机，从盘机在接 收写I/O后，完成数据卷的写过程。对于主盘机到 从盘机的I/O序列的序号可能与主机发送的I/O序 号不一致，但可以通过其它一些方法来重新排序， 例如给每个I/O添加时间戳或序号。 l 在远程主机技术中，整个数据复制的过程 都由主机控制主机控制完成，其磁盘镜像软件作为系统 应用软件的一部分。在远程主机技术中，其完 成远程磁盘镜像的过程从实现方式上也主要分 为同步和异步两种方式，还有同步异步自适 应方式。 l 应用程序提出写数据要求，并将数据提交磁盘镜 像控制软件； l 磁盘镜像控制软件将数据写到生产系统的磁盘； l 生产系统中的

31、磁盘数据传输到备份的磁盘对每个在 生产系统的写操作都要将这个写操作送到备份磁盘，备 份机磁盘数据复制，备份磁盘复制生产系统数据； l 将写完操作信息返给生产磁盘； l 当生产系统收到备份系统传回的已写信息之后，生 产机的磁盘镜像控制软件通知主机应用程序该写操作己 完毕，在此之后生产系统应用继续执行。 l 在主备机房之间数据链路带宽成为瓶颈 时，采用同步方式对主机房生产系统的 性能影响很大； l 数据不会丢失，数据的一致性能得到完 全保证。 l 用程序提出写数据要求，将数据提交磁盘镜像控制软 件； l 磁盘镜像控制软件将数据写到生产系统的磁盘； l 生产系统的磁盘写动作完成，磁盘镜像控制软件通知

32、 主机应用程序该写操作已完毕，在此之后生产系统应用继 续执行； l 生产系统中的磁盘镜像控制软件将数据传输到备份的 磁盘，备份磁盘复制生产系统数据： l 备份磁盘将写完操作信息返给生产磁盘镜像控制软件。 l 在主备机房之间数据链路带宽成为瓶颈时，采用异步 方式可以不影响主机房生产系统的性能； l 数据将有可能丢失； l 当异步同步不能最终成功完成的情况下，数据的一致 性无法得到保证。 l 基于远程主机技术不适合同步复制不适合同步复制需求，适用于 异步数据复制的场合基于远程主机技术的实现软件 作为主机操作系统的一部分，是针对专用的平台针对专用的平台，不 适用于所有的系统平台。存储系统供应商提供的远程 磁盘镜像技术是由存储系统本身提供远程数据复制功 能，这种技术的好处是能提供更有效的更有效的I/O协议和独立协议和独立 于平台于平台的特性，但实现的成本比基于主机技术要高得 多 l 同时，基于远程主机技术的实现是基于主机系统 的控制，主备端的主机系统都要参入整个过程，其控控 制的复杂度制的复杂度相对较大，在实际应用中对管理和控制的 难度较大与远程主机技术相比，远程磁盘镜像技术 是完全基于盘机，其数据的镜像过程完全在主从端盘 机之间完成，不需要主机的参入，其复杂度相对较小， 在实际应用中对管理和控制的难度也相对较小。 l RPO（Recovery Point Objective