DASSANNAS存储协议的工作原理全解

1、DAS 、SAN 、NAS 存储协议的工作原理目前磁盘存储市场上，存储分类（如下表一）根据服务器类型分为：封闭系统的存储和开放系统的存储，封闭系统主要指大型机， AS400 等服务器，开放系统指基于包括 Windows 、 UNIX 、Linux 等操作系统的服务器；开放系统的存储 分为：内置存储和外挂存储； 开放系统的外挂存储根据连接的方式分为： 直连式 存储（ Direct-Attached Storage，简称 DAS ）和网络化存储（Fabric-AttachedStorage ，简称 FAS ）；开放系统的网络化存储根据传输协议又分为：网络接 入存储（Network-Attached

2、 Storage，简称 NAS ）和存储区域网络 （ StorageArea Network ，简称 SAN ）。由于目前绝大部分用户采用的是开放系统，其 外挂存储占有目前磁盘存储市场的 70% 以上，因此本文主要针对开放系统的外 挂存储进行论述说明 第一个图有问题，把 NAS 和 SAN 一样放在 FAS 之下是不对的，通常也没有 FAS 这种说法， DAS ，NAS 和 SAN 是平行的关系。NAS 不一定要用光纤。NAS 是文件级存储， SAN 和 DAS 通常是数据块级存储今天的存储解决方案主要为：直连式存储（ DAS ）、存储区域网络（ SAN ）、 网络接入存储（ NAS ）。如下

3、表二：开放系统的直连式存储（ Direct-Attached Storage，简称 DAS ）已经有近四十年的使用历史， 随着用户数据的不断增长，尤其是数百 GB 以上时，其在备 份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。主要问题和不足为：直连式存储依赖服务器主机操作系统进行数据的 IO 读写和存储维护管理，数 据备份和恢复要求占用服务器主机资源（包括 CPU、系统 IO 等），数据流需要 回流主机再到服务器连接着的磁带机 （库），数据备份通常占用服务器主机资源 20-30% ，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进 行，以免影响正常业务系统的运行。 直连式

4、存储的数据量越大， 备份和恢复的时 间就越长，对服务器硬件的依赖性和影响就越大。直连式存储与服务器主机之间的连接通道通常采用 SCSI 连接，带宽为 10MB/s 、20MB/s 、40MB/s 、80MB/s 等，随着服务器 CPU 的处理能力越来 越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多， SCSI 通道将会成为 IO 瓶颈；服务器主机 SCSI ID 资源有限，能够建立的 SCSI 通道连接有限。无论直连式存储还是服务器主机的扩展，从一台服务器扩展为多台服务器组成 的群集 （Cluster） ，或存储阵列容量的扩展，都会造成业务系统的停机，从而给 企业带来经济损失，对于银行、电

5、信、传媒等行业 724 小时服务的关键业务 系统，这是不可接受的。 并且直连式存储或服务器主机的升级扩展， 只能由原设 备厂商提供，往往受原设备厂商限制。存储区域网络（ Storage Area Network ，简称 SAN ）采用光纤通道（ Fibre Channel ）技术，通过光纤通道交换机连接存储阵列和服务器主机， 建立专用于 数据存储的区域网络。 SAN 经过十多年历史的发展，已经相当成熟，成为业界 的事实标准（但各个厂商的光纤交换技术不完全相同，其服务器和 SAN 存储有 兼容性的要求）。 SAN 存储采用的带宽从 100MB/s 、 200MB/s ，发展到目前 的 1Gbps

6、 、 2Gbps 。网络接入存储（Network-Attached Storage，简称 NAS ）采用网络（TCP/IP 、ATM 、FDDI ）技术，通过网络交换机连接存储系统和服务器主机，建立专用于 数据存储的存储私网。随着 IP 网络技术的发展，网络接入存储（ NAS ）技术发 生质的飞跃。 早期 80 年代末到 90 年代初的 10Mbps 带宽，网络接入存储作为 文件服务器存储，性能受带宽影响；后来快速以太网（ 100Mbps ）、 VLAN 虚 网、Trunk（Ethernet Channel）以太网通道的出现， 网络接入存储的读写性能得到改善； 1998 年千兆以太网（ 100

7、0Mbps ）的出现和投入商用，为网络接入 存储（NAS ）带来质的变化和市场广泛认可。 由于网络接入存储采用 TCP/IP 网 络进行数据交换， TCP/IP 是 IT 业界的标准协议，不同厂商的产品（服务器、 交换机、 NAS 存储）只要满足协议标准就能够实现互连互通，无兼容性的要求； 并且 2002 年万兆以太网（ 10000Mbps ）的出现和投入商用，存储网络带宽将 大大提高 NAS 存储的性能。 NAS 需求旺盛已经成为事实。首先 NAS 几乎继承 了磁盘列阵的所有优点， 可以将设备通过标准的网络拓扑结构连接， 摆脱了服务 器和异构化构架的桎梏。其次，在企业数据量飞速膨胀中， SA

8、N 、大型磁带库、磁盘柜等产品虽然都是 很好的存储解决方案， 但他们那高贵的身份和复杂的操作是资金和技术实力有限 的中小企业无论如何也不能接受的。 NAS 正是满足这种需求的产品，在解决足 够的存储和扩展空间的同时， 还提供极高的性价比。 因此， 无论是从适用性还是 TCO 的角度来说， NAS 自然成为多数企业，尤其是大中小企业的最佳选择。NAS 与 SAN 的分析与比较针对 I/O 是整个网络系统效率低下的瓶颈问题，专家们提出了许多种解决办 法。其中抓住症结并经过实践检验为最有效的办法是： 将数据从通用的应用服务 器中分离出来以简化存储管理。问题：图1由图 1 可知原来存在的问题：每个新的

9、应用服务器都要有它自己的存储器。这 样造成数据处理复杂，随着应用服务器的不断增加，网络系统效率会急剧下降。解决办法：从图 2 可看出：将存储器从应用服务器中分离出来，进行集中管理。这就是所 说的存储网络( Storage Networks )。使用存储网络的好处： 统一性：形散神不散，在逻辑上是完全一体的。 实现数据集中管理，因为它们才是企业真正的命脉。容易扩充，即收缩性很强。 具有容错功能，整个网络无单点故障。 专家们针对这一办法又采取了两种不同的实现手段，即 NAS (NetworkAttached Storage )网络接入存储和 SAN(Storage Area Networks) 存

10、储区 域网络。NAS ：用户通过 TCP/IP 协议访问数据， 采用业界标准文件共享协议如： NFS 、 HTTP 、CIFS 实现共享。SAN ：通过专用光纤通道交换机访问数据，采用 SCSI 、 FC-AL 接口。 什么是 NAS 和 SAN 的根本不同点？NAS 和 SAN 最本质的不同就是文件管理系统在哪里。如图：图3由图 3 可以看出， SAN 结构中，文件管理系统( FS )还是分别在每一个应用 服务器上；而 NAS 则是每个应用服务器通过网络共享协议(如： NFS、CIFS ) 使用同一个文件管理系统。换句话说： NAS 和 SAN 存储系统的区别是 NAS 有 自己的文件系统管

11、理。NAS 是将目光集中在应用、用户和文件以及它们共享的数据上。 SAN 是将目 光集中在磁盘、 磁带以及联接它们的可靠的基础结构。 将来从桌面系统到数据集 中管理到存储设备的全面解决方案将是 NAS 加 SAN 。怎样制定完善的企业网络存储备份方案企业的运作需要大量的数据的支撑， 如今，纸质的数据存储方式一去不复返， 取而代之的是更易于管理和使用便捷的网络存储的形式。 然而网络数据存储方式 却存在诸多风险，数据被丢失或被破坏都可能会造成企业的日常运作无法正常进 行，甚至会给企业带来不可估量的损失， 而唯一可以把损失降到最低且又行之有 效的方法理当首选 进行数据的存储备份。 大部分企业都在企业

12、也正在不断地 加大投入，以寻求更具扩展性、安全性和经济性的存储备份方案，实现“有存无 丢，有备无患”的目的。一、企业 网络存储 备份的真面目数据存储备份这个词已被人们所熟知， 然而人们由于惯常思维的引导而误解 了备份的本质。 很多人把备份和拷贝这两个概念简单的划上等号， 甚至把备份单 纯的看做是更换磁带、 为磁带编序等一个简单、 程序化的操作过程； 也有不少人 会把双机热备份、磁盘阵列备份以及磁盘镜象备份等硬件备份的内容和数据存储 备份相提并论。实际上，数据的备份除了对原始数据完全一致的复制外， 更重要的任务是其 管理功能。 备份管理是一个全面的概念， 它不仅包含备份规则的制定和磁带的管 理，

13、而且还涉及到整个存储备份系统的规划， 包括备份技术的选择、 备份设备的 选择、介质的选择乃至软件技术的挑选、存储网络的设计和架设等。此外，双机 热备份、磁盘阵列、 磁盘镜像、数据库软件的自动复制等功能并不能完全代表数 据存储备份系统， 因为硬件备份只是牺牲一个系统、 一个设备等来实现另一个系 统或另一台设备在一定时期内的安全，它们往往能解决的只是系统的可用性问 题，而当所有设备因为人为因素的错误、自然灾害、电源故障、病毒入侵等问题 而无法正常运行时，数据的恢复也就无从说起了。大体上来说， 数据存储备份是用一种容量大、 具有先进自动管理功能、 以 经济性为原则的设备对整个系统，尤其是对整个网络系

14、统的数据进行备份的方 案。实践证明，只有数据存储备份才能为企业提供最完善的数据安全保护， 因此， 在原网络上增加数据存储备份管理系统和把数据存储备份管理系统列入到网络 建设方案中是不容有怠的。二、数据存储系统入选 “完善 ”的条件在定制数据存储方案之前， 我们应该了解一个完善的数据存储系统应具备怎样的条件，体来说，应该符合以下的四个条件：1. 具有一个完善的面向应用和数据库的备份与恢复系统，保证在各种意外情况下能够迅速恢复数据；2. 要对磁盘阵列上的数据文件提供镜像保护，同时增强数据文件的访问性能，提高数据文件 的可管理性；3. 可以通过集群方式保证本地业务的不中断运行；4. 对于环境所造成的

15、系统极端故障，应具有相应的灾难恢复策略等。三、如何数据存储备份系统方案的定制在定制数据存储备份方案时， 我们应该在下面这些问题的引导下， 制定出适合你自己企 业的存储备份方案。1.、明确目标和条件 你要存储的是什么，数量有多少，属于哪种类型的数据？ 你打算如何使用这个存储系统？它是一般性存储还是用作备份或者 归档？你的存储系统是远程存储系统还是灾难恢复系统？ 你正在使用的应用软件有哪些？ 你是否希望系统是自动化管理的？ 系统是否必须具备可调整性？速度和性能的重要性如何？2、你想要什么？想要了解你想要什么， 建议你制作一张表。 表格分三栏， 第一栏填写你的存储系 统必须获得的特色和功能； 第二栏

16、填写想获得的特色和功能； 第三栏填写不一定 必须拥有，但是有就更好的特色和功能。例如，必须获得的功能包括 “可用性、可靠性、一定水平的性能、一定水平的容 量和可调整性 ”，特别是 RAID 1 、RAID 5 、RAID 6 、失效转移、 容错控制器、 自动管理、分级存储、不同种类的驱动器。第二栏和第三栏的功能可包括：重复 数据删除、自动精简配置和快照等，这些功能都是非常有用的。接下来，你首先应将重点集中在根本问题上。 如果你刚好发现一个解决方案 可以满足你的所有第一栏需求， 而且还可以提供部分第二栏和第三栏的功能， 那 么你就可以配置它。 重点是你想从一个解决方案中获得什么。例如，一定数量的

17、容量是必须的，那么就集中考虑这一点。 如果合规性是你的最大问 题，那么就必须保证你选择的解决方案在合规性上有好的记录。如果想要一个灾难恢复解决方案，那么就把重点集中在这一点上。四、选择合适的存储备份模式 DAS、 NAS 和 SAN 在了解了自己需要的网络存储备份系统之后，就可以据此选择适合的网络存储模式：1.DAS （ Direct Attached Storage，直接连接存储），是指将存储设备通过SCSI 接口或光纤通道直接连接到一台计算机上。DAS 存储的安装方便，成本较低，当价格是第一考虑因素的时候， DAS 是不错的选择。 但 DAS 依赖服务器主机操作系统进行数据的 IO 读写和

18、存储维护管理，数据备份和恢复要 求占用服务器主机资源（包括 CPU 、系统 IO 等），数据流需要回流主机再到服务器连接着 的磁带机（库），数据备份通常占用服务器主机资源20-30% ，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行， 以免影响正常业务系统的运行。 直连式存储的 数据量越大， 备份和恢复的时间就越长， 对服务器硬件的依赖性和影响就越大。 对于多个服 务器或多台 PC 的环境，使用 DAS 方式设备的初始费用可能比较低，可是这种连接方式下， 每台 PC 或服务器单独拥有自己的存储磁盘，容量的再分配困难；对于整个环境下的存储系 统管理，工作烦琐而重复，没有集中管理解

19、决方案。所以整体的拥有成本（TCO ）较高。2.NAS （ Network Attached Storage，网络附加存储），采用网络（ TCP/IP 、 ATM 、FDDI ）技术，通过网络交换机连接存储系统和服务器主机，建立专用于数据存储的存储私 网。由于 NAS 脱离了服务器的操作系统， 因此其存储和备份的效率都相对传统备模式有 很大提升，使文件访问操作更为快捷； NAS 提供的自动定时备份功能，使得数据的备份和 恢复变得十分的简便；同时， NAS 是部件级的存储方法，相当易于部署；满足工作组或部 门级机构解决迅速增加存储容量的需求的同时，部分 NAS 品牌如惠普、 IBM 、自由遁、巴

20、 比禄等品牌可以提供快照和远程容灾等技术。然而 NAS 存储的可扩展性受到设备容量大小的限制，增加 NAS 可简易地解决这一 问题。3.SAN （ Storage Area Network ，存储区域网络），它是一种通过光纤集线器、光纤 路由器、 光纤交换机等连接设备将磁盘阵列、 磁带等存储设备与相关服务器连接起来的高速 专用子网，在该网络中提供了多主机连接，但并非通过标准的网络拓扑。SAN 以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有高传输速率的光通 道的直接连接方式， SAN 具有出色的可扩展性。 SAN 便于集成，能改善数据可用性及网 络性能，而且还可以减轻管理作业。 但 SAN

21、往往只能作到 NT与有限的 UNIX 平台间的互操作。 而且 SAN中不同操作系统间文件系统和数据格式不同所带来的不兼容性，SAN往往只能作到 NT与有限的 UNIX 平台间的互操作， 不同操作系统间文件系统和数据 格式不同会带来的不兼容性。五、小结当企业意识到数据的重要性之后， 不断地加大投入资金， 实现更好的数据存储备份 解决方案便成为可能。当然，建设一个高效、 可靠、 易于管理的存储备份系统所需要投入的 资金也非常多，企业当 “量财而行 ”，选择合适的、经济的方案，以确保企业数据的安全。附： DAS与NAS 比较表格际目NASDAS績诚术墓于WEB开发的农理件集合于一1!的1P技 说件实

22、現RAID技术术部分NAS昱软件实现RAID技*支展作平合芫金舞平台文件共題,支羚所有的横作系妖. 不能狠供覘平台文帝享功IS 珈于某个饥的圖E系妮Eaters遇过RJ45授口连上啲轨往碗上传辑数齋 DT 10M/100NV1000MRtd.遇过SCSI删在眼务週过眼务81的酥往冈烙上传锡数畫安剜便快f 即费即用.只需10分忡IDJ腹 遇过LCDfiOfi RAID较閒单连较禺.仙的WEB忧化存律棚系忖 芫全不受巌 无養立的机皿作系妖 勵HS馬务團务 WTW.的構作系统奶集中式教畫存律穩式辂不禺系妖平您下文件存仿在一台NAS设备中，方C!阳細p成本.分散时冕存it穩式冋络皆理员用要 牝费大时间

23、奔滾到不同眼务81下分 别普酩目的散龙 堆护成車增如5于脚)的GUI菩理界面便NAS 咎应较复応需更眼务88IW的橫f系较件功畫g舷苻谿协议的軟件 功设有自身件需鼻针对現有豹悅待日吉文件系爼 井一般集成本地备份软件 *况另行腐买.扩充性轻松在钱動0设备 无需停杪网络 而且与巳 増加血后网做RAID 一般娶宕机逹立迄的网烙芫全越合，充分保护用戶原有投 合影响餉JR务55.鱷的扩充性芫全海足24X7不间旳8务.总18有成本 价格低不IR购买18务器剜三方戟件切&价格痂中用整舷8硼及晞系 (TCO 的投入合很少障低用户的后续成本,从両侵 统 aw成本较事9评有成揀低町各份H连黒务認虹作站的数芳 对

24、纟名1R务日踽IS备份较冷.取骞备份与灾 集成3：堆备份软件町实現无嚴务H的网阪 磴喊老备份稲I单设i愼念即紐巌务務发生故R#用戶VW进行数齋？RAID 翊RAID）、b 5JBOD附怀瞅冗僉电幻.多凤ML执&推4泳h的 网络备份存储管理系统 网络数据存储管理系统是指在分布式网络环境下， 通过专业的数据存储管理软件， 结合相应 的硬 件和存储设备，来对全网络的数据备份进行集中管理，从而实现自动化的备份、文件 归档、数据分级存储以及灾难恢复等。为在整个网络系统内实现全自动的数据存储管理， 备份服务器、 备份管理软件与智能存储设 备的有机结合是这一目标实现的基础。网络数据存储管理系统的工作原理是在

25、网络上选择一台应用服务器 （当然也可以在网络中另 配一台服务器作为专用的备份服务器） 作为网络数据存储管理服务器， 安装网络数据存储管 理服务器端软件， 作为整个网络的备份服务器。 在备份服务器上连接一台大容量存储设备 （磁 盘阵列或磁带库、 光盘库） 。在网络中其他需要进行数据备份管理的服务器上安装备份客户 端软件，通过局域网将数据集中备份管理到与备份服务器连接的存储设备上。网络数据存储管理系统的核心是备份管理软件，通过备份软件的计划功能,可为整个企业建立一个完善的备份计划及策略 ,并可借助备份时的呼叫功能 ,让所有的服务器备份都能在 同一时间进行。 备份软件也提供完善的灾难恢复手段， 能够

26、将备份硬件的优良特性完全发挥 出来 ,使备份和灾难恢复时间大大缩短，实现网络数据备份的全自动智能化管理。备份策略日常备份制度描述了每天的备份以什么方式、 使用什么备份介质进行， 是系统备份方案 的具体实施细则。 在制订完毕后， 应严格按照制度进行日常备份， 否则将无法达到备份方案 的目标。数据备份有多种方式：全备份、增量备份、差分备份、按需备份等。全备份：备份系统中所有的数据增量备份：只备份上次备份以后有变化的数据 差分备份：只备份上次完全备份以后有变化的数据 按需备份：根据临时需要有选择地进行数据备份 全备份所需时间最长，但恢复时间最短， 操作最方便，当系统中数据量不大时，采用全备份最可靠；

27、 但是随着数据量的不断增大， 我们将无法每天做全备份， 而只能在周末进行全 备份，其它时间我们采用所用时间更少的增量备份或采用介于两者之间的差分备份。 各种备 份的数据量不同：全备份 差分备份 增量备份。在备份时要根据它们的特点灵活使用。灾难恢复灾难恢复措施在整个备份制度中占有相当重要的地位。 因为它关系到系统在经历灾难后 能否迅速恢复。 灾难恢复操作通常可以分为两类。 第一类是全盘恢复， 第二类是个别文件恢 复，还有一种值得一提的是重定向恢复。A 、 全盘恢复 全盘恢复一般应用在服务器发生意外灾难导致数据全部丢失、系统崩溃 或是有计划的系统升级、系统重组等，也称为系统恢复。B 、 个别文件恢

28、复 由于操作人员的水平不高，个别文件恢复可能要比全盘恢复常见得 多，利用网络备份系统的恢复功能， 我们很容易恢复受损的个别文件。 只需浏览备份数据库 或目录，找到该文件，触动恢复功能，软件将自动驱动存储设备，加载相应的存储媒体，然 后恢复指定文件。C、 重定向恢复 重定向恢复是将备份的文件恢复到另一个不同的位置或系统上去，而 不是进行备份操作时它们当时所在的位置。 重定向恢复可以是整个系统恢复也可以是个别文 件恢复。重定向恢复时需要慎重考虑，要确保系统或文件恢复后的可用性。为了防备数据丢失，我们需要做好详细的灾难恢复计划，同时还要定期进行灾难演练。 每过一段时间， 应进行一次灾难演习。 可以利

29、用淘汰的机器或多余的硬盘进行灾难模拟， 以 熟练灾难恢复的操作过程，并检验所生成的灾难恢复软盘和灾难恢复备份是否可靠 。三、 相关技术介绍1、分级存储管理（ HSM ）技术HSM（Hierarchical Storage Management ，分级存储管理 ） 系统是一个合适的在线备份解决 方案。 它利用硬盘、 可擦写磁光盘、 磁带进行三层式存储管理。所谓分级存储管理系统是一 套自动化的网络存储管理设备， 会自动判断硬盘中资料的使用频率， 自动将不常用的资料移 至速度较慢的光盘， 而最不常用的资料则移到磁带中， 这些都由系统管理员自行设定。 在线 的资料经过一段时间的搬移后，即可达到最佳化。

30、在单机运行环境中， 由于数据量有限， 因而数据的存储备份也相对简单。 但随着网络的 普及和数据量的巨增，简单的备份已经无法满足需求，分级存储管理（ HSM ）也就应运而 生。HSM 主要是用于对海量数据的存储备份，当系统中有很多数据以至于不能经济有效地 将它们都存放在硬盘上时，就需要使用分级存储备份技术。通常， HSM 是一个将硬驱、磁带驱动器和光驱组合起来的自动存储系统。其基本原则 是把绝大部分最常用到的数据保留在硬盘上， 而将很少使用的数据存储到数据库中或磁带和 光盘上。系统随时监视文件和数据的使用情况，并且根据卷、 目录对其进行实时跟踪。 当数 据使用率较低时， 系统自动将其转移到中间存储媒介， 然后存放到专用的存储介质中进行长 期保存。 一般情况下， 直接访问硬盘上的数据文件所需时间不超过几微秒， 而从磁盘或磁带 库中读取数据大约需要 1 分种。 HSM 系统不仅使数据的存储备份更加