网络存储备份技术-文档资料

1、12nRAID存储技术存储技术n网络存储方案网络存储方案DAS存储技术存储技术SAN存储技术存储技术NAS存储技术存储技术3nRAIDRedundant Array of Independent Disks，廉价硬盘冗，廉价硬盘冗余阵列余阵列基本概念来自於集结多个容量小、基本概念来自於集结多个容量小、又不贵的硬磁盘组成一个磁盘阵又不贵的硬磁盘组成一个磁盘阵列，产生比一个容量大但是较贵列，产生比一个容量大但是较贵的硬磁盘还要好的效能。的硬磁盘还要好的效能。 通常说的通常说的“磁盘阵列磁盘阵列”则是指由则是指由自带自带CPU的阵列控制器控制的一的阵列控制器控制的一个硬盘阵列柜个硬盘阵列柜一种海量存

2、储一种海量存储设备设备4nIDE磁盘阵列磁盘阵列低端产品，低端产品， 按使用硬盘可分为按使用硬盘可分为ATA和和S-ATAATA产品产品 使用普通使用普通ATA硬盘，成本低，但硬盘，成本低，但P-ATA的硬盘最高传输的硬盘最高传输率的理论值为率的理论值为133MB/s，所以，所以I/O性能是其弱项。性能是其弱项。SATA产品产品 第一代第一代SATA接口的标准为接口的标准为150MB，接近于，接近于SCSI Ultra160 I/O速率，价格却明显低于速率，价格却明显低于SCSI硬盘，性价比最突出。硬盘，性价比最突出。 nSAS SCSI磁盘阵列磁盘阵列中端产品，丰富的产品系列（如双控制器、冗

3、余电源、风扇，避中端产品，丰富的产品系列（如双控制器、冗余电源、风扇，避免系统的单点故障的免系统的单点故障的SCSI存储产品）将业务的不停顿服务变为可存储产品）将业务的不停顿服务变为可能。容量可按需求扩容也是能。容量可按需求扩容也是SCSI主要的性能之一。主要的性能之一。nFC磁盘阵列磁盘阵列高端产品，所有的先进技术都在高端产品，所有的先进技术都在FC磁盘阵列系统中体现磁盘阵列系统中体现-完善的完善的硬件冗余、硬件冗余、Cableless无线缆模块化设计、涡轮散热系统、无线缆模块化设计、涡轮散热系统、LES监监控模块、控模块、GUI的管理软件等等。其中全光纤产品内部使用的管理软件等等。其中全光

4、纤产品内部使用FC硬盘，硬盘，无论是外部主机通道还是内部磁盘通道都是无论是外部主机通道还是内部磁盘通道都是2Gb/s带宽。带宽。n半光纤产品半光纤产品 内部使用内部使用SATA或或SCSI硬盘，外部主机通道是硬盘，外部主机通道是2G Fibre。 5FC-RAID6n基本原理基本原理一个一个“阵列控制器阵列控制器”（Array controller）来控制多个硬盘的）来控制多个硬盘的相互连接、使多个硬盘的读写同步以减少错误、提高效率和可相互连接、使多个硬盘的读写同步以减少错误、提高效率和可靠性的存储控制技术。靠性的存储控制技术。n 软阵列软阵列(Software RAID)通过软件通过软件(如

5、操作系统如操作系统)实现，占用实现，占用CPU时间，可靠性较差，一时间，可靠性较差，一般不用般不用 1.整体拥有成本较低整体拥有成本较低 2.需要服务器主机进行全部的需要服务器主机进行全部的RAID 运算运算 3.会大幅降低服务器整体效能会大幅降低服务器整体效能 4.操作系统异常时无法提供任何保护操作系统异常时无法提供任何保护 5.可靠性较低可靠性较低n硬阵列硬阵列(Hardware RAID Adapter)通过专门的阵列控制器实现通过专门的阵列控制器实现7阵列控制器磁盘阵列系统8n微处理器: Intel i960RM 100MHz 64Bit RISC I/O ProcessornSCSI

6、 控制芯片: LSI SYMBIOS 53C896 SCSI ChipsetTekram DC-922 的心脏Intel i960RM I/O Processor9n提高存储速度提高存储速度 过去十多年来，过去十多年来，CPU的处理速度增加了数十的处理速度增加了数十倍，内存的存取速度亦大幅增加，而数据储存装倍，内存的存取速度亦大幅增加，而数据储存装置置-主要是磁盘主要是磁盘(hard disk)的存取速度只增的存取速度只增加了三、四倍，形成电脑系统的瓶颈，拉低了电加了三、四倍，形成电脑系统的瓶颈，拉低了电脑系统的整体性能，若不能有效的提升磁盘的存脑系统的整体性能，若不能有效的提升磁盘的存取速度

7、，取速度，CPU、内存及磁盘间的不平衡将使、内存及磁盘间的不平衡将使CPU及内存的改进形成浪费。及内存的改进形成浪费。n提高存储可靠性提高存储可靠性 提供为实现数据保护而必需的数据冗余提供为实现数据保护而必需的数据冗余101.确保数据的完整及有效。确保数据的完整及有效。2.确保数据的可靠性。确保数据的可靠性。3.确保商业竞争优势。确保商业竞争优势。4.增进磁盘存取效率。增进磁盘存取效率。5.服务器的必要安全配备。服务器的必要安全配备。6.有重要数据的有重要数据的PC 安全设备。安全设备。7.多媒体之播放加速。多媒体之播放加速。8.可实时备份数据，不必担心硬盘损毁。可实时备份数据，不必担心硬盘损

8、毁。9.节省传统备份方式之人力、时间及高成本设备的浪费。节省传统备份方式之人力、时间及高成本设备的浪费。10.加大硬盘的固定容量。加大硬盘的固定容量。11n法一：使用磁盘高速缓存法一：使用磁盘高速缓存(disk cache)控制技术控制技术 将从磁盘读取的数据存在高速缓存将从磁盘读取的数据存在高速缓存(cache)中以中以减少磁盘存取的次数。减少磁盘存取的次数。 这种方式在单任务环境（如这种方式在单任务环境（如DOS）之下，对）之下，对大量数据的存取有很好的性能大量数据的存取有很好的性能(量小且频繁的存量小且频繁的存取则不然取则不然)，但在多任务环境（如，但在多任务环境（如Windows）之）

9、之下，或因为要不停的作数据交换的动作，或因为下，或因为要不停的作数据交换的动作，或因为数据库的频繁存取数据库的频繁存取(每一记录都很小每一记录都很小)，就不能显，就不能显示其性能。而且这种方式没有任何安全保障。示其性能。而且这种方式没有任何安全保障。 12n法二：使用磁盘阵列控制技术法二：使用磁盘阵列控制技术 把多个磁盘组成一个阵列，当把多个磁盘组成一个阵列，当作单一磁盘使用。它将数据以作单一磁盘使用。它将数据以“条块条块”(striping)的方式储的方式储存在不同的磁盘中，存取数据存在不同的磁盘中，存取数据时，阵列中的相关磁盘一起动时，阵列中的相关磁盘一起动作，大幅减低数据的存取时间，作，

10、大幅减低数据的存取时间，同时有更佳的空间利用率。同时有更佳的空间利用率。 13n一般高性能的磁盘阵列都是以硬件一般高性能的磁盘阵列都是以硬件把磁盘快把磁盘快取控制及磁盘阵列结合在一个阵列控制器取控制及磁盘阵列结合在一个阵列控制器(RAID controller)上上形式出现，满足人们对磁盘输形式出现，满足人们对磁盘输出入系统的四大要求出入系统的四大要求:增加存取速度，增加存取速度，容错容错(fault tolerance)，即安全性（一个或几个硬盘损，即安全性（一个或几个硬盘损坏不会导致用户数据丢失）坏不会导致用户数据丢失）有效的利用磁盘空间有效的利用磁盘空间;尽量的平衡尽量的平衡CPU，内存

11、及磁盘的性能差异，提高电脑，内存及磁盘的性能差异，提高电脑的整体工作性能。的整体工作性能。 14n磁盘延伸磁盘延伸(Disk Spanning)把小容量的磁盘延把小容量的磁盘延伸为大容量的单一伸为大容量的单一磁盘，用户不必规磁盘，用户不必规划数据在各磁盘的划数据在各磁盘的分布，从且提高了分布，从且提高了磁盘空间的使用率。磁盘空间的使用率。SCSI磁盘阵列更可磁盘阵列更可连接几十个磁盘，连接几十个磁盘，形成数十形成数十GB到数百到数百GB的阵列，使磁盘的阵列，使磁盘容量几乎可作无限容量几乎可作无限的延伸的延伸; 。 15n磁盘或数据条块化磁盘或数据条块化 (Disk Striping or Da

12、ta Striping) 数据按需要分段，从第一个磁盘开始放，放到最後一个磁盘再回到第一个磁盘放起，直到数据分布完毕。从上图我们可以看出，数据以分段于在不同的磁盘，整个阵列的各个磁盘可同时作读写，故数据分段使数据的存取有最好的效率，理论上本来读一个包含四个分段的数据所需要的时间约=(磁盘的access time +数据的transfer time)4次，现在只要一次就可以完成。16n磁盘阵列中针对不同的应用使用的不同技术，称为RAID level，每一level代表一种应用技术 。 n目前业界公认的标准是RAID 0RAID 5。但level并不代表技术的高低，level 5并不高于level

13、 3，level 1也不低过level 4，至于要选择那一种RAID level的产品，纯视用户的操作环境及应用而定（很多人对磁盘阵列的误解，以为磁盘阵列非要RAID 5不可）。其他如RAID 6，RAID 7，乃至RAID 10等，都是厂商各做各的，并无一致的标准。n常用的RAID级别有：RAID0，RAID1，RAID5和RAID10（RAID 0+1）17n“数据条块化数据条块化”的的“无容错能力无容错能力”磁盘驱动器群组磁盘驱动器群组n所有磁盘阵列系统中，数据存取效能最佳和磁盘空间利用率最高的一种所有磁盘阵列系统中，数据存取效能最佳和磁盘空间利用率最高的一种Disk striping也

14、称为RAID 0， 将所有硬盘组成一个阵列，可同时多盘读写，对于一个由n个硬盘组成的RAID 0阵列，存储速度理论上是单个硬盘的n倍。对操作系统来说，组成RAID 0的磁盘被视为一个单独的逻辑磁盘。但RAID 0不提供任何数据冗余，如果阵列内的某个磁盘出现了错误，所有的数据都会丢失。所以通常要使用其他备份方式（如磁带）来提高可靠度。(据对DELL阵列产品PowerVault 660F/224F的研究，配有14个硬盘的RAID 0系统三年内发生数据损失的可能性可达77%)。 优点：优点：传输率和硬盘利用率最高，价格便宜。缺点：缺点： 无冗余，可靠性最差，其中一个磁盘发生故障，所有数据将丢失。应用

15、：应用：通常使用在暂存数据和高 I/O 速率的工作站 。18RAID 0 StripingWith RAID 0 and using the 280Gb hard disks you would get the full 160Gb of storage space. Although the data is split between the 2 hard disks. There is no data redundancy (duplicate data). This allows for the full storage space to be used. 19n在 RAID 1 系统中

16、，相同的数据被存储在两个硬盘上（100% 冗余）。当一个磁盘驱动器发生故障时，在另一个磁盘上可立即获得数据，从而无损数据完整性。通过一个 SCSI 通道映射两个磁盘时我们称之为磁盘镜像。如果每个磁盘都与独立的 SCSI 通道连接，我们称之为磁盘双工（更加安全）。RAID 1 为数据安全和系统可用性提供了一种简单及高效的解决方案。优点：优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用。缺点：缺点：需要 2 个磁盘，但只使用其中一个存储数据。应用：应用：通常使用于较小的系统，其中一个磁盘的容量足够，并用作启动盘。 20RAID 121RAID 1 MirroringWhen usin

17、g two 80Gb hard disks with the RAID 1 function you would only receive 80Gb of storage space. Because you are using the two drives to contain the same data, the logical drive will appear as a single 80Gb drive. 22n“磁盘镜像备份磁盘镜像备份”磁盘驱动器群组磁盘驱动器群组n所有拥有容错能力的磁盘阵列系统中，容错能力最好，磁盘空间利用率所有拥有容错能力的磁盘阵列系统中，容错能力最好，磁盘空

18、间利用率最低，数据存取效率最高的一种最低，数据存取效率最高的一种使用磁盘镜像(disk mirroring) 技术，并以磁盘延伸的方式形成阵列，以数据分段的方式进行储存，故与RAID 0具有几乎相同的读写性能。但RAID1还能完全做到了容错和不停机。 “容错” 即使磁盘故障，数据仍能保持完整。 “ 不停机”发生磁盘故障时系统能持续工作而不停顿，仍可正常读写磁盘并可将此磁盘拆下来而不影向其他磁盘的操作，待新的磁盘换上去之后，系统即时做镜像，将数据重新复上去。23nRAID 0+1的综合体的综合体RAID 10 是 RAID 0 (性能) 和 RAID 1(数据安全)的结合，以提供了良好的性能和数

19、据安全性。与 RAID 0 相同之处在于，在较高负载条件下可以保证最佳性能。与 RAID 1 相同之处在于，50% 的安装容量被用作冗余。在RAID 0+1配置下，数据被分段存入到一个磁盘组1，然后又被镜象到另一个磁盘组2，从而既产生了良好的输入/输出性能，又可获得了良好的可靠性。如果一个磁盘组中的硬盘出现错误，该磁盘组的数据将会丢失，但所有数据都保留在镜象磁盘组上。但如果第二个磁盘组中任何一个硬盘在第一个磁盘组恢复前出现错误，那么所有的数据都会丢失。优点：优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用优点：优点：良好的写入性能缺点：缺点：需要偶数个磁盘，最少为 4 个，另外只

20、能使用一半的磁盘容量 应用：应用：通常使用于需要较高序列写入性能的场合 24RAID 0+1 Striping and MirroringIn this example we would need to use 4 80Gb drives. RAID 0+1 is a combination of the two above and so storage works out as a combination of the two as well. The logical drive will appear as a single drive, this drives capacity will

21、 be 160Gb. The 2 striped drives will be included in the logical drives space, but as above the mirrored drives will appear invisible to the user. 25n带出错校验的比特级数据条块化带出错校验的比特级数据条块化 容错能力好，磁盘空间利用率较高，大数据量存取性能好。二者的主要区别在于数据安全技术不同RAID 2采用“海明码”进行错误校正及检测，故需要较多的额外磁盘（如8个数据盘需要3个校正盘），而RAID 3采用奇偶校验的（parity check）技术

22、，所需的额外磁盘数大大减少（只需一个），故常用之。2627 在一个由n个硬盘组成的阵列中，RAID 3可承受一个硬盘的失败。如奇偶校验盘失败，剩余的数据硬盘不受影响，但冗余将丢失。如果数据硬盘出现了失败，RAID控制器使用剩余的数据硬盘及奇偶校验盘计算丢失的数据，以恢复出现错误的硬盘，不会有数据丢失。但如果在发生错误的硬盘恢复以前另一个硬盘又出现错误，那么RAID内所有的数据都将丢失。(据对DELL阵列产品PowerVault 660F/224F的研究，配有14个硬盘的RAID 3系统三年内发生数据损失的可能性低于38%)。28 RAID 2和RAID 3都采用“共轴同步共轴同步”技术，即存取

23、数据时，整个磁盘阵列一起动作，在各作磁盘的相同位置作平行存取，而且其总线是特别设计的，能以大带宽并行传输所存取的数据，所以有最好的传输时间。在大型档案的存取应用，在大型档案的存取应用，它们均有最好的性能，它们均有最好的性能，但如果档案太小，因为磁盘的存取是以扇区为单位，而RAID 2/3的存取是所有磁盘平行动作，故小于一个扇区的数据量会使其性能大打折扣。RAID 2/3技术是设计给需要连续且大量数据的电脑使用的，如大型电脑、作影像处理或CAD/CAM的工作站等，并不适用于一般的多用户环境、网络服务器、小型机或PC。29RAID 4 与 RAID 0 非常相似。数据分割在各磁盘之间。此外，RAI

24、D 控制器也会计算单个磁盘 (P1, P2, .) 上存储的冗余性（奇偶校验信息）。即使有一个磁盘发生故障，所有的数据完全可用。丢失的数据通过有效数据以及奇偶校验信息计算后存取。与 RAID 1 不同之处在于，只需要一个磁盘空间用于冗余。假如有一个由 5 个磁盘组成的 RAID 4 磁盘阵列，其中 80% 的安装磁盘容量用于用户容量，则只有 20% 的容量用于冗余。如果存在许多小数据块时，奇偶校验磁盘将出现吞吐量的瓶颈。对于较大的数据块，RAID 4 将展示大大提高的性能。 优点：优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用优点：优点：很好地利用了磁盘空间（如 n 个磁盘的阵

25、列，n-1 被用作数据存储）缺点：缺点：必须计算冗余信息，这样就限制了写入性能 应用：应用：由于安装容量与实际可用容量的比率较高，通常使用于较大的数据存储系统30与 RAID 4 不同，RAID 5 磁盘磁盘阵列中的奇偶校验数据分割在各阵列中的奇偶校验数据分割在各磁盘之间磁盘之间。RAID 5 磁盘阵列提供更加平衡的吞吐量。即使对多重任务和多用户环境中的小数据块，它的响应时间都十分良好。RAID 5 与 RAID 4 的安全级别相同：其中一个磁盘发生故障时，所有的数据完全可用。丢失的数据通过有效数据以及奇偶校验信息计算得出。优点：优点：可用性高，即使一个磁盘发生故障，逻辑硬盘上的数据依然可用优

26、点：优点：很好地利用了磁盘空间缺点：缺点：必须计算冗余信息，这样就限制了写入性能 应用：应用：由于安装容量与实际可用容量的比率较高，通常用于较大的数据存储系统3132 容错能力好，磁盘空间利用率较高，小数据密集存取性能好。 RAID 4和RAID 3是一样的，但RAID 4可以兼容更大的数据块。RAID 5与RAID 4很相似，但只是奇偶校验数据被分段保存到所有的硬盘，即它不用校验磁盘而将校验数据以循环的方式放在每一个磁盘中，而不是写入一个指定的硬盘，从而消除了读取单个奇偶校验盘引起的瓶颈问题。所以RAID 5RAID 5能大幅增加能大幅增加小档案的存取性能，不但可同时读取小档案的存取性能，不

27、但可同时读取，甚至有可能同时执行多甚至有可能同时执行多个写入的动作个写入的动作，这对联机交易处理(OLTP)如银行系统、金融、股市等或大型数据库的处理提供了最佳的解决方案，因为这些应用的每一笔数据量小，磁盘输出入频繁而且必须容错。 RAID 4和RAID 5的可靠性同RAID 3。33RAID 6Independent Data disks with two independent Independent Data disks with two independent distributed parity schemesdistributed parity schemes（独立的数据硬盘与两个

28、独立分布式校方案）（独立的数据硬盘与两个独立分布式校方案） RAID 6等级是在RAID 5基础上，为了进一步加强数据保护而设计的一种RAID方式，实际上是一种扩展RAID 5等级。与RAID 5的不同之处于除了每个硬盘上都有同级数据XOR校验区外，还有一个针对每个数据块的XOR校验区。当然，当前盘数据块的校验数据不可能存在当前盘而是交错存储的，具体形式见图。34RAID 6 这样一来，等于每个数据块有了两个校验保护屏障（一个分层校验，一个是总体校验），因此RAID 6的数据冗余性能相当好。但是，由于增加了一个校验，所以写入的效率较RAID 5还差，而且控制系统的设计也更为复杂，第二块的校验区

29、也减少了有效存储空间。由于RAID 6相对于RAID 5在校验方面的微弱优势和在性能与性价比方面的较大劣势，RAID 6等级基本没有实际应用过，只是对更高级的数据的冗余进行的一种技术与思路上的尝试 35RAID 7Optimized Asynchrony for High I/O Rates as well as High Data Transfer Rates（最优化的异步高I/O速率和高数据传输率） RAID 7等级是至今为止，理论上性能最高的RAID模式，因为它从组建方式上就已经和以往的方式有了重大的不同。基本形式见图，以往一个硬盘是一个组成阵列的“柱子”，而RAID 7中多个硬盘组成一

30、个“柱子”。换言之，在RAID 7中，以前的单个硬盘相当于分割成多个独立的硬盘，有自己的读写通道，这样做的好处就是在读/写某一区域的数据时，可以迅速定位，而不会因为以往因单个硬盘的限制同一时间只能访问该数据区的一部分。36关于关于RAID 7 RAID 7是一个整体的系统，有自己的操作系统，有自己的处理器，有自己的总线，而不是通过简单的插卡就可以实现的。RAID 7的主要特性如下： 所有的I/O传输都是异步的，都有自己独立的控制器和带有Cache的接口，与系统时钟并不同步 所有的读与写的操作都将通过一个带有中心Cache的高速系统总线（X-Bus） 专用的校验硬盘可以用于任何通道 带有完整功能

31、的即时操作系统内嵌于阵列控制微处理器，负责各通道的通信以及Cache的管理，这也是它与其他等级最大不同之一 连通性：可增至12个主机接口 扩展性：线性容量可增至48个硬盘 开放式系统，运用标准的SCSI硬盘、标准的PC总线、主板以及SIMM内存 在Cache内部完成校验生成工作 多重的附加驱动可以随时热机待命，提高冗余率和灵活性 易管理性：SNMP（简单网络管理协议） 可以让管理员远程监视并实现系统控制 按照RAID 7设计者的说法，将比其他RAID提高150-600%写入I/O性能。 37RAID 7已被SCC公司(Storage Computer Corporation)注册了商标3839

32、uDAS(直连存储直连存储) 大型服务器采用的大型服务器采用的主要存储方式主要存储方式uSAN(存储网络存储网络) 网络化的网络化的DASuNAS(网络存储网络存储) 适用于多用户网络适用于多用户网络环境环境SAN结构中，文件管理系统（FS）还是分别在每一个应用服务器上；而NAS则是每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统。换句话说：NAS和和SAN存储系统的区别是存储系统的区别是NAS有自己的文件系统管理。有自己的文件系统管理。 40nDAS (Direct Attached Storage)l直接将存储设备连接到服务器上直接将存储设备连接到服务器上l以以

33、“服务器为中心服务器为中心”的数据管理方式的数据管理方式41 4243nSAN (Storage Area Network)l以光纤交换机为中心的独立的数据存储设备以光纤交换机为中心的独立的数据存储设备lSAN通常由存储设备（磁盘阵列等）和光纤交换机组成通常由存储设备（磁盘阵列等）和光纤交换机组成l在网络服务器群的后端，采用光纤通道（在网络服务器群的后端，采用光纤通道（FC）协议连接成高速）协议连接成高速专用网络专用网络44SAN (存储网络存储网络) 45Storage Area Networks (SAN)46n优点（与优点（与DAS相比）相比）高性能，高扩展性，可升级性、稳定性和可用性都

34、大高性能，高扩展性，可升级性、稳定性和可用性都大大加强大加强数据集中管理，网络内部传输很快，总拥有成本降低数据集中管理，网络内部传输很快，总拥有成本降低n缺点缺点成本较高（每端口成本较高（每端口1000美元的光纤交换设备和昂贵的美元的光纤交换设备和昂贵的光纤存储设备）光纤存储设备）客户端不能直接访问客户端不能直接访问SAN，而要通过相应的服务器操，而要通过相应的服务器操作系统进行，异构环境下不能实现文件共享作系统进行，异构环境下不能实现文件共享存储资源共享，但不提供数据共享存储资源共享，但不提供数据共享47nNAS (Network Area Storage)l一种特殊的专用数据存储服务器，包括存储器件（磁盘阵列、一种特殊的专用数据存储服务器，包括存储器件（磁盘阵列、CD/DVD驱动器、磁带驱动器等）和内嵌系统软件，可提供跨平驱动器、磁带驱动器等）和内嵌系统软件，可提供跨平台文件共享功能台文件共享功能