Raid的学习和基础知识..

1、1. 什么是 Raid;RAI D ( Redundant Array of Inexpensive Disks)称为廉价磁盘冗余阵列。 RAID 的基本想法是把多个便宜的小磁盘组合到一起，成为一个磁盘组，使性能达到或超过一个容量巨大、价格昂贵的磁盘。目前 RAID 技术大致分为两种:基于硬件的 RAID 技术和基于软件的 RAID 技术。其中在 Linux 下通过 自带的软件就能实现 RAID 功能，这样便可省去购买昂贵的硬件 RAID 控制器和附件就能极大地增强磁 盘的 IO 性能和可靠性。由于是用软件去实现的 RAID 功能，所以它配置灵活、管理方便。同时使用软件RAID，还可以实现将几

2、个物理磁盘合并成一个更大的虚拟设备，从而达到性能改进和数据冗余的目 的。当然基于硬件的 RAID 解决方案比基于软件 RAID 技术在使用性能和服务性能上稍胜一筹，具体表 现在检测和修复多位错误的能力、错误磁盘自动检测和阵列重建等方面。2.RAID级别介绍 ;一般常用的0+1或称RAID 级别相对优点 相对缺点RAID 0存取速度最快 没有容错RAID 1完全容错 成本高RAID 3写入性能最好 没有多任务功能RAID 阶层，分别是 RAID 0、RAID1、RAID 3、RAID 4 以及 RAID 5，再加上二合一型RAIDRAID 10。我们先把这些 RAID级别的优、缺点做个比较:RA

3、ID 4RAID 5具备多任务及容错功能 Parity 磁盘驱动器造成性能瓶颈 具备多任务及容错功能 写入时有 overheadRAID 0+1/RAID 10 速度快、完全容错 成本高2.1 RAID0 的特点与应用 ;也称为条带模式( striped )，即把连续的数据分散到多个磁盘上存取，如图所示。当系统有数据请求就 可以被多个磁盘并行的执行，每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以 充分利用总线的带宽，显著提高磁盘整体存取性能。因为读取和写入是在设备上并行完成的，读取和写 入性能将会增加，这通常是运行 RAID 0 的主要原因。但 RAID 0 没有数据冗余，如

4、果驱动器出现故障，那么将无法恢复任何数据。! J稣!盘 AJ_C単盘2 IIIIC 亦 J II2.2 RAID 1的特点与应用；RAID 1又称为镜像(Mirroring )，个具有全冗余的模式，如图所示。RAID 1可以用于两个或2xN个磁盘，并使用0块或更多的备用磁盘，每次写数据时会同时写入镜像盘。这种阵列可靠性很高，但其有 效容量减小到总容量的一半，同时这些磁盘的大小应该相等，否则总容量只具有最小磁盘的大小。匚辑盘Jjfc 据 2 一Jrk卜_数据一- .2.3 RAID 3 特点与应用;Parity Data以并行存取模式写入成RAID 3每一笔数据传输，都更因此不会发生需要把部分磁

5、盘RAID 4 和 RAID 5RAID 3是将数据先做XOR运算，产生Parity Data后，在将数据和员磁盘驱动器中，因此具备并行存取模式的优点和缺点。进一步来说，新整个Stripe即每一个成员磁盘驱动器相对位置的数据都一起更新，驱动器现有的数据读出来，与新数据作XOR运算，再写入的情况发生这个情况在会发生，一般称之为 Read、Modify、Write Process，我们姑且译为为读、改、写过程。因此，在所 有RAID级别中，RAID 3的写入性能是最好的。RAID 3的Parity Data 一般都是存放在一个专属的Parity Disk，但是由于每笔数据都更新整个Stripe，因

6、此，RAID 3 的 Parity DiskRAID 3的并行存取模式，需要 述写入性能的优点，以目前的 淡出市场。并不会如RAID 4的Parity Disk，会造成存取的瓶颈。RAID控制器特别功能的支持，才能达到磁盘驱动器同步控制，而且上Caching技术，都可以将之取代，因此一般认为RAID 3的应用，将逐渐RAID 3以其优越的写入性能，特另U适合用在大型、连续性档案写入为主的应用，例如绘图、影像、视 讯编辑、多媒体、数据仓储、高速数据撷取等等。2.4 RAID 4 特点与应用;创建RAID 4需要三块或更多的磁盘， 它在一个驱动器上保存校验信息， 并以RAID 0方式将数据写入其

7、它磁盘，如图所示。因为一块磁盘是为校验信息保留的，所以阵列的大小是（N-I） *S，其中S是阵列中最小驱动器的大小。就像在 RAID 1中那样，磁盘的大小应该相等。厂鬲盘可。V顾数据4 / 匕一数据6一丿如果一个驱动器出现故障，那么可以使用校验信息来重建所有数据。如果两个驱动器出现故障，那么所 有数据都将丢失。不经常使用这个级别的原因是校验信息存储在一个驱动器上。每次写入其它磁盘时， 都必须更新这些信息。因此，在大量写入数据时很容易造成校验磁盘的瓶颈，所以目前这个级别的 RAID很少使用了。RAID 4是采取独立存取模式，同时以单一专属的Parity Disk来存放Parity Data。RA

8、ID 4的每一笔传输Strip资料较长，而且可以执行Overlapped I/O，因此其读取的性能很好。但是由于使用单一专属的 Parity Disk来存放Parity Data，因此在写入时，就会造成很大的瓶颈。因此, RAID 4并没有被广泛地应用。2.5 RAID 5 特点与应用;在希望结合大量物理磁盘并且仍然保留一些冗余时，RAID 5可能是最有用的 RAID模式。RAID 5可以用在三块或更多的磁盘上，并使用 0块或更多的备用磁盘。就像 RAID 4 一样，得到的 RAID5设备的 大小是(N 1) *S。逻辑盘迷据I13藏验3J-ja捋L一丄J数据2数捋4七r-r-检蜃JRAID5

9、与RAID4之间最大的区别就是校验信息均匀分布在各个驱动器上，如图4所示，这样就避免了RAID 4中出现的瓶颈问题。如果其中一块磁盘出现故障，那么由于有校验信息，所以所有数据仍然可 以保持不变。如果可以使用备用磁盘，那么在设备出现故障之后，将立即开始同步数据。如果两块磁盘 同时出现故障，那么所有数据都会丢失。故障。RAID5可以经受一块磁盘故障，但不能经受两块或多块磁盘RAID 5也是采取独立存取模式，但是其 具备Overlapped I/O 多任务性能之外,Parity Data则是分散写入到各个成员磁盘驱动器，因此，除了同时也脱离如RAID 4单一专属Parity Disk的写入瓶颈。但是

10、,RAI?D 5在座资料写入时，仍然稍微受到读、改、写过程-的拖累。由于RAID 5可以执行 Overlapped I/O多任务，因此当RAID 5的成员磁盘驱动器数目越多，其性能也就越高，因为一个磁盘驱动器再一个时间只能执行一个Thread，所以磁盘驱动器越多，可以Overlapped的Thread就越多，当然性能就越高。但是反过来说，磁盘驱动器越多，数组中可能有磁盘驱动器故障的机率就越高，整个数组的可靠度，或MTDL (Mean Time to Data Loss) 就会降低。由于RAID 5将Parity Data分散存在各个磁盘驱动器，因此很符合XOR技术的特性。例如，当同时有好几个写

11、入要求发生时，这些要写入的数据以及P arity Data可能都分散在不同的成员磁盘驱动器，因此RAID控制器可以充分利用Overlapped I/O，同时让好几个磁盘驱动器分别作存取工作，如此，数组的整体性能就会提高很多。基本上来说，多人多任务的环境，存取频繁，数据量不是很大的应用，都适合选用RAID 5架构，例如企业档案服务器、 WEB服务器、在线交易系统、电子商务等应用，都是数据量小，存取频繁的应用。2.6 RAID 0+1RAID 10 的特点与应用;，综合了 RAID 0 和 RAID 1 的优点，适合用在速度需求高，又要完全容错，当然经 RAID 0 和 RAID 1 的原理很简单

12、，合起来之后还是很简单，我们不打算详细介绍， 倒是要谈谈， RAID 0+1 到底应该是 RAID 0 over RAID 1 ，还是 多个 RAID 1 做成 RAID 0 ，还是把多个 RAID 0 做成RAID 0+1/RAID 10费也很多的应用。RAID 1 ？RAID 1 over RAID 0 ，也就是说，是把RAID 0 over RAID 1假设我们有四台磁盘驱动器，每两台磁盘驱动器先做成 是 RAID 0 over RAID 1 ：RAID 1 ，再把两个 RAID 1做成RAID 0 ，这就(RAID 1) A = Drive A1 + Drive A2 (Mirrore

13、d) (RAID 1) B = Drive B1 + Drive B2 (Mirrored) RAID 0 = (RAID 1) A + (RAID 1) B (Striped)RAID 1 over RAID 0假设我们有四台磁盘驱动器，每两台磁盘驱动器先做成 是 RAID 1 over RAID 0 ：RAID 0 ，再把两个 RAID 0做成RAID 1 ，这就(RAID 0) A = Drive A1 + Drive A2 (Striped)(RAID 0) B = Drive B1 + Drive B2 (Striped) RAID 1 = (RAID 1) A + (RAID 1)

14、 B (Mirrored)在这种架构之下，如果 (RAID 0) A 有一台磁盘驱动器故障， (RAID 0) A 就算毁了， 以正常工作;如果这时 (RAID 0) B 也有一台磁盘驱动器故障， 的两磁盘驱动器都算故障，整个 RAID 1 资料就毁了。当然RAID 1 仍然可(RAID 0) B 也就算毁了，此时 RAID 1因此， RAID 0 OVER RAID 1 应该比 RAID 1 OVER RAID 0 具备比较高的可靠度。所以我们建议，当采 用 RAID 0+1/RAID 10 架构时，要先作 RAID 1 ，再把数个 RAID 1 做成 RAID 0 。3. 怎样选择 Rai

15、d 级别 ;RAID 012345 到底哪一种适合你，不只是成本问题，容错功能和传输性能的考虑以及未来之可扩充性 都应该符合应用的需求。RAID 在市场上的的应用，已经不是新鲜的事儿了，很多人都大略了解 RAID 的基本观念， 同 RAID LEVEL 的区分。但是在实际应用 面，我们发现，有很多使用者对于选择一个合适的 仍然无法很确切的掌握，尤其是对于 RAID 0+1 (10) ，RAID 3， RAID 5 之间的选择取舍， 定。以及各个不RAID LEVEL， 更是举棋不3.1 RAID 条切“ striped 的”存取模式 ;在使用数据条切Data Stripping 的RAID系统

16、之中，对成员磁盘驱动器的存取方式，可分为两种:并行存取Paralleled Access 独立存取Independent Access RAID 2 和RAID 3 是采取并行存取模式。RAID 0、RAID 4、RAID 5及RAID 6则是采用独立存取模式。3.2 平行存取模式 ;并行存取模式支持里，是把所有磁盘驱动器的主轴马达作精密的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的 I/O 数据传送， 如此一来，从主机来的每一个 I/O 指令，都平均 分布到每一个磁盘驱动器。为了达到并行存取的功能， RAID 中的每一个磁盘驱动器，都必须具备几乎完全相同的规格:转速必

17、须 一样；磁头搜寻速度Access Time必须相同；Buffer或Cache的容量和存取速度要一致；CPU处理指令的速度要相同； I/O Channel 的速度也要一样。总而言之，要利用并行存取模式， RAID 中所有的 成员磁盘驱动器，应该使用同一厂牌，相同型号的磁盘驱动器。3.2.1 并行存取的基本工作原理A、B、C和D,我们在把时间轴略分假设 RAID 中共有四部相同规格的磁盘驱动器，分别为磁盘驱动器为 T0、 T1、 T2、 T3 和 T4:T0: RAID 控制器将第一笔数据传送到 中Buffer ，磁盘驱动器B、C和D的Buffer都是空的，在等待T1: RAID 控制器将第二笔

18、数据传送到和D的Buffer都是空的，在等待中Buffer ，A 开始把Buffer中的数据写入扇区，磁盘驱动器 CT2: RAID 控制器将第三笔数据传送到 入动作，磁盘驱动器 D 和 A 的 Buffer 都是空的，在等待中Buffer ，B 开始把Buffer中的数据写入扇区，A已经完成写T3 : RAID控制器将第四笔数据传送到D的Buffer，C开始把入动作，磁盘驱动器 A 和 B 的 Buffer 都是空的，在等待中T4 : RAID控制器将第五笔数据传送到A的Buffer，D开始把入动作，磁盘驱动器 B 和 C 的 Buffer 都是空的，在等待中BufferBuffer中的数据

19、写入扇区，中的数据写入扇区，B 已经完成写C已经完成写同时 RAID如此一直循环， 一直到把从主机来的这个 I/O 指令处理完毕， RAID 控制器才会受处理下一个 I/O 指令。 重点是在任何一个磁盘驱动器准备好把数据写入扇区时， 该目的扇区必须刚刚好转到磁头下。 控制器每依次传给一个磁盘驱动器的数据长度，也必须刚刚好，配合磁盘驱动器的转速，否则一旦发生 miss， RAID 性能就大打折扣。3.2.2 并行存取 RAID 的最佳应用 ;并行存取 RAID 之架构，以其精细的马达控制和分布之数据传输，将数组中每一个磁盘驱动器的性能发 挥到最大，同时充分利用 Storage Bus 的频宽，因

20、此特别适合应用在大型、数据连续的档案存取应用， 例如： 影像、视讯档案服务器 数据仓储系统 多媒体数据库 电子图书馆 印前或底片输出档案服务器其它大型且连续性档案服务器由于并行存取 RAID 架构之特性， 多任务，因此非常不适合应用在 并行存取无法执行 Overlapping 在每一个 I/O 的第一笔数据传输，RAID 控制器一次只能处理一个 I/O 要求，无法执行 Overlapping 的 I/O 次数频繁、数据随机存取、每笔数据传输量小的环境。同时，因为 的多任务，因此没有办法-隐藏磁盘驱动器搜寻seek的时间，而且 都要等待第一个磁盘驱动器旋转延迟旋转半圈的时间，如果使用一万转的磁盘

21、驱动器，平均就需要等待 行存取架构的最大问题。rotational latency ，平均为50 usec。所以机械延迟时间，是并3.3 独立存取模式 ;相对于并行存取模式，独立存取模式并不对成员磁盘驱动器作同步转动控制，其对每个磁盘驱动器的存 取，都是独立且没有顺序和时间间格的限制，同时每笔传输的数据量都比较大。因此，独立存取模式可 以尽量地利用 overlapping 多任务、 Tagged Command Queuing 等等高阶功能，来 动器的机械时间延迟 Seek 和 Rotational Latency 。隐藏 上述磁盘驱由于独立存取模式可以做 overlapping 多任务，而且

22、可以同时处理来自多个主机不同的 在多主机环境如 Clustering，更可发挥最大的性能。I/O Requests ，3.3.1 独立存取 RAID 的最佳应用 ;由于独立存取模式可以同时接受多个 I/O Requests ，因此特别适合应用在数据存取频繁、 小的系统。例如：每笔数据量较在线交易系统或电子商务应用多使用者数据库ERM 及 MRP 系统 小文件之文件服务器4. 创建和维护 Raid;4.1 mdadm;在Linux服务器中是通过 mdadm工具来创建和维护软 RAID的，mdadm在创建和管理软 RAID 方便，而且很灵活。 mdadm常用的参数有如下：时非常等。* -creat

23、e或-C :创建一个新的软 RAID，后面接raid设备的名称。例如，/dev/mdO，/dev/md1-assemble或-A :加载一个已存在的阵列，后面跟阵列以及设备的名称。*-detail或-D :输出指定RAID设备的详细信息。*-stop 或-S :停止指定的 RAID设备。*-level 或-l :设置RAID的级别，例如，设置“ -level=5 ”则表示创建阵列的级别是*-raid-devices 或-n :指定阵列中活动磁盘的数目。RAID 5。*-scan或-s :扫描配置文件或/proc/mdstat文件来搜索软 RAID的配置信息，该参数不能单独使用，只能配置其它参数

24、才能使用。下面将通过一个实例来讲述通过mdadm如何实现软RAID的功能。4.1.1 创建分区;【实例1】某台机器上有4块空闲的硬盘，分别是/dev/sdb、/dev/sdc、/dev/sdd和/dev/sde，并用这四块硬盘来创建来创建一个RAID 5，具体操作步骤如下：首先使用“fdisk命令在每块硬盘上创建一个分区，操作如下:rootxia op-la ptop:/# fdisk /dev/sdbDevice contains neither a valid DOS p artition table, nor Sun, SGI or OSF disklabelBuilding a new

25、 DOS disklabel. Changes will remain in memory only,until you decide to write them. After that, of course, the p revious content wont be recoverable.Warning: invalid flag 0x0000 of p artition table 4 will be corrected by w(rite)按n创建新分区Command (m for help): n #Command actione extendedp p rimary p arti

26、tion (1-4) #输入p选择创建主分区输入1创建第一个主分区直接回车，选择分区开始柱面这里就从 1开始pPartition number (1-4): 1 #First cylinder (1-102, default 1): #Using default value 1Last cylinder or +size or +sizeM or +sizeK (1-102, default 102):Using default value 102Command (m for help): w #然后输入 w写盘The p artition table has been altered!Cal

27、ling ioctl() to re-read p artition table.Syncing disks.针对其余几块硬盘也做相同操作，按照此步骤在另外的两块磁盘上做同样的操作 全部做完后，运行fdisk -l应该可以看到如下信息：Disk /dev/sdb: 214 MB, 214748160 bytes64 heads, 32 sectors/track, 204 cylindersUnits = cylinders of 2048 * 512 = 1048576 bytesDevice Boot Start End Blocks Id System /dev/sdb1 1 204 2

28、08880 fd Linux raid autodetectDisk /dev/sdc: 214 MB, 214748160 bytes64 heads, 32 sectors/track, 204 cylindersUnits = cylinders of 2048 * 512 = 1048576 bytesDevice Boot Start End Blocks Id System /dev/sdc1 1 204 208880 fd Linux raid autodetectDisk /dev/sdd: 214 MB, 214748160 bytes 64 heads, 32 sector

29、s/track, 204 cylindersUnits = cylinders of 2048 * 512 = 1048576 bytesDevice Boot Start End Blocks Id System /dev/sdd1 1 204 208880 fd Linux raid autodetect看到上面三个磁盘上分别建了一个分区，分区大小都一样；4.1.2 创建 RAID 5;创建完/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1四个分区后，下面就可以来创建RAID 5 了，其中设定/dev/sde1作为备用设备，其余为活动设备，备用设备的作用是一旦

30、某一设备损坏可以立即使用备用设备替换。操作命令如下：rootxia op-la ptop:/# mdadm -create /dev/md0 -level=5 -raid-devices=3 -s pare-devices=1 /dev/sdb-e1 mdadm: array /dev/md0 started./dev/sde1 ,若有多块备其中-spare-devices=1 ”表示当前阵列中备用设备只有一块，即作为备用设备的用设备，则将-SPare- devices ”的值设置为相应的数目。成功创建完成RAID设备后，通过如下命令可以查看到RAID的详细信息：rootxia op-la p

31、top:/# mdadm -detail /dev/md0 /dev/md0:Version : 00.90.01Creation Time : Mon Jan 22 10:55:49 2007Raid Level : raid5Array Size : 208640 (203.75 MiB 213.65 MB)Device Size : 104320 (101.88 MiB 106.82 MB)Raid Devices : 3Total Devices : 4P referred Minor : 0P ersistence : Sup erblock is p ersistentUp dat

32、e Time : Mon Jan 22 10:55:52 2007State : cleanActive Devices : 3Working Devices : 4Failed Devices : 0Spare Devices : 1Layout : left-symmetricChunk Size : 64KNumber Major Minor RaidDevice State 0 8 17 0 active sync /dev/sdb11 8 33 1 active sync /dev/sdc1 2 8 49 2 active sync /dev/sdd1 3 8 65 -1 sp ar

33、e /dev/sde1UUID : b372436a:6ba09b3d:2c80612c:efe19d75Events : 0.64.1.3 创建RAID的配置文件；RAID的配置文件名为“ mdadm.conf,默认是不存在的，所以需要手工创建，该配置文件存在的主要作 用是系统启动的时候能够自动加载软RAID，同时也方便日后管理。“mdadm.conf文件内容包括：由DEVICE选项指定用于软 RAID的所有设备，和 ARRAY选项所指定阵列的设备名、RAID级别、阵列中活动设备的数目以及设备的 UUID号。生成RAID配置文件操做如下： rootxia op-la ptop:/# mdad

34、m -detail -scan /etc/mdadm.conf但是当前生成“mdadm.con”文件的内容并不符合所规定的格式，所以也是不生效的，这时需要手工修改该 文件内容为如下格式：rootxia op-la ptop:/# vi /etc/mdadm.confDEVICE /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1ARRAY /dev/md0 level=raid5 num-devices=3 UUID=b372436a:6ba09b3d:2c80612c:efe19d75RAID才能使用，手工加载软如果没有创建RAID的配置文件，那么在每次系统启动后

35、，需要手工加载软RAID的命令是: rootxia op-la ptop:/# mdadm -assemble /dev/md0 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 mdadm: /dev/md0 has been started with 3 drives and 1 spare.4.1.4 创建文件系统；接下来就只需要在 RAID设备上创建文件系统就可使用了，在RAID设备上创建文件系统和在分区或磁盘上创建文件系统的方法一样。在设备“/dev/md0”上创建ext3的文件系统命令如下：rootxia op-la ptop:/# mkfs.ext3

36、 /dev/md0创建完文件系统后，将该设备挂载上就可正常的使用了。如果要创建其它级别的 RAID，其步骤和创建RAID5基本都一样，区别在于指定-level值的时候，需要将该值设置为相应的级别。4.2维护软RAID;软RAID虽然很大程度上能保证数据的可靠性，但是在日常的工作中，有时可能需要对 以及不排除RAID设备物理介质损坏的可能等相关问题RAID进行调整，当遇到这些情况时，那么同样可以通过“mdadm命令来完成这些操作。下面也将通过一个实例来介绍更换RAID故障磁盘的完整过程。4.2.1模拟故障磁盘；【实例2】以前面的【实例1】为基础，假定其中的“/dev/sdc1设备出现故障时，更换

37、一个新的磁盘，整个过程的详细说明如下：在实际中，当软 RAID检测到某个磁盘有故障时，会自动标记该磁盘为故障磁盘，并停止对故障磁盘的 读写操作，所以这里需要将/dev/sdc1标记为出现故障的磁盘，命令如下：rootxia op-la ptop:/# mdadm /dev/mdO -fail /dev/sdc1mdadm: set /dev/sdc1 faulty in /dev/md0由于【实例1】中的RAID 5设置了一个备用设备，所以当有标记为故障磁盘的时候，备用磁盘会自动顶替故障磁盘工作，阵列也能够在短时间内实现重建。通过“/proc/mdstat文件可查看到当前阵列的状态，如下：rootxia op-la ptop:/# cat /p roc/mdstatP ersonalities : raid5md0 : active raid5 sde13 sdb10 sdd12 sdc14(F)208640 blocks level 5, 64k chunk, algorithm 2 3/2 U_Urecovery = 26.4% (28416/104320) finish=0.0min sp eed=2