v2第三章 磁盘阵列与RAID

1、单击此处编辑母版副标题样式单击此处编辑母版副标题样式第三章 南京工程学院 page 2课程目标u 掌握磁盘存储基本知识u 理解磁盘系统和磁盘阵列的工作原理u 掌握常见RAID级别及其区别u 了解RAID规划思路和应用场景page 3磁盘阵列和RAID课程目录磁盘存储磁盘存储RAID技术123RAID对性能的影响及规划思路、应用场景page 41. 磁盘存储page 5l当今数据中心的存储架构至少有几百个硬盘当今数据中心的存储架构至少有几百个硬盘l硬盘驱动器非常容易发生故障硬盘驱动器非常容易发生故障l无数据保护的存储阵列的平均寿命无数据保护的存储阵列的平均寿命MTBF：设一个存储阵列由设一个存储

2、阵列由100块硬盘组成块硬盘组成每块硬盘平均寿命每块硬盘平均寿命750000小时小时整个阵列的平均寿命？整个阵列的平均寿命？l如何将多块硬盘形成整体，使之能在硬盘故障时提供数据保如何将多块硬盘形成整体，使之能在硬盘故障时提供数据保护的技术？护的技术？page 61.1 磁盘阵列概念page 71.2 磁盘阵列分类page 81）JBOD磁盘框lJBOD（Just a Bunch of Disks）：是在逻辑上把几个物理磁盘一个接一个的）：是在逻辑上把几个物理磁盘一个接一个的串联在一起，其目的是为了增加磁盘的容量，并不提供数据安全保障。串联在一起，其目的是为了增加磁盘的容量，并不提供数据安全保障

3、。page 92）RAIDlRAID（Redundant Array of Independent Disks）：独立冗余磁盘阵列，简）：独立冗余磁盘阵列，简称磁盘阵列。称磁盘阵列。RAID是按一定的形式和方案组织起来的存储设备，它比单是按一定的形式和方案组织起来的存储设备，它比单个存储设备在速度、稳定性和存储能力上都有很大提高，并且具备一定个存储设备在速度、稳定性和存储能力上都有很大提高，并且具备一定的数据安全保护能力。的数据安全保护能力。page 10l1987 年，美国加利福尼亚大学伯克利分校的年，美国加利福尼亚大学伯克利分校的 Patterson、Gibson 和和 Katz 发表了一

4、篇文章，名为发表了一篇文章，名为A Case for Redundant Arrays of Inexpensive Disks (RAID)（廉价磁盘冗余阵列（廉价磁盘冗余阵列 (RAID) 案例）。这篇文章介绍了如何使用价格低廉的小容量案例）。这篇文章介绍了如何使用价格低廉的小容量磁盘驱动器来替代大型机通用的大容量驱动器。术语磁盘驱动器来替代大型机通用的大容量驱动器。术语 RAID 已已经重新定义为独立磁盘，以反映存储技术的进步。经重新定义为独立磁盘，以反映存储技术的进步。RAID 技术技术目前已从学术概念发展成为一种行业标准，并且成为当今存目前已从学术概念发展成为一种行业标准，并且成为当

5、今存储阵列中的常见实现。储阵列中的常见实现。page 11磁盘阵列和RAID课程目录磁盘存储RAID技术技术123RAID对性能的影响及规划思路、应用场景page 122.1 RAID的基本概念page 131）RAID的数据组织方式l分块：将一个分区分成多个大小相等的、地址相邻的块，这分块：将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。它是组成分条的元素。些块称为分块。它是组成分条的元素。l分条：同一个磁盘阵列中的多个磁盘驱动器上的相同分条：同一个磁盘阵列中的多个磁盘驱动器上的相同“位置位置”（或者说是相同编号）的分块。（或者说是相同编号）的分块。分条0(stripe)分条1(

6、stripe)分条2(stripe)page 14RAID的数据组织方式: 分块Strip与分条StripeStripe 1Stripe 2StripsStrip 1Strip 2Strip 3StripeStripStripepage 15分条深度影响存储性能的因素l分条深度（分条深度（Stripe Depth）：在使用分条数据映射的磁盘阵列）：在使用分条数据映射的磁盘阵列中，条带中，条带“分块分块”的尺寸。块是阵列中写数据的最小单元。的尺寸。块是阵列中写数据的最小单元。l分条深度的选择方式通常如下：分条深度的选择方式通常如下：l分条宽度（分条宽度（Stripe Width）：一个分条所包含

7、的数据条带的数）：一个分条所包含的数据条带的数量。量。page 162）RAID数据存取方式l并行存取模式：是把所有磁盘驱动器的主轴马达作精密的控制，使每个并行存取模式：是把所有磁盘驱动器的主轴马达作精密的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的I/O数据数据传送，使从主机来的每一个传送，使从主机来的每一个I/O指令，都平均分布到每一个磁盘驱动器，指令，都平均分布到每一个磁盘驱动器，将阵列中每一个磁盘驱动器的性能发挥到最大。将阵列中每一个磁盘驱动器的性能发挥到最大。适用范围：大型的、数据连续的以长时间顺序访问数

8、据为特征的应用适用范围：大型的、数据连续的以长时间顺序访问数据为特征的应用l独立存取模式：对每个磁盘驱动器的存取都是独立且没有顺序和时间间独立存取模式：对每个磁盘驱动器的存取都是独立且没有顺序和时间间隔的限制，可同时接收多个隔的限制，可同时接收多个I/O Requests，每笔传输的数据量都比较小。，每笔传输的数据量都比较小。适用范围：数据存取频繁，每笔存取数据量较小的应用适用范围：数据存取频繁，每笔存取数据量较小的应用page 173）镜像和校验冗余l镜像冗余：使用磁盘镜像技术来实现冗余，将相同数据存储镜像冗余：使用磁盘镜像技术来实现冗余，将相同数据存储在两台不同的磁盘驱动器上，从而生成两个

9、数据拷贝的技术在两台不同的磁盘驱动器上，从而生成两个数据拷贝的技术page 183）镜像和校验冗余l校验冗余：通过计算保存在阵列中成员磁盘驱动器上数据的校验冗余：通过计算保存在阵列中成员磁盘驱动器上数据的校验值，并将计算出来的校验值保存在另外的磁盘资源上。校验值，并将计算出来的校验值保存在另外的磁盘资源上。RAID控制器D1D2D3D4P461718主机page 193）镜像和校验冗余l校验冗余：校验冗余：校验算法有很多种，比较常见的算法有校验算法有很多种，比较常见的算法有XOR异或校验算法。异或校验算法。和镜像冗余相比较，校验冗余占用的磁盘空间小。和镜像冗余相比较，校验冗余占用的磁盘空间小。

10、通过计算保证数据可靠性。通过计算保证数据可靠性。对于校验对于校验RAID，条带大小计算不包括校验条块。例如，在条块大小为，条带大小计算不包括校验条块。例如，在条块大小为 64 KB、包含五个、包含五个 (4 + 1) 磁盘的奇偶校验磁盘的奇偶校验 RAID 集中，条带大小将为集中，条带大小将为 256 KB (64 KB x 4)。page 203）镜像和校验冗余l校验冗余与镜像区别：校验冗余与镜像区别：校验冗余大幅减少了与数据保护成本。如四个磁盘的奇偶校验校验冗余大幅减少了与数据保护成本。如四个磁盘的奇偶校验 RAID，其中三个磁盘用于保存数据，第四个磁盘用于保存校验信息。镜像则其中三个磁盘

11、用于保存数据，第四个磁盘用于保存校验信息。镜像则需要需要 100% 的额外磁盘空间，两个磁盘保存数据，两个磁盘用于镜像。的额外磁盘空间，两个磁盘保存数据，两个磁盘用于镜像。但是，校验信息是从数据磁盘上的数据生成的，每次数据发生更改时但是，校验信息是从数据磁盘上的数据生成的，每次数据发生更改时都会重新计算校验值。这种重新计算十分耗时，并且会影响都会重新计算校验值。这种重新计算十分耗时，并且会影响 RAID 阵阵列的性能。列的性能。page 21补：XOR异或校验法lXOR校验的算法校验的算法相同为假，相异为真：相同为假，相异为真：0 0=0 ; 0 1=1 ; 1 0=1 ; 1 1=0 ;lX

12、OR的逆运算仍为的逆运算仍为XOR：如果如果A为为1，B为为0，则校验值，则校验值P为为1：A(1) B(0)=P(1)，则有逆运算：则有逆运算：B(0) P(1)=A(1) ; A(1) P(1)=B(0) ; page 224）热备、热换、重构l热备（热备（Hot Spare）：当冗余的）：当冗余的RAID阵列中某个磁盘失效时，在不干扰当阵列中某个磁盘失效时，在不干扰当前前RAID系统正常使用的情况下，用系统正常使用的情况下，用RAID系统中另外一个正常的备用磁盘系统中另外一个正常的备用磁盘顶替失效磁盘。顶替失效磁盘。热备通过配置热备盘实现，热备盘分为全局热备盘和局部热备盘热备通过配置热备

13、盘实现，热备盘分为全局热备盘和局部热备盘l热换（热换（Hot Swap）：指在不影响系统正常运转的情况下，用正常的磁盘）：指在不影响系统正常运转的情况下，用正常的磁盘替换替换RAID系统中的失效磁盘。系统中的失效磁盘。page 234）热备、热换、重构l重构：镜像阵列或重构：镜像阵列或RAID阵列中发生故障的磁盘上的所有用户数据和校验阵列中发生故障的磁盘上的所有用户数据和校验数据的重新构建（数据的重新构建（rebuild）过程，或者将这些数据写到一个或多个备用）过程，或者将这些数据写到一个或多个备用磁盘上的过程。磁盘上的过程。page 245）在线扩容和RAID级别迁移l在线扩容：如果已经创建

14、的在线扩容：如果已经创建的RAID组容量已无法满足业务需求，而存储设组容量已无法满足业务需求，而存储设备上面还有空余的硬盘槽位，在不断电的前提下，向空余槽位中插入硬备上面还有空余的硬盘槽位，在不断电的前提下，向空余槽位中插入硬盘，并将新的物理硬盘容量加入到已有的盘，并将新的物理硬盘容量加入到已有的RAID组中而不中断业务的操作。组中而不中断业务的操作。lRAID级别迁移：存储设备在使用过程中，更改已有级别迁移：存储设备在使用过程中，更改已有RAID组的等级，而不组的等级，而不中断业务的操作。中断业务的操作。page 25RAID组状态转换page 266）RAID的实现方式l硬件硬件RAID：

15、利用集成了处理器的硬件：利用集成了处理器的硬件RAID适配卡来对适配卡来对RAID任务进行处理，无须占任务进行处理，无须占用主机用主机CPU资源。资源。 RAID 控制器的主要功能：控制器的主要功能：管理与控制磁盘聚合管理与控制磁盘聚合转换逻辑磁盘和物理磁盘之间的转换逻辑磁盘和物理磁盘之间的 I/O 请求请求在磁盘出故障时重新生成数据在磁盘出故障时重新生成数据l软件软件RAID：使用基于主机的软件提供使用基于主机的软件提供 RAID 功能功能，在操作系统级别加以实现，成本低、简单直观。在操作系统级别加以实现，成本低、简单直观。限制限制u使用主机使用主机 CPU 周期执行周期执行 RAID 计算

16、，计算，占用系统内存和主机占用系统内存和主机I/O总线，从而影响系总线，从而影响系统整体性能统整体性能u支持有限的支持有限的 RAID 级别级别u仅当仅当 RAID 软件和操作系统兼容时，才可对其进行升级软件和操作系统兼容时，才可对其进行升级page 27RAID 阵列组件RAID控制器硬盘逻辑阵列（RAID 集）RAID 阵列主机page 282.2 RAID级别和工作原理lRAID0lRAID1lRAID2lRAID3lRAID4lRAID5lRAID6lRAID7lRAID10lRAID01lRAID50page 29A0A1B0C0B1C1A，B，C经过控制器1）RAID0lRAID0

17、的工作原理的工作原理 无差错控制的条带化阵列无差错控制的条带化阵列page 30A0A1A2A3A4RAID 0主机主机ARAID控制器控制器page 31RAID0数据丢失l阵列中某一个驱动器发生故障，将导致其中的数据丢失阵列中某一个驱动器发生故障，将导致其中的数据丢失page 32RAID0的特性page 332）RAID1lRAID1工作原理工作原理page 34RAID 1D1D1D1D0D0D0RAID控制器控制器主机主机page 35RAID1数据恢复磁盘损坏磁盘损坏更换磁盘更换磁盘读镜像数据读镜像数据复制镜像磁盘数据复制镜像磁盘数据D0D1D2page 36RAID1的特性pag

18、e 373）RAID2lRAID2的工作原理的工作原理page 38RAID2海明码l海明码以位为单位，使用多余的奇偶校验位来识别一位错误的校验方法海明码以位为单位，使用多余的奇偶校验位来识别一位错误的校验方法page 39RAID2的特性page 404）RAID3lRAID3工作原理工作原理 带奇偶校验码的并行阵列带奇偶校验码的并行阵列A，B，CP1=A0 A1 A2page 41RAID3主机主机A校验盘校验盘A0A1A2A3P0RAID控制器控制器page 42RAID3数据恢复A1=P1 A0 A2A0A2P1page 43RAID3的特性page 44A0，A1，A2，B0，B1，

19、B2，C0，C1，C2A0A1A2B0B1B2C0C1C25）RAID4lRAID4工作原理工作原理 带奇偶校验的独立磁盘结构带奇偶校验的独立磁盘结构page 45B0P2主机主机RAID控制器控制器计算计算校验值校验值A0P1P2A0A1B1A2B2A3A0P 1P 4 5 6 7B3RAID4 A0P1B0计算计算校验值校验值B0P2B0page 46RAID4数据恢复A1=P1 A0 A2A0A0A1A2B0B1B2C0C1C2A2P1page 47RAID4的特性小page 486）RAID5lRAID5工作原理工作原理 分布式奇偶校验独立磁盘结构分布式奇偶校验独立磁盘结构page 4

20、9B0P2主机主机RAID控制器控制器计算计算校验值校验值A0P1P2A0A1B1A2B2A3A0P 1P 4 5 6 7B3RAID5 A0P1B0计算计算校验值校验值B0P2B0page 50RAID5数据恢复D1=P0 D0P1=D2 D3D4=P2 D5page 51RAID5的特性page 527）RAID6lRAID6是带有两种分布存储的奇偶校验码的独立磁盘结构，它是是带有两种分布存储的奇偶校验码的独立磁盘结构，它是RAID5的的一种扩展，采用两种奇偶校验方法，需要至少一种扩展，采用两种奇偶校验方法，需要至少N+2个磁盘来构成阵列，一个磁盘来构成阵列，一般用在数据可靠性、可用性要求

21、极高的应用场合般用在数据可靠性、可用性要求极高的应用场合l常用的常用的RAID6技术有技术有RAID6 P+Q 和和RAID6 DPpage 53RAID6 P+Q工作原理lRAID6 P+Q需要计算出两个校验数据需要计算出两个校验数据P和和Q，当有两个数据丢失时，根据，当有两个数据丢失时，根据P和和Q恢复出丢失的数据。校验数据恢复出丢失的数据。校验数据P和和Q是由以下公式计算得来的：是由以下公式计算得来的：P D0 D1 D2 Q = (D0D0) (D1D1) (D2D2) page 54RAID6 DP工作原理lDPDouble Parity，就是在，就是在RAID4所使用的一个行所使用

22、的一个行XOR校验磁盘的基础上校验磁盘的基础上又增加了一个磁盘用于存放斜向的又增加了一个磁盘用于存放斜向的XOR校验信息校验信息横向校验盘中横向校验盘中P1P4为各个数据盘中横向数据的校验信息为各个数据盘中横向数据的校验信息例：例：P0=D0 XOR D1 XOR D2 XOR D3斜向校验盘中斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息为各个数据盘及横向校验盘的斜向数据的校验信息例：例：DP0 = D0 XOR D5 XOR D10 XOR D15page 55RAID6的特性page 568）RAID7l最优化的异步高最优化的异步高I/O速率和高数据传输率速率和高数

23、据传输率lRAID7自带实时操作系统和存储管理软件，可以完全独立于主机运行，不自带实时操作系统和存储管理软件，可以完全独立于主机运行，不需要占用主机的需要占用主机的CPU资源资源page 57RAID7的特性page 58lRAID10是将镜像和条带进行组合的是将镜像和条带进行组合的RAID级别，先进行级别，先进行RAID1镜像然后再做镜像然后再做RAID0。RAID10也是一种应用比较广泛的也是一种应用比较广泛的RAID级别。级别。9）RAID组合RAID 10RAID控制器分条分条A0B0C0A0B0C0A1B1C1A1B1C1A，B，Cpage 59RAID控制器控制器RAID 10A0

24、主机主机ABA1A1B0B1B1A0B0page 60RAID 10数据恢复RAID控制器A0B0C0A0B0C0A1B1C1A1B1C1分条分条page 61RAID 10的特性page 6210）RAID组合RAID 01lRAID 01是将条带和镜像进行两级组合的是将条带和镜像进行两级组合的RAID级别，第一级是级别，第一级是RAID0，第，第二级为二级为RAID1。A，B，C磁盘镜像器A0B0C0A1B1C1A0B0C0A1B1C1A，B，C 分条A，B，C 分条RAID控制器page 63RAID控制器控制器RAID 01A0主机主机ABA0A1B0B0B1A1B1A BA Bpag

25、e 64RAID 01数据恢复磁盘镜像器A0B0C0A1B1C1A0B0C0A1B1C1A，B，C 分条A，B，C 分条RAID控制器l一般来说，一般来说，RAID01的失效率要比的失效率要比RAID10大，不过无硬盘故障下，大，不过无硬盘故障下，RAID01的的读取速度要比读取速度要比RAID10快。快。page 65RAID 01的特性page 6611）RAID组合RAID50lRAID50是将是将RAID5和和RAID0进行两级组合的进行两级组合的RAID级别，第一级是级别，第一级是RAID5，第，第二级是二级是RAID0。D0,D1,D2,D3,D4,D5,D6,D7,D8,D9,D

26、10,D11D0,D1,D4,D5,D8,D9D2,D3, D6,D7,D10,D11page 67RAID50的特性page 68磁盘阵列和RAID课程目录磁盘存储RAID技术123RAID对性能的影响及规划思路、应用场景对性能的影响及规划思路、应用场景page 693.1 RAID 对性能的影响在在 RAID 5 中，每次磁盘写入（更新）都表现为四次中，每次磁盘写入（更新）都表现为四次 I/O 操作（操作（2 次磁盘读取和次磁盘读取和 2 次磁盘写入）次磁盘写入）l在在 RAID 6 中，每次磁盘写入（更新）都表现为六次中，每次磁盘写入（更新）都表现为六次 I/O 操作（操作（3 次磁盘读

27、次磁盘读取和取和 3 次磁盘写入）次磁盘写入）l在在 RAID 1 中，每次写入都表现为两次中，每次写入都表现为两次 I/O 操作（操作（2 次磁盘写入）次磁盘写入） Cp 新RAID 控制器+-=C4 旧Cp 旧C4 新1234A1A2A3A4APB1B2B3BPB4C1C2CPC3C4page 70RAID 性能损失计算示例l高峰工作负载时的高峰工作负载时的 IOPS 为为 1200l读读/写比为写比为 2:1l针对以下配置计算高峰活动时的磁盘负载：针对以下配置计算高峰活动时的磁盘负载：RAID 1/0RAID 5page 71解决方案：RAID 性能损失l对于对于 RAID 1/0，磁盘

28、负载（读，磁盘负载（读 + 写）写） = (1200 x 2/3) + (1200 x (1/3) x 2) = 800 + 800 = 1600 IOPSl对于对于 RAID 5，磁盘负载（读，磁盘负载（读 + 写）写） = (1200 x 2/3) + (1200 x (1/3) x 4) = 800 + 1600 = 2400 IOPSpage 723.2 RAID组规划思路page 73常见RAID级别的比较RAID RAID 级别级别RAID 0 RAID 0 RAID 1RAID 1RAID 3RAID 3RAID 5RAID 5RAID6RAID6RAID 10RAID 10容错

29、性容错性 无无有有有（支持单磁盘故障）有（支持单磁盘故障）有（支持单磁盘有（支持单磁盘故障）故障）有（支持两个有（支持两个磁盘故障）磁盘故障）有有冗余类型冗余类型 无无 镜像冗余镜像冗余 校验冗余校验冗余 校验冗余校验冗余 校验冗余校验冗余 镜像冗余镜像冗余 可用空间可用空间 100% 100% 50%50%(N-1)/N (N-1)/N (N-1)/N (N-1)/N (N-2)/N (N-2)/N 50%50%读性能读性能 高高 普通普通（优于单个磁盘）（优于单个磁盘）普通（对于随机读取）普通（对于随机读取）高（对于顺序读取）高（对于顺序读取） 高高 高高 高高 随机写性能随机写性能 高高

30、 普通普通（比单个磁盘低）（比单个磁盘低） 低低 良好良好 低低 高高 连续写性能连续写性能 高高 普通普通 普通普通普通普通 低低 高高 最少磁盘数最少磁盘数 2 2个个 2 2个个 3 3个个 3 3个个 4 4个个 4 4个个 应用场景应用场景 传输带宽需传输带宽需求大的应用求大的应用 安全性要求较高安全性要求较高的应用的应用 大文件、连续数据的应大文件、连续数据的应用用 读读/ /写比率较高写比率较高的应用的应用 读读/ /写比率较高写比率较高的的应用的的应用 写入密集、安全写入密集、安全性要求高的应用性要求高的应用 page 743.3 常用RAID级别的应用场景应用场景应用场景RA

31、ID 0RAID 1 RAID 10 RAID 5 RAID 50E-MailWeb应用应用DB应用应用流媒体流媒体File-Archival 推荐使用推荐使用 不推荐使用不推荐使用 可用使用可用使用page 75本章总结lRAID提供数据冗余保护功能，而提供数据冗余保护功能，而JBOD仅仅是对容量的扩充仅仅是对容量的扩充lRAID提供方便的数据存取方式提供方便的数据存取方式lRAID提供多种数据保护级别，可根据实际需要进行选择提供多种数据保护级别，可根据实际需要进行选择l可以根据实际需求进行不同可以根据实际需求进行不同RAID级别的组合级别的组合page 76知识测验 1 l关于软件关于软件

32、 RAID 实现，以下哪项描述是正确的？实现，以下哪项描述是正确的？4操作系统升级不需要验证与操作系统升级不需要验证与 RAID 软件的兼容性软件的兼容性4其成本高于硬件其成本高于硬件 RAID 实现实现4支持所有支持所有 RAID 级别级别4使用主机使用主机 CPU 周期执行周期执行 RAID 计算计算l一个具有一个具有 64 KB 条块大小且包含五个磁盘的奇偶校验条块大小且包含五个磁盘的奇偶校验 RAID 5 集的条集的条带大小是多少？带大小是多少？464 KB4128 KB4256 KB A.320 KBpage 77知识测验 2 l用于小型随机用于小型随机 I/O 的的 RAID 6 配置中的写性能损失是多少？配置中的写性能损失是多少？42434446l一个应用程序生成一个应用程序生成 400 个小型随