RAID原理介绍(2)

1、信息存储理论与信息存储理论与技术技术主讲：冯主讲：冯 丹丹 陈陈俭俭喜喜 ()1RAID技术原理技术原理计算机存储系统3操作系统操作系统.disksCPUStorage Director StringController StringControllerChannel.CPU.Storage Director. StringController.IBM大型机多路磁盘大型机多路磁盘I/O系统系统 RAID设计借用设计借用大型机中大型机中Stripping和和Interleaving的的概念概念RAID(独立冗余磁盘阵列）独立冗余磁盘阵列） Redundant Arra

2、ys of Independent (Inexpensive) DisksD.A. Patterson, G. Gibson, and R.H. Katz, A Case for Redundant Arrays of Inexpensive Disks(RAID), tech. report, CS Division, Univ. of California Berkley, 1987.Katz, R.H., RAID: A personal recollection of how storage became a system. IEEE Annals of the History of

3、Computing, 2010. 32(4): p. 82-86.6789Why RAID？p存储容量需求不断增加：存储容量需求不断增加：数据总量18个月翻一番，目前每年约5 EB?p存储数据可靠性要求越来越高：存储数据可靠性要求越来越高：247的持续服务p存取速度要求越来越快：存取速度要求越来越快：速度要求达TBpsRAID基本原理与特征基本原理与特征p数据以条块化数据以条块化（stripe）分布于多个磁盘分布于多个磁盘p存储容量扩展存储容量扩展，I/O性能提升性能提升p冗余机制获得较高的数据可用性冗余机制获得较高的数据可用性n可用性可用性（Availability）: 即使某些部件故障仍能

4、够为用即使某些部件故障仍能够为用户提供服务户提供服务p通过冗余信息实现数据恢复通过冗余信息实现数据恢复（Reconstructed & Rebuild)p不足之处不足之处： 容量损失：存储冗余信息容量损失：存储冗余信息 带宽损失：冗余信息的读写带宽损失：冗余信息的读写 计算资源损失：冗余信息的更新计算资源损失：冗余信息的更新, ,恢复恢复12RAID定义p磁盘阵列：磁盘阵列： 采用数据交叉存取技术实现多个独立的采用数据交叉存取技术实现多个独立的硬磁盘驱动器并行访问，且在操作系统硬磁盘驱动器并行访问，且在操作系统下视为一个逻辑磁盘驱动器的存储设备。下视为一个逻辑磁盘驱动器的存储设备。块1

5、1块10块9块8块7块6块5块4块3块2RAIDRAID逻辑上构成一个大盘逻辑上构成一个大盘块1块0块12块8块4块0块13块9块5块1块14块10块6块2块15块11块7块3阵列控制核心阵列控制核心逻辑盘逻辑盘物理盘物理盘0 0物理盘物理盘1 1物理盘物理盘2 2物理盘物理盘3 3映射，也可称为虚拟化映射，也可称为虚拟化实例：实例：Linux DM:MDRAID分类分类软件式软件式与与硬件式硬件式(Software RAID & Hardware RAID)区分的标准是看实现区分的标准是看实现RAIDRAID是否占用主是否占用主机的资源机的资源（CPU，Memory）RAID 级别（

6、Level）pRAID 0：数据分割，无容错能力：数据分割，无容错能力pRAID 2：海明码，不具有商业生命力：海明码，不具有商业生命力pRAID 1：镜像：镜像(双拷贝双拷贝)pRAID 3：并行，位交叉，单校验盘：并行，位交叉，单校验盘pRAID 4：并行，块交叉，单校验盘：并行，块交叉，单校验盘pRAID 5：独立，循环校验盘：独立，循环校验盘pRAID 6：容双盘错，块交叉，近年被广泛重视：容双盘错，块交叉，近年被广泛重视2 磁盘阵列结构磁盘阵列结构123456(a) RAID 0： 数据分块，无校验(b) RAID 1： 镜像(c) RAID 2： 位交叉，海明码纠错(d) RAID

7、 3： 位交叉，奇偶校验(e) RAID 4：块交叉，固定校验盘(f) RAID 5： 块交叉，校验信息分散存放(g) RAID 10：分块与镜像结合(h) RAID 6：纠双错阵列RAID 0 技术技术p多个磁盘构成阵列多个磁盘构成阵列(ARRAYS) ,提高容量提高容量p解决单磁盘无法并行工作的问题解决单磁盘无法并行工作的问题, ,多磁盘同时操多磁盘同时操作作, ,提高提高速度速度RAID 0 StripingABCDEFGMIEANJFBOKGCPLHDRAID arrayData striped across member disks问题问题: : 可靠性降低可靠性降低, ,无容错能力

8、无容错能力. .由由N N个盘构成的盘阵个盘构成的盘阵的故障率为单盘的的故障率为单盘的N N倍倍 RAID 1RAID 1: Disk Mirroring 每个盘上的数据均在镜像盘上有一个每个盘上的数据均在镜像盘上有一个 完整的复制副本完整的复制副本；高可用性高可用性 写入带宽缩减写入带宽缩减: Logical write = two physical writes Reads may be optimized 代价较高的解决方案代价较高的解决方案: 100% : 100% 容量损失容量损失recoverygroupRAID 1 MirroringABCDEFGDCBADCBARAID arr

9、ayData mirrored across member disks RAID 3、4 适用于大组适用于大组,大文件顺序传送大文件顺序传送RAID 3、4A作业B作业Disk1Disk2Disk3Disk4Disk P在同一时刻DISK P只能有一个I/O操作,因此作业 B只能在作业A完成后才能开始数据数据块校验验块RAID4改进改进RAID 5pRAID 4 对读比较有效p并发写操作受限于校验盘: Write to D0, D5, both also write to P disk D0D1D2D3PD4D5D6PD7合絃皚合絃皚-5磁盘阵列磁盘阵列控制器控制器主机主机磁盘磁盘 RAID

10、5只适用于小组只适用于小组,随机存取随机存取;写速度缓慢写速度缓慢RAID 5: Rotate ParityRAID arrayData striped across disks, with parity rotatingABCDEFGLJKP3EP4IFBP1GDAHP2CRAID 5A作业B作业Disk1Disk2Disk3Disk4Disk 5在同一时刻可以同时完成作业在同一时刻可以同时完成作业A A及作业及作业B B数据数据块校验验块D0D5D10D15P4D1D6D11P3D16D2D7P2D12D17D3P1D8D13D18P0D4D9D14D1901234Block Disk0D

11、isk1Disk2Disk3Disk4D0D4D8D12P4D1D5D9P3D16D2D7P2D13D17D3P1D10D14D18P0D7D11D15D1901234Block Disk0Disk1Disk2Disk3Disk4P0D7D10D13D16D0P1D11D14D17D1D4P2D15D18D2D5D8P3D19D3D6D9D12P401234Block Disk0Disk1Disk2Disk3Disk4(a)(b)P0D4D8D12D16D0P1D9D13D17D1D5P2D14D18D2D6D10P3D19D3D7D11D15P401234Block Disk0Disk1Di

12、sk2Disk3Disk4D0D10P4D20D30D1D11D21D31P8D2P2D12D22D32D3D13D23P6D33P0D4D14D24D3401234Block Disk0Disk1Disk2Disk3Disk4(c)(d)D0D5D10D15P4D1D6D11D16P3D2D7D12D17P2D3D9D13D18P1D4D9D14D19P001234Block Disk0Disk1Disk2Disk3Disk4D5D15D25D25P9D6P3D16D26D36D7D17D27P7D37P1D8D18D28D38D9D19P5D29D3901234Block Disk0Dis

13、k1Disk2Disk3Disk4(e)(f)图2-3 RAID-5级的六种不同分布a左对称b左不对称 c右对称 d右不对称e扩展左对称 f平面左对称 6RAID 5 操作的操作的例子：例子：写数据写数据D1新值新值D1 D2 D3 D4 P方法2： (1) 读数据D1旧值和校验码P旧值 (2)计算新校验码 P新值 = D1 旧值 + P 旧值 + D1新值 (3) 写数据D1新值 和校验码P新值方法1：读取D2、D3、D4计算新的校验码写数据D1新和检验码RAID 6：P、Q校验校验容双盘错容双盘错P校验条带校验条带Q校验条带校验条带D0D3D6D9D1D4D7DaD2D5D8DbD0D3D

14、6D9D1D4D7DaD2D5D8DbRAID 1RAID 1RAID 1RAID 0具有具有RAID1的高可用性的高可用性较高的读取较高的读取性能性能写性能缩减写性能缩减冗余高，代价冗余高，代价也高也高RAID 10: Striping & MirroringABCDEKHEBKHEBRAID1+0Data striped across mirrored pairs of disksJGDAJGDALIFCLIFCRAID 01 :data mirrored between 2 groups of striped diskspRAID技术从技术从0到到5很好地解决了阻碍计算机发展的两

15、个重要问题很好地解决了阻碍计算机发展的两个重要问题 1. 通过多个盘构成阵列通过多个盘构成阵列,解决了容量问题解决了容量问题 2. 通过冗余算法通过冗余算法,解决了存储设备的可靠性问题解决了存储设备的可靠性问题p不足：不足： 存取速度仍是处理器的瓶颈存取速度仍是处理器的瓶颈 1.STRIPING技术并不能有效地提高速度技术并不能有效地提高速度 分块的大小与磁盘的机械特性有关分块的大小与磁盘的机械特性有关 文件的大小也不同文件的大小也不同 2.并行并行I/O提高速度的能力有限提高速度的能力有限 多次读写后多次读写后,数据散列在各个盘上数据散列在各个盘上,磁盘的机械运动磁盘的机械运动 成为阻碍速度

16、提高的主要因素成为阻碍速度提高的主要因素. . . . . . . . .parity groupSCSCStringControllerSC盘阵列正交结构示意图盘阵列正交结构示意图 . . . . . . . . .SCSCStringControllerSCParitygroupSCSCSCCrosshatch盘阵列结构盘阵列结构 主机通道阵列控制器盘串控制器disks.集中控制式阵列集中控制式阵列 3 磁盘阵列控制器设计磁盘阵列控制器设计主机SCSINCR53C 8xxCache-BufferPCI串控制器NCR53C8xx.parity groupInterface Card.NCR5

17、3C8xxSCSISCSI.NCR53C8xx.SCSI(EPROM)ControlsoftwareCPU实例：实例：主机通道阵列控制器节点disks.局域网.分布控制式阵列分布控制式阵列 The end of RAID era?40The authors of the 1988 original RAID paper (Patterson, Gibson and Katz) all moved on long ago: Patterson to scale-out object storage and much more;Gibson to Panasas, a scale-out object storage company he co-founded; Katz has been working on Hadoop among many o