信息存储技术-磁盘阵列

磁盘阵列引言——为什么需要磁盘阵列工作原理影响磁盘存储系统性能的关键因素RAID技术3,0001,000100100197019801990200020102020Systems-

centricPC-

centricNetwork-

centricInformation-

centric用户数量(百万)20052010数据的摩尔定律：人类每18个月产生的信息量，是人类之前全部信息量的总和2015假如有1PB数据，买4TB大小的磁盘，需要250个！如何把250个磁盘连接起来？如果用一般的PC，需要63台！数据存放起来了，如何管理和使用？性能如何？当设备损坏或发生事故时如何应对？几个问题容量速度管理安全：容灾与备份可扩展性信息存储需要解决的主要问题信息的分层存储计算机系统基本结构辅助存储器与信息存储有关的部件CPU(寄存器）高速缓存主存储器辅助存储器信息的分层存储存储器硬件的金字塔结构寄存器高速缓存主存储器软磁盘硬盘其它外存设备速度越来越快容量越来越大信息的分层存储信息的分层存储辅助存储器主要有磁表面存储器和光存储器两大类.磁表面存储器是将磁性材料沉积在盘片(或带)的基体上形成记录介质,并以绕有线圈的磁头与记录介质的相对运动来写入或读出信息.磁表面存储器有数字式磁记录,如硬盘,软盘和磁带.模拟式磁记录,如录音,录像设备光存储器主要是光盘,它是利用激光束在具有感光特性的表面上存储信息的存储密度面密度：单位面积中存储的二进制信息量；道密度：单位长度上存储的二进制信息量。存储容量格式化容量、非格式化容量寻址时间平均寻道时间+平均等待时间数据传输率单位时间内从磁表面存储器所读/写的信息量。误码率、价格信息的分层存储磁表面存储器的技术指标磁盘采取直接存取方式,寻址时间包括两部分:一是磁头寻找目标磁道所需的寻道时间ts;二是找到磁道以后,磁头等待所需要读写的区段旋转到它的下方所需要的等待时间tw.由于寻找相邻磁道和从最外面磁道找到最里面磁道所需的时间不同,磁头等待不同区段所花的时间也不同,因此,取它们的平均值,称作平均寻址时间Ta,它由平均找道时间Tsa和平均等待时间Twa组成:Ta=Tsa+Twa=(tsmax+tsmin)/2+(twmax+twmin)/2磁盘寻址时间信息的分层存储信息的分层存储磁盘的磁化轨迹磁盘设备的基本结构面surface，道track，扇区sector，柱面cylinder读写头①容量硬盘容量=盘面数×柱面数×扇区数×扇区大小。硬盘容量=单碟容量×碟片数。目前可达8TB②硬盘的数据传输率(DataTransferRate)又称吞吐率，表示在磁头定位后，硬盘读或写数据的速度。信息的分层存储硬盘主要性能指标③道至道时间（singletrackseek）指磁头从一磁道转移至另一磁道的时间，单位为毫秒。④平均寻道时间(AverageSeekTime)指硬盘磁头移动到数据所在磁道所用的时间，单位为毫秒(ms),平均寻道时间越短硬盘速度越快。⑤转速主流硬盘的转速：5400rpm、7200rpm、10000rpm、15000rpm。⑥平均潜伏期（averagelatency）也称旋转等待时间，指当磁头移动到数据所在的磁道后，然后等待所要的数据块继续转动（半圈或多些、少些）到磁头下的时间，单位为毫秒。⑦平均访问时间（averageaccess）指磁头找到指定数据的平均时间，单位为毫秒。通常是平均寻道时间和平均潜伏时间之和。⑧全程访问时间（maxfullseek）指磁头开始移动直到最后找到所需要的数据块所用的全部时间，单位为毫秒。⑨缓存硬盘与外部总线交换数据的场所，缓存对提高硬盘速度很有好处，目前市面上的缓存容量通常为8~32MB。连续无故障时间(MeanTimeBetweenFailure，MTBF)硬盘表面温度信息的分层存储SCSIATAFCSATASASSAS2.0硬盘接口类型IEEE1394标准磁盘阵列1、如果文件大于系统中最大的存储空间，如何存放？2、如果文件不允许分割存放？3、如果硬盘速度不能满足系统需要，怎么办？引言1、VLSI技术的迅速发展和多级并行处理技术的广泛使用，计算机主机的性能得到了空前的提高；2、I/O子系统的速度却因机械传动等因素，远远落后于CPU处理速度，二者之间的差距日益增大

I/O和CPU速度上的不匹配，高性能计算机面临着越来越严重的瓶颈问题；3、快速多盘存储技术存储系统的并发与并行性；4、廉价、小容量、高性能的磁盘驱动器，组成盘阵列，实现对多盘的并发读/写，达到高数传率、高可靠性和高性价比；过去十年来,CPU的处理速度增加了五十倍有多,内存(memory)的存取速度亦大幅增加,而数据储存装置--主要是磁盘(harddisk)--的存取速度只增加了三、四倍,形成电脑系统的瓶颈,拉低了电脑系统的整体性能(throughput),若不能有效的提升磁盘的存取速度,CPU、内存及磁盘间的不平衡将使CPU及内存的改进形成浪费。改进磁盘存取速度主要的两种方式一是磁盘高速缓存控制(diskcachecontroller)

二是使用磁盘阵列的技术磁盘阵列是由多个廉价磁盘构成的冗余阵列，以确保高传输率与高可靠性。通过将文件散布到多个磁盘中，实现多个磁盘的并发传输，以达到提高数据传输率与I/O请求速率（I/O请求/ｓ）的目的。此外，通过冗余磁盘来确保数据安全，即当有磁盘损坏时，能通过数据重建手段来恢复丢失的数据，所以可靠性也非常高。磁盘阵列的工作原理磁盘对主机I/O读/写请求的响应时间=寻道时间+旋转等待时间+数据传输时间；寻道时间和磁头移动的距离有关，现有的设备可使跨过一个磁道的时间达到2ms，最大寻道时间不超过20ms。旋转等待时间视磁盘的主轴转速而定，对转速为5400rp/m的磁盘，平均旋转等待时间约为6ms，4.2ms(7200)，3ms(10k)。二者由于受机械传动的约束，要提高速度困难很大，然而这两部分时间是I/O处理的主要部分，解决这一矛盾，可以采用多盘并发技术，该技术给提高I/O处理速度带来了新的途径。影响磁盘存储系统性能的关键因素……Tc=T1+T2+T3Tb=T1+T2+T3'+T1+T2+T3

''+……+T1+T2+T3'(n)

=n(T1+T2)+T3'+T3''+……+T3'(n)T1寻道时间、T2旋转等待时间、T3数据传输时间数据连续存放数据不连续存放

=n(T1+T2)+T3单盘数据存取时间m……Tc=(n-1)m+T1+T2+T3/n

≈T1+T2+T3/nm为不同磁盘启动的时间间隔多盘数据存取时间多盘数据存取时间第一块硬盘第二块硬盘第n块硬盘RAID0RAID1RAID2RAID3磁盘阵列——RAID技术RAID4RAID5RAID6RAID10磁盘阵列RAID0也称为条带化（stripe），将数据分成一定的大小数据块写到阵列的磁盘里。RAID0可以并行的执行读写操作，充分利用总线的带宽，理论上讲，一个由N个磁盘组成的RAID0系统，它的读写性能将是单个磁盘读取性能的N倍。且磁盘空间的存储效率最大（100％）RAID技术——RAID0——原理磁盘阵列D1D2D3D4D5D6D7D8D9D10D11D12D1D5D9D2D6D10D3D7D11D4D8D12RAID技术——RAID0——事例3N-2161310741Disk11714118523N-1Disk21815129633NDisk33N1110987654321HostLUNNBlocks条带RAID技术——RAID0——特点磁盘阵列优点：I/O性能好，条带化之后的多块硬盘，数据是并行写入所有硬盘的也就是双管齐下，而不是横向写满一下条带再写下一个条带。缺点：没有数据冗余及安全保护机制，坏某一块盘，整个RAID0的数据全部丢失。适用于：RAID0应用于对读取性能要求较高但所存储的数据为非重要数据的情况下。RAID1称为镜像（mirror），它将数据完全一致的分别写到工作磁盘和镜像磁盘，因此它的磁盘空间利用率为50％，在数据写入时时间会有影响，但是读的时候没有任何影响，RAID0提供了最佳的数据保护，一旦工作磁盘发生故障，系统自动从镜像磁盘读取数据，不会影响用户工作。RAID技术——RAID1——原理磁盘阵列RAID技术——RAID1——事例D1D2D3D4D1D2D3D4D1D2D3D4工作磁盘镜像磁盘N654321Disk1M(6)M(5)M(4)M(3)M(2)M(1)M(N)Disk2N1110987654321HostLUNNBlocks镜像磁盘阵列RAID技术——RAID1——特点优点：数据冗余安全性高，一旦数据丢失，可利用备份数据及时恢复，读取速度提高。缺点：浪费存储空间，只能使用50%的空间，另外的50%空间用于镜像。对于RAID1的写I/O，速度不但没有提升，而且有所下降，因为数据要同时向多块物理盘写，时间以最慢的那个为准，因为是同步的进行。适用于：应用于对数据保护极为重视的应用。磁盘阵列又称并行阵列，把数据分散为位元／位元组或块，加入海明码，在磁盘阵列中间隔写入到每个磁盘中，而且地址都一样，也就是在各个磁盘中，其数据都在相同的磁道及扇区中。其设计是使用共轴同步的技术。存取数据时，整个磁盘阵列一起动作，在各个磁盘的相同位置作平行存取，所以有最好的存取时间。其总线是特别的设计，以大宽带并行传输所存取的数据，所以有最好的传输时间。大文件的存取有最好的性能。RAID技术——RAID2——原理磁盘阵列RAID技术——RAID2——事例Disk0Disk1Disk2Disk3Disk0Disk1Disk2

b0

b1

b2

b3

0

1

2磁盘阵列RAID技术——RAID2——特点如果文件太小，性能反而下降。因为磁盘的存取是以扇区为单位，而RAID2的存取是所有扇区平行动作，而且是做单位元或位元组的存取．所以小于一个扇区的数量会使其性能大打折扣。设计给需要连续且大量数据的电脑使用的，如大型电脑，作影像处理或CAD/CAM的工作站等。不适用一般的多用户环境，网络服务器小型机或PC。安全采用内存阵列的技术，使用多个额外的磁盘作单位错误校正及双位错误检测。磁盘阵列按照布尔逻辑，数据盘的数据按位或字节之间做异或运算，然后将结果写入到校验盘的对应位置。这样，任何一块数据盘损坏，或者其中的任何一个扇区损坏，都可以通过剩余的位和校验位一同进行异或运算，而运算的结果就是这个丢失的位。RAID技术——RAID3——原理磁盘阵列RAID技术——RAID3——事例D1D2D3D4D5D6D7D8D9D1D4D7D3D6D9P1P2P3校验盘D2D5D82N-11197531Disk1121086422NDisk2P(11,12)P(9,10)P(7,8)P(5,6)P(3,4)P(1,2)P(2N-1,2N)Disk32N1110987654321HostLUNNBlocks条带校验盘磁盘阵列RAID技术——RAID3——特点优点：由于条带深度很小，每次I/O总是能牵动所有磁盘为它服务，对大块连续的数据读写性能优秀。缺点：条带深度小，每次I/O牵动占用所有盘，那么此时其他的并发I/O就必须等待，根本不适合并发I/O环境。对于随即读写的性能也没有提升，和单盘一样，甚至不及单盘。适用于：适用于少量的并发IO环境，同时每次IO连续读写的大数据的操作.磁盘阵列RAID4是RAID0加上一个校验盘，在分块一级进行数据交叉，采用一个专用校验盘，可进行多路数据传输，提高数传率和I/O带宽。校验盘信息由以下公式得到：校验盘第n块=盘1第n块盘2第n块....盘m第n块当有盘失效时，如盘1，可通过校验信息和其它未失效的磁盘把数据恢复出来，计算方法为：盘1=校验盘盘2....盘mRAID技术——RAID4——原理磁盘阵列RAID技术——RAID4——事例Disk0Disk1Disk2Disk3Disk0

b0

b1

b2

b3

P(b)Bi为数据块P(b)为数据块的奇偶校验磁盘阵列RAID技术——RAID4——特点优点：可在不同的磁盘平行执行不同的读取命令。大幅度提高磁盘阵列的读取性能；在读取时有和RAID0一样好的性能。缺点：写入时，因受限于校验盘，同一时间只能做一次。启动所有磁盘读取同一校验盘分段的所有数据分段，与要写入的数据做好校验计算再写入，校验盘则形成写入时的瓶颈。磁盘阵列磁盘阵列类似于RAID4，但数据校验的信息被均匀的分散到的阵列的各个磁盘上，这样就不存在并发写操作时的校验盘性能瓶颈。阵列的磁盘上既有数据，也有数据校验信息，数据块和对应的校验信息会存储于不同的磁盘上，当一个数据盘损坏时，系统可以根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。RAID技术——RAID5——原理磁盘阵列RAID技术——RAID5——事例D1D2D3D4D5D6D7D8D9D10D11D12D1D4D7P4D2D5P3D10D3P2D8D11P1D6D9D12Disk0Disk1Disk2Disk3Disk4Parity

4

8

120

Parity

9

131

5

Parity

142

6

10

Parity3

7

11

15ParityP(2N-1,2N)1110P(7,8)54P(1,2)Disk112P(9,10)76P(3,4)12N-1Disk2P(11,12)98P(5,6)322NDisk32N1110987654321HostLUNNBlocks带校验条带RAID技术——RAID5——特点优点：在随机读方面性能出色缺点：在写操作性能较差，每写一个扇区的数据就要产生其校验扇区，一并写入校验盘，尤其是修改数据的时候，这种情况的影响尤其严重。适用于：适用于随机IO读操作多的环境，在随机IO文件大的时候具有高性能。磁盘阵列操作工作模式最少硬盘需求量可用容量RAID0磁盘延伸和数据分布2TRAID1数据分布和镜像2T/2RAID2共轴同步,并行传输,ECC3不定RAID3共轴同步,并行传输,Parity3T*(n-1)/nRAID4数据分布，固定Parity3T*(n-1)/nRAID5数据分布，分布Parity3T*(n-1)/nRAIDLevel用户数据利用率BandwidthPerformanceTransactionPerformance数据可用性RAID010.2510.0005RAID10.50.250.851RAID20.6710.250.9999RAID30.7510.250.9999RAID40.750.250.610.9999RAID50.750.250.610.9999

以上数据基于4个磁盘，传输块大小1K，75%的读概率，数据可用性的计算基于同样的损坏概率。校验盘有两块，类似于RAID5也是将校验盘分布打算到数据盘中，在每块磁盘上放置两个数据的校验值，也就是同时在一个条带上保存了两份数学上不相关的校验数据。能够保证同时坏两块盘的情况下，数据依然可以通过联立这两个数学关系等式来求出丢失的数据。RAID技术——RAID6——原理磁盘阵列RAID技术——RAID6——事例磁盘阵列RAID10是RAID1和RAID0的结合，也称为RAID（0+1），先做镜像然后做条带化，既提高了系统的读写性能，又提供了数据冗余保护，RAID10的磁盘空间利用率和RAID1是一样的，为50％。RAID10适用于既有大量的数据需要存储，有对数据安全性有严格要求的领域。RAID技术——RAID10——原理磁盘阵列RAID技术——RAID10——事例D1D2D3D4D5D6D7D8D1D5D2D6D3D7D4D