网络集成技术

网络集成技术张治远zhangzhiyuan_ciu@126.co盘阵列磁盘阵列（RedundantArraysofInexpensiveDisks，RAID），有“价格便宜且多余的磁盘阵列”之意。原理是利用数组方式来作磁盘组，配合数据分散排列的设计，提升数据的安全性。磁盘阵列是由很多便宜、容量较小、稳定性较高、速度较慢磁盘，组合成一个大型的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。同时利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。磁盘阵列还能利用同位检查（ParityCheck）的观念，在数组中任一颗硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中。由来由加利福尼亚大学伯克利分校（UniversityofCalifornia-Berkeley）在1987年，发表的文章：“ACaseforRedundantArraysofInexpensiveDisks”。文章中，谈到了RAID这个词汇，而且定义了RAID的5层级。柏克莱大学研究其研究目的为，反应当时CPU快速的性能。CPU效能每年大约成长30～50%，而硬磁机只能成长约7%。研究小组希望能找出一种新的技术，在短期内，立即提升效能来平衡计算机的运算能力。在当时，柏克莱研究小组的主要研究目的是效能与成本。另外，研究小组也设计出容错（fault-tolerance），逻辑数据备份（logicaldataredundancy），而产生了RAID理论。研究初期，便宜（Inexpensive）的磁盘也是主要的重点，但后来发现，大量便宜磁盘组合并不能适用于现实的生产环境，后来Inexpensive被改为independent，许多独立的磁盘组。样式磁盘阵列其样式有三种，一是外接式磁盘阵列柜、二是内接式磁盘阵列卡，三是利用软件来仿真。外接式磁盘阵列柜最常被使用大型服务器上，具可热抽换（HotSwap）的特性，不过这类产品的价格都很贵。内接式磁盘阵列卡，因为价格便宜，但需要较高的安装技术，适合技术人员使用操作。利用软件仿真的方式，由于会拖累机器的速度，不适合大数据流量的服务器。缓存磁盘阵列作为独立系统在主机外直连或通过网络与主机相连。磁盘阵列有多个端口可以被不同主机或不同端口连接。一个主机连接阵列的不同端口可提升传输速度。和目前PC用单磁盘内部集成缓存一样，在磁盘阵列内部为加快与主机交互速度，都带有一定量的缓冲存储器。主机与磁盘阵列的缓存交互，缓存与具体的磁盘交互数据。在应用中，有部分常用的数据是需要经常读取的，磁盘阵列根据内部的算法，查找出这些经常读取的数据，存储在缓存中，加快主机读取这些数据的速度，而对于其他缓存中没有的数据，主机要读取，则由阵列从磁盘上直接读取传输给主机。对于主机写入的数据，只写在缓存中，主机可以立即完成写操作。然后由缓存再慢慢写入磁盘。优点利用RAID技术于存储系统的好处主要有以下三种：

1.通过把多个磁盘组织在一起作为一个逻辑卷提供磁盘跨越功能；

2.通过把数据分成多个数据块（Block）并行写入/读出多个磁盘以提高访问磁盘的速度；

3.通过镜像或校验操作提供容错能力。最初开发RAID的主要目的是节省成本，当时几块小容量硬盘的价格总和要低于大容量的硬盘。目前来看RAID在节省成本方面的作用并不明显，但是RAID可以充分发挥出多块硬盘的优势，实现远远超出任何一块单独硬盘的速度和吞吐量。除了性能上的提高之外，RAID还可以提供良好的容错能力，在任何一块硬盘出现问题的情况下都可以继续工作，不会受到损坏硬盘的影响。

提高传输速率。RAID通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量（Throughput）。在RAID中，可以让很多磁盘驱动器同时传输数据，而这些磁盘驱动器在逻辑上又是一个磁盘驱动器，所以使用RAID可以达到单个磁盘驱动器几倍、几十倍甚至上百倍的速率。这也是RAID最初想要解决的问题。因为当时CPU的速度增长很快，而磁盘驱动器的数据传输速率无法大幅提高，所以需要有一种方案解决二者之间的矛盾。RAID最后成功了。通过数据校验提供容错功能。普通磁盘驱动器无法提供容错功能，如果不包括写在磁盘上的CRC（循环冗余校验）码的话。RAID容错是建立在每个磁盘驱动器的硬件容错功能之上的，所以它提供更高的安全性。在很多RAID模式中都有较为完备的相互校验/恢复的措施，甚至是直接相互的镜像备份，从而大大提高了RAID系统的容错度，提高了系统的稳定冗余性。规范RAID技术主要包含RAID0～RAID7等数个规范，它们的侧重点各不相同，常见的规范有如下几种：RAID0：RAID0连续以位或字节为单位分割数据，并行读/写于多个磁盘上，因此具有很高的数据传输率，但它没有数据冗余，因此并不能算是真正的RAID结构。RAID0只是单纯地提高性能，并没有为数据的可靠性提供保证，而且其中的一个磁盘失效将影响到所有数据。因此，RAID0不能应用于数据安全性要求高的场合。RAID0又称为Stripe或Striping，它代表了所有RAID级别中最高的存储性能。RAID0提高存储性能的原理是把连续的数据分散到多个磁盘上存取，这样，系统有数据请求就可以被多个磁盘并行的执行，每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽，显著提高磁盘整体存取性能。RAID0工作原理系统向三个磁盘组成的逻辑硬盘（RAID0磁盘组）发出的I/O数据请求被转化为3项操作，其中的每一项操作都对应于一块物理硬盘。通过建立RAID0，原先顺序的数据请求被分散到所有的三块硬盘中同时执行。从理论上讲，三块硬盘的并行操作使同一时间内磁盘读写速度提升了3倍。但由于总线带宽等多种因素的影响，实际的提升速率肯定会低于理论值，但是，大量数据并行传输与串行传输比较，提速效果显著显然毋庸置疑。RAID0的优缺点RAID0的缺点是不提供数据冗余，因此一旦用户数据损坏，损坏的数据将无法得到恢复。RAID0运行时只要其中任一块硬盘出现问题就会导致整个数据的故障。一般不建议企业用户单独使用

RAID0具有的特点，使其特别适用于对性能要求较高，而对数据安全不太在乎的领域，如图形工作站等。对于个人用户，RAID0也是提高硬盘存储性能的绝佳选择。RAID0建立步骤1.raid0的两个硬盘必须容量、规格相同。

2．组成raid0的两个硬盘在改变主从盘设置时将需要重新分区，原来磁盘里的所有数据将全部丢失。同一通道的两个硬盘在不改变主从盘设置的前提下可以更改位置，其结果不影响磁盘里的数据和读写操作。

3．组成raid0的磁盘改变为无raid的模式或无raid模式的一对磁盘改变为带raid0的模式时，系统将需要对相应的磁盘重新分区，原硬盘里的所有数据将全部丢失。2003系统中中选中“带区”单选框，并单击“下一步”按钮。第3步，在打开的“选择磁盘”对话框中列出了可选的磁盘，用户可以选择多个动态磁盘，并可以确定每个卷的大小。默认情况下，带区卷的大小等于动态磁盘上剩余的未指派空间的大小。设置完毕单击“下一步”按钮。第4步，打开“指派驱动器号和路径”对话框，保持“指派以下驱动器号”单选框的选中状态，并在驱动器列表中选择一个驱动器号（默认情况下系统会根据已用的驱动器号顺序选定一个驱动器号）。单击“下一步”按钮。第5步，在打开的“卷区格式化”对话框中选择卷的格式化类型，在“计算机管理”窗口中对于动态磁盘上的卷惟一可用的选项是NTFS类型。另外指定分配单位大小和设置卷标，并选中“执行快速格式化”复选框。依次单击“下一步”→“完成”按钮，系统开始格式化卷，完成后无需重启系统。RAID1：它是通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互为备份的数据。当原始数据繁忙时，可直接从镜像拷贝中读取数据，因此RAID1可以提高读取性能。RAID1是磁盘阵列中单位成本最高的，但提供了很高的数据安全性和可用性。当一个磁盘失效时，系统可以自动切换到镜像磁盘上读写，而不需要重组失效的数据。RAID1磁盘阵列级，是一种镜像磁盘阵列，其原理就是将一块硬盘的数据以相同位置指向另一块硬盘的位置。RAID1又称为Mirror或Mirroring，它的宗旨是最大限度的保证用户数据的可用性和可修复性。RAID1的操作方式是把用户写入硬盘的数据百分之百地自动复制到另外一个硬盘上。由于对存储的数据进行百分之百的备份，在所有RAID级别中，RAID1提供最高的数据安全保障。同样，由于数据的百分之百备份，备份数据占了总存储空间的一半，因而，Mirror的磁盘空间利用率低，存储成本高。Mirror虽不能提高存储性能，但由于其具有的高数据安全性，使其尤其适用于存放重要数据，如服务器和数据库存储等领域。当读取数据时，系统先从源盘读取数据，如果读取数据成功，则系统不去管备份盘上的数据；如果读取源盘数据失败，则系统自动转而读取备份盘上的数据，不会造成用户工作任务的中断。当然，我们应当及时地更换损坏的硬盘并利用备份数据重新建立Mirror，避免备份盘在发生损坏时，造成不可挽回的数据损失。RAID1的优缺点RAID1是将一个两块硬盘所构成RAID磁盘阵列，其容量仅等于一块硬盘的容量，因为另一块只是当作数据“镜像”。RAID1磁盘阵列显然是最可靠的一种阵列，因为它总是保持一份完整的数据备份。它的性能自然没有RAID0磁盘阵列那样好，但其数据读取确实较单一硬盘来的快，因为数据会从两块硬盘中较快的一块中读出。RAID1磁盘阵列的写入速度通常较慢，因为数据得分别写入两块硬盘中并做比较。RAID1磁盘阵列一般支持“热交换”，就是说阵列中硬盘的移除或替换可以在系统运行时进行，无须中断退出系统。RAID1磁盘阵列是十分安全的，不过也是较贵一种RAID磁盘阵列解决方案，因为两块硬盘仅能提供一块硬盘的容量。RAID1磁盘阵列主要用在数据安全性很高，而且要求能够快速恢复被破坏的数据的场合。WindowsServer2003中创建RAID1在WindowsServer2003系统中，使用两个独立动态磁盘中的两个未指派空间可以新建RAID-1镜像卷，具体方法如下：第1步，在“计算机管理”窗口中的“磁盘管理”节点下，用鼠标右键单击准备新建镜像的动态磁盘之一，在弹出的快捷菜单中选择“新建卷”命令。打开“新建卷向导”对话框，并单击“下一步”按钮。第2步，打开“选择卷类型”对话框，选中“镜像”单选框，并单击“下一步”按钮。第3步，在打开的“选择磁盘”对话框中，单击“可用”列表框中的第二个动态磁盘并单击“添加”按钮，该动态磁盘将被添加到“已选的”列表框中。磁盘管理工具将自动调整用于这个镜像卷的空间大小，以便匹配两个磁盘中较小的未指派空间区域。当然也可以手动调整，使加入镜像的空间更小。单击“下一步”按钮。第4步，打开“指派驱动器号和路径”对话框，保持“指派以下驱动器号”单选框的选中状态。选用默认的驱动器号，并单击“下一步”按钮。第5步，在打开的“卷区格式化”对话框中，选中“快速格式化”复选框，并依次单击“下一步”→“完成”按钮。第6步，系统开始格式化该镜像卷并进行数据同步，同步过程需要花费一段时间。同步完成后镜像卷将显示为“状态良好”的状态信息。RAID0+1:也被称为RAID10标准，实际是将RAID0和RAID1标准结合的产物，在连续地以位或字节为单位分割数据并且并行读/写多个磁盘的同时，为每一块磁盘作磁盘镜像进行冗余。它的优点是同时拥有RAID0的超凡速度和RAID1的数据高可靠性，但是CPU占用率同样也更高，而且磁盘的利用率比较低。以四个磁盘组成的RAID0+1为例，其数据存储方式如图所示：RAID0+1是存储性能和数据安全兼顾的方案。它在提供与RAID1一样的数据安全保障的同时，也提供了与RAID0近似的存储性能。由于RAID0+1也通过数据的100%备份功能提供数据安全保障，因此RAID0+1的磁盘空间利用率与RAID1相同，存储成本高。

RAID0+1的特点使其特别适用于既有大量数据需要存取，同时又对数据安全性要求严格的领域，如银行、金融、商业超市、仓储库房、各种档案管理等。RAID2：将数据条块化地分布于不同的硬盘上，条块单位为位或字节，并使用称为“加重平均纠错码（海明码）”的编码技术来提供错误检查及恢复。这种编码技术需要多个磁盘存放检查及恢复信息，使得RAID2技术实施更复杂，因此在商业环境中很少使用。RAID2是为大型机和超级计算机开发的带海明码校验磁盘阵列。磁盘驱动器组中的第1个、第2个、第4个......第2的n次幂个磁盘驱动器是专门的校验盘，用于校验和纠错。如下图：七个磁盘驱动器组建的RAID2，第1、2、4个磁盘驱动器（红色）是纠错盘，其余的（紫色）用于存放数据。RAID2对大数据量的读写具有极高的性能，但少量数据的读写时性能反而不好，所以RAID2实际使用较少。由于RAID2的特殊性，只要我们使用的磁盘驱动器越多，校验盘在其中占的百分比越少。如果希望达到比较理想的速度和较好的磁盘利用率，那最好可以增加保存校验码ECC码的硬盘，但是这就要付出更多硬盘的购买成本，来确保数据冗余。对于控制器的设计来说，较RAID3、4、5简单。RAID3：它同RAID2非常类似，都是将数据条块化分布于不同的硬盘上，区别在于RAID3使用简单的奇偶校验，并用单块磁盘存放奇偶校验信息。如果一块磁盘失效，奇偶盘及其他数据盘可以重新产生数据；如果奇偶盘失效则不影响数据使用。RAID3对于大量的连续数据可提供很好的传输率，但对于随机数据来说，奇偶盘会成为写操作的瓶颈。RAID4：RAID4同样也将数据条块化并分布于不同的磁盘上，但条块单位为块或记录。RAID4使用一块磁盘作为奇偶校验盘，每次写操作都需要访问奇偶盘，这时奇偶校验盘会成为写操作的瓶颈，因此RAID4在商业环境中也很少使用。RAID5：RAID5不单独指定的奇偶盘，而是在所有磁盘上交叉地存取数据及奇偶校验信息。在RAID5上，读/写指针可同时对阵列设备进行操作，提供了更高的数据流量。RAID5更适合于小数据块和随机读写的数据。RAID3与RAID5相比，最主要的区别在于RAID3每进行一次数据传输就需涉及到所有的阵列盘；而对于RAID5来说，大部分数据传输只对一块磁盘操作，并可进行并行操作。在RAID5中有“写损失”，即每一次写操作将产生四个实际的读/写操作，其中两次读旧的数据及奇偶信息，两次写新的数据及奇偶信息。以四个硬盘组成的RAID5为例，其数据存储方式如概述中的图片所示：图中，Disk0为D0、D1和D2的奇偶校验信息，其它以此类推。由图中可以看出，RAID5不对存储的数据进行备份，而是把数据和与其相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据损坏后，利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。用简单的语言来表示，至少使用3块硬盘（也可以更多）组建RAID5磁盘阵列，当有数据写入硬盘的时候，按照1块硬盘的方式就是直接写入这块硬盘的磁道，如果是RAID5的话这次数据写入会分根据算法分成3部分，然后写入这3块硬盘，写入的同时还会在这3块硬盘上写入校验信息，当读取写入的数据的时候会分别从3块硬盘上读取数据内容，再通过检验信息进行校验。当其中有1块硬盘出现损坏的时候,就从另外2块硬盘上存储的数据可以计算出第3块硬盘的数据内容。也就是说raid5这种存储方式只允许有一块硬盘出现故障，出现故障时需要尽快更换。当更换故障硬盘后，在故障期间写入的数据会进行重新校验。如果在未解决故障又坏1块，那就是灾难性的了。RAID5把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上，其中任意N-1块磁盘上都存储完整的数据，也就是说有相当于一块磁盘容量的空间用于存储奇偶校验信息。因此当RAID5的一个磁盘发生损坏后，不会影响数据的完整性，从而保证了数据安全。当损坏的磁盘被替换后，RAID还会自动利用剩下奇偶校验信息去重建此磁盘上的数据，来保持RAID5的高可靠性。

(做raid5阵列所有磁盘容量必须一样大，当容量不同时，会以最小的容量为准。最好硬盘转速一样，否则会影响性能，而且可用空间=磁盘数n-1,其中有一块是专门用来校验的，在存储数据的时候，校验盘里面是不会被存入数据的)（Raid5没有独立的奇偶校验盘，所有校验信息分散放在所有磁盘上，只是在存储空间上为N-1）WindowsServer2003中创建RAID5在WindowsServer2003系统中创建RAID-5卷的方法：第1步，打开“计算机管理”窗口，选中“磁盘管理”目录。在右窗格中用鼠标右键单击准备创建RAID-5卷的动态磁盘，在弹出的快捷菜单中选择“新建卷”命令。第2步，在向导欢迎页中单击“下一步”按钮，打开“选择卷类型”对话框。在“选择要创建的卷”区域中选中RAID-5单选框，并单击“下一步”按钮。第3步，在“选择磁盘”对话框中，将“可用”磁盘列表中的所有磁盘通过“添加”按钮添加到“已选的”磁盘列表中（在“已选的”磁盘列表中至少要有三块磁盘），其他参数保持默认值。单击“下一步”按钮。第4步，打开“指派驱动器号和路径”对话框，选中“指派以下驱动器号”单选框。单击右侧的下拉三角按钮，为该RAID-5卷指派驱动器号，以便于访问和管理。单击“下一步”按钮。第5步，在“卷区格式化”对话框中保持“按下列设置格式化这个卷”单选框为选中状态，“文件系统”和“分配单位大小”选项均采用默认值。在“卷标”编辑框中输入一个卷标用于和其他卷进行区别，并选中“快速格式化”复选框。单击“下一步”按钮。第6步，“正在完成新建卷向导”对话框的“用户已选择下列设置”列表中显示了以上所有的设置。如果没有问题，则单击“完成”按钮，系统开始创建RAID-5卷并对其进行格式化操作以及进行数据同步操作。同步操作所需的时间视卷的容量和系统性能而定，所实现的RAID-5卷会以特殊颜色标识出来。完成格式化操作并进行数据同步后，RAID-5卷所包含的各个磁盘卷将显示“状态良好”的状态信息。RAID5故障分析及数据恢复RAID-5故障原因分析这里说的RAID-5故障，是指RAID-5逻辑盘丢失或不可访问。导致RAID-5故障的原因主要有以下几种：（1）RAID控制器出现物理故障

RAID控制器如果出现物理故障，将不能被计算机识别，也就无法完成对RAID-5中各个物理成员盘的控制，在这种情况下，通过RAID控制器虚拟出来的逻辑盘自然就不存在了。（2）RAID信息出错

RAID控制器将物理盘配置为RAID-5后，会生成一些参数，包括该RAID-5的盘序、条带大小、左右结构情况、同步异步情况、RAID-5在每块物理盘中的起始地址等，还会记录有关该RAID-5的相关信息，包括组成该RAID-5的物理盘数目、物理盘的容量大小等，所有这些信息和参数就被称为RAID信息，也称为RAID元数据，它们会被保存到RAID控制器中，有时候也会保存到RAID-5的成员盘中。

RAID信息出错就是指该RAID-5的配置信息和参数出现错误，导致RAID程序不能正确地组织管理RAID-5中的成员盘，从而导致RAID-5逻辑盘丢失或不能访问。（3）RAID-5成员盘出现物理故障

RAID-5可以允许其中一块成员盘离线而不影响数据的完整性，如果RAID-5中的某一块成员盘出现物理故障，比如电路损坏、磁头损坏、固件损坏、出现坏扇区等，该成员盘就不能正常使用，但剩下的成员盘可以利用异或运算计算出离线成员盘中的数据，所以RAID-5还不会崩溃。如果系统管理员没有及时替换出现故障的成员盘，当再有一块成员盘再出现故障离线后，RAID-5将彻底崩溃。（4）人为误操作如果误将RAID-5中两块以上成员盘同时拔出、或者给RAID-5除尘时将成员盘拔出后忘了原来的顺序、以及不小心删除了RAID-5的配置信息等，都会造成RAID-5崩溃。（5）RAID控制器的稳定性

RAID-5的数据分布结构中有校验块的存在，当RAID-5中有成员盘离线时，算法将变得更加复杂，RAID控制器将会工作在一个比较吃力的状态。而RAID控制器的负载太重便会极大地增加数据读写时出现I/O滞留的可能性，从而导致更多成员盘离线，或者导致RAID信息出错。RAID6：与RAID5相比，RAID6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法，数据的可靠性非常高，即使两块磁盘同时失效也不会影响数据的使用。但RAID6需要分配给奇偶校验信息更大的磁盘空间，相对于RAID5有更大的“写损失”，因此“写性能”非常差。较差的性能和复杂的实施方式使得RAID6很少得到实际应用。RAID7：这是一种新的RAID标准，其自身带有智能化实时操作系统和用于存储管理的软件工具，可完全独立于主机运行，不占用主机CPU资源。RAID7可以看作是一种存储计算机（StorageComputer），它与其他RAID标准有明显区别。除了以上的各种标准，我们可以如RAID0+1那样结合多种RAID规范来构筑所需的RAID阵列，例如RAID5+3（RAID53）就是一种应用较为广泛的阵列形式。用户一般可以通过灵活配置磁盘阵列来获得更加符合其要求的磁盘存储系统。RAID5E(RAID5Enhencement):RAID5E是在RAID5级别基础上的改进，与RAID5类似，数据的校验信息均匀分布在各硬盘上，但是，在每个硬盘上都保留了一部分未使用的空间，这部分空间没有进行条带化，最多允许两块物理硬盘出现故障。看起来，RAID5E和RAID5加一块热备盘好象差不多，其实由于RAID5E是把数据分布在所有的硬盘上，性能会与RAID5加一块热备盘要好。当一块硬盘出现故障时，有故障硬盘上的数据会被压缩到其它硬盘上未使用的空间，逻辑盘保持RAID5级别。RAID5EE:与RAID5E