华为存储培训资料

华为存储培训资料2024/3/25华为存储培训资料评审专家LS刘晶磊、钟美华、楚国祥NRON/ACS王鹏翔NTSN/AMSN/ANI艾源TSD夏志祥、员工培训邓星、中国区周义林张磊研发测试赵学武、资料沙鸥、SE胡利明、罗正萍本页不打印2024/3/25华为存储培训资料存储基础知识V1.1华为存储培训资料参考资料《存储基础知识白皮书》2024/3/25华为存储培训资料培训目标学完本课程后，您应该能：掌握存储的基础知识和技能熟悉存储的各种特性和功能2024/3/25华为存储培训资料目录存储组网形态主要协议RAID磁盘热备与重构快照与复制数据分级存储概念2024/3/25华为存储培训资料存储分类封闭系统的存储开放系统的存储内置存储外挂存储Direct-AttachedStorage直接式存储（DAS）Fabric-AttachedStorage网络存储（FAS）Network-AttachedStorage网络接入存储（NAS）StorageAreaNetwork存储区域网络（SAN）2024/3/25华为存储培训资料DAS/SAN/NAS组网示意图2024/3/25华为存储培训资料DAS（DirectAttachmentStorage）直接连接存储：存储设备是通过电缆（通常是SCSI接口电缆）直接连到服务器的。I/O请求直接发送到存储设备应用服务器BlockI/OSCSI协议StorageDAS华为存储培训资料典型DAS结构2024/3/25华为存储培训资料DAS分析连接简单集成在服务器内部；点到点的连接；距离短；安装技术要求不高低成本需求SCSI总线成本低较好的性能通用的解决方案DAS的投资低，绝大多数应用可以接受DAS优势有限的扩展性SCSI总线的距离最大25米；最多15个设备专属的连接空间资源无法与其他服务器共享备份和数据保护备份到与服务器直连的磁带设备上硬件失败将导致更高的恢复成本TCO（总拥有成本高）存储容量的加大导致管理成本上升存储使用效率低DAS劣势华为存储培训资料NAS（NetworkAttachmentStorage）应用服务器FileI/OIP协议NAS网络连接存储：存储设备连接到现有的网络上，提供数据和文件服务华为存储培训资料典型NAS结构2024/3/25华为存储培训资料NAS的优势资源共享构架于IP网络之上部署简单较好的扩展性异构环境下的文件共享易于管理备份方案简单低的TCONAS优势扩展性有限一些应用会占用带宽资源不适应某些数据库的应用NAS劣势华为存储培训资料SAN（StorageAreaNetwork）应用服务器BlockI/OFCP协议SAN存储区域网络：它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。华为存储培训资料典型SAN结构2024/3/25华为存储培训资料SAN的优势实现存储介质的共享非常好的扩展性易于数据备份和恢复实现备份磁带共享LANFree和ServerFree高性能支持服务器群集技术容灾手段低的TCOSAN优势成本较高需要专用的连接设备如FC交换机以及HBASAN孤岛技术较为复杂需要专业的技术人员维护SAN劣势华为存储培训资料DAS/NAS/SAN三种形态比较DASNASFC-SANIP-SAN传输类型SCSI、FCIPFCIP数据类型块级文件级块级块级典型应用任何文件服务器数据库应用视频监控优点易于理解兼容性好易于安装成本低高扩展性高性能高可用性高扩展性成本低缺点难以管理，扩展性有限存储空间利用率不高性能较低对某些应用不适合比较昂贵，配置复杂互操作性问题性能较低2024/3/25华为存储培训资料目录存储组网形态主要协议RAID磁盘热备与重构快照与复制数据分级存储概念2024/3/25华为存储培训资料存储传输的硬件通道有三种：

传输通道通过以太网线连接通过SCSI线缆连接通过光纤线缆连接

iSCSIHBACardiSCSI磁盘阵列SCSIHBACardSCSI磁盘阵列FCHBACardFC磁盘阵列以太网线SCSI线缆光纤线缆主机GECard华为存储培训资料SCSI协议SCSI是小型计算机系统接口（SmallComputerSystemInterface）的简称，主要用于高端系统的连接，现在已完全普及到了小型机及高端服务器。SCSI存储是以主机为中心的；一条SCSI总线上可以串接多台不同类型的设备。SCSI协议可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。属于SCSI-3的Ultra320SCSI的最高数据传输率已经达到了320MB/s。2024/3/25华为存储培训资料iSCSI协议iSCSI是互联网小型计算机系统接口（InternetSmallComputerSystemInterface）的简称，是一种在TCP/IP上进行数据块传输的标准，可以理解为SCSIoverIP。iSCSI实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。可用于构成基于IP的SAN，为用户提供高速、低价、长距离的存储解决方案。iSCSI是将SCSI命令封装到TCP/IP数据包中，使I/O数据块可通过IP网络传输。iSCSI的数据包结构：2024/3/25华为存储培训资料FC协议及组件FC是光纤通道（FiberChannel）的简称，用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。FC是一种高性能的串行连接标准。其接口传输速率目前有1G、2G、4Gbit/s几种标准。传输介质可以选择铜缆或光纤，支持多种互联拓扑结构。FiberChannel组件：HBA卡：HostBusAdapter(主机通道适配器)，FCHBA卡在应用中，相当于SCSI卡。我们后面讲到的node和port就在HBA卡上，FCswitch：光纤交换机，SAN架构中核心设备，连接服务器和存储设备。2024/3/25华为存储培训资料iSCSI协议的分层结构FC协议的分层结构iSCSI和FC协议层次比较华为存储培训资料目录存储组网形态主要协议RAID磁盘热备与重构快照与复制数据分级存储概念2024/3/25华为存储培训资料RAID简介RAID是廉价冗余磁盘阵列(RedundantArrayofInexpensiveDisks)的简称名词说明分区又称为Extent；是一个磁盘上的地址连续的存储块。一个磁盘可以划分为多个分区，每个分区可以大小不等，有时也称为逻辑磁盘。分块又称为Strip；将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。分块通常被认为是条带的元素。虚拟磁盘以它为单位将虚拟磁盘的地址映射到成员磁盘的地址。条带又称为Stripe；是阵列的不同分区上的位置相关的strip的集合，是组织不同分区上条块的单位。软RAIDRAID的所有功能都依赖于操作系统（OS）与服务器CPU来完成，没有第三方的控制/处理（业界称其为RAID协处理器――RAIDCo-Processor）与I/O芯片硬RAID有专门的RAID控制/处理与I/O处理芯片，用来处理RAID任务，不需耗用主机CPU资源，效率高，性能好。华为存储培训资料RAID0：StripedDiskArraywithoutFaultTolerance(没有容错设计的条带磁盘阵列，以条带形式将RAID阵列的数据均匀分布在各个阵列中。

总容量=(磁盘数量)*(磁盘容量)

RAID0（一）华为存储培训资料优点缺点可多I/O操作并行处理，极高的读写效率速度快，由于不存在校验，所以不占用cpu资源设计，使用与配置简单无冗余，一个RAID0的磁盘失败，那么数据将彻底丢失不能用于关键数据环境适用领域：视频生成和编辑图像编辑较为“拥挤”的操作其他需要大的传输带宽的操作

至少需要磁盘数：2个

RAID0（二）华为存储培训资料RAID1：以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。

总容量=(磁盘数量/2)*(磁盘容量)

RAID1（一）华为存储培训资料RAID1（二）优点缺点理论上读效率是单个磁盘的两倍；100％的数据冗余；设计、使用简单ECC效率低下，磁盘ECC的CPU占用率是所有RAID等级中最高的，在所有成本高；软RAID方式下，很少能支持硬盘的热插拔；空间利用率只有1/2适用领域：财务统计与数据库金融系统其他需要高可用的数据存储环境至少需要磁盘数2个华为存储培训资料

RAID3(条带分布+专用盘校验)：以xor校验为冗余方式，使用专门的磁盘存放校验数据，虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上，同时计算出xor校验数据存放到校验磁盘上。

总容量=(磁盘数量-1)*(磁盘容量)

RAID3（一）华为存储培训资料RAID3（二）优点缺点相对较高的读取传输率高可用性，如果有一个磁盘损坏，对吞吐量影响较小高效率的ECC操作校验盘成为性能瓶颈每次读写牵动整个组，每次只能完成一次I/O适用领域：视频生成和在线编辑图像和视频编辑其他需要高吞吐量的的场合至少需要磁盘数3个华为存储培训资料RAID5(条带技术+分布式校验)：以XOR检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。总容量=(磁盘数-1)*(磁盘容量)RAID5（一）A0A1A2A34PRITYC0C12PRITYC2C3B0B1B23PRITYB3D01PRITYD1D2D30PRITYE1E2E3E4ABCDE华为存储培训资料RAID5（二）优点缺点高读取速率中等写速率异或校验影响存储性能磁盘损坏后，重建很复杂适用领域：文件服务器和应用服务器OLTP环境的数据库WEB，E－MAIL服务器至少需要磁盘数3个华为存储培训资料RAID6：能够允许两颗磁盘同时失效的RAID级别系统。

总容量=(磁盘数-2)*(磁盘容量)A0A1A23PRITYC01PRITY2PRITYA3B0B12PRITY3PRITY0PRITY1PRITYB2B30PRITYC1C2C3ABCDERAID6（一）1234双重校验码的硬盘存储结构在raid5的基础上发展而成,具有更高的可靠性允许出现故障的磁盘达到两个最少需要四个磁盘raid6华为存储培训资料RAID6（二）优点缺点快速的读取性能更高的容错能力很慢的写入速度成本更高适用领域：高可靠性环境至少需要磁盘数：4个华为存储培训资料RAID10(镜像阵列条带化)：将镜像和条带组合起来的组合RAID级别，最低一级是RAID1镜像对，第二级为RAID0。总容量=(磁盘数/2)*(磁盘容量)D1D2D4D4D2D7D8D8D10D11D11D1D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15逻辑磁盘物理磁盘0物理磁盘1物理磁盘2物理磁盘3stripe0stripe1stripe2stripe3D13D14D13stripe4D5D7D10D5D14D3D3D9D9D12D12D15D6D6D15物理磁盘4物理磁盘5

RAID10（一）华为存储培训资料RAID10（二）优点缺点高读取速率高写速率，较校验RAID而言，写开销最小至多可以容许N个磁盘同时损坏（2N个磁盘组成的RAID10阵列）贵只有1/2的磁盘利用率适用领域：要求高可靠性和高性能的数据库服务器至少需要磁盘数：4个华为存储培训资料RAID50定义：将镜像和条带组合起来的组合RAID级别，最低一级是RAID5镜像对，第二级为RAID0。总容量=(磁盘数-1)*(磁盘容量)…D1P11D4P12D2P13D11P23D15P14D16D0D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15逻辑磁盘物理磁盘0物理磁盘1物理磁盘2物理磁盘3stripe0stripe1stripe2stripe3D5D10D14D6D3P21D12D13D17P24P22D7物理磁盘4物理磁盘5D16D17D0RAID50（一）华为存储培训资料RAID50（二）优点缺点比单个RAI5容纳更多的磁盘比单个RAID5有更好的读性能至多可以容许n个磁盘同时损坏（N个RAID5组成的RAID50阵列）比相同容量的单个RAID5重建时间更短比较难实现同一个RAID5组内的两个磁盘损坏会导致整个RAID50阵列的失效适用领域：大型数据库服务器应用服务器文件服务器至少需要磁盘数：6个华为存储培训资料RAID级别比较项目RAID0

RAID1RAID10

RAID5

、RAID3RAID6最小配置12434性能HighestLowestRAID5<RAID10<RAID0RAID1<RAID5<RAID10RAID6<RAID5<RAID10特点无容错最佳的容错最佳的容错提供容错提供容错磁盘利用率100%50%50%(N-1)/N(N-2)/N描述

不带奇偶效验的条带集磁盘镜像RAID0与RAID1的结合带奇偶效验的

条带集双校验位其中RAID3与RAID5的区别为：RAID3更适合于顺序存取，RAID5更适合于随机存取。需要根据具体的应用情况决定使用那种RAID级别。2024/3/25华为存储培训资料目录存储组网形态主要协议RAID磁盘热备与重构快照与复制数据分级存储概念2024/3/25华为存储培训资料所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。热备盘分为：全局热备盘和局部热备盘全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。局部热备盘：只针对某一RAID组起作用。因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。热备（HotSpare）2024/3/25华为存储培训资料热备与重构在线操作特性

系统中需设置一个热添加的备份盘或用一个新的替代磁盘替代故障磁盘当满足以下条件时开始数据自动重构

1、有一个热备份盘存在独立于故障磁盘的2、所有磁盘都配置为冗余阵列(RAID1,3,5,10)所有的操作都是在不中断系统操作的情况下进行的RAID5setofdrives:4active,1hot-spareCOPYBACK完成某个磁盘损坏，重构过程开始重构过程结束，RAID5可靠性恢复冗余插入新磁盘，COPYBACK开始2024/3/25华为存储培训资料目录存储组网形态主要协议RAID磁盘热备与重构快照与复制数据分级存储概念2024/3/25华为存储培训资料逻辑卷快照(snapshot)DEAC基本概念：BaseVolume：快照源卷RepositoryVolume：快照仓储卷，保存快照源卷在快照过程中被修改以前的数据SnapshotVolume：快照卷某一个时间点的逻辑卷映像：逻辑上相当于整个BaseVolume的拷贝可将SanpshotVolume分配给任何一台主机SnapshotVolume可读取、写入或拷贝存储空间需求需要相当于BaseVolume20%的额外空间用途文件、逻辑卷恢复备份、测试、数据分析等2024/3/25华为存储培训资料快照(snapshot)过程演示BASEVOLUMEXYZ并且我们的卷有足够的空间来创建快照首先保证我们的源卷和阵列的运行是正常的2024/3/25华为存储培训资料WREPOSITSNAPSHOTVOLUMBASEVOLUMEXYZRITES首先，在快照完成之前控制器是禁止对源卷进行写操作的。仓储卷默认是源卷大小的20%满足上面条件后，快照过程开始进行快照(snapshot)开始2024/3/25华为存储培训资料仓储卷（20%源卷大小）现在可用快照(snapshot)完成REPOSITSNAPSHOTVOLUMBASEVOLUMEXYZWRITES快照完成状态，实际上是一些指针当快照完成之后，控制器释放对源卷的写权限，我们可以对源卷进行写操作2024/3/25华为存储培训资料当源卷数据改变时我们的源卷数据在改变之前会顺序的写到仓储卷上，然后再把快照指针指导这边来。BASVOETSNAPSHOTVOLUMBASEVOLUMEXYZWRITES然后源卷的数据才会开始更新2024/3/25华为存储培训资料最后一步我们源卷的原数据已经写到了仓储卷上BASVOETSNAPSHOTVOLUMWRIETELUMSXYZ快照卷的指针指到了新的数据位置源卷数据更新完毕2024/3/25华为存储培训资料逻辑卷拷贝(VolumeCopy)生产主机测试主机基本概念将一个逻辑卷（Source）上的内容完全物理上拷贝到另一个逻辑卷（Target）拷贝过程中源卷只读在同一个存储系统内目标逻辑卷可以做另一个VolumeCopy的源卷用途目标逻辑卷可用来做经营分析、数据挖掘、测试、备份等对目标卷的操作不影响源卷的性能重新分配数据，使性能和容量分配达到最优化将数据迁移到新的、更大的、更快的磁盘上将逻辑卷迁移到更合适的逻辑卷组上2024/3/25华为存储培训资料逻辑卷快照+逻辑卷拷贝通过快照获得BaseVolume的SnapshotVolume在SnapshotVolume被拷贝的过程中BaseVolume