华为相当不错的存储培训资料

1、HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 1修订记录课程编码课程编码适用产品适用产品产品版本产品版本课程版本课程版本ISSUEXXXXXSingleCloudV100R001C011.1开发开发/优化者优化者时间时间审核人审核人开发类型（新开发开发类型（新开发/优化）优化）夏志祥2010-8-3刘伟聪优化本页不打印HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 2评审专家LS刘晶磊、钟美华、楚国祥NRON/ACS王鹏翔NTSN/AMSN/ANI艾源TSD夏志祥、员工培训

2、 邓星、中国区 周义林 张磊研发测试 赵学武、资料 沙鸥、SE 胡利明、罗正萍本页不打印HUAWEI TECHNOLOGIES CO., LTDHUAWEI Confidential Security Level: 内部公开存储基础知识存储基础知识V1.1HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 4参考资料参考资料存储基础知识白皮书存储基础知识白皮书HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 5培训目标培训目标学完本课程后，您应该能：学完本课程后，您应该能： 掌握存

3、储的基础知识和技能 熟悉存储的各种特性和功能HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 6目目 录录1.1. 存储组网形态存储组网形态2. 主要协议3. RAID4. 磁盘热备与重构5. 快照与复制6. 数据分级存储概念HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 7存储分类存储分类封闭系统的存储开放系统的存储内置存储外挂存储Direct-Attached Storage直接式存储（DAS）Fabric-Attached Storage网络存储（FAS）Network-

4、Attached Storage网络接入存储（NAS） Storage Area Network存储区域网络（SAN）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential DAS/SAN/NASDAS/SAN/NAS组网示意图组网示意图Page 8HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential DASDAS（D Direct irect A Attachment ttachment S Storagetorage）直接直接连连接存接存储储：存储设备是通过电缆（通常是SCSI接口电缆）直接连到服务器的。

5、 I/O请求直接发送到存储设备应用应用服务器服务器Block I/OSCSI协议协议StorageStorageDASHUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 10典型典型DASDAS结构结构HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential DASDAS分析分析l连接简单集成在服务器内部；点到点的连集成在服务器内部；点到点的连接；距离短；接；距离短；安装技术要求不高安装技术要求不高l低成本需求SCSISCSI总线成本低总线成本低l较好的性能l通用的解决方案DASDAS的投资低，绝大

6、多数应用可的投资低，绝大多数应用可以接受以接受DASDAS优势优势l有限的扩展性SCSISCSI总线的距离最大总线的距离最大2525米；最多米；最多1515个设备个设备l专属的连接空间资源无法与其他服务器共享空间资源无法与其他服务器共享l备份和数据保护备份到与服务器直连的磁带设备上备份到与服务器直连的磁带设备上硬件失败将导致更高的恢复成本硬件失败将导致更高的恢复成本lTCO（总拥有成本高）存储容量的加大导致管理成本上升存储容量的加大导致管理成本上升存储使用效率低存储使用效率低DASDAS劣势劣势HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential N

7、ASNAS（N Network etwork A Attachment ttachment S Storagetorage）应用应用服务器服务器File I/OIP协议协议NAS网网络连络连接存接存储储：存储设备连接到现有的网络上，提供数据和文件服务HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 13典型典型NASNAS结构结构HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential NASNAS的优势的优势l资源共享l构架于IP网络之上l部署简单l较好的扩展性l异构环境下的文件共享l易于管理l

8、备份方案简单l低的TCONASNAS优势优势l扩展性有限l一些应用会占用带宽资源l不适应某些数据库的应用NASNAS劣势劣势HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential SANSAN（S Storage torage A Area rea N Networketwork）应用应用服务器服务器Block I/OFCP协议协议SAN存存储储区域网区域网络络： ：它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Conf

9、idential Page 16典型典型SANSAN结构结构HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential SANSAN的优势的优势l实现存储介质的共享l非常好的扩展性l易于数据备份和恢复实现备份磁带共享实现备份磁带共享LAN FreeLAN Free和和Server FreeServer Freel高性能l支持服务器群集技术l容灾手段l低的TCOSANSAN优势优势l成本较高需要专用的连接设备如需要专用的连接设备如FCFC交换机交换机以及以及HBAHBAlSAN孤岛l技术较为复杂需要专业的技术人员维护需要专业的技术人员维护SANSAN劣势劣势

10、HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 18DAS/NAS/SAN三种形态比较DASNASFC-SANIP-SAN传输类型SCSI、FCIPFCIP数据类型块级文件级块级块级典型应用任何文件服务器数据库应用视频监控优点易于理解兼容性好易于安装成本低高扩展性高性能高可用性高扩展性成本低缺点难以管理，扩展性有限存储空间利用率不高性能较低对某些应用不适合比较昂贵，配置复杂互操作性问题性能较低HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 19目目 录录1. 存储组网形态2.

11、2. 主要协议主要协议3. RAID4. 磁盘热备与重构5. 快照与复制6. 数据分级存储概念HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 存储传输的硬件通道有三种：存储传输的硬件通道有三种： 传输通道传输通道通过以太网线连接通过SCSI线缆连接通过光纤线缆连接 iSCSI HBA CardiSCSI 磁盘阵列SCSI HBA CardSCSI 磁盘阵列FC HBA CardFC磁盘阵列以太网线SCSI线缆光纤线缆主机GE CardHUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 21

12、SCSISCSI协议协议SCSISCSI是小型计算机系统接口（Small Computer System Interface）的简称，主要用于高端系统的连接，现在已完全普及到了小型机及高端服务器。SCSI存储是以主机为中心的；一条SCSI总线上可以串接多台不同类型的设备。SCSISCSI协议协议可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。 属于SCSI-3 的 Ultra 320 SCSI 的最高数据传输率已经达到了320MB/s。HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential P

13、age 22iSCSI协议协议 iSCSIiSCSI是互联网小型计算机系统接口（Internet Small Computer System Interface）的简称，是一种在TCP/IP上进行数据块传输的标准，可以理解为SCSI over IP。 iSCSIiSCSI实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份 操作。可用于构成基于IP的SAN，为用户提供高速、低价、长距离的存储解决方案。 iSCSIiSCSI是将SCSI命令封装到TCP/IP数据包中，使I/O数据块可通过IP网络传输。 iSCSI iSCSI的数据包结构：的数据包结构：HUAWE

14、I TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 23FC协议及组件协议及组件FCFC是光纤通道（Fiber Channel）的简称，用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。FCFC是一种高性能的串行连接标准。其接口传输速率目前有1G、2G、4Gbit/s几种标准。传输介质可以选择铜缆或光纤，支持多种互联拓扑结构。Fiber Channel Fiber Channel 组件：组件：HBA卡：Host Bus Adapter(主机通道适配器)，FC HBA卡在应用中，相当于SCSI卡。我们后面讲到的node和port就在HB

15、A卡上，FC switch：光纤交换机，SAN架构中核心设备，连接服务器和存储设备。HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential iSCSIiSCSI协议的分层结构协议的分层结构FCFC协议的分层结构协议的分层结构iSCSIiSCSI和和FCFC协议层次比较协议层次比较HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 25目目 录录1. 存储组网形态2. 主要协议3.3. RAIDRAID4. 磁盘热备与重构5. 快照与复制6. 数据分级存储概念HUAWEI TECHNOLOGIES

16、Co., Ltd.HUAWEI Confidential RAIDRAID简介简介 RAID是廉价冗余磁盘阵列(Redundant Array of Inexpensive Disks) 的简称名词名词说明说明分区又称为Extent；是一个磁盘上的地址连续的存储块。一个磁盘可以划分为多个分区，每个分区可以大小不等，有时也称为逻辑磁盘。分块又称为Strip；将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。分块通常被认为是条带的元素。虚拟磁盘以它为单位将虚拟磁盘的地址映射到成员磁盘的地址。条带又称为Stripe；是阵列的不同分区上的位置相关的strip的集合，是组织不同分区上条块的单位

17、。软RAIDRAID 的所有功能都依赖于操作系统（OS）与服务器CPU来完成，没有第三方的控制/处理（业界称其为RAID 协处理器RAID Co-Processor）与I/O芯片硬RAID有专门的RAID 控制/处理与I/O处理芯片，用来处理RAID任务，不需耗用主机CPU资源，效率高，性能好。HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID0 RAID0 ：Striped Disk Array without Fault Tolerance( 没有容错设计的条带磁盘阵列，以条带形式将RAID阵列的数据均匀分布在各个阵列中。总容量总容量

18、=(=(磁盘数量磁盘数量) )* *( (磁盘容量磁盘容量) )RAID0（一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential 优点缺点可多I/O操作并行处理，极高的读写效率速度快，由于不存在校验，所以不占用cpu资源设计，使用与配置简单无冗余，一个RAID 0的磁盘失败，那么数据将彻底丢失不能用于关键数据环境适用领域：视频生成和编辑图像编辑较为“拥挤”的操作其他需要大的传输带宽的操作 至少需要磁盘数 ：2个RAID0（二）（二）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID 1

19、 RAID 1 ：以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。总容量总容量=(=(磁盘数量磁盘数量 / 2) / 2)* *( (磁盘容量磁盘容量) ) RAID1（一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID1（二）（二）优点缺点理论上读效率是单个磁盘的两倍；100的数据冗余；设计、使用简单ECC效率低下，磁盘ECC的CPU占用率是所有RAID等级中最高的，在所有成本高；软RAID方式下，很少能支持硬盘的热插拔；空间利用率只有1/2适用领域：财务统计与数据库金融系统其他需要高可用的数据存储环境至少需要

20、磁盘数 2个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID3 RAID3 (条带分布条带分布+专用盘校验专用盘校验)：以xor校验为冗余方式，使用专门的磁盘存放校验数据， 虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上 ，同时计算出xor校验数据存放到校验磁盘上。总容量总容量=(=(磁盘数量磁盘数量 -1)-1)* *( (磁盘容量磁盘容量) ) RAID3（一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID3（二）（二）优点缺点相对较高的读取传输率高

21、可用性，如果有一个磁盘损坏，对吞吐量影响较小高效率的ECC操作校验盘成为性能瓶颈每次读写牵动整个组，每次只能完成一次I/O 适用领域：视频生成和在线编辑图像和视频编辑其他需要高吞吐量的的场合至少需要磁盘数 3个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID5 (RAID5 (条带技术条带技术+ +分布式校验分布式校验) )：以：以XORXOR检验为冗余方式，校验数据均检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。总容量总容量=(=(磁盘数磁盘数

22、 -1) -1)* *( (磁盘容量磁盘容量) )RAID5（一）（一）A0A1A2A34PRITYC0C12PRITYC2C3B0B1B23PRITYB3D01PRITYD1D2D30PRITYE1E2E3E4A AB BCCD DE EHUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID5（二）（二）优点缺点高读取速率中等写速率异或校验影响存储性能磁盘损坏后，重建很复杂适用领域：文件服务器和应用服务器OLTP环境的数据库WEB，EMAIL服务器至少需要磁盘数 3个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI C

23、onfidential RAID6RAID6：能够允许两颗磁盘同时失效的：能够允许两颗磁盘同时失效的RAIDRAID级别系统。级别系统。总容量总容量=(=(磁盘数磁盘数 - -2 2) )* *( (磁盘容量磁盘容量) )A0A1A23PRITYC01PRITY2PRITYA3B0B12PRITY3PRITY0PRITY1PRITYB2B30PRITYC1C2C3A AB BCCD DE ERAID6（一）（一）1234双重校验码的硬盘存储结构在raid5的基础上发展而成,具有更高的可靠性允许出现故障的磁盘达到两个最少需要四个磁盘raid6HUAWEI TECHNOLOGIES Co., Lt

24、d.HUAWEI Confidential RAID6（二）（二）优点缺点快速的读取性能更高的容错能力 很慢的写入速度成本更高 适用领域：高可靠性环境至少需要磁盘数： 4个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID10 (镜像阵列条带化镜像阵列条带化)：将镜像和条带组合起来的组合RAID级别，最低一级是RAID1镜像对，第二级为RAID0。总容量总容量=(=(磁盘数磁盘数 / /2 2) )* *( (磁盘容量磁盘容量) )D1D2D4D4D2D7D8D8D10D11D11D1D1D2D3D4D5D6D7D8D9D10D11D12

25、D13D14D15逻辑磁盘物理磁盘0 物理磁盘1物理磁盘2 物理磁盘3stripe0stripe1stripe2stripe3D13D14D13stripe4D5D7D10D5D14D3D3D9D9D12D12D15D6D6D15物理磁盘4 物理磁盘5RAID10 （一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID10（二）（二）优点缺点高读取速率高写速率，较校验RAID而言，写开销最小至多可以容许N个磁盘同时损坏（2N个磁盘组成的RAID10阵列）贵只有1/2的磁盘利用率适用领域：要求高可靠性和高性能的数据库服务器至少需要磁

26、盘数： 4个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID50RAID50定义：定义：将镜像和条带组合起来的组合RAID级别，最低一级是RAID5镜像对，第二级为RAID0。总容量总容量=(=(磁盘数磁盘数 -1-1) )* *( (磁盘容量磁盘容量) )D1P11D4P12D2P13D11P23D15P14D16D0D1D2D3D4D5D6D7D8D9D10D11D12D13D14D15逻辑磁盘物理磁盘0物理磁盘1物理磁盘2物理磁盘3stripe0stripe1stripe2stripe3D5D10D14D6D3P21D12D13D

27、17P24P22D7物理磁盘4物理磁盘5D16D17D0RAID50（一）（一）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential RAID50（二）（二）优点缺点比单个RAI5容纳更多的磁盘比单个RAID5有更好的读性能至多可以容许n个磁盘同时损坏（N个RAID5组成的RAID50阵列）比相同容量的单个RAID5重建时间更短比较难实现同一个RAID5组内的两个磁盘损坏会导致整个RAID50阵列的失效适用领域：大型数据库服务器应用服务器文件服务器至少需要磁盘数： 6个HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confi

28、dential Page 41RAID 级别级别比比较较项目项目RAID0RAID0RAID1RAID1RAID10RAID10RAID5RAID5 、RAID3RAID3RAID6RAID6最小配置最小配置12434性能性能HighestLowestRAID5RAID10RAID0RAID1RAID5 RAID10RAID6RAID5 RAID10特点特点无容错最佳的容错最佳的容错提供容错提供容错磁盘利用率磁盘利用率100%50%50%(N-1)/N(N-2)/N描述描述不带奇偶效验的条带集磁盘镜像RAID0与RAID1的结合带奇偶效验的条带集双校验位其中RAID3与RAID5的区别为：RA

29、ID3更适合于顺序存取，RAID5更适合于随机存取。需要根据具体的应用情况决定使用那种RAID级别。HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 42目目 录录1. 存储组网形态2. 主要协议3. RAID4.4. 磁盘热备与重构磁盘热备与重构5. 快照与复制6. 数据分级存储概念HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 43u 所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取

30、代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。u 热备盘分为：全局热备盘和局部热备盘全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。局部热备盘：只针对某一RAID组起作用。u 因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。热备（热备（HotSpareHotSpare）HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 44热备与重构热备与重构在线操

31、作特性在线操作特性 系统中需设置一个热添加的备份盘或用一个新的替代磁盘替代故障磁盘 当满足以下条件时开始数据自动重构 1、有一个热备份盘存在独立于故障磁盘的 2、 所有磁盘都配置为冗余阵列(RAID1,3,5,10) 所有的操作都是在不中断系统操作的情况下进行的RAID5 set of drives:4 active,1 hot-spareCOPY BACK完成完成某个磁盘损坏，重构过程开始某个磁盘损坏，重构过程开始重构过程结束，重构过程结束，RAID5可靠性恢复冗余可靠性恢复冗余插入新磁盘，插入新磁盘，COPYBACK开始开始HUAWEI TECHNOLOGIES Co., Ltd.HUAW

32、EI Confidential Page 45目目 录录1. 存储组网形态2. 主要协议3. RAID4. 磁盘热备与重构5.5. 快照与复制快照与复制6. 数据分级存储概念HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 46逻辑卷快照逻辑卷快照(snapshot)DEA C基本概念：基本概念：Base Volume ：快照源卷Repository Volume ：快照仓储卷，保存快照源卷在快照过程中被修改以前的数据Snapshot Volume ：快照卷某一个时间点的逻辑卷映像：某一个时间点的逻辑卷映像：逻辑上相当于整个Base V

33、olume的拷贝可将Sanpshot Volume分配给任何一台主机Snapshot Volume可读取、写入或拷贝存储空间需求存储空间需求需要相当于Base Volume 20%的额外空间用途用途文件、逻辑卷恢复备份、测试、数据分析等HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 47快照快照(snapshot) 过程演示过程演示 B A S E V O L UM E X Y Z并且我们的卷有足够的空间来创建快照首先保证我们的源卷和阵列的运行是正常的HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confid

34、ential Page 48W R E P O S I T S N A P S H O T V O L UM B A S E V O L UM E X Y Z R I T E S首先，在快照完成之前控制器是禁止对源卷进行写操作的。仓储卷默认是源卷大小的20%满足上面条件后，快照过程开始进行快照快照(snapshot)开始开始 HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 49仓储卷（仓储卷（20%源卷大小）现在可用源卷大小）现在可用快照快照(snapshot)完成完成 R E P O S I T S N A P S H O T V

35、O L UM B A S E V O L UM E X Y ZW R I T E S快照完成状态，实际上是一些指针当快照完成之后，控制器释放对源卷的写权限，我们可以对源卷进行写操作HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 50当源卷数据改变时当源卷数据改变时我们的源卷数据在改变之前会顺序的写到仓储卷上，然后再把快照指针指导这边来。 B A S V O E T S N A P S H O T V O L UM B A S E V O L UM E X Y ZW R I T E S然后源卷的数据才会开始更新HUAWEI TECHNO

36、LOGIES Co., Ltd.HUAWEI Confidential Page 51最后一步最后一步我们源卷的原数据已经写到了仓储卷上 B A S V O E T S N A P S H O T V O L UMW R I E T E L UM S X Y Z快照卷的指针指到了新的数据位置源卷数据更新完毕HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Confidential Page 52逻辑卷拷贝逻辑卷拷贝(Volume Copy)生产主机测试主机基本概念基本概念l 将一个逻辑卷（Source）上的内容完全物理上 拷贝到另一个逻辑卷（Target）l 拷贝过程中源卷只读l 在同一个存储系统内目标逻辑卷可以做另一个Volume Copy的源卷用途用途l 目标逻辑卷可用来做经营分析、数据挖掘、测 试、备份等l 对目标卷的操作不影响源卷的性能l 重新分配数据，使性能和容量分配达到最优化l 将数据迁移到新的、更大的、更快的磁盘上l 将逻辑卷迁移到更合适的逻辑卷组上HUAWEI TECHNOLOGIES Co., Ltd.HUAWEI Co