存储技术专题介绍课件

1、存储技术专题介绍第1页，共50页。Page 2前言什么是存储？存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据 保存到某些介质上并能保证有效的访问。存储的实体必须能安全地保存在介质上必须能提供对该存储实体的有效访问存储管理磁盘存储光盘固态盘（SSD）常见的存储介质磁带存储第2页，共50页。目录存储典型组网存储协议RAID技术硬盘阵列文件系统第3页，共50页。DAS (Direct Attached Storage)存储设备直接连接到主机数据分散管理存储容量利用率低扩展性差文件服务器存储设备应用服务器存储设备数据库服务器存储设备LAN数据流客户端SCSIPage 4数据流SCSI数

2、据流SCSI第4页，共50页。NAS (Network Attached Storage)NAS（Network Attached Storage）网络附加存储，即将存储设备连接到现有的 网络上，提供数据和文件服务支持网络文件共享协议CIFS，NFSNAS实际上就是一个专门优化了的文件服务器文件服务器应用服务器NAS存储设备LAN数据流数据流Page 5第5页，共50页。SAN (Storage Area Network)SAN：存储区域网络，提供在主机和存储系统之间数据传输，网络内部数据传输的速率快主机、存储设备可以独立扩展存储容量利用率高文件服务器应用服务器存储设备LAN数据流SAN存储设

3、备存储设备数据流Page 6第6页，共50页。三种存储组网模型的比较SCSI, FCDAS应用服务器文件系统JBOD应用服务器IP交换机NASSAN文件系统RAID文件系统RAIDRAIDRAID应用服务器文件系统交换机Page 7第7页，共50页。三种存储组网比较DASNASSAN传输类型SCSI、FCIPIP、FC、SAS数据类型数据块文件数据块典型应用任何文件服务器数据库应用优点磁盘与服务器分离，便于统一管理不占用应用服务器资源广泛支持操作系统扩展较容易即插即用，安装简单方便高扩展性高可用性数据集中，易管理缺点连接距离短数据分散，共享困难存储空间利用率不高扩展性有限不适合存储量大的块级应

4、用 数据备份及恢复占用网络带 宽相比NAS成本较高 安装和升级比NAS 复杂Page 8第8页，共50页。NAS和SAN的融合是未来的发展方向必须是SAN必须是NAS可以是SAN和NASPage 9第9页，共50页。目录存储典型组网存储协议RAID技术硬盘阵列文件系统第10页，共50页。存储传输的硬件通道目前主要有三种：传输通道iSCSI 磁盘阵列FC HBAFC 磁盘阵列SAS HBASAS磁盘阵列主机NICPage 11第11页，共50页。SCSI协议SCSI（Small Computer System Interface)，小型计算机系统接口， 是连接存储设备与服务器的最通用的 方法SC

5、SI 最早研制于1979，是为小型机研制出的一种接口技术，但随着电脑 技术的发展，现在它被完全移植到了 普通PC上SCSI-3是所有存储协议的基础，其它存储协议都用到SCSI指令集第12页，共50页。SCSI应用SCSI传输协议SCSI物理连接SCSI应用SCSI传输协议SCSI物理连接Initiator 设备Target 设备互连协议应用协议传输协议传输服务接口互连服务接口应用层传输协议层互连层SCSI启动器-目标器模型第13页，共50页。iSCSI协议iSCSI是互联网小型计算机系统接口（Internet Small Computer System Interface）的简称，是一种在TC

6、P/IP 上进行数据块传输的标准，可以理解为 SCSI over IPiSCSI可构成基于IP的SAN，为用户提供高速、低价、长距离的存储解决方案iSCSI将SCSI命令封装到TCP/IP数据包中，使I/O数据块可通过IP网络传输第14页，共50页。iSCSI启动器-目标器模型启动器（Initiator）SCSI层负责生成CDB（命令描述 符块），将CDB传给iSCSIiSCSI层负责生成iSCSI PDU（协 议数据单元），并通过IP网络将 PDU发给target目标器（Target）iSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必 要时发送响应SCSISCS

7、IiSCSIiSCSITCPTCPIPIPLinkLinkInitiatorTarget第15页，共50页。FC协议FC是光纤通道（Fiber Channel）的 简称，用于服务器共享存储设备的连 接，存储控制器和驱动器之间的内部 连接FC是一种高性能的串行连接标准。其接口传输速率目前有4Gbps 、8Gbps几种标准。传输介质可以选择 铜缆或光纤，传输距离远，支持多种 互联拓扑结构第16页，共50页。SAS协议SAS：Serial Attached SCSI，是SCSI 总线协议的串行标准，即串行连接 SCSISAS采用串行技术以获得更高的传输速率和更好的扩充性，并兼容SATA硬盘SAS目前

8、的传输速率高达3Gbps、 6Gbps，支持全双工模式第17页，共50页。目录存储典型组网存储协议RAID技术硬盘阵列文件系统第18页，共50页。RAID基本概念定义RAID （Redundant Array of Independent Disks）即独立磁盘冗余 阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬 盘，从而提高了硬盘的读写性能和数据安全性。根据不同的组合方式可以分为不同的RAID级别:RAID 0数据条带化，无校验RAID 1数据镜像，无校验RAID 3数据条带化读写，校验信息存放于专用硬盘RAID 5数据条带化，校验信息分布式存放RAID 6数据条带化，分

9、布式校验并提供两级冗余第19页，共50页。RAID组合方式级别扩展同时采用两种不同的RAID方式还能组合成新的RAID级别RAID 0+1先做RAID 0，后做RAID 1，同时提供数据条带化和镜像RAID 10类似于RAID 0+1，区别在于先做RAID 1，后做RAID 0RAID 50先做RAID 5，后做RAID 0，能有效提高RAID 5的性能第20页，共50页。RAID基本概念 条带分条条带硬盘0硬盘2硬盘1硬盘3第21页，共50页。RAID基本概念 校验异或运算P=A0 XOR A1A0值A1值P值000101011110表1-3 异或 XOR 的校验原理A1A0P数据盘数据盘数

10、据A0和A1通过异或运算进行奇偶 校验得到校验位P校验盘第22页，共50页。RAID基本概念热备热备（HotSpare）的定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使 用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬 盘，及时保证RAID系统的冗余性热备一般分为两种：全局式：备用硬盘为系统中所有的冗余RAID组共享专用式：备用硬盘为系统中某一组冗余RAID组专用第23页，共50页。RAID基本概念 重构（Rebuild）数据盘A0A0A1PPXOR故障数据盘校验盘A2XOR数据盘更换Page 24第24页，共50页。RAID基本概念逻辑卷RAID1

11、0RAID5在RAID的基础上可以按照指定容量创建一个或多个逻辑卷，通过 LUN（Logic Unit Number）来标识逻辑卷逻辑卷单个物理卷上创建1个逻辑卷单个物理卷上创建2个逻辑卷LUN1LUN2LUN3第25页，共50页。RAID、逻辑卷的形成过程物理磁盘RAID第26页，共50页。RAID、逻辑卷的形成过程物理磁盘逻辑卷RAIDLUN1LUN2LUN3分割Page 27第27页，共50页。RAID级别 RAID 0DHLCGKBFJRAID0即没有容错设计的条带硬盘阵列（Striped Disk Array without FaultTolerance），以条带形式将RAID组的数

12、据均匀分布在各个硬盘中数据ABCDEFGHAEI第28页，共50页。RAID级别 RAID 1A B C DEA B C DEABCDE=RAID 1又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘数据第29页，共50页。RAID级别 RAID 3A0B0C0 D0C2 D2A2B2ABCDRAID 3即带有校验的并行数据传输阵列（Paralleled transfer with parity），数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据异或运算A1 B1 C1 D1数据盘P A P B P C P D校验盘第30页，共50页。RAID级别 RAID 5A0 A1 A

13、2 A3 P4B0 B1 B2 P3 B4C0 C1 P2 C3 C4D0 P1 D2 D3 D4P0 E1 E2 E3 E4异或运算A0B0C0D0A1B1C1E1A2B2D2校验信息Px分布式存储RAID 5与RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成 员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬 盘上。RAID 5是最常用的RAID方式之一数据第31页，共50页。RAID级别 RAID 6原理示例A1A2A4A5A9 A13A6A3 A7 A11A8 A12异或运算P1P2 P3P4横向校验盘斜向校验盘数据盘横向校验盘中P1P4为各个数据盘中

14、横向数据的校验信息例：P1=A1 XOR A2 XOR A3 XOR A4斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息 例：DP1=A1 XOR A6 XOR A11 XOR A16A1A2A3A4A5A6A7A8A9DP1DP2DP3A10A14A15A16DP4DP5第32页，共50页。RAID组合级别 RAID 10RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。RAID10也是一种应用比较广泛的RAID级别。ABCDEFGHAABBDDCE GCE GFHF H第33页，共50页。RAID组合级别 RAID

15、 50A0 A1 P02 A2B0P01 B1B2P00 C0 C1 P03异或运算RAID 50是将RAID5和RAID 0进行两级组合的RAID级别，最低一级是RAID 5， 第二级为RAID 0A0B0D0E0A1C0D1F0B1C1 D0 D1 P12 D2E0 P11 E1E2P10 F0 F1 P13硬盘0硬盘1硬盘2硬盘3硬盘4硬盘5异或运算第34页，共50页。S&K常见RAID级别的比较RAID级别RAID 0RAID 1RAID 3RAID 5RAID 10容错性无有有有有冗余类型无镜像冗余校验冗余校验冗余镜像冗余可用空间10050（N-1)/N（N-1)/N50读性能高低高

16、高普通随机写性能高低低低普通连续写性能高低低低普通最少磁盘数2个2个3个3个4个应用场景传输带宽需 求大的应用安全性要求 较高的应用大文件、连 续数据的应 用读/写比率较 高的应用安全性要求 高的应用第35页，共50页。目录存储典型组网存储协议RAID技术硬盘阵列文件系统第36页，共50页。存储阵列是把多个硬盘组成一个阵列，当作单一硬盘使用，它将数据以分段（striping）的方式储存在不同的硬盘中，存取数据时，阵列中的相关磁盘 一起动作，大幅减低数据的存取时间， 同时有更佳的空间利用率。阵列第37页，共50页。控制器是阵列的“大脑”，主要部件 为处理器和缓存，最先主要实现简单 IO操作、RA

17、ID管理功能，随着技术发 展，能够提供各种各样的数据管理功 能，如快照、镜像、复制等。控制器第38页，共50页。常见阵列组成形式(以我司阵列为例)控制框硬盘扩展框=+控制框和硬盘框分离控制器和磁盘框一体硬盘框控制器模块=+存储阵列系统存储阵列系统第39页，共50页。控制模块电源模块BBU模块风扇模块IO模块机箱盘控分离式控制框Page 40第40页，共50页。CacheCache即高速缓存，是存储系统中用于缓存主机数据，提高阵列性能及可靠性的部件。依靠Cache的聚合和命中可以大大提升存储系统的性能。所谓聚合，是指Cache把多个主机写请求归一为同一 个内部写请求的能力；命中，CPU在读 操作

18、时，Cache首先要依据地址来判 断数据是否在Cache中，若在Cache 中，则称为“命中”；若不在，则称为 “不命中”。第41页，共50页。缓存Cache的回写和透写缓存主机写入 数据流反馈 写OKWrite-back 回写主机写入 数据流反馈 写OKWrite-through 透写第42页，共50页。Cache预取技术a开智能Cache预取原理智能识别主机读取模式，预测即将 访问的数据，预先从硬盘中读出即 将访问的数据，提高CACHE的命 中率运行特点根据主机读取模式的变化，动态启停预取过程识别出随机模式，则关闭预取，如 果为顺序业务，则启动预取智能识别IO流的连续性，自动选择合适的预取长度，达到性能最优，例如：音频流媒体应用预取大小设 为4KB，视频流媒体应用时，动态 将预取大小调整为64KBbcdeabc0 x210 x220 x230 xCache预取主机读