(培训教材)存储基础知识

1、华为赛门铁克售前工程师培训教材存储产品,存储系列产品,课程目录,存储基础知识,存储产品介绍,1,2,3,技术建议书的制作,4,配置报价介绍,5,存储产品综合解决方案,6,竞争分析,课程目标,了解存储基础知识 掌握存储系列产品的特性和规格 掌握技术建议书的制作要点 了解存储产品报价及解决方案,存储系列产品,课程目录,存储基础知识,存储产品介绍,1,2,3,技术建议书的制作,4,配置报价介绍,5,存储产品综合解决方案,6,竞争分析,存储基础知识,1.1存储组网形态 1.2存储接口技术 1.3RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程

2、容灾基础知识,传统计算机存储系统的问题,计算机存储系统,传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,外部磁盘阵列的产生,早期外部存储系统,传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,CPU,硬盘,RAM,Server,SCSI卡,JBOD(Just Bound Of Disk),智能磁盘阵列的产生,控制器中包含RAID功能、大容量Cache，同时使得

3、磁盘阵列具有多种实用的功能，配置专用管理软件进行配置管理,传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,CPU,硬盘,RAM,Server,SCSI卡,控制器,存储网络的产生,SCSI电缆最长支持25米 FC光纤连接距离可达10公里至100公里,Server,HBA卡,传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,存储网络的基本形态,DAS (Direc

4、t Attached Storage) NAS (Network Attached Storage） SAN (Storage Area Network),网络存储几种常见类型,DAS (Direct Attached Storage),存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器； 传统的、最常见的连接方式，容易理解、规划和实施； 没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储； 各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少；,文件服务器,存储设备,应用服务器,存储设备,数据库服务器,存储设备,LAN,

5、数据流,数据流,数据流,NAS (Network Attached Storage),NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。 NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络带宽。,文件服务器,应用服务器,NAS存储设备,LAN,数据流,数据流,SAN (Storage Area Network),高

6、可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。 SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构 ；,文件服务器,应用服务器,存储设备,LAN,数据流,SAN,存储设备,存储设备,数据流,存储网络的三种形态比较,存储基础知识,1.1存储组网形态 1.2存储接口技术 1.3RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1

7、.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识,常见存储接口技术,存 储 接 口,IDE/ATA,SATA,FC,SAS,SCSI,IDE/ATA接口概述,IDE（IntegratedDriveElectronics ，电子集成驱动器 ）它的本意是指把“硬盘控制器”与“盘体”集成在一起的硬盘驱动器。 IDE仅代表第一代的IDE标准，随着其接口技术的飞速发展，引入了许多新技术使这一IDE接口标准得到了质的飞跃，并且引入了新的名称，如ATA（AdvancedTechnologyAttachment ，高级技术附加装置 ）,电源接口,M/S跳线头,40-pin 公接头,SCSI接口

8、概述,SCSI（Small Computer System Interface，小型计算机系统接口）它不是专门为硬盘设计的，而是一种总线型的系统接口。 SCSI硬盘性能优异，可靠性高，多应用于中高端存储领域。 单个设备连接的电缆长度可达25m，用于两个或多个设备的电缆长度可达12m。 支持多达16个设备连接，双通道可达32个设备。,SATA接口概述,SATA（SerialATA ，串行ATA）采用连续串行的方式传输数据。在同一时间点内只会有1位数据传输。 SATA的线缆采用7针的细线缆，容易弯曲，易于散热。 SATA硬盘的连接采用点对点方式，每个通道1个硬盘。 SATA硬盘可支持热插拔。 SA

9、TA接口支持300MB/s的传输速率。 SATA接口使用的线缆长度可达1m。,SAS接口概述,SAS是新一代的SCSI技术，和现在流行的SerialATA(SATA)硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，提供与SATA硬盘的兼容性。 SAS接口有四路通道，按3Gb/s的SAS标准在单工模式下可以达到43Gb/s的带宽，这就是SAS的宽端口模式。 SAS接口连接的传输距离最长为6m。,FC接口概述,FC（Fiber Channel，光纤通道）最初是专门为网

10、络系统设计的，随着存储系统对速度的需求，逐渐应用到硬盘系统中。FC是为多硬盘系统环境而设计的，能够满足高端工作站、服务器、串行数据通讯等系统对高数据传输率的要求。 FC接口能够支持1Gb/s 、2Gb/s和4Gb/s的数据传输速率。 FC支持最长的长度超过了10km。 FC硬盘支持双FC接口同时工作，可互为备份，并为硬盘提供电源和控制系统内部所有硬盘上数据的输入和输出。,存储基础知识,1.1存储组网形态 1.2存储接口技术 1.3RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识,磁盘阵列,JBOD,RAID,磁盘阵列,JB

11、OD,D0,F,E,D,D0,C,B,A,A,B,C,D,E,F,数据写入,JBOD （Just a Bunch of Disks） ：是在逻辑上把几个物理磁盘一个接一个的串联在一起，其目的纯粹是为了增加磁盘的容量，并不提供数据安全保障。,RAID,RAID（Redundant Array of Independent Disks）：独立冗余磁盘阵列，简称磁盘阵列。RAID是按照一定的形式和方案组织起来的存储设备。它比单个存储设备在速度、稳定性和存储能力上都有很大提高，并且具备一定的数据安全保护能力。,RAID,更有效的数据组织,数据安全保护功能,RAID的数据组织方式,D7,D4,D1,驱动

12、器2,D6,D3,D0,驱动器1,D8,D5,D2,驱动器3,条带2(strip),条带1(strip),条带0(strip),磁盘上的数据分块,磁盘上的数据分块,磁盘上的数据分块,分块：将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。它是组成条带的元素。 条带：同一磁盘阵列中的多个磁盘驱动器上的相同“位置”（或者说是相同编号）的分块。,RAID数据存取方式,并 行 存 取,并行存取模式：是把所有磁盘驱动器的主轴马达作精密的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的I/O数据传送，使从主机来的每一个I/O指令，都平均分布到每一个磁盘驱动器，将阵列中每一个磁

13、盘驱动器的性能发挥到最大。 适用范围：大型的、数据连续的以长时间顺序访问数据为特征的应用 独立存取模式：对每个磁盘驱动器的存取都是独立且没有顺序和时间间隔的限制，可同时接收多个I/ORequests，每笔传输的数据量都比较小。适用范围：数据存取频繁，每笔存取数据量较小的应用,RAID 0的工作原理,D4,D2,D0,驱动器1,D6,D5,D3,D1,驱动器2,D0,D1,D2,D3,D4,D5,条带2,条带1,条带0,各磁盘上的数据块,各磁盘上的数据块,无差错控制的条带化阵列,D2,D1,D0,D5,D4,D3,D0,逻辑磁盘,RAID 0的特性,视频生成和编辑、图像编辑等对传输带宽需求较大的

14、应用领域。,数据无冗余，一旦阵列中有一个驱动器故障，其中的数据将丢失,I/O负载平均分配到所有的驱动器。由于驱动器可以同时读写，性能在所有RAID级别中最高。 磁盘利用率最高 设计、使用和配置简单,缺点,优点,应用范围,RAID 1的工作原理,镜像结构的阵列,D2,D1,D0,D2,逻辑磁盘,D2,D1,D0,驱动器1,驱动器2,D0,D1,D2经过镜像器,D2,D1,D0,RAID 1的特性,可应用于金融、保险、证券、财务等对数据的可用性和安全性要求较高的应用领域,磁盘空间利用率低，存储成本高 磁盘写性能提升不大,RAID 1对存储的数据进行百分之百的备份，提供最高的数据安全保障 设计、使用

15、和配置简单,缺点,优点,应用范围,RAID 3的工作原理,D7,D4,D1,驱动器2,D6,D3,D0,驱动器1,D8,D5,D2,驱动器3,D0,D1,D2,D3,D4,D5,D6,D7,D8,P3,P2,P1,校验驱动器,校验码生成,带奇偶校验码的并行阵列,RAID 3的特性,适合用于视频生成、视频编辑等高吞吐量的应用环境,需要专用磁盘做校验盘使用，如果校验盘故障会导致数据无备份 任一磁盘写数据将会导致校验信息的重新计算，校验盘的写性能可能会成为瓶颈,通过较为简单的异或运算技术获得数据备份 阵列中磁盘数量越多，数据备份的成本就越低,缺点,优点,应用范围,RAID 5的工作原理,分布式奇偶校

16、验码的独立磁盘结构,D4,P1,D1,驱动器2,P2,D2,D0,驱动器1,D5,D3,P0,驱动器3,D0,D1,D2,D3,D4,D5,RAID 5的特性,适合用在文件服务器、Email服务器、WEB服务器等输入/输出密集、读/写比率较高的应用环境,异或校验影响存储性能 硬盘重建的过程较为复杂 控制器设计复杂,高可用性 磁盘利用率较高 随机读写性能高 校验信息分布存储于各个磁盘，避免单个校验盘的写操作瓶颈,缺点,优点,应用范围,Q5,D9,RAID6 PQ的工作原理,P1,D3,D6,D12,D10,Q1,P2,D7,D13,D11,D0,Q2,P3,D14,P4,D1,D4,Q3,P5,

17、Q4,D2,D5,D8,驱动器1,驱动器2,驱动器3,驱动器4,驱动器5,条带0,条带1,条带2,条带3,条带4,RAID6 PQ需要计算出两个校验数据P和Q，当有两个数据丢失时，根据P和Q恢复出丢失的数据。校验数据P和Q是由以下公式计算得来的： P=D0 D1 D2 Q=(D0)(D1)(D2),RAID6 DP的工作原理,D12,D0,D4,D8,D13,D1,D5,D9,D14,D2,D6,D10,P3,P0,P1,P2,DP3,DP0,DP1,DP2,驱动器1,驱动器2,驱动器3,横向校验盘,斜向校验盘,条带0,条带1,条带2,条带3,DP4,D15,D3,D7,D11,驱动器4,DP

18、Double Parity，就是在RAID4所使用的一个行XOR校验磁盘的基础上又增加了一个磁盘用于存放斜向的XOR校验信息 横向校验盘中P1P4为各个数据盘中横向数据的校验信息 例：P0=D0 XOR D1 XOR D2 XOR D3 斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息 例：DP0=D0 XOR D5 XOR D10XOR D15,磁盘故障,数据恢复,RAID 6的特性,适合用在对数据准确性和完整性要求极高的环境,采用两种奇偶校验消耗系统资源，系统负载较重 磁盘利用率比RAID 5更低 配置过于复杂,具有高可靠性 可同时允许两块磁盘失效 至少需要四块磁盘,缺

19、点,优点,应用范围,RAID组合RAID 10,D0,D2,D4,D0,D2,D4,D1,D3,D5,D1,D3,D5,磁盘镜像器,磁盘镜像器,D0,D1,D2,D3,D4,D5,RAID 10是将镜像和条带进行组合的RAID级别，先进行RAID 1镜像然后再做RAID 0。RAID 10也是一种应用比较广泛的RAID级别。,物理磁盘1,物理磁盘2,物理磁盘3,物理磁盘4,磁盘故障,磁盘故障,读取数据,RAID 10的特性,数据量大，安全性要求高的环境，如银行、金融等领域,磁盘利用率低，只有1/2的硬盘利用率，至少需要4块磁盘,高读取速度 高写入速度，写开销较小 特定情况下，可以允许N/2个硬

20、盘同时损坏,缺点,优点,应用范围,S&K,常见RAID级别的比较,RAID级别,RAID 1,RAID 3,RAID 5,RAID 10,RAID 0,容错性,有,有,有,有,无,冗余类型,镜像冗余,校验冗余,校验冗余,镜像冗余,无,读性能,低,高,高,普通,高,随机写性能,低,低,普通,高,连续写性能,低,低,低,普通,高,最少磁盘数,2个,3个,3个,4个,2个,可用空间,50*,（N-1)/N,（N-1)/N,50*,100,应用场景,传输带宽需求大的应用,安全性要求较高的应用,大文件、连续数据的应用,读/写比率较高的应用,安全性要求高的应用,低,存储基础知识,1.1存储组网形态 1.2

21、存储接口技术 1.3RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识,常用的存储技术简介-HotSpare,所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。 热备盘分为：全局热备盘和局部热备盘 全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。 局部热备盘：只针对某一RAID组起作用。 因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响

22、不大。 对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。,重构过程,D5,D3,D1,驱动器2,D4,D2,D0,校验驱动器,D0,D1,D2,D3,D4,D5,P3,P2,P1,热备盘驱动器,D0,D2,D4,驱动器1,存储基础知识,1.1存储组网形态 1.2存储接口技术 1.3RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识,可靠性设计,多通道软件（又称为Multipath/Failover软件）,多路径冗余连接,Server,HBA,S

23、erver,HBA,FC Switch,Server,HBA,Server,HBA,FC Switch,存储基础知识,1.1存储组网形态 1.2存储接口技术 1.3RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识,逻辑卷快照(snapshot),基本概念： Base Volume ：快照源卷 Repository Volume ：快照仓储卷，保存快照源卷在快照过程中被修改以前的数据 Snapshot Volume ：快照卷 某一个时间点的逻辑卷映像： 逻辑上相当于整个Base Volume的拷贝 可将Sanpshot Vo

24、lume分配给任何一台主机 Snapshot Volume可读取、写入或拷贝 存储空间需求 需要相当于Base Volume 20%的额外空间 用途 文件、逻辑卷恢复 备份、测试、数据分析等,快照(snapshot) 过程演示,B,A,S,E,V,O,L,U,M,E,X,Y,Z,并且我们的卷有足够的空间来创建快照,首先保证我们的源卷和阵列的运行是正常的,W,R,E,P,O,S,I,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y,Z,R,I,T,E,S,首先，在快照完成之前控制器是禁止对源卷进行写操作的。,仓储卷默认是源卷大小的20%,满足

25、上面条件后，快照过程开始进行,快照(snapshot)开始,仓储卷（20%源卷大小）现在可用,快照(snapshot)完成,R,E,P,O,S,I,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y,Z,W,R,I,T,E,S,快照完成状态，实际上是一些指针,当快照完成之后，控制器释放对源卷的写权限，我们可以对源卷进行写操作,当源卷数据改变时,我们的源卷数据在改变之前会顺序的写到仓储卷上，然后再把快照指针指导这边来。,B,A,S,V,O,E,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y

26、,Z,W,R,I,T,E,S,然后源卷的数据才会开始更新,最后一步,我们源卷的原数据已经写到了仓储卷上,B,A,S,V,O,E,T,S,N,A,P,S,H,O,T,V,O,L,U,M,W,R,I,E,T,E,L,U,M,S,X,Y,Z,快照卷的指针指到了新的数据位置,源卷数据更新完毕,逻辑卷拷贝(Volume Copy),生产主机,测试主机,基本概念 将一个逻辑卷（Source）上的内容完全物理上 拷贝到另一个逻辑卷（Target） 拷贝过程中源卷只读 在同一个存储系统内目标逻辑卷可以做另一个Volume Copy的源卷 用途 目标逻辑卷可用来做经营分析、数据挖掘、测 试、备份等 对目标卷的操

27、作不影响源卷的性能 重新分配数据，使性能和容量分配达到最优化 将数据迁移到新的、更大的、更快的磁盘上 将逻辑卷迁移到更合适的逻辑卷组上,逻辑卷快照+逻辑卷拷贝,通过快照获得Base Volume的 Snapshot Volume,逻辑卷拷贝与逻辑卷快照相结合，实现此功能！,如何在Volume Copy过程中对源卷进行正常访问？,存储基础知识,1.1存储组网形态 1.2存储接口技术 1.3RAID 1.4 磁盘的热备与重构 1.5 存储冗余 1.6 快照与复制 1.7 备份基础知识 1.8 远程容灾基础知识,备份技术产生的背景,只要发生数据传输、存储和交换就有可能产生数据故障。 自然灾害、人为的

28、信息攻击都在威胁着信息的安全。 信息拥有者对数据存储和数据备份的需求。,备份的定义,数据备份是将数据以某种方式加以保留，以便在系统遭受破坏或其他特定情况下重新加以利用的一个过程。 数据备份的核心是恢复，一个无法恢复的备份对于任何系统来说都是毫无意义的。 数据备份的意义不仅在于防范意外事件的破坏，而且还是历史数据保存归档的最佳方式。,数据备份的原则,备份原则,稳定性,容灾考虑,操作简单,高性能,自动化,全面性,备份系统的组成,备份客户端 备份服务器 备份存储单元 备份管理软件,备份客户端,备份服务器,备份存储单元,文件服务器,数据库,备份管理软件,数据备份的类型,全备份：备份系统中的所有数据 优点：恢复时间最短，最可靠，操作最方便 缺点：备份的数量大，备份所需时间长 增量备份：备份上一次备份以后更新的所有数据 优点：每次备份的数据少，占用空间少，备份时间短 缺点：恢复时需要全备份及多份增量备份 差量备份：备份上一次全备份以后更新的所有数据 优点：数据恢复时间短 缺点：备份