存储基础知识精品课件

1、存储基础知识第1页，共70页，2022年，5月20日，0点5分，星期三存储系列产品课程目录存储基础知识存储产品介绍123技术建议书的制作4配置报价介绍5存储产品综合解决方案6竞争分析第2页，共70页，2022年，5月20日，0点5分，星期三课程目标 了解存储基础知识 掌握存储系列产品的特性和规格 掌握技术建议书的制作要点 了解存储产品报价及解决方案第3页，共70页，2022年，5月20日，0点5分，星期三存储系列产品课程目录存储基础知识存储产品介绍123技术建议书的制作4配置报价介绍5存储产品综合解决方案6竞争分析第4页，共70页，2022年，5月20日，0点5分，星期三存储基础知识1.1存储

2、组网形态1.2存储接口技术1.3RAID1.4 磁盘的热备与重构1.5 存储冗余1.6 快照与复制1.7 备份基础知识1.8 远程容灾基础知识第5页，共70页，2022年，5月20日，0点5分，星期三传统计算机存储系统的问题CPU硬盘RAMServer计算机存储系统传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散 第6页，共70页，2022年，5月20日，0点5分，星期三外部磁盘阵列的产生早期外部存储系统传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，

3、难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散CPU硬盘RAMServerRAID功能SCSI卡JBOD(Just Bound Of Disk)第7页，共70页，2022年，5月20日，0点5分，星期三智能磁盘阵列的产生控制器中包含RAID功能、大容量Cache，同时使得磁盘阵列具有多种实用的功能，配置专用管理软件进行配置管理传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散CPU硬盘RAMServerSCSI卡控制器第8页，共70页

4、，2022年，5月20日，0点5分，星期三存储网络的产生SCSI电缆最长支持25米FC光纤连接距离可达10公里至100公里ServerHBA卡传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散第9页，共70页，2022年，5月20日，0点5分，星期三存储网络的基本形态DAS (Direct Attached Storage)NAS (Network Attached Storage） SAN (Storage Area Network)网络存储几种常见类型第10页，共70页，20

5、22年，5月20日，0点5分，星期三DAS (Direct Attached Storage)存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器；传统的、最常见的连接方式，容易理解、规划和实施；没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储；各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少；文件服务器存储设备应用服务器存储设备数据库服务器存储设备LAN数据流数据流数据流第11页，共70页，2022年，5月20日，0点5分，星期三NAS (Network Attached Storage)NAS本身装有独立的OS，通

6、过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络带宽。文件服务器应用服务器NAS存储设备LAN数据流数据流第12页，共70页，2022年，5月20日，0点5分，星期三SAN (Storage Area Network)高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性

7、和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构 ；文件服务器应用服务器存储设备LAN数据流SAN存储设备存储设备数据流第13页，共70页，2022年，5月20日，0点5分，星期三存储网络的三种形态比较DASNASSAN传输类型SCSI、FCIPIP、FC、SAS数据类型数据块文件数据块典型应用任何文件服务器数据库应用优点磁盘与服务器分离，便于统一管理

8、不占用应用服务器资源广泛支持操作系统扩展较容易即插即用，安装简单方便高扩展性高可用性数据集中，易管理缺点连接距离短数据分散，共享困难存储空间利用率不高扩展性有限不适合存储量大的块级应用数据备份及恢复占用网络带宽相比NAS成本较高安装和升级比NAS复杂第14页，共70页，2022年，5月20日，0点5分，星期三存储基础知识1.1存储组网形态1.2存储接口技术1.3RAID1.4 磁盘的热备与重构1.5 存储冗余1.6 快照与复制1.7 备份基础知识1.8 远程容灾基础知识第15页，共70页，2022年，5月20日，0点5分，星期三常见存储接口技术存 储 接 口IDE/ATASATAFCSASSC

9、SI 第16页，共70页，2022年，5月20日，0点5分，星期三IDE/ATA接口概述IDE（IntegratedDriveElectronics ，电子集成驱动器 ）它的本意是指把“硬盘控制器”与“盘体”集成在一起的硬盘驱动器。 IDE仅代表第一代的IDE标准，随着其接口技术的飞速发展，引入了许多新技术使这一IDE接口标准得到了质的飞跃，并且引入了新的名称，如ATA（AdvancedTechnologyAttachment ，高级技术附加装置 ） 电源接口M/S跳线头40-pin 公接头第17页，共70页，2022年，5月20日，0点5分，星期三SCSI接口概述SCSI（Small Com

10、puter System Interface，小型计算机系统接口）它不是专门为硬盘设计的，而是一种总线型的系统接口。SCSI硬盘性能优异，可靠性高，多应用于中高端存储领域。单个设备连接的电缆长度可达25m，用于两个或多个设备的电缆长度可达12m。 支持多达16个设备连接，双通道可达32个设备。第18页，共70页，2022年，5月20日，0点5分，星期三SATA接口概述SATA（SerialATA ，串行ATA）采用连续串行的方式传输数据。在同一时间点内只会有1位数据传输。SATA的线缆采用7针的细线缆，容易弯曲，易于散热。SATA硬盘的连接采用点对点方式，每个通道1个硬盘。SATA硬盘可支持热

11、插拔。SATA接口支持300MB/s的传输速率。SATA接口使用的线缆长度可达1m。第19页，共70页，2022年，5月20日，0点5分，星期三SAS接口概述SAS是新一代的SCSI技术，和现在流行的SerialATA(SATA)硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，提供与SATA硬盘的兼容性。SAS接口有四路通道，按3Gb/s的SAS标准在单工模式下可以达到43Gb/s的带宽，这就是SAS的宽端口模式。SAS接口连接的传输距离最长为6m。第20页，共7

12、0页，2022年，5月20日，0点5分，星期三FC接口概述FC（Fiber Channel，光纤通道）最初是专门为网络系统设计的，随着存储系统对速度的需求，逐渐应用到硬盘系统中。FC是为多硬盘系统环境而设计的，能够满足高端工作站、服务器、串行数据通讯等系统对高数据传输率的要求。FC接口能够支持1Gb/s 、2Gb/s和4Gb/s的数据传输速率。FC支持最长的长度超过了10km。FC硬盘支持双FC接口同时工作，可互为备份，并为硬盘提供电源和控制系统内部所有硬盘上数据的输入和输出。第21页，共70页，2022年，5月20日，0点5分，星期三存储基础知识1.1存储组网形态1.2存储接口技术1.3RA

13、ID1.4 磁盘的热备与重构1.5 存储冗余1.6 快照与复制1.7 备份基础知识1.8 远程容灾基础知识第22页，共70页，2022年，5月20日，0点5分，星期三磁盘阵列JBODRAID磁盘阵列第23页，共70页，2022年，5月20日，0点5分，星期三JBODD0FEDD0CBAA,B,C,D,E,F数据写入JBOD （Just a Bunch of Disks） ：是在逻辑上把几个物理磁盘一个接一个的串联在一起，其目的纯粹是为了增加磁盘的容量，并不提供数据安全保障。第24页，共70页，2022年，5月20日，0点5分，星期三RAIDRAID（Redundant Array of Ind

14、ependent Disks）：独立冗余磁盘阵列，简称磁盘阵列。RAID是按照一定的形式和方案组织起来的存储设备。它比单个存储设备在速度、稳定性和存储能力上都有很大提高，并且具备一定的数据安全保护能力。RAID更有效的数据组织数据安全保护功能第25页，共70页，2022年，5月20日，0点5分，星期三RAID的数据组织方式D7D4D1驱动器2D6D3D0驱动器1D8D5D2驱动器3条带2(strip)条带1(strip)条带0(strip)磁盘上的数据分块磁盘上的数据分块磁盘上的数据分块分块：将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。它是组成条带的元素。条带：同一磁盘阵列中的

15、多个磁盘驱动器上的相同“位置”（或者说是相同编号）的分块。第26页，共70页，2022年，5月20日，0点5分，星期三RAID数据存取方式并 行 存 取 并行存取模式：是把所有磁盘驱动器的主轴马达作精密的控制，使每个磁盘的位置都彼此同步，然后对每一个磁盘驱动器作一个很短的I/O数据传送，使从主机来的每一个I/O指令，都平均分布到每一个磁盘驱动器，将阵列中每一个磁盘驱动器的性能发挥到最大。适用范围：大型的、数据连续的以长时间顺序访问数据为特征的应用 独立存取模式：对每个磁盘驱动器的存取都是独立且没有顺序和时间间隔的限制，可同时接收多个I/ORequests，每笔传输的数据量都比较小。适用范围：数

16、据存取频繁，每笔存取数据量较小的应用第27页，共70页，2022年，5月20日，0点5分，星期三RAID 0的工作原理D4D2D0驱动器1D6D5D3D1驱动器2D0,D1,D2,D3,D4,D5条带2条带1条带0各磁盘上的数据块各磁盘上的数据块无差错控制的条带化阵列D2D1D0D5D4D3D0逻辑磁盘第28页，共70页，2022年，5月20日，0点5分，星期三RAID 0的特性视频生成和编辑、图像编辑等对传输带宽需求较大的应用领域。 数据无冗余，一旦阵列中有一个驱动器故障，其中的数据将丢失I/O负载平均分配到所有的驱动器。由于驱动器可以同时读写，性能在所有RAID级别中最高。磁盘利用率最高

17、设计、使用和配置简单缺点 优点应用范围第29页，共70页，2022年，5月20日，0点5分，星期三RAID 1的工作原理镜像结构的阵列D2D1D0D2逻辑磁盘D2D1D0驱动器1驱动器2D0,D1,D2经过镜像器D2D1D0第30页，共70页，2022年，5月20日，0点5分，星期三RAID 1的特性可应用于金融、保险、证券、财务等对数据的可用性和安全性要求较高的应用领域 磁盘空间利用率低，存储成本高磁盘写性能提升不大RAID 1对存储的数据进行百分之百的备份，提供最高的数据安全保障设计、使用和配置简单缺点 优点应用范围第31页，共70页，2022年，5月20日，0点5分，星期三RAID 3的

18、工作原理D7D4D1驱动器2D6D3D0驱动器1D8D5D2驱动器3D0,D1,D2,D3,D4,D5,D6,D7,D8P3P2P1校验驱动器校验码生成带奇偶校验码的并行阵列第32页，共70页，2022年，5月20日，0点5分，星期三RAID 3的特性适合用于视频生成、视频编辑等高吞吐量的应用环境 需要专用磁盘做校验盘使用，如果校验盘故障会导致数据无备份任一磁盘写数据将会导致校验信息的重新计算，校验盘的写性能可能会成为瓶颈通过较为简单的异或运算技术获得数据备份 阵列中磁盘数量越多，数据备份的成本就越低缺点 优点应用范围第33页，共70页，2022年，5月20日，0点5分，星期三RAID 5的工

19、作原理分布式奇偶校验码的独立磁盘结构D4P1D1驱动器2P2D2D0驱动器1D5D3P0驱动器3D0,D1,D2,D3,D4,D5第34页，共70页，2022年，5月20日，0点5分，星期三RAID 5的特性适合用在文件服务器、Email服务器、WEB服务器等输入/输出密集、读/写比率较高的应用环境 异或校验影响存储性能硬盘重建的过程较为复杂控制器设计复杂高可用性磁盘利用率较高随机读写性能高 校验信息分布存储于各个磁盘，避免单个校验盘的写操作瓶颈缺点 优点应用范围第35页，共70页，2022年，5月20日，0点5分，星期三Q5D9RAID6 PQ的工作原理P1D3D6D12D10Q1P2D7D

20、13D11D0Q2P3D14P4D1D4Q3P5Q4D2D5D8驱动器1驱动器2驱动器3驱动器4驱动器5条带0条带1条带2条带3条带4RAID6 PQ需要计算出两个校验数据P和Q，当有两个数据丢失时，根据P和Q恢复出丢失的数据。校验数据P和Q是由以下公式计算得来的： P=D0 D1 D2 Q=(D0)(D1)(D2)第36页，共70页，2022年，5月20日，0点5分，星期三RAID6 DP的工作原理D12D0D4D8D13D1D5D9D14D2D6D10P3P0P1P2DP3DP0DP1DP2驱动器1驱动器2驱动器3横向校验盘斜向校验盘条带0条带1条带2条带3DP4D15D3D7D11驱动器

21、4DPDouble Parity，就是在RAID4所使用的一个行XOR校验磁盘的基础上又增加了一个磁盘用于存放斜向的XOR校验信息 横向校验盘中P1P4为各个数据盘中横向数据的校验信息例：P0=D0 XOR D1 XOR D2 XOR D3 斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息 例：DP0=D0 XOR D5 XOR D10XOR D15磁盘故障数据恢复第37页，共70页，2022年，5月20日，0点5分，星期三RAID 6的特性适合用在对数据准确性和完整性要求极高的环境采用两种奇偶校验消耗系统资源，系统负载较重磁盘利用率比RAID 5更低配置过于复杂具有高可靠

22、性可同时允许两块磁盘失效至少需要四块磁盘缺点 优点应用范围第38页，共70页，2022年，5月20日，0点5分，星期三RAID组合RAID 10D0D2D4D0D2D4D1D3D5D1D3D5磁盘镜像器磁盘镜像器D0,D1,D2,D3,D4,D5RAID 10是将镜像和条带进行组合的RAID级别，先进行RAID 1镜像然后再做RAID 0。RAID 10也是一种应用比较广泛的RAID级别。物理磁盘1物理磁盘2物理磁盘3物理磁盘4磁盘故障磁盘故障读取数据第39页，共70页，2022年，5月20日，0点5分，星期三RAID 10的特性数据量大，安全性要求高的环境，如银行、金融等领域 磁盘利用率低，

23、只有1/2的硬盘利用率，至少需要4块磁盘高读取速度高写入速度，写开销较小特定情况下，可以允许N/2个硬盘同时损坏缺点 优点应用范围第40页，共70页，2022年，5月20日，0点5分，星期三S&K常见RAID级别的比较RAID级别RAID 1RAID 3RAID 5RAID 10RAID 0容错性有有有有无冗余类型镜像冗余校验冗余校验冗余镜像冗余无读性能低高高普通高随机写性能低低普通高连续写性能低低低普通高最少磁盘数2个3个3个4个2个可用空间50*（N-1)/N（N-1)/N50*100应用场景传输带宽需求大的应用安全性要求较高的应用大文件、连续数据的应用读/写比率较高的应用安全性要求高的应

24、用低第41页，共70页，2022年，5月20日，0点5分，星期三存储基础知识1.1存储组网形态1.2存储接口技术1.3RAID1.4 磁盘的热备与重构1.5 存储冗余1.6 快照与复制1.7 备份基础知识1.8 远程容灾基础知识第42页，共70页，2022年，5月20日，0点5分，星期三常用的存储技术简介-HotSpare所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。热备盘分为：全局热备盘和局部热备盘全局热备盘：针对整个磁盘阵列，对阵列中所有RAID

25、组起作用。局部热备盘：只针对某一RAID组起作用。因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。第43页，共70页，2022年，5月20日，0点5分，星期三重构过程D5D3D1驱动器2D4D2D0校验驱动器D0,D1,D2,D3,D4,D5P3P2P1热备盘驱动器D0D2D4驱动器1第44页，共70页，2022年，5月20日，0点5分，星期三存储基础知识1.1存储组网形态1.2存储接口技术1.3RAID1.4 磁盘的热备

26、与重构1.5 存储冗余1.6 快照与复制1.7 备份基础知识1.8 远程容灾基础知识第45页，共70页，2022年，5月20日，0点5分，星期三可靠性设计多通道软件（又称为Multipath/Failover软件）第46页，共70页，2022年，5月20日，0点5分，星期三多路径冗余连接控制器A控制器BST5600ServerHBAServerHBAFC Switch控制器A控制器BST5600ServerHBAServerHBAFC Switch第47页，共70页，2022年，5月20日，0点5分，星期三存储基础知识1.1存储组网形态1.2存储接口技术1.3RAID1.4 磁盘的热备与重构1

27、.5 存储冗余1.6 快照与复制1.7 备份基础知识1.8 远程容灾基础知识第48页，共70页，2022年，5月20日，0点5分，星期三逻辑卷快照(snapshot)DEA C基本概念：Base Volume ：快照源卷Repository Volume ：快照仓储卷，保存快照源卷在快照过程中被修改以前的数据Snapshot Volume ：快照卷某一个时间点的逻辑卷映像：逻辑上相当于整个Base Volume的拷贝可将Sanpshot Volume分配给任何一台主机Snapshot Volume可读取、写入或拷贝存储空间需求需要相当于Base Volume 20%的额外空间用途文件、逻辑卷恢

28、复备份、测试、数据分析等第49页，共70页，2022年，5月20日，0点5分，星期三快照(snapshot) 过程演示 B A S E V O L UM E X Y Z并且我们的卷有足够的空间来创建快照首先保证我们的源卷和阵列的运行是正常的第50页，共70页，2022年，5月20日，0点5分，星期三W R E P O S I T S N A P S H O T V O L UM B A S E V O L UM E X Y Z R I T E S首先，在快照完成之前控制器是禁止对源卷进行写操作的。仓储卷默认是源卷大小的20%满足上面条件后，快照过程开始进行快照(snapshot)开始 第51页

29、，共70页，2022年，5月20日，0点5分，星期三仓储卷（20%源卷大小）现在可用快照(snapshot)完成 R E P O S I T S N A P S H O T V O L UM B A S E V O L UM E X Y ZW R I T E S快照完成状态，实际上是一些指针当快照完成之后，控制器释放对源卷的写权限，我们可以对源卷进行写操作第52页，共70页，2022年，5月20日，0点5分，星期三当源卷数据改变时我们的源卷数据在改变之前会顺序的写到仓储卷上，然后再把快照指针指导这边来。 B A S V O E T S N A P S H O T V O L UM B A S

30、E V O L UM E X Y ZW R I T E S然后源卷的数据才会开始更新第53页，共70页，2022年，5月20日，0点5分，星期三最后一步我们源卷的原数据已经写到了仓储卷上 B A S V O E T S N A P S H O T V O L UMW R I E T E L UM S X Y Z快照卷的指针指到了新的数据位置源卷数据更新完毕第54页，共70页，2022年，5月20日，0点5分，星期三逻辑卷拷贝(Volume Copy)生产主机测试主机基本概念将一个逻辑卷（Source）上的内容完全物理上 拷贝到另一个逻辑卷（Target）拷贝过程中源卷只读在同一个存储系统内目标

31、逻辑卷可以做另一个Volume Copy的源卷用途目标逻辑卷可用来做经营分析、数据挖掘、测 试、备份等 对目标卷的操作不影响源卷的性能 重新分配数据，使性能和容量分配达到最优化 将数据迁移到新的、更大的、更快的磁盘上 将逻辑卷迁移到更合适的逻辑卷组上第55页，共70页，2022年，5月20日，0点5分，星期三逻辑卷快照+逻辑卷拷贝 通过快照获得Base Volume的 SnapshotVolume在Snapshot Volume被拷贝的过程中Base Volume可被正常访问当拷贝结束时，可将Snapshot删除，留下一个完整的时点拷贝逻辑卷拷贝与逻辑卷快照相结合，实现此功能！如何在Volum

32、e Copy过程中对源卷进行正常访问？第56页，共70页，2022年，5月20日，0点5分，星期三存储基础知识1.1存储组网形态1.2存储接口技术1.3RAID1.4 磁盘的热备与重构1.5 存储冗余1.6 快照与复制1.7 备份基础知识1.8 远程容灾基础知识第57页，共70页，2022年，5月20日，0点5分，星期三备份技术产生的背景只要发生数据传输、存储和交换就有可能产生数据故障。自然灾害、人为的信息攻击都在威胁着信息的安全。信息拥有者对数据存储和数据备份的需求。第58页，共70页，2022年，5月20日，0点5分，星期三备份的定义 数据备份是将数据以某种方式加以保留，以便在系统遭受破坏

33、或其他特定情况下重新加以利用的一个过程。数据备份的核心是恢复，一个无法恢复的备份对于任何系统来说都是毫无意义的。数据备份的意义不仅在于防范意外事件的破坏，而且还是历史数据保存归档的最佳方式。第59页，共70页，2022年，5月20日，0点5分，星期三数据备份的原则备份原则稳定性容灾考虑操作简单高性能自动化全面性第60页，共70页，2022年，5月20日，0点5分，星期三备份系统的组成备份客户端备份服务器备份存储单元备份管理软件备份客户端备份服务器备份存储单元文件服务器数据库备份管理软件第61页，共70页，2022年，5月20日，0点5分，星期三数据备份的类型 全备份：备份系统中的所有数据 优点：恢复时间最短，最可靠，操作最方便 缺点：备份的数量大，备份所需时间长 增量备份：备份上一次备份以后更新的所有数据 优点：每次备份的数据少，占用空间少，备份时间短 缺点：恢复时需要全备份及多份增量备份 差量备份：备份上一次全备份以后更新的所有数据 优点：数据恢复时间短 缺点：备份时间长，恢复时需要全备份及差量备份 按需备份：根据临时需要有选择地进行备份 第62页，共70页，2