存储技术基础课件

Inspurgroup存储技术基础介绍浪潮信息技术推进部Inspurgroup存储技术基础介绍浪潮信息技术推进部目录存储是什么？存储的基础知识存储设备的高级功能目录存储是什么？存储的基础知识存储设备的高级功能存储是什么？把钱或物等积存起来。——《清会典事例·户部·库藏》数据以某种格式记录在计算机内部或外部存储介质上。——Baidu用于储存信息的设备。通常是将信息数字化后再以利用电、磁或光学等方式的媒体加以存放。——Wikipedia存储是什么？把钱或物等积存起来。数据以某种格式记录在计算机内存储产品的发展史Tape1920’sHDD1956DAS1970’sFCSAN1980’sNAS1993IPSAN2001数据脱离Server，存储单独发展数据的集中管理需求，SAN出现非结构化数据的增长需求，NetApp推出第一款NASIP技术的成熟，低成本IPSAN出现存储产品的发展历程就是数据保存、应用发展的过程IBM推出第一款HDD存储产品的发展史TapeHDDDASFCSANNASIPS常见存储设备的分类按控制器数量分按主机接口的类型分JBOD：AS300J、AS500J、FF4G16单控制器存储：AS500N2、AS500N6、AS510N双控制器存储：AS500G、AS500H、AS510H、AS1100H、AS8000iScsi：如AS500N2、AS510N、AS500N6FC：AS500G、AS500H、AS510H、AS1100H常见存储设备的分类按控制器数量分按主机接口的类型分JBO目录存储是什么？存储的基础知识存储设备的高级功能目录存储是什么？存储的基础知识存储设备的高级功能存储的架构分类DAS

(DirectAttachedStorage)直接挂接存储SAN

(StorageAreaNetwork)存储区域网络（包括FCSAN、IPSAN）NAS

(NetworkAttachedStorage)网络挂接存储存储的架构分类DAS(DirectAttachedSDAS(DirectAttachedStorage)存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器；传统的、最常见的连接方式，容易理解、规划和实施；没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储；各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少；文件服务器存储设备应用服务器存储设备数据库服务器存储设备LAN数据流数据流数据流DAS(DirectAttachedStorage)文SAN(StorageAreaNetwork)高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构；文件服务器应用服务器存储设备LAN数据流SAN存储设备存储设备数据流SAN(StorageAreaNetwork)高可用性NAS(NetworkAttachedStorage)NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络带宽。文件服务器应用服务器NAS存储设备LAN数据流数据流NAS(NetworkAttachedStorage)存储网络的三种形态比较DASNASSAN传输类型SCSI、SAS、IP、FCIPIP、FC、Infiniband数据类型数据块文件数据块典型应用任何文件服务器数据库、虚拟化应用优点磁盘与服务器分离，便于统一管理不占用应用服务器资源广泛支持操作系统扩展较容易即插即用，安装简单方便高扩展性高可用性数据集中，易管理缺点连接距离短扩展性受主机接口数量的限制不适合存储量大的块级应用数据备份及恢复占用网络带宽相比NAS成本较高安装和升级比NAS复杂存储网络的三种形态比较DASNASSAN传输类型SCSI、S目前市场上存储设备的硬件组成Title控制器

硬盘

风扇

Cache

电源

BBU

目前市场上存储设备的硬件组成Title控制器硬盘风扇Page13存储设备的控制器组成RAID控制器+磁盘通道+监控设备总线CPUBusMaster总线控制器控制器FLashMemoryRAID控制器硬盘设备主机通道磁盘通道XORPage13存储设备的控制器组成RAID控制器+磁盘通道+存储的双控制器主机HBA光纤信道连到以太网两个独立的控制器，具有自动故障切换功能，可防止一个控制器或者一条光纤链路故障HBA光纤信道Controller1SCSIChipController2SCSIChip存储的双控制器主机HBA光纤信道连到以太网两个独立的控制器，存储缓存保护技术FC或IP(GE)缓存(Cache)CPUCPU后端总线磁盘FC或IP(GE)缓存(Cache)CPUCPU后端总线Cache电池FC或IP(GE)缓存(Cache)CPUCPU后端总线阵列内置UPS三种常见控制器Cache保护设计cache电池保护内置UPS保护外置UPS保护阵列外置UPS存储缓存保护技术FC或IP(GE)缓存(Cache)CPUCRAIDRAID（RedundantArrayofIndependentDisks）：独立冗余磁盘组。其基本思想就是把多个相对便宜的硬盘组合起来，成为一个硬盘阵列组，使性能达到甚至超过一个价格昂贵、容量巨大的硬盘。RAID提升磁盘I/O速率数据容错RAIDRAID（RedundantArrayofInRAID的数据组织方式D7D4D1驱动器2D6D3D0驱动器1D8D5D2驱动器3条带2(strip)条带1(strip)条带0(strip)磁盘上的数据分块磁盘上的数据分块磁盘上的数据分块分块：将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。它是组成条带的元素。条带：同一磁盘阵列中的多个磁盘驱动器上的相同“位置”（或者说是相同编号）的分块。RAID的数据组织方式D7D4D1驱动器2D6D3D0驱动器RAID级别分类RAID0RAID1RAID3RAID5RAID6RAID10……RAID级别分类RAID0RAID0的工作原理D4D2D0驱动器1D6D5D3D1驱动器2D0,D1,D2,D3,D4,D5条带2条带1条带0各磁盘上的数据块各磁盘上的数据块无差错控制的条带化阵列D2D1D0D5D4D3D0逻辑磁盘RAID0的工作原理D4D2D0驱动器1D6D5D3D1驱优点极高的读写效率速度快，由于不存在校验，所以不占用CPU资源部署简单缺点无冗余，通常和其他RAID级别混合使用不适合用于关键数据环境最小硬盘数2块（1块也可以）RAID0小结优点极高的读写效率缺点无冗余，通常和其他RAID级别混合使用RAID1的工作原理镜像结构的阵列D2D1D0D2逻辑磁盘D2D1D0驱动器1驱动器2D0,D1,D2经过镜像器D2D1D0RAID1的工作原理镜像结构的阵列D2D1D0D2逻辑磁盘优点提供了很高的数据安全性和可用性100％的数据冗余设计、使用简单不作校验计算，CPU占用资源少缺点空间利用率只有50%相对于单个硬盘，无法提高写性能最小硬盘数2块硬盘RAID1小结优点提供了很高的数据安全性和可用性缺点空间利用率只有50%RAID组合－RAID1+0D0D2D4D0D2D4D1D3D5D1D3D5磁盘镜像器磁盘镜像器D0,D1,D2,D3,D4,D5RAID10是将镜像和条带进行组合的RAID级别，先进行RAID1镜像然后再做RAID0。RAID10也是一种应用比较广泛的RAID级别。物理磁盘1物理磁盘2物理磁盘3物理磁盘4磁盘故障磁盘故障读取数据RAID组合－RAID1+0D0D2D4D0D2D4D1D优点高读取速率高写速率，较校验RAID而言，写开销最小至多可以容许N个硬盘同时损坏（2N个硬盘组成的RAID10数组）缺点只有1/2的硬盘利用率最小硬盘数4块硬盘RAID1+0小结优点高读取速率缺点只有1/2的硬盘利用率最小硬盘数4块硬盘RRAID3的工作原理D7D4D1驱动器2D6D3D0驱动器1D8D5D2驱动器3D0,D1,D2,D3,D4,D5,D6,D7,D8P3P2P1校验驱动器校验码生成带奇偶校验码的并行阵列RAID3的工作原理D7D4D1驱动器2D6D3D0驱动器优点数据分布式存储在连续的硬盘上，具有较高的读速率，适合大文件连续读操作的应用如果有一个硬盘损坏，数据的有效性没有影响缺点校验盘是整个硬盘数组系统的瓶颈有数据盘故障时，每次读操作时都需要进行校验计算，读性能大幅度下降最小硬盘数3块硬盘RAID3小结优点数据分布式存储在连续的硬盘上，具有较高的读速率，适合大文RAID5的工作原理分布式奇偶校验码的独立磁盘结构D4P1D1驱动器2P2D2D0驱动器1D5D3P0驱动器3D0,D1,D2,D3,D4,D5RAID5的工作原理分布式奇偶校验码的独立磁盘结构D4P1优点高读取速率，中等写速率提供一定程度的数据安全缺点RAID组里单块硬盘的故障，会导致其他硬盘读写性能大幅度下降最小硬盘数3块硬盘RAID5小结优点高读取速率，中等写速率缺点RAID组里单块硬盘的故障，会Q5D9RAID6的工作原理P1D3D6D12D10Q1P2D7D13D11D0Q2P3D14P4D1D4Q3P5Q4D2D5D8驱动器1驱动器2驱动器3驱动器4驱动器5条带0条带1条带2条带3条带4RAID6需要计算出两个校验数据P和Q，当有两个数据丢失时，根据P和Q恢复出丢失的数据。校验数据P和Q是由以下公式计算得来的：－P=D0⊕D1

⊕D2……

－Q=(α⊗D0)⊕(β⊗D1)⊕(γ⊗D2)……Q5D9RAID6的工作原理P1D3D6D12D10Q1P优点可以同时允许两块硬盘失效缺点磁盘利用率比RAID5更低校验计算复杂，对控制器性能消耗很大，增加系统负载出现硬盘失效时，RAID重建时对系统性能影响更大，并且重建时间长最小硬盘数4块硬盘RAID6小结优点可以同时允许两块硬盘失效缺点磁盘利用率比RAID5更低最RAID级别RAID0RAID1RAID3RAID5RAID1+0别名条带镜像专用奇偶位条带分布奇偶位条带镜像数组条带容错性无有有有有冗余类型无复制同位同位复制热备盘选项无有有有有读性能高低高高一般随机写性能高低最低低一般连续写性能高低低低一般最小硬盘数2块2块3块3块4块可用容量N*单块(N/2)*单块硬盘容量(N-1)*单块硬盘容量(N-1)*单块硬盘容量(N/2)*单块硬盘容量常用RAID比较RAID级别RAID0RAID1RAID3RAID5HotSpare热备盘所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。热备盘分为：全局热备盘和局部热备盘全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。局部热备盘：只针对某一RAID组起作用。因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。HotSpare热备盘所谓热备份是在建立RAID磁盘阵Raid阵列重构过程D5D3D1驱动器2D4D2D0校验驱动器D0,D1,D2,D3,D4,D5P3P2P1热备盘驱动器D0D2D4驱动器1Raid阵列重构过程D5D3D1驱动器2D4D2D0校验驱动RAID级别的选择性能可靠性成本RAID0RAID6RAID5（3）RAID10RAID1RAID级别应用场合RAID0视频生成与编辑、图像编辑RIAD1财务、金融系统RAID3视频监控等需要高吞吐量的场合RAID5OLTP、数据库系统RAID6对数据安全性要求很高的场合RAID级别的选择性能可靠性成本RAID0RAID6RAID目录存储是什么？存储的基础知识存储设备的高级功能目录存储是什么？存储的基础知识存储设备的高级功能存储设备的高级功能存储设备常用软件备份基础知识容灾基础知识快照软件存储自动分层多路径冗余自动精简配置重复数据删除备份的基本概念备份策略介绍备份类型介绍容灾的基本概念容灾的国家标准容灾的常用技术存储设备的高级功能存储设备常用软件备份基础知识容灾基础知识快快照与克隆Snapshot/Clone

(/dictionary)Afullyusablecopyofadefinedcollectionofdatathatcontainsanimageofthedataasitappearedatthepointintimeatwhichthecopywasinitiated.Asnapshotmaybeeitheraduplicateorareplicateofthedataitrepresents.快照/克隆是特定数据集的一个可用拷贝，该数据集包含源数据在拷贝点的静态映象；快照可以是数据再现的一个副本或者复制。快照和克隆的区别:快照比较节省空间，但依赖源数据；快照预留空间通常只占源数据的20%左右克隆是源数据在某个时间点的一份完整拷贝，所需空间和源数据一样大小，克隆不依赖源数据快照与克隆Snapshot/Clone(http://ww存储自动分层（EasyTiering）第1层第2层第3层20%的数据占资料活动量的80%基于不断变化的需求自动移动和放置数据；数据写入性能最高的第1层；将活动频度较低的数据迁移到下面的分层；如果活动频度提高，再迁回到上面的分层；存储自动分层（EasyTiering）第1层第2层多路径冗余I/O主机中能够将对存储设备的I/0请求定向到多条访问路径上的设施和机制。多路径I/O要求必须使用除总线地址之外的方法来唯一标识设备。多路径访问技术主要用于访问链路故障切换和负载均衡。多路径冗余I/O主机中能够将对存储设备的I/0请求定向到多条自动精简配置用最低的成本存储最多的数据价值优势：允许用户创建灵活卷，以大于实际物理空间的容量，可在后期追加物理容量，使容量规划的效率更高不浪费空间，仅当写入数据才占用空间，降低存储系统的采购成本节省电能和机房空间，降低热量的排放，高效低碳用最低的成本存储最多的数据价值优势：允许用户创建灵活卷，以大于实际物理空间的容量，可在后期追加物理容量，使容量规划的效率更高不浪费空间，仅当写入数据才占用空间，降低存储系统的采购成本节省电能和机房空间，降低热量的排放，高效低碳PhysicalStorage:1TBTotalVolumes:2TB1TB300GB50

GB150

GB100

GB200GB200GB自动精简配置是一项新的容量分配的技术，不会一次性的划分过大的空间给某项应用，而是根据该项应用实际所需要的容量，多次的少量的分配给应用程序，当该项应用所产生的数据增长，分配的容量空间已不够的时候，系统会再次从后端存储池中补充分配一部分存储空间。自动精简配置用最低的成本存储最多的数据价值优势：用最低的成本重复数据删除重复数据删除是一种数据缩减技术，通常用于基于磁盘的备份系统，旨在减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块，重复的数据块用指示符取代。重复数据删除的优势：节约存储空间，降低成本降低网络负载，提高备份效率加快数据恢复，降低风险重复数据删除重复数据删除是一种数据缩减技术，通常用于基于磁盘存储设备的高级功能存储设备常用软件备份基础知识容灾基础知识快照软件存储自动分层多路径冗余自动精简配置重复数据删除备份的基本概念备份策略介绍备份类型介绍容灾的基本概念容灾的国家标准容灾的常用技术存储设备的高级功能存储设备常用软件备份基础知识容灾基础知识快备份技术基础知识——概念备份是指利用备份软件把数据从磁盘备份到磁带进行离线保存。

1.备份方式支持每次针对增量数据进行保护、可以制定策略自动完成，并且可以对正在使用的数据（如注册表）进行保护

2.备份数据是磁带格式，不能被应用系统直接访问3.备份过程中，应用系统的性能、带宽等都会受影响备份技术基础知识——概念备份是指利用备份软件把数据从磁盘备份备份窗口：BackupWindow是一个时间概念，即一个工作周期内留给备份系统进行备份的时间长度。业务连续性要求越高，备份窗口就会越小备份窗口与RPO的关系业务连续性越高(比如7x24小时的应用)，备份窗口与业务连续性的矛盾就越突出备份技术基础知识——备份窗口备份窗口：BackupWindow备份窗口与RPO的关系备备份技术基础知识——备份策略全备份：是对数据的完全备份增量备份：是对上次全备份或者增量备份后被修改了的文件做备份优点是备份数据量小，需要的时间短缺点是恢复的时候需要多份备份数据，出问题的风险较大差量备份：是备份自上次全备份后被修改过的文件优点是恢复速度相对较快，因为只需要两份磁带—最后一次完全备份和最后一次差量备份缺点是每次备份需要的时间较长

周一周二周三周四周五周六星期天全备份星期天

周一周二周三周四周五周六全备份备份技术基础知识——备份策略全备份：差量备份：备份技术基础知识——Lan备份LANLAN备份所需设备优势分析WinLin备份服务器存储客户端客户端主模块备份服务器存储客户端主模块服务器存储备份软件备份用户通过通过LAN共享和备份服务器相连的备份设备对备份工作集中管理备份技术基础知识——Lan备份LANLAN备份所需设备优势分备份技术基础知识——Lan-Free备份LANSANWinLin备份服务器存储带库LAN-Free备份优势分析引入SAN，提高数据块的传输速率备份数据流和业务数据流的分离容易扩展备份容量备份技术基础知识——Lan-Free备份LANSANWin存储设备的高级功能存储设备常用软件备份基础知识容灾基础知识快照软件存储自动分层多路径冗余自动精简配置重复数据删除备份的基本概念备份策略介绍备份类型介绍容灾的基本概念容灾的国家标准容灾的常用技术存储设备的高级功能存储设备常用软件备份基础知识容灾基础知识快数据中心正面临自然灾害:火山地震人为灾难:骇客攻击，病毒入侵技术灾难:设备故障，电力故障本地数据灾难的主要原因：本地数据丢失的主要原因：系统硬件故障人为操作失误网络内非法访问者的恶意破坏只有6%的企业继续营业！