网络存储备份技术.ppt

网络存储备份技术 2 主要内容 RAID存储技术网络存储方案DAS存储技术SAN存储技术NAS存储技术 3 什么是磁盘阵列 RAIDRedundantArrayofIndependentDisks 廉价硬盘冗余阵列基本概念来自於集结多个容量小 又不贵的硬磁盘组成一个磁盘阵列 产生比一个容量大但是较贵的硬磁盘还要好的效能 通常说的 磁盘阵列 则是指由自带CPU的阵列控制器控制的一个硬盘阵列柜 一种海量存储设备 4 磁盘阵列产品的分类 IDE磁盘阵列低端产品 按使用硬盘可分为ATA和S ATAATA产品使用普通ATA硬盘 成本低 但P ATA的硬盘最高传输率的理论值为133MB s 所以I O性能是其弱项 SATA产品第一代SATA接口的标准为150MB 接近于SCSIUltra160I O速率 价格却明显低于SCSI硬盘 性价比最突出 SASSCSI磁盘阵列中端产品 丰富的产品系列 如双控制器 冗余电源 风扇 避免系统的单点故障的SCSI存储产品 将业务的不停顿服务变为可能 容量可按需求扩容也是SCSI主要的性能之一 FC磁盘阵列高端产品 所有的先进技术都在FC磁盘阵列系统中体现 完善的硬件冗余 Cableless无线缆模块化设计 涡轮散热系统 LES监控模块 GUI的管理软件等等 其中全光纤产品内部使用FC硬盘 无论是外部主机通道还是内部磁盘通道都是2Gb s带宽 半光纤产品内部使用SATA或SCSI硬盘 外部主机通道是2GFibre 5 FC RAID 6 磁盘阵列的实现方式 基本原理一个 阵列控制器 Arraycontroller 来控制多个硬盘的相互连接 使多个硬盘的读写同步以减少错误 提高效率和可靠性的存储控制技术 软阵列 SoftwareRAID 通过软件 如操作系统 实现 占用CPU时间 可靠性较差 一般不用1 整体拥有成本较低2 需要服务器主机进行全部的RAID运算3 会大幅降低服务器整体效能4 操作系统异常时无法提供任何保护5 可靠性较低硬阵列 HardwareRAIDAdapter 通过专门的阵列控制器实现 7 阵列控制器 磁盘阵列系统 8 建邦科技 Tekram 公司IntelligentRAIDDC 922磁盘阵列卡 微处理器 Inteli960RM100MHz64BitRISCI OProcessorSCSI控制芯片 LSISYMBIOS53C896SCSIChipset TekramDC 922的心脏Inteli960RMI OProcessor 9 为什么需要磁盘阵列 提高存储速度过去十多年来 CPU的处理速度增加了数十倍 内存的存取速度亦大幅增加 而数据储存装置 主要是磁盘 harddisk 的存取速度只增加了三 四倍 形成电脑系统的瓶颈 拉低了电脑系统的整体性能 若不能有效的提升磁盘的存取速度 CPU 内存及磁盘间的不平衡将使CPU及内存的改进形成浪费 提高存储可靠性提供为实现数据保护而必需的数据冗余 10 为什么需要RAID的十大理由 1 确保数据的完整及有效 2 确保数据的可靠性 3 确保商业竞争优势 4 增进磁盘存取效率 5 服务器的必要安全配备 6 有重要数据的PC安全设备 7 多媒体之播放加速 8 可实时备份数据 不必担心硬盘损毁 9 节省传统备份方式之人力 时间及高成本设备的浪费 10 加大硬盘的固定容量 11 如何提高磁盘的存取速度 法一 使用磁盘高速缓存 diskcache 控制技术将从磁盘读取的数据存在高速缓存 cache 中以减少磁盘存取的次数 这种方式在单任务环境 如DOS 之下 对大量数据的存取有很好的性能 量小且频繁的存取则不然 但在多任务环境 如Windows 之下 或因为要不停的作数据交换的动作 或因为数据库的频繁存取 每一记录都很小 就不能显示其性能 而且这种方式没有任何安全保障 12 如何提高磁盘的存取速度 法二 使用磁盘阵列控制技术把多个磁盘组成一个阵列 当作单一磁盘使用 它将数据以 条块 striping 的方式储存在不同的磁盘中 存取数据时 阵列中的相关磁盘一起动作 大幅减低数据的存取时间 同时有更佳的空间利用率 13 磁盘阵列系统的基本功能 一般高性能的磁盘阵列都是以硬件 把磁盘快取控制及磁盘阵列结合在一个阵列控制器 RAIDcontroller 上 形式出现 满足人们对磁盘输出入系统的四大要求 增加存取速度 容错 faulttolerance 即安全性 一个或几个硬盘损坏不会导致用户数据丢失 有效的利用磁盘空间 尽量的平衡CPU 内存及磁盘的性能差异 提高电脑的整体工作性能 14 磁盘阵列的两个基本技术 磁盘延伸 DiskSpanning 把小容量的磁盘延伸为大容量的单一磁盘 用户不必规划数据在各磁盘的分布 从且提高了磁盘空间的使用率 SCSI磁盘阵列更可连接几十个磁盘 形成数十GB到数百GB的阵列 使磁盘容量几乎可作无限的延伸 15 磁盘阵列的两个基本技术 磁盘或数据条块化 DiskStripingorDataStriping 数据按需要分段 从第一个磁盘开始放 放到最後一个磁盘再回到第一个磁盘放起 直到数据分布完毕 从上图我们可以看出 数据以分段于在不同的磁盘 整个阵列的各个磁盘可同时作读写 故数据分段使数据的存取有最好的效率 理论上本来读一个包含四个分段的数据所需要的时间约 磁盘的accesstime 数据的transfertime 4次 现在只要一次就可以完成 16 RAID级别 磁盘阵列中针对不同的应用使用的不同技术 称为RAIDlevel 每一level代表一种应用技术 目前业界公认的标准是RAID0 RAID5 但level并不代表技术的高低 level5并不高于level3 level1也不低过level4 至于要选择那一种RAIDlevel的产品 纯视用户的操作环境及应用而定 很多人对磁盘阵列的误解 以为磁盘阵列非要RAID5不可 其他如RAID6 RAID7 乃至RAID10等 都是厂商各做各的 并无一致的标准 常用的RAID级别有 RAID0 RAID1 RAID5和RAID10 RAID0 1 17 RAID0 单纯数据条块化 数据条块化 的 无容错能力 磁盘驱动器群组所有磁盘阵列系统中 数据存取效能最佳和磁盘空间利用率最高的一种 Diskstriping也称为RAID0 将所有硬盘组成一个阵列 可同时多盘读写 对于一个由n个硬盘组成的RAID0阵列 存储速度理论上是单个硬盘的n倍 对操作系统来说 组成RAID0的磁盘被视为一个单独的逻辑磁盘 但RAID0不提供任何数据冗余 如果阵列内的某个磁盘出现了错误 所有的数据都会丢失 所以通常要使用其他备份方式 如磁带 来提高可靠度 据对DELL阵列产品PowerVault660F 224F的研究 配有14个硬盘的RAID0系统三年内发生数据损失的可能性可达77 优点 传输率和硬盘利用率最高 价格便宜 缺点 无冗余 可靠性最差 其中一个磁盘发生故障 所有数据将丢失 应用 通常使用在暂存数据和高I O速率的工作站 18 RAID0Striping WithRAID0andusingthe2 80Gbharddisksyouwouldgetthefull160Gbofstoragespace Althoughthedataissplitbetweenthe2harddisks Thereisnodataredundancy duplicatedata Thisallowsforthefullstoragespacetobeused 19 RAID1 磁盘镜像和磁盘双工 在RAID1系统中 相同的数据被存储在两个硬盘上 100 冗余 当一个磁盘驱动器发生故障时 在另一个磁盘上可立即获得数据 从而无损数据完整性 通过一个SCSI通道映射两个磁盘时我们称之为 磁盘镜像 如果每个磁盘都与独立的SCSI通道连接 我们称之为 磁盘双工 更加安全 RAID1为数据安全和系统可用性提供了一种简单及高效的解决方案 优点 可用性高 即使一个磁盘发生故障 逻辑硬盘上的数据依然可用 缺点 需要2个磁盘 但只使用其中一个存储数据 应用 通常使用于较小的系统 其中一个磁盘的容量足够 并用作启动盘 20 RAID1 21 RAID1Mirroring Whenusingtwo80GbharddiskswiththeRAID1functionyouwouldonlyreceive80Gbofstoragespace Becauseyouareusingthetwodrivestocontainthesamedata thelogicaldrivewillappearasasingle80Gbdrive 22 RAID1 磁盘镜像备份 磁盘驱动器群组所有拥有容错能力的磁盘阵列系统中 容错能力最好 磁盘空间利用率最低 数据存取效率最高的一种 使用磁盘镜像 diskmirroring 技术 并以磁盘延伸的方式形成阵列 以数据分段的方式进行储存 故与RAID0具有几乎相同的读写性能 但RAID1还能完全做到了容错和不停机 容错 即使磁盘故障 数据仍能保持完整 不停机 发生磁盘故障时系统能持续工作而不停顿 仍可正常读写磁盘并可将此磁盘拆下来而不影向其他磁盘的操作 待新的磁盘换上去之后 系统即时做镜像 将数据重新复上去 23 RAID10 RAID0 1的综合体 RAID10是RAID0 性能 和RAID1 数据安全 的结合 以提供了良好的性能和数据安全性 与RAID0相同之处在于 在较高负载条件下可以保证最佳性能 与RAID1相同之处在于 50 的安装容量被用作冗余 在RAID0 1配置下 数据被分段存入到一个磁盘组1 然后又被镜象到另一个磁盘组2 从而既产生了良好的输入 输出性能 又可获得了良好的可靠性 如果一个磁盘组中的硬盘出现错误 该磁盘组的数据将会丢失 但所有数据都保留在镜象磁盘组上 但如果第二个磁盘组中任何一个硬盘在第一个磁盘组恢复前出现错误 那么所有的数据都会丢失 优点 可用性高 即使一个磁盘发生故障 逻辑硬盘上的数据依然可用优点 良好的写入性能缺点 需要偶数个磁盘 最少为4个 另外只能使用一半的磁盘容量应用 通常使用于需要较高序列写入性能的场合 24 RAID0 1StripingandMirroring Inthisexamplewewouldneedtouse480Gbdrives RAID0 1isacombinationofthetwoaboveandsostorageworksoutasacombinationofthetwoaswell Thelogicaldrivewillappearasasingledrive thisdrivescapacitywillbe160Gb The2stripeddriveswillbeincludedinthelogicaldrivesspace butasabovethemirroreddriveswillappearinvisibletotheuser 25 RAID2和RAID3 带出错校验的比特级数据条块化 容错能力好 磁盘空间利用率较高 大数据量存取性能好 二者的主要区别在于数据安全技术不同 RAID2采用 海明码 进行错误校正及检测 故需要较多的额外磁盘 如8个数据盘需要3个校正盘 而RAID3采用奇偶校验的 paritycheck 技术 所需的额外磁盘数大大减少 只需一个 故常用之 26 RAID3工作示意图 27 RAID2和RAID3 在一个由n个硬盘组成的阵列中 RAID3可承受一个硬盘的失败 如奇偶校验盘失败 剩余的数据硬盘不受影响 但冗余将丢失 如果数据硬盘出现了失败 RAID控制器使用剩余的数据硬盘及奇偶校验盘计算丢失的数据 以恢复出现错误的硬盘 不会有数据丢失 但如果在发生错误的硬盘恢复以前另一个硬盘又出现错误 那么RAID内所有的数据都将丢失 据对DELL阵列产品PowerVault660F 224F的研究 配有14个硬盘的RAID3系统三年内发生数据损失的可能性低于38 28 RAID2和RAID3都采用 共轴同步 技术 即存取数据时 整个磁盘阵列一起动作 在各作磁盘的相同位置作平行存取 而且其总线是特别设计的 能以大带宽并行传输所存取的数据 所以有最好的传输时间 在大型档案的存取应用 它们均有最好的性能 但如果档案太小 因为磁盘的存取是以扇区为单位 而RAID2 3的存取是所有磁盘平行动作 故小于一个扇区的数据量会使其性能大打折扣 RAID2 3技术是设计给需要连续且大量数据的电脑使用的 如大型电脑 作影像处理或CAD CAM的工作站等 并不适用于一般的多用户环境 网络服务器 小型机或PC RAID2和RAID3 29 RAID4 带有指定奇偶校验的数据条块 RAID4与RAID0非常相似 数据分割在各磁盘之间 此外 RAID控制器也会计算单个磁盘 P1 P2 上存储的冗余性 奇偶校验信息 即使有一个磁盘发生故障 所有的数据完全可用 丢失的数据通过有效数据以及奇偶校验信息计算后存取 与RAID1不同之处在于 只需要一个磁盘空间用于冗余 假如有一个由5个磁盘组成的RAID4磁盘阵列 其中80 的安装磁盘容量用于用户容量 则只有20 的容量用于冗余 如果存在许多小数据块时 奇偶校验磁盘将出现吞吐量的瓶颈 对于较大的数据块 RAID4将展示大大提高的性能 优点 可用性高 即使一个磁盘发生故障 逻辑硬盘上的数据依然可用优点 很好地利用了磁盘空间 如n个磁盘的阵列 n 1被用作数据存储 缺点 必须计算冗余信息 这样就限制了写入性能应用 由于安装容量与实际可用容量的比率较高 通常使用于较大的数据存储系统 30 RAID5 带有分段的奇偶校验的数据条块 与RAID4不同 RAID5磁盘阵列中的奇偶校验数据分割在各磁盘之间 RAID5磁盘阵列提供更加平衡的吞吐量 即使对多重任务和多用户环境中的小数据块 它的响应时间都十分良好 RAID5与RAID4的安全级别相同 其中一个磁盘发生故障时 所有的数据完全可用 丢失的数据通过有效数据以及奇偶校验信息计算得出 优点 可用性高 即使一个磁盘发生故障 逻辑硬盘上的数据依然可用优点 很好地利用了磁盘空间缺点 必须计算冗余信息 这样就限制了写入性能应用 由于安装容量与实际可用容量的比率较高 通常用于较大的数据存储系统 31 32 RAID4和RAID5 容错能力好 磁盘空间利用率较高 小数据密集存取性能好 RAID4和RAID3是一样的 但RAID4可以兼容更大的数据块 RAID5与RAID4很相似 但只是奇偶校验数据被分段保存到所有的硬盘 即它不用校验磁盘而将校验数据以循环的方式放在每一个磁盘中 而不是写入一个指定的硬盘 从而消除了读取单个奇偶校验盘引起的瓶颈问题 所以RAID5能大幅增加小档案的存取性能 不但可同时读取 甚至有可能同时执行多个写入的动作 这对联机交易处理 OLTP 如银行系统 金融 股市等或大型数据库的处理提供了最佳的解决方案 因为这些应用的每一笔数据量小 磁盘输出入频繁而且必须容错 RAID4和RAID5的可靠性同RAID3 33 RAID6IndependentDatadiskswithtwoindependentdistributedparityschemes 独立的数据硬盘与两个独立分布式校方案 RAID6等级是在RAID5基础上 为了进一步加强数据保护而设计的一种RAID方式 实际上是一种扩展RAID5等级 与RAID5的不同之处于除了每个硬盘上都有同级数据XOR校验区外 还有一个针对每个数据块的XOR校验区 当然 当前盘数据块的校验数据不可能存在当前盘而是交错存储的 具体形式见图 34 RAID6 这样一来 等于每个数据块有了两个校验保护屏障 一个分层校验 一个是总体校验 因此RAID6的数据冗余性能相当好 但是 由于增加了一个校验 所以写入的效率较RAID5还差 而且控制系统的设计也更为复杂 第二块的校验区也减少了有效存储空间 由于RAID6相对于RAID5在校验方面的微弱优势和在性能与性价比方面的较大劣势 RAID6等级基本没有实际应用过 只是对更高级的数据的冗余进行的一种技术与思路上的尝试 35 RAID7OptimizedAsynchronyforHighI ORatesaswellasHighDataTransferRates 最优化的异步高I O速率和高数据传输率 RAID7等级是至今为止 理论上性能最高的RAID模式 因为它从组建方式上就已经和以往的方式有了重大的不同 基本形式见图 以往一个硬盘是一个组成阵列的 柱子 而RAID7中多个硬盘组成一个 柱子 换言之 在RAID7中 以前的单个硬盘相当于分割成多个独立的硬盘 有自己的读写通道 这样做的好处就是在读 写某一区域的数据时 可以迅速定位 而不会因为以往因单个硬盘的限制同一时间只能访问该数据区的一部分 36 关于RAID7 RAID7是一个整体的系统 有自己的操作系统 有自己的处理器 有自己的总线 而不是通过简单的插卡就可以实现的 RAID7的主要特性如下 所有的I O传输都是异步的 都有自己独立的控制器和带有Cache的接口 与系统时钟并不同步所有的读与写的操作都将通过一个带有中心Cache的高速系统总线 X Bus 专用的校验硬盘可以用于任何通道带有完整功能的即时操作系统内嵌于阵列控制微处理器 负责各通道的通信以及Cache的管理 这也是它与其他等级最大不同之一连通性 可增至12个主机接口扩展性 线性容量可增至48个硬盘开放式系统 运用标准的SCSI硬盘 标准的PC总线 主板以及SIMM内存在Cache内部完成校验生成工作多重的附加驱动可以随时热机待命 提高冗余率和灵活性易管理性 SNMP 简单网络管理协议 可以让管理员远程监视并实现系统控制按照RAID7设计者的说法 将比其他RAID提高150 600 写入I O性能 37 RAID7 已被SCC公司 StorageComputerCorporation 注册了商标 38 2网络存储方案 39 今天的存储解决方案 DAS 直连存储 大型服务器采用的主要存储方式SAN 存储网络 网络化的DASNAS 网络存储 适用于多用户网络环境 SAN结构中 文件管理系统 FS 还是分别在每一个应用服务器上 而NAS则是每个应用服务器通过网络共享协议 如 NFS CIFS 使用同一个文件管理系统 换句话说 NAS和SAN存储系统的区别是NAS有自己的文件系统管理 40 DAS直接存储 数据块方式存储 DAS DirectAttachedStorage 直接将存储设备连接到服务器上以 服务器为中心 的数据管理方式 41 TypicalLANusingDAS 42 DAS的主要优点和缺点 优点价格低廉 配置简单 使用方便缺点不能适合将分散存储的数据集中起来统一管理的需求不能提供不同操作系统下文件的共享不是独立的存储系统 向DAS设备存取数据时必须通过相应的服务器或客户端数据的IO读写和存储维护管理 数据备份和恢复要求占用服务器主机资源 包括CPU 系统IO等 数据流需要回流主机再到服务器连接着的磁带机 库 数据备份通常占用服务器主机资源20 30 因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行 以免影响正常业务系统的运行 存储阵列容量的扩展 都会造成业务系统的停机 43 SAN存储网络 数据块方式存储 SAN StorageAreaNetwork 以光纤交换机为中心的独立的数据存储设备SAN通常由存储设备 磁盘阵列等 和光纤交换机组成在网络服务器群的后端 采用光纤通道 FC 协议连接成高速专用网络 44 SAN 存储网络 45 StorageAreaNetworks SAN 莆田学院现代教育技术中心2005年6月 46 SAN的主要优点和缺点 优点 与DAS相比 高性能 高扩展性 可升级性 稳定性和可用性都大大加强数据集中管理 网络内部传输很快 总拥有成本降低缺点成本较高 每端口1000美元的光纤交换设备和昂贵的光纤存储设备 客户端不能直接访问SAN 而要通过相应的服务器操作系统进行 异构环境下不能实现文件共享存储资源共享 但不提供数据共享 47 NAS网络存储 文件级方式存储 NAS NetworkAreaStorage 一种特殊的专用数据存储服务器 包括存储器件 磁盘阵列 CD DVD驱动器 磁带驱动器等 和内嵌系统软件 可提供跨平台文件共享功能采用一个面向用户设计的 专门用于数据存储的简化操作系统将存储器从应用服务器中分离出来 进行集中管理 存储网络 48 TypicalLANusingNAS 49 NAS网络拓扑 NAS是一种专业的网络文件存储及文件备份设备 它是