IT行业存储基础知识培训(ppt 110页).ppt

IT行业存储基础知识培训 RAID技术 RAID基本概念 定义 RAID RedundantArrayofIndependentDisks 即独立磁盘冗余阵列 RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘 从而达到提升存储容量 读写性能和数据安全性的目的 根据不同的组合方式可以分为不同的RAID级别 可靠性 未使用RAID 一旦硬盘损坏 资料将丢失 作业将停顿 资料仍然存在 使用RAID RAID出现原因一 提高容量 未使用RAID 使用RAID 硬盘容量 单块硬盘容量 硬盘容量 单块硬盘容量xN RAID出现原因二 一旦硬盘损坏 资料将丢失 作业将停顿 提升速度 速度 Nx 单块硬盘的速度 Totalrequestexecutiontime SoftwaresetupAccessTimeDataTransferSoftwareCompletion RAID出现原因三 CPU运算速度飞速提高 数据读写速度不应该成为计算机系统处理的瓶颈 RAID基本概念 条带 分条 条带 硬盘0 硬盘2 硬盘1 硬盘3 大数据块写入RAID时会被分成多个数据块并行写入多块硬盘 这些大小一致的数据块就称为条带 同时数据读取时会并行从多块硬盘读取条带数据 最后完整输出 条带无疑会大幅度提升整体读写效率 RAID基本概念 重建 Rebuild 数据盘 A1 P A0 A1 P XOR 故障 数据盘 校验盘 A2 A2 XOR 数据盘 更换 某块硬盘出现故障后 一旦将其更换为正常硬盘 RAID便会通过其他硬盘数据计算出坏盘上原有的数据 再将数据重建回新添硬盘上 RAID热备盘 HotSpare 热备份是在建立RAID磁盘阵列系统的时候 将其中一磁盘指定为热备磁盘 此热备磁盘在平常并不操作 当阵列中某一磁盘发生故障时 热备磁盘便取代故障磁盘 并自动将故障磁盘的数据重构在热备磁盘上 热备盘分为 全局热备盘和局部热备盘全局热备盘 针对整个磁盘阵列 对阵列中所有RAID组起作用 局部热备盘 只针对某一RAID组起作用 因为反应快速 加上快取内存减少了磁盘的存取 所以数据重构很快即可完成 对系统的性能影响不大 对于要求不停机的大型数据处理中心或控制中心而言 热备份更是一项重要的功能 因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便 热备与重构 在线操作特性系统中需设置一个热添加的备份盘或用一个新的替代磁盘替代故障磁盘当满足以下条件时开始数据自动重构有一个热备份盘存在独立于故障磁盘的所有磁盘都配置为冗余阵列 RAID1 3 5 0 1 所有的操作都是在不中断系统操作的情况下进行的 RAID5setofdrives 4active 1hot spare COPYBACK完成 某个磁盘损坏 重构过程开始 重构过程结束 RAID5可靠性恢复冗余 插入新磁盘 COPYBACK开始 RAID基本概念 物理卷和逻辑卷 RAID10 RAID5 RAID由几块硬盘 物理卷 组成RAID可以多个硬盘按照指定容量创建一个或多个逻辑卷 便通过LUN LogicUnitNumber 来标识 一个逻辑卷对于主机来说就是一块硬盘 物理卷 物理卷 物理卷 逻辑卷 逻辑卷 多个物理卷上创建1个逻辑卷 多个物理卷上创建2个逻辑卷 LUN2 LUN3 RAID0条带存储 Striping 原理 又称数据分条 即把数据分成若干相等大小的小块 并把它们写到阵列上不同的硬盘上 这种技术又称 Stripping 即将数据条带化 RAID0在读写时是以并行的方式对各硬盘同时进行操作 优点磁盘空间利用率最高在所有的级别中 RAID0的速度是最快的 缺点无冗余功能 如果一个磁盘损坏 则所有的数据都无法使用不适合关键业务 应用媒体编辑图像编辑需要高带宽的应用 RAID1镜像 双工 优点数据安全性相对其它RAID级 是最好的缺点磁盘利用率只有50 是所有RAID上磁盘利用率最低的一个级别 原理 即每个工作盘都有一个镜像盘 每次写数据时必须同时写入镜像盘 读数据时只从工作盘读出 一旦工作盘发生故障立即转入镜像盘 从镜像盘中读出数据 当更换故障盘后 数据可以重构 恢复工作盘正确数据 应用财务金融需要高数据可用性的应用 RAID3 条带分布 专用盘校验 原理 使用至少三块硬盘配置 在其中的一块硬盘上存贮专用的校验数据 当某块硬盘出现故障时 其它硬盘可以通过校验数据将有故障的硬盘的数据重新恢复出来 特点 数据以位或字节的方式存于各盘 分散记录在组内相同扇区的各个硬盘上 优点高可用性磁盘利用率较高 N 1 并行I O传输 顺序读性能较高缺点校验盘成为性能瓶颈每次读写牵动整个组 每次只能完成一次I O 应用流媒体服务器图像编辑视频编辑 RAID5 条带技术 分布式校验 原理 RAID5将所有校验的数据分别存贮在所有的硬盘上 每一个硬盘的不同地方既存贮数据 也存贮校验数据 当某块硬盘出现故障时 其它硬盘可以通过校验数据将故障的硬盘的数据重新恢复出来 优点高可用性磁盘利用率较高 N 1 没有固定的校验盘 奇偶校验信息均匀分布在阵列所属的所有磁盘中随机读写性能高允许在同一组内并发进行多个写操作缺点异或较验影响存储性能 应用文件及应用服务器数据库服务器Web E mail局域网服务器 RAID6 Doubleparitydrive 高级数据保护 特点 较高的数据冗余性能 超强的数据保护能力 可以应付多颗盘同时出错 优点 允许在同一组内并发进行多个写操作缺点 计算校验地址占用较多的处理时间 较低的写入速率 RAID6P Q RAID6P Q会根据公式计算出P和Q的值 当有两个数据同时丢失时 仍可以计算出原数据 RAID级别比较 其中RAID3与RAID5的区别为 RAID3更适合于顺序存取 RAID5更适合于随机存取 需要根据具体的应用情况决定使用那种RAID级别 RAID性能比较 RAID组建方式一 SoftwareRAID OS 無RAID專用CPU作業系統無法安裝在RAIDLogicalDisk速度較小 硬碟擴充性較小安裝主機內部 需RAID程式 維護複雜 NT Unix Linux SCSIBus SCSICard RAID组建方式二 RAIDCard 提供RAID專用CPU作業系統可安裝在RAIDLogicalDisk速度快 硬碟擴充性大安裝主機內部 需驅動程式 維護複雜 SCSIBus NT Unix Linux RAIDCard RAID组建方式三 RAIDController 提供RAID專用CPU作業系統可安裝在RAIDLogicalDisk速度快 硬碟擴充性大與主機分離 不需驅動程式 維護容易可接多主機 Cluster 與雙控制器 ControllerFailOver NT Unix Linux HostChannel DiskChannel HOSTandO S Independent Fibre SCICard RAID优点 硬盘容错 faulttolerance 提高I O处理速度 highperformance 提升传输速率 fastdatatransfer 提高资料使用率 highavailability 维护方便 easymaintenance DASNASSAN 存储体系架构介绍 DirectAttachedStorage DAS 直接外挂存储服务器直接后挂存储设备 最经济的一种结构 NetworkAttachedStorage NAS 网络连接存储网络上直接挂接的存储设备 相当于一个网络文件共享服务器 StorageAreaNetwork SAN 存储区域网络应用光纤技术的SAN网络 传输介质为光纤 性能最高 目前使用较广ISCSI IP SAN iSCSI 利用TCP IP协议连接存储设备 可以理解为SCSIoverIP 是将SCSI命令封装到TCP IP数据包中 通过IP网络传输SCSI数据 DAS 直连存储 Client2 ServerAApplicationA ServerBApplicationB ServerCApplicationC DisksforServerA DisksforServerB DisksforServerC Client3 Client1 LocalAreaNetwork SAN 存储局域网络 Client2 Client3 Client1 ServerAApplicationA ServerBApplicationB ServerCApplicationC DisksforServerA DisksforServerB DisksforServerC SAN LocalAreaNetwork DiskArray NAS 网络附加存储 DisksforFileSystemA DisksforFileSystemB NASDeviceAFileSystemA NASDeviceBFileSystemB Internal Externalconnectivitytodisksorarrays ServerAFileSystemA ServerBFileSystemB Client1 Client2 Client3 LocalAreaNetwork SAN iSCSI NAS的特点 NAS为解决数据共享问题和优化文件 File 存储而产生的存储技术文件管理系统在存储设备端 是文件服务 IP的一种技术多应用于非结构化数据 文件 SAN为解决DAS的问题而产生的存储技术是DAS 网络的一种技术多应用于OLTP系统 如 ERP iSCSIiSCSI也叫IPSAN多应用于PC服务器平台 Windows SQLServer Exchange Linux 小型数据库 应用系统 NAS SAN iSCSI 操作系统 文件管理系统 RAID控制 磁盘读写 应用系统IO调用模式 存储架构适用分类 SAN 提供可用性 可管理性和扩展性目标应用 数据库 ERP OLTP灾难恢复数据仓储 NAS 易于安装和管理 低价位 目标应用 文件服务器集中 更换PDM CAD文件共享 DAS 只适用于小型商务 IP SAN与FC SAN比较 IP SAN适用环境 异地间的数据交换及容灾 备份 非关键应用的集中存储 FC SAN适用环境 关键应用的集中存储 备份及容灾 DAS优点 成本低 对于小型用户来说 易于维护缺点 性能不高 系统停机多 资源无法共享 多系统环境下的管理成本增加NAS优点 方便 文件级的数据共享 集中化管理缺点 需要贡献文件系统 安全性无法保障 性能一般 磁盘级数据无法共享 集中 复杂系统的成本大 维护难 扩容受限SAN优点 集中化的管理 高性能 减少停机时间 安全保障高缺点 成本昂贵 系统复杂 磁盘阵列的兼容性限制了设备选择空间及资源共享 DAS NAS SAN与ISCSI性能比较 数据备份手段一 硬件级备份硬件级的备份是指用冗余的硬件来保证系统的连续运行 比如磁盘镜像 双机容错等方式 如果主硬件损坏 后备硬件马上能够接替其工作 这种方式可以有效地防止硬件故障 但无法防止数据的逻辑损坏当逻辑损坏发生时 硬件备份只会将错误复制一遍 无法真正保护数据 硬件备份的作用实际上是保证系统在出现故障时能够连续运行 更应称为硬件容错 数据备份手段二 软件级备份软件级的备份是指通过备份软件将数据保存到其他介质上 当出现错误时可以将系统恢复到备份时的状态 由于这种备份是由软件来完成的 所以称为软件备份 用这种方法备份和恢复都要花费一定时间 但这种方法可以完全防止逻辑损坏 因为备份介质和计算机系统是分开的 错误不会复写到介质上 这就意味着 只要保存足够长时间的历史数据 就能够恢复正确的数据 数据备份手段三 人工手动备份人工级的备份最为原始 也最简单的备份 但如果要用手工方式从头恢复所有数据 耗费的时间恐怕会令人难以忍受 数据备份目的 重新利用 备份工作的核心是恢复恢复 Recovery 重新创建整个应用或计算环境过去的操作状态在应用或计算环境被破坏或其他原因导致的不能使用后 需要进行恢复恢复模式 完全恢复 小颗粒恢复 数据恢复 FileServer DatabaseServer BackupServers TapeLibrary Tapes 数据快照技术 快照 Snapshot 为指定的数据集创建一个完全可用的数据副本 它包含了副本在创建时刻 时间点 的数据映像快照实现方法 存储嵌入式快照 快照软件运行在网上的存储设备中基于主机的快照 快照软件运行在服务器中 通常驻留在操作系统级别的逻辑卷中 什么是快照 FileServer DatabaseServer BackupServers TapeLibrary Tapes 常见快照技术分类 全拷贝快照分离镜像 Splittingamirror 差分快照写即拷贝 CoW CopyOnWrite 写即重定向 RoW RedirectOnWrite 随机写 WA WriteAnywhere 分离镜像的生命周期 写操作 源 镜像 镜像卷 源 镜像 原始数据 写操作 分离镜像 读和备份 记录写操作 分离镜像 写操作 1 分离镜像2 从分离镜像备份3 再同步 镜像再同步 源 镜像 分离镜像 Splittingamirror 全拷贝快照的特点 空间占用 每一次全拷贝快照需要与源盘相同大小的数据空间创建过程 每一次全拷贝快照都需要完全数据同步读写操作影响源卷的读操作不受影响源卷的写操作受数据同步的影响创建完成后 快照 卷 的读写操作保持最优 写即拷贝COW的实现 p 源盘 快照前写块1 a b c d e f g h 0 1 2 3 4 5 6 7 i 8 SAN访问 阵列 源卷 1 写操作 p 写入块1 p CoW的实现 p 源盘 快照前写块1 a p c d e f g h 0 1 2 3 4 5 6 7 i 8 SAN访问 阵列 源卷 1 写操作 p 写入块1 2 产生快照3 快照后写入 z 到块6 不一次性写入先将块6内容移入日志 z 写入源卷 z CoW的实现 p z 源盘 快照 快照前写块1 快照后写块6 g p 读块6 读块1 a p c d e f z h 6 g 0 1 2 3 4 5 6 7 i 8 SAN访问 阵列 快照索引和日志 源卷 地址 数据 1 写操作 p 写入块1 2 产生快照3 快照后写入 z 到块6 不一次性写入先将块6内容移入日志 z 写入源卷4 从快照读时组合索引 日志和源卷 1 如果快照是可读 写 快照盘上的写操作直接更新索引和日志 CoW的特点 源卷状态 源卷保持最新状态写操作步骤 当一个新的写操作执行时 首先读出写操作将要覆盖地址的当前数据将读出数据保存至专用空间并建立索引新的写操作执行 写入目标地址 读写路径影响源卷的读路径基本无影响源卷的写操作受拷贝影响对快照 卷 的读写路径都有影响 重复数据技术技术 产品背景 存储介质售价一直都在不停下降 却远远赶不上数据保存和备份的数据量的攀升速度 在这种环境下重复删除技术应运而生 重复数据删除是一种数据缩减技术 通常用在基于磁盘的备份系统 目的是为了减少存储系统中使用的存储容量 采用 重复删除 技术可以将存储的数据缩减为原来的1 15 从而让出更多的备份空间 不仅可以使磁盘上的备份数据保存更长的时间 而且还可以节约离线存储时所需的大量的带宽 用更少的空间存更多的数据 重复数据删除 依据数据处理方式的不同 分为以下两种 其一是在线处理 Inline DataDomain就是这一技术的代表厂商 这一方式中 数据在读进来之后 在存到磁盘之前就已经进行了重复数据删除 其二是以昆腾作为代表的后处理 Post processing 采用这一方式的话 数据在存到磁盘上后 才会进行重复数据删除 在存到磁盘前 数据没有减少 重复数据删除的处理方式 机械硬盘 机械式硬盘结构 主轴马达 SpindleMotor 磁头 基座 BasePlate 磁头停放区 ParkingZone 盘片 Media 传动部件 接口 容量 指硬盘能存储的数据量大小 以字节为基本单位单碟容量 硬盘都是由一个或几个盘片组成的 单碟容量就是指包括正反两面在内的单个盘片的总容量转速 即主轴马达转动速度 单位为RPM RoundPerMinute 即每分钟盘片转动圈数缓存 是硬盘控制器上的一块内存芯片 具有极快的存取速度 它是硬盘内部盘片和外部接口之间的缓冲器 机械式硬盘主要指标 一 平均访问时间 硬盘磁头找到目标数据所需的平均时间平均寻道时间 磁头寻找目标数据所在磁道所需的平均时间平均潜伏时间 当磁头移动到数据所在的磁道后 等待指定的数据扇区转动到磁头下方的时间数据传输率 内部数据传输率 数据从盘片表面传输到硬盘的缓存的速率外部数据传输率 数据从硬盘的缓存读出到外部总线的速率 机械式硬盘主要指标 二 S M A R T Self Monitoring AnalysisandReportingTechnology 自监测 分析及报告技术 监测硬件各部件 然后根据得到的关于各部件运行情况与历史记录的数据进行分析 比较 根据需要会自动向用户发出警告NCQ NativeCommandQueuing 本机命令队列 是SATA 规范支持的一种新的功能 支持NCQ的硬盘可以对指令进行排队 多达32条指令 重新编排指令执行次序 也可以立即执行指令 可提高硬盘的性能 减少CPU占用率DutyCycle 指硬盘的工作负荷 定义为特定时间段内硬盘工作时间占总时间的百分比 100 即表示硬盘每天24小时不停在进行读写操作 机械式硬盘主要技术一 机械式硬盘主要技术二 在存储系统中 硬盘的耗电量占整个系统用电量的30 SpinDown技术就是通过降低硬盘的转速甚至是让硬盘停转 达到降低硬盘能耗目的的 SpinDown技术是硬盘本身已经具有的功能 并不是新技术 人们经常用到的笔记本电脑中的硬盘就具有SpinDown功能 KeeWingWong表示 SpinDown是硬盘厂商提供的一种技术 通过HardDiskCommand使硬盘的转速变慢 硬盘的读写速度同硬盘的转速成正比更高的转速可缩短硬盘的实际读写时间硬盘缓存的大小直接影响硬盘的整体性能 转速和缓存对硬盘性能的影响 硬盘接口类型 硬盘容量发展 硬盘对比 FC磁盘 SAS磁盘 企业级SATA磁盘的性能对比 ATA IDE接口硬盘简介 ATA AdvancedTechnologyAttachment 硬盘是传统的桌面级硬盘 主要应用于个人PC机 也经常称为IDE硬盘ATA接口为并行ATA技术 下一代的产品是串行ATA SATA 最高速度133M S 已达性能极性 SATA接口硬盘介绍 SATA 串行ATA SerialAdvancedTechnologyAttachment SATA硬盘采用点对点连接方式 支持热插拔 即插即用SATA采用串行方式进行数据传输 第二代 SATA 300MB s接口硬盘目前仍是主流 SATAD 目前已经商用 速率为600MB s SCSI接口硬盘介绍 SCSI SmallComputerSystemInterface 小型计算机系统接口SCSI硬盘并发处理性能优异 常应用于企业级存储领域SCSI硬盘采用并行接口 接口速率目前发展到320MB s 基本已经达到极限 很快会被其串行版本SAS硬盘完全替代 SAS接口硬盘介绍 SAS SerialAttachedSCSI 串行SCSI接口SAS是一种点对点 全双工 双端口的接口SAS专为满足高性能企业需求而设计 并且兼容SATA硬盘 为企业用户带来前所未有的灵活性接口速率为300MB S 600MB S SAS 已经商用 FC接口硬盘介绍 FC AL fibrechannelarbitratedloop 是一种双端口的串行存储接口FC AL利用类似SATA SAS所用的4芯连接 提供一种单环拓扑结构 一个控制器能访问126个硬盘4Gb S的硬盘接口速率 8Gb S光纤主机接口速率接口已经商用 Services 固态硬盘SolidStateDisk 固态硬盘的定义 固态硬盘 是由控制单元和固态存储单元 DRAM或FLASH芯片 组成的硬盘 简单的说就是用固态电子存储芯片通过阵列的形式而够成的硬盘 其内部存储单元利用固态电子存储芯片阵列取代了传统HDD硬盘的磁碟组 固态硬盘的接口规范定义 功能及使用方法均与普通硬盘完全相同 在产品外形和尺寸上也完全与普通硬盘一致 包括3 5英寸 2 5英寸 1 8英寸多种类型 固态硬盘的存储介质分为两种 采用闪存 FLASH芯片 作为存储介质采用DRAM作为存储介质 固态硬盘的类型 LC容量更高 而且更容易出错 速度慢 SLC更昂贵 但也更可靠 速度快 且写次数更高 只是容量小 SLC和MLCSLC和MLC两者的差异在于每单元存储的数据量 密度 MLC的存储容量比SLC大 但是SLC更简单可靠 SLC读取和写入的速度都比MLC更快 而且SLC比MLC更耐用 MLC每单元可擦除1万次至5万次 而SLC可擦除10w次以上 所以 企业级的闪存产品一般都选用SLC 这也是为什么企业级产品比家用产品贵很多的原因 SSD单层单元与多层单元 数据存取速度快 固态硬盘没有传统硬盘复杂的机械结构 既没有磁碟 也不存在磁头 它无需花费较长的时间寻道 读取速度更不会受到转速的限制 防震抗摔 SSD固态硬盘内部不存在任何机械部件 这样即使在高速移动甚至伴随翻转倾斜的情况下也不会影响到正常使用 没有噪音 发热低 由于与传统硬盘物理结构不同 SSD固态硬盘不存在磁头臂寻道的声音和盘片高速旋转的噪音 也没有机械马达和风扇 工作噪音值为0分贝 固态硬盘优点 四 工作温度范围大 机械硬盘只能在5 55摄氏度范围内工作 固态硬盘的温度范围可达 10 70摄氏度 一些工业级固态硬盘的工作温度范围设置达到了 4 85摄氏度 军用 五 SSD固态硬盘比常规1 8英寸硬盘重量轻20到30克 可千万别小看这些重量 在笔记本电脑 卫星定位仪等随身移动产品上 更小的重最有利于便携 此外 重量的减轻也使得笔记本搭载多块SSD固态硬盘成为可能 成本高 每单位容量价格是传统硬盘的5 10倍 基于闪存 甚至200 300倍 基于DRAM 容量低 目前固态硬盘最大容量远低于传统硬盘 一般固态硬盘的容量是32 64 128G 256GB在目前的主流固态硬盘中处于高端 写入寿命有限 基于闪存 SSD的寿命主要是闪存写入次数的限制 一般闪存写入寿命为1万到10万次 特制的可达100万到500万次 固态硬盘缺点 WearLeveling 因为SSD存在 写磨损 的问题 当某个单元长时间被反复擦写时 不仅会造成写入的性能问题 而且会大大缩短SSD的使用寿命 所以必须设计一个均衡负载的算法来保证SSD的每个单元能够被均衡的使用 这就是wearleveling 称为损耗均衡算法 固态硬盘与传统硬盘优劣势对比 固态盘的基本构成与原理 ControllerLogic Non VolatileSLCNANDFlash Dual PortedFCInterface End to EndMulti bitErrorCorrection DDRSDRAMw SPS MultipleParallelI OChannels 固态盘的技术优势 低延时 15Krpmdrives 8drives EnterpriseFlashDrives 8drives SATAdrives 8drives CDP技术 ContinuousDataProtection持续数据保护是一套方法 CDP可以捕获或跟踪数据的变化 并将其独立存放在生产数据之外 以确保数据可以恢复到过去的任意时间点 持续数据保护系统可以基于块 文件或应用实现 可以为恢复对象提供足够细的恢复粒度 实现几乎无限多的恢复时间点 从数据保护时间上分为 CDP技术分为真CDP TrueCDP 和准CDP NearCDP 两类 CDP技术简述 备份 快照 复制 CDP Archive 归档 将相对不重要的数据转移到速度较慢并且价格便宜的存储介质上 是一种最原始却最为有效的节约成本的方式 数据归档集成了数据迁移 管理 收集 保存以及介质管理等功能 主要用于长久保存数据和文件以备日后查询取用 RTO 恢复时间目标 在业务中断后的某一个时间点 业务的进程或应用服务必须恢复 确保业务正常进行 你能接受多长的宕机时间 RPO 恢复点目标 在已确定的RTO内 应用数据或文件系统信息必须恢复到某一个时间顺序点 你能接受丢失多少数据 什么是RTO RPO 数据保护时间轴 Failure出错时刻 12hrs 12hrs 12hrs 12hrs 12hrs 12hrs 什么是复制 复制 Replication 通过网络 LAN WAN 把数据从一个地方传输到另一个地方复制的种类 数据块级别复制 文件级别复制 字节级别复制 复制模式 同步复制 要求每一个写入操作在执行下一个操作处理之前 在这两个地点都能完成 处理过程明显变慢 这种复制不切实际的 会影响生产系统性能 除非第二个系统物理上离主系统比较近 异步复制 在处理下一个操作前 不等待数据在复制目标系统中被记录 这种复制性能更好 更快 复制实现方法 存储嵌入式复制 复制软件运行在网上的存储设备中基于主机的复制 复制软件运行在服务器中 通常驻留在文件系统或在操作系统级别的逻辑卷中 在线 近线 离线 在线存储是指存储设备和所存储的数据时刻保持 在线 状态 可供用户随意读取 满足计算平台对数据访问的速度要求 在线存储设备一般为磁盘和磁盘阵列等存储设备 价格相对昂贵 但性能较好 离线存储是对在线存储数据的备份 以防范可能发生的数据灾难 离线存储的数据不常被调用 一般也远离系统应用 所以人们用 离线 来生动地描述这种存储方式 近线存储 NearStore 主要定位于客户在线存储和离线存储之间的应用 就是指将那些并不是经常用到 或者说数据的访问量并不大的数据存放在性能较低的存储设备上 但同时对这些的设备要求是寻址迅速 传输率高 集群技术 集群基础知识 什么是集群技术 所谓集群就是为客户机提供资源的一组计算机系统 常见集群技术一般包括三类 高可用集群 以减少服务器中断时间为目的的集群技术 高性能计算集群 以提高科学计算能力为目的的计算机集群技术 高扩展集群 带负载均衡策略的服务器群集 集群技术 至少将两个系统连接到一起 使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器 例如 一个有两台服务器生成的WEB服务器集群系统 它对每个终端用户是透明的 而且完全就像一台服务器在工作 集群概述 服务器A 服务器B 镜像盘 心跳线 公用网络 1 在服务器之间 通过网络方式镜像数据 不需要采购磁盘阵列 节约成本2 大数据量读写时 两台服务器会出现数据不同步3 镜像数据占用大量服务器资源 降低系统性能 无磁盘阵列 有磁盘阵列 1 双机集群的主流配置方式2 采用了共享存储 消除数据不同步的现象 系统性能不会降低3 多服务器集群常采用NAS模式实现存储共享 集群的存储系统 双机热备 磁盘阵列 心跳连接 公用网络 客户端 Active Standby 服务器A 服务器B 应用 双机热备是指两台计算机为某一目的组合在一起的技术 两台计算机构成系统的两个节点 当其中一个节点不可用或者不能处理用户请求的时候 系统自动将该节点资源转移到另一个节点处理 双机互备 磁盘阵列 心跳连接 公用网络 客户端 Active Active 服务器A 服务器B 应用A 应用B 多路径基础知识 冗余路径管理软件能够解决哪些问题 避免存储链路单点故障保证在磁盘阵列控制器切换时数据访问的不间断多链路负载均衡提升存储系统访问性能 VTL 什么是虚拟磁带库 VTL 虚拟磁带库是通过存储虚拟化技术将现有的磁盘存储系统虚拟成传统的磁带库系统 包括磁带库机械臂 磁带驱动器 插槽 为数据备份系统提供高可靠 高性价比的解决方案 通过固化了专门软件的控制器 使磁盘 阵列 对主机或应用软件体现为常规物理磁带库 也称作虚拟磁带库 标准的SCSI FC或iSCSI主机接口 采用易用的管理软件配置 管理虚拟磁带库设备 备份 归档存储方式划分 存储方式不同备份 周期性备份 循环使用备份介质 归档 离线长久保存 设备 介质选择不同备份 磁带 磁盘 廉价的磁盘正在取代磁带成为主流备份介质 快速可靠的备份 恢复能力 归档 磁带 CAS设备 大容量 廉价 易用 易保存 不易更改 在线存储 离线备份 离线存档 磁带库应用减少磁盘阵列增多增加备份性能提高设备可用性 近线备份 传统磁带 长期保存备查异地容灾 高性能的磁盘阵列高性能高可用性 VTL应用市场 VTL的三种类型 磁盘阵列型 DiskArrayBased 应用服务器型 VTLAppliance 备份软件型 BackupSoftware 磁盘阵列型 顾名思义 它是以磁盘阵列为基础发展的虚拟磁带柜 透过内建于磁盘阵列控制器 RAIDController 内的虚拟软件 将储存空间仿真成磁带柜具备的所有特征 这类型的虚拟磁带柜用户以大型企业为主 采用光纤信道主机接口 支持FCSAN储域网络环境 储存容量通常在数十TB以上 有的甚至可达上百TB 磁盘阵列型 应用服务器型 透过安装在PC服务器上的虚拟磁带软件 将服务器内的硬盘 或是可被服务器控制的外接磁盘阵列 做为存放备份数据的虚拟磁带空间 由于软件架构在标准的x86平台和Linux操作系统上 成本相对较便宜 而且储存装置的限制较低 只要服务器支持 可以采用任何SCSI或光纤信道接口的磁盘阵列 与备份服务器端可以藉由SCSI iSCSI或光纤信道等传输接口相连 部署应用上较有弹性 这类型产品相当多 国外有MaxxanSVT100 DiligentVTFOpen 国内也有精业 耐特普罗等系统整合厂商推出软硬件合一的虚拟磁带柜 应用服务器型 备份软件型 直接将虚拟磁带功能整合至备份软件内 目前仅有BakboneNetVault支持这项功能 由于纯粹是依靠软件来达成仿真磁带的目的 运用上相当具有弹性 不但没有最大容量限制 可仿真的磁带柜数量 磁带数量与每卷磁带容量也都是无限的 只要储存空间足够 亦不限定需采用何种厂牌的储存系统 不过这类方案的限制是无法和其它厂牌备份软件搭配使用 备份软件型