存储基础知识2_应用与存储

1、第一部分：存储应用第二部分：OS与存储快照备份生命周期管理存储虚拟化容灾存储应用存储的应用存储的应用从数据保护说起从数据保护说起 每个企业都在大量的使用计算机处理自己的核心数据，这些数据往往是企业生产经营必不可少的部分。依赖这些数据的计算机系统的停机往往会造成企业生产经营活动的停顿，给企业造成巨大的损失。所以，可以说，这些数据是企业的生命核心。企业的IT管理员为了保证生产经营活动的持续运行 数据丢失的原因硬件故障 RAID也会损坏病毒入侵人为操作应用錯誤自然灾难快照快照 关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点（拷贝开始的时间点）的映像。快照可以是其所表示的数据的一个

2、副本，也可以是数据的一个复制品。 快照是指向保存在存储设备中的数据的引用标记或指针。可以理解为：快照有点像是详细的目录表，但它被计算机作为完整的数据备份来对待。 分割镜像快照分割镜像快照 分割镜像快照（Splitting a mirror）写操作写操作镜像子系统镜像子系统（存储阵列，逻辑卷管理器，虚拟化设备）（存储阵列，逻辑卷管理器，虚拟化设备）源源镜像镜像写操作写操作镜像子系统镜像子系统（存储阵列，逻辑卷管理器，虚拟化设备）（存储阵列，逻辑卷管理器，虚拟化设备）镜像关系终止镜像关系终止源源镜像镜像快照代理保证数据一致性快照代理保证数据一致性 database consistency 快照的数

3、据一致性问题业界大多数的存储系统在做快照时，都仅仅是对磁盘中的数据进行快照操作，而没有顾及服务器缓存中的数据。因此，经常发现快照出来的数据“不对”，与预期中的数据不一致。在存储设备执行数据快照操作时，必须同时兼顾磁盘和缓存中的数据，才能严格保证数据的一致性。 保证快照数据一致性的方法接口调用：部分存储厂商提供编程接口，在主机端放置手动编写的脚本程序。做数据快照时，通过脚本调用数据库的接口，将缓存“刷”到磁盘上，以此保证数据一致性。快照代理：少数厂商提供完全自动化的快照代理程序，针对不同的客户端应用，比如Oracle、SQL Server、Exchange、Notes等，在客户端安装不同的快照代

4、理程序，与应用程序进行联动，保证各种存储服务运行时关键业务数据的一致性和完整性。备份系统构成和架构备份系统构成和架构局域网备份系统局域网备份系统局域网备份系统局域网备份系统局域网备份系统局域网备份系统LAN备份设备备份服务器备份客户机工作站业务/数据库服务器 备份服务器安装备份管理服务器软件 备份客户机安装备份客户机软件 备份服务器连接备份设备备份软件作用备份软件作用 复制拷贝的局限性a) 只能完成一般文件系统的全备份，而不能完成增量备份；b) 不能灵活的制定自动备份策略；c) 不能自动的将大数据自动的备份到多个备份存储介质上去；d) 数据库模块，完成数据的联机备份e) 操作系统备份，完成操作

5、系统的备份 f) 不能有效的记录备份索引，如：什么时间备份，备份什么内容，备份级别？备份数据保存在哪，备份数据需要保存时间？备份软件体系结构备份软件体系结构 传统软件：集中式、文件式。性能下降、扩展问题备份源数据备份客户端备份客户端Agent备份服务器备份服务器备份目录/索引 备份管理目录/索引管理磁带管理备份数据备份数据目录目录/索引信息索引信息备份发起备份发起增量与差分备份的差异增量与差分备份的差异 增量备份备份前次备份后所产生的数据恢复时需要最新的全备份及所有的增量备份 差分备份备份所有在前一次全备份后所产生的数据恢复时只需要最新的全备份及最新的差分备份备份数据流向管理备份数据流向管理

6、LAN Free基于基于基于基于基于基于SANSANSAN的的的的的的LanfreeLanfreeLanfree备份系统备份系统备份系统备份系统备份系统备份系统备份设备Disk/Tape Library/VTL备份服务器SANLAN磁盘阵列应用服务器磁盘辅助备份的技术磁盘辅助备份的技术磁带 (tape drives, tape automation)虚拟磁带(Virtual Library System) 基本备份和恢复功能 离线保存 针对恶意破坏(黑客&病毒)的最佳保护 增强性能 增强可靠性 无缝的集成 “即时”大量恢复 平衡高可用性投资快照和克隆技术(Business Copy)性

7、能增加获得成本增加Write-to-Disk技术如何工作的技术如何工作的foo 1foo 2foo 3foo nhost 1host 2host 3host n低成本的磁盘本地或共享的存储 每个主机将自己的文件写到低成本的磁盘上. 所有文件的传输通过备份软件管理 通过备份服务器将数据传输到磁带库上Backup serverTape虚拟磁带库如何工作虚拟磁带库如何工作host 1host 2host 3host n虚拟磁带设备本地或共享存储 每个主机象磁带库备份一样写到一个或多个虚拟驱动器上. 所有文件的传输通过备份软件管理 通过备份服务器将数据传输到磁带库上Backup serverTapeW

8、rite-to-Disk 和虚拟磁带库技术比较和虚拟磁带库技术比较虚拟磁带库虚拟磁带库Write-to-Disk设置复杂性设置复杂性设置仅仅和真正的磁带库一样设置仅仅和真正的磁带库一样需要配置需要配置RAID组组, LUNs,卷和文件卷和文件系统系统数据压缩数据压缩可以实现软件和硬件的压缩可以实现软件和硬件的压缩 (软件压缩通常会影响性能软件压缩通常会影响性能) 不可以基于设备级的压缩不可以基于设备级的压缩费用费用较昂贵的购置成本较昂贵的购置成本备份软件许可证好象是带库一样备份软件许可证好象是带库一样或按每个或按每个TB颁发许可证颁发许可证通过压缩获得存储效率通过压缩获得存储效率较低的管理费用

9、较低的管理费用在绝大部分备份应用中都是免费或在绝大部分备份应用中都是免费或按按TB颁发许可颁发许可较高的管理费用较高的管理费用性能性能针对连续读写操作调试硬件设备针对连续读写操作调试硬件设备性能取决于设定的磁盘阵列和服务性能取决于设定的磁盘阵列和服务器器虚拟磁带的目标客户虚拟磁带的目标客户 由于缓慢的服务器而不能满足备份时间（backup windows）要求的客户。容量200Gb左右或更高的Windows服务器是一个很好的目标。 要执行很多单个文件恢复的客户 期望不再使用磁带的客户。警告这些客户并向他们解释可拆卸介质的益处-站点保护、防范恶意攻击（病毒/黑客）。同时，确保客户了解磁带的其它用

10、途（数据分配和复制、存档、法规） 要备份具有较短生命周期的数据的客户。 对非关键数据使用快照和克隆技术的客户。数据生命周期的三个概念数据生命周期的三个概念ABCDEFGABCDEFGABCDEFGABCDEFG 备份 Backup 归档 Archive 迁移 MigratorDataMigrator 数据迁移数据迁移 降低了在线存储的大小，从而改进了应用、备份和恢复的性能。 用N层存储体系结构来透明的扩展主存储容量。 迁移数据可用来达到保存的目的（文件归档） 消除了时常发生的容量配额问题 当前用经济的磁盘系统来做分级存储是很实用的Data MigrationSet1,000 GbbeforeS

11、tatic dataWeekly94Data Protection Backupsets700 Gb300 GbFree 300 Gbafter6630% increase in free space30% decrease in backupRecallDM policyItems over 365 days old and bigger than 10K虚拟化的原理虚拟化的原理16857管理2客客 户户管理员管理员物理资源物理资源逻辑资源逻辑资源存储虚拟化的目的存储虚拟化的目的抽象抽象Abstract统一数据管理功能统一数据管理功能“Virtualization”降低管理难度降低管理难度数

12、据跨设备流动数据跨设备流动提高可扩展性提高可扩展性提高设备使用效率提高设备使用效率隐藏隐藏Hide隔离隔离Isolate设备构件化设备构件化带内带内 virtualization 优点不需修改主机结点具有平台无关性 不足虚拟化功能部件作为I/O路径上的集中环节容易成为系统性能瓶颈扩展性较差带外带外 virtualization 不足需要在主机上增加代理软件 优点appliance在I/O路径之外而不触及真正数据，性能较高没有在I/O路径上引入集中环节，扩展性较好容灾设计的关键指标容灾设计的关键指标 RTO（Recovery Time Objective）代表容灾系统在灾难发生后数据或者系统恢复

13、所用的时间。 RPO（Recovery Point Objective）代表灾难发生时已经备份的数据与生产中心数据的时间差。 参考下图便于理解RPO与RTO的概念。成本效益分析成本效益分析 不能片面追求RPO与RTO TCO与RIO的关系 成本效益模型分析 性能最好的方案不一定是最佳方案常见数据保护技术区别常见数据保护技术区别IIIIIIIVV12345678910（CDP)最新数据备份备份快照快照复制复制CDP保护颗粒度保护颗粒度1-N 天天1-N 小时小时只有最新数据只有最新数据保留过去时间点保留过去时间点基于智能存储系统的数据容灾基于智能存储系统的数据容灾 利用存储系统内建的固件或操作系

14、统,通过IP网络或DWDM光纤通道等传输界面连接,将数据以同步或异步的方式复制到远端。智能存储将存储器I/O操作Log复制到远端的存储系统中并执行，保证数据的一致性。较容易实现主中心和备份中心的操作系统、数据库、文件的实时拷贝维护能力。 优点就是数据与运行分开,对主机系统的运行资源影响比较小。另外,借助高速缓存加速I/O存取,两端的数据差异时间点比较小, 存储系统本身具备一定的容错能力,使之具有一定的运行性能和可靠性。 最大的限制在于其昂贵的构造成本。一般需要来自同一个厂家的存储系统。 SourceUnlimited DistanceTargetSourceLimited DistanceTa

15、rget基于智能存储系统的数据容灾基于智能存储系统的数据容灾以下所有技术支持同步和异步CA直接FC500m为1Gbit 300m为2Gbit 50m线缆9m线缆交换的FC 10km，通过标准的LW GBIC或SFP40 或 80km，通过ELW GBIC和延伸的结构 50m50mFC交换机FC交换机9m线缆CWDM / DWDM200km DWDM，视交换机/FW而定100km CWDM hp continetalcluster/hp metrocluster支持无协议转换。使用专用的光纤。可以与其它光纤协议共享链路实时数据复制容灾技术层次实时数据复制容灾技术层次存储设备（磁盘阵列/光纤交换机

16、）交易控制存储设备（磁盘阵列/光纤交换机）数据库数据库应用软件应用软件消息传输I/O控制数据块传输逻辑卷（卷管理/虚拟化）逻辑卷（卷管理/虚拟化）RealSync操作系统（卷管理软件）操作系统（卷管理软件）文件传输OS与存储与存储OS与存储与存储逻辑卷管理逻辑卷管理 传统分区缺点：磁盘的划分通过分区来实现，在系统安装之前用户必须正确选择每个分区的大小分区大小是固定不变的，同时也就限制文件系统和文件的大小分配给分区的磁盘空间必须是连续，这个特点限制了分区不能跨越多个物理卷 LVM逻辑卷管理优点：可分配非连续空间，可以跨越多个硬盘可以动态增大逻辑卷的大小方便存储管理操作，包括文件系统的备份、分区的

17、删除、新分区的建立和文件系统的恢复等新的硬盘很容易动态地添加到系统DriversVG操作系统物理存储Logical Volume Manager (LVM)LVLV数据库文件系统VGLV文件系统卷组卷组VG ：Volume Group 一个卷组VG可以拥有多个硬盘，但至少拥有一个硬盘(hdisk) 一个硬盘(hdisk)只能属于一个VG，不能同时属于多个不同VG 用户可以创建多个不同VG，rootvg是操作系统所在的VG物理卷物理卷PV和和PP 存储管理器中，一个硬盘就是一个PV 一个PV要划分为大小相等的PP 同一个VG中的不同PV的PP大小要一样，默认的PP大小为4M PV必须加入一个VG

18、中，系统才能使用其存储空间Physical Volume (物理卷)Physical Partition (物理分区)逻辑卷逻辑卷LV(Logical Volume) 存储管理一个很重要的特点就是引入了“逻辑卷”这个概念，几乎所有的存储管理都围绕“逻辑卷”展开 逻辑卷LV有多个逻辑上连续的逻辑分区LP组成，逻辑分区与物理分区存在映射关系，他们大小一样Logical Partition 逻辑分区 创建了逻辑卷后，可以在上面创建文件系统，还可以直接是裸设备，用于数据库软件的数据存取等 逻辑卷空间不足，只要卷组中还有足够的PP数量，那么逻辑卷空间都可以动态增大逻辑卷逻辑卷LV与文件系统与文件系统 逻

19、辑卷管理器：扮演的角色就是管理好逻辑卷与物理卷之间的映射关系，保证所有的上层存储操作命令都正确地把数据写入相应的物理设备中 文件系统：是数据存储方式。它扮演的角色就是以清晰层次结构的文件和目录，去管理好用户数据存取，保证用户写入的数据以可靠的存储方式存放，且无差错地响应用户请求的数据 不同文件系统的数据存在硬盘的不同逻辑卷中逻辑卷策略逻辑卷策略 - 镜像镜像mirror 镜像mirror，类似于RAID1，可以实现逻辑卷中逻辑分区的镜像，在独立的不同硬盘中保存两个或三个副本，从而保证硬盘出错时数据不受损坏而且是可用的 镜像的调度策略Parallel(并行)：每个副本的写请求是同时进行的，当更新时间最长的副本完成后，控制就返回给程序。执行效率很高，但当副本更新时若有硬盘错误发生，数据的完整性有可能遭到破坏。读操作时候，读最相近的副本，所以响应