版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、VERITAS方案VERITASStorage Foundation技术概述2002年8月目录简介概述:商业级别的存储需求存储管理技术VERITAS软件产品系列基于主机的存储管理特性简介主机运用的存储管理软件和控制器分区简介细分数量的限制动态的和静态的细分管理扩张和串联镜像和转接简介读取原则镜像数量的限制局部镜像再次同步条化(RAID 0)简介分界指导条带存储对象扩充条带对象扩充条带与镜像相结合简介镜像化条带条化镜像RAID 5选择一个合适的RAID结构多路径存储DMP的好处磁盘管理特性简介磁盘辨识磁盘组/集数据库配置自动分区和显式分区一致性校验和?系统磁盘重新分区并发访问控制磁盘替换热备用和
2、热再分配简介热备用选择在线磁盘管理特性性能分析简介命令行实用工具图形化性能分析在线再分配(Relocation)FILE System特性简介日志(Journaling)简介日志的定位(Location of Journal)同步数据的写入(Logging of Synchronous Data)块分配(Block Allocation)简介基于范围分配VS基于块的分配Inode与目录的优化处理简介哈希目录直接目标(Immediate Objects)缓冲存储报告(Cache Advisories)简介数据同步输入/输出(Data-Synchronous I/O)直接输入/输出(Direct
3、I/O)被发现的直接输入/输出(Discovered Direct I/O)分配报告(Allocation Advisories)配额(Quotas)安全性和完整性数据块初始化Sync-on-close错误限制在线文件系统管理特性简介稳定的备份支持简介镜像 vs.锁定 vs.快照 vs.检查点使用检查点进行用户驱动的文件恢复使用检查点进行只读克隆在线调整容量在线磁盘清理用户界面介绍配置文件介绍新配置修改配置命令行界面高级操作命令行界面一步式操作菜单界面图形界面介绍管理环境出错消息操作分类图形比喻总结附录一、简介现在,保持系统和数据持续可用的需求更胜以往,同时,IT部门只能利用更有限资源管理日益
4、复杂的环境,如何充分利用对硬件的投资也给我们带来了更大的压力。随着更多业务关键商业应用系统的商品化,以及向开放平台(特别是UNIX, Microsoft Windows和它们的派生产品)的迁移,这些系统的处理能力和I/O性能之间的不平衡越来越明显。因此有必要增强拥有硬件阵列的开放系统的I/O性能,加强基于主机的存储管理。另外,有效管理关键业务开放系统中的文件和目录结构要求提高恢复速度,改善传统UNIX文件系统的I/O性能。虽然可靠性和性能的增强减少了计划外停机,增强了开放系统的I/O性能(profile),但是并不能充分地改善系统和数据访问的可用性。系统管理人员的调查表明,在实际的开放系统中,
5、绝大多数的停机(通常表现为无法访问系统、软件和数据)并不是无法预料的灾难恢复,而是定期的维护,如数据的恢复、转移和备份。为了简化系统管理员执行的任务,也有必要安排停机,以便在最短的停机时间内完成这些管理任务。VERITAS软件公司能为其客户提供一个存储套件,包括一个存储管理产品、VERITAS卷管理器(VERITAS Volume Manager)和商业化的VERITAS文件系统(VERITAS File System)。二、概述:商业级别的存储需求大多数典型关键业务数据管理系统(DBMS)都是大型在线数据库,管理员要保证这些数据库和在线事务处理(OLTP)系统中的数据的高可用性,或者接近99
6、.999%可用,并且还要保证高性能的数据存取能力。计划内的停机主要是日常管理任务造成的,而计划外的停机是由于硬件和软件的故障造成的,因此必须尽量排除。依靠管理资源来满足数据可用性的需求是不可能的,只有采用连贯且完整的在线存储管理程序才能解决这个问题。因为DBMS 和OLTP软件需要一个默认的操作系统环境,所以无论是运行/管理环境上还是性能上的强化,都需要在应用系统和中间件以上的层面表现出来。无论怎样,存储管理程序都可以提高DBMS /OLTP环境的性能特征。使用该程序可以达到以下几个目的: l 增加可用性n 通过提供冗余,在存储介质出现故障时保持可用性;n 由于它允许在线稳定备份,在线文件系统
7、磁盘碎片整理,在线数据恢复、转移和相关的任务,因此减少了日常系统维修,增强了可用性;n 通过加速恢复过程,可以在系统出现故障或重起后增强可用性。l 提高性能n 通过磁盘池的负载均衡增强性能;n 通过使用监控和在线的重新配置优化性能和有效性;n 通过智能缓冲算法增强性能。l 提高管理效率在复杂的、多产商的环境下,通过一个通用的界面来简化管理任务,提高生产效力。l 与DBMS /OLTP软件的集成n 在不影响裸磁盘性能的条件下,扩展了DBMS存储的文件系统管理性能;n 增强DBMS的恢复功能;n 可以通过Oracle磁盘管理器(ODM)之类的应用程序界面(API)进行高级的集成。另外,在线的存储管
8、理方案还可以为未来的需求提供支持,如集群、高可用性的程序管理、用于灾难恢复的远程在线冗余,多媒体存储和多操作系统的整合。通常情况下,只有某些具备单一功能的产品分别满足这些存储管理需求的细节。IT部门迫切需要一种用来管理服务器存储的综合性软件,来满足当前和未来的存储需求。三、存储管理技术1VERITAS软件产品系列VERITASStorage Foundation提供异构环境下的磁盘和文件解决方案,它用来满足商业级别的存储需求。 VERITAS Foundation Suite由VERITAS卷管理器(VERITAS Volume Manager)和VERITAS文件系统(VERITAS Fil
9、e System)两部分组成。卷管理器(Volume Manager)是一个磁盘管理产品,使用它可以避免磁盘分区。它实现了主机级别的存储,让操作系统跨越了磁盘空间、性能和可靠性上的局限,它结合RAID 0(条化),RAID 1(镜像),RAID 0+1(条化镜像),RAID 1+0(镜像条化)和RAID 5(奇偶分布式条化)等多种方式。卷管理器(Volume Manager)可以用于在线空间分配和结构管理,错误处理,技术性能分析和操作追踪,让管理员能够确保存储资源的应用达到最优化。 卷管理器(Volume Manager)还可以用来增强文件系统服务的功能,包括网络文件系统(NFS)和在线DBM
10、S引擎(包括Oracle,Sybase和 Informix)。它是一个整合物,类似于一对可承载的设备驱动程序、一个库或一个应用程序集,不需要替换任何标准的操作系统组件。 文件系统(File System)是一个基于范围(extent-based)的日志式文件系统。它的日志或有目的的日志可以加速系统故障的恢复,并增强NFS 和 DBMS应用程序的性能。该文件系统的存储规划采用了连续分配的块集或范围(extent)。通过优化应用程序对物理I/O的读写请求,并减少访问数据所需要的索引的数量,这种规划改善了性能。另外,它整合了在线应用程序的功能,允许执行常见的管理任务,如时间点备份、碎片整理和恢复,并
11、且不会降低数据的可用性。VERITAS Database Edition是一个由文件系统提供的机制的合并体。它可以在保证性能的条件下,让DBMS应用程序在文件系统上运行,同时通过文件系统命名空间来简化管理任务。Database Edition for Oracle将数据库和操作环境紧密结合起来,它集成了ODM,充分提升了性能和管理性。它是一个可安装的文件系统,采用了标准的虚拟文件系统接口和命令替换机制,可以提供所有标准的文件系统而不用替换标准的软件。它还包含了几个在其他文件系统中找不到的应用程序类型,以便管理范围(extent)规划并提供在线的管理功能。 两种产品都可以用Volume Mana
12、ger自带的VERITAS Volume Manager Storage Administrator来管理。这种图形化的工具具备图标、菜单、表单和拖拽等操作方式,提供了可视化的磁盘管理,方便配置和管理Volume Manager和File System。目前已经有40多个电脑制造商提供Storage Foundation产品。四、基于主机的存储管理特征1简介为了在那些商用磁盘(如SCSI 和IDE驱动器)和系统接口(如ISA,EISA,Sbus和PCI)上满足商业级存储性能和大型机磁盘子系统的可靠性要求,开发了将多种磁盘整合成单一的存储对象的技术,这些技术常用来构建RAID。伯克利的加利福尼亚
13、大学的Patterson et al.在他的论文中提出了好几种RAID结构(通常被称为RAID级别,但是严格来说不同级别见没有表现出层次高或低的关系)。RAID除了以奇偶计算来提供冗余的级别2到5,另外两个磁盘结构逆向标记了RAID。条带化、或在没有附加冗余的磁盘上交叉存取数据,被标记为0级别的RAID;镜像,也就是维持所有多余的数据副本,被标记为1级别的RAID。(RAID级别通常简写为RAID x,如,5级别的RAID被简写为RAID 5。)这种RAID结构以及它们的相关价值将在以下内容中详细的讨论。需要指明的是,并不是所有的RAID级别都在本文讨论的范围之内,比如RAID S在本文中就不
14、涉及。2主机上的存储管理软件和阵列控制器通常情况下,使用主机的I/O总线上或独立机柜上的硬件阵列来提高可靠性和性能,它也可以为基于主机的软件提供相同的功能。(硬件阵列的详细比较不在本文论述的范围内,请参阅“Complementing Hardware RAID”一文)一般来说,基于主机的存储管理可以让管理变得更轻松,让配置变得更灵活。例如,它使在不同磁盘设备上构建存储对象成为可能,可以为同一种设备上的不同数据提供不同级别的可靠性和性能(基于应用需求),还可以使用混合镜像、条带化存储和奇偶校验RAID。基于主机的存储管理允许使用普通商用的控制器和磁盘,可以更简单地达到最理想的性价比。另外,多样的
15、控制器或存储子系统常用来增加和平衡性能,而这是采用单一的控制器整合入系统的方案不可能解决的。同时,配置基于主机的存储对象一般比硬件阵列要容易。硬件阵列的配置通常需要使用专门的应用程序,这就需要脱离阵列或整个系统的运行模式。基于主机的存储管理配置(更常见是重新配置)可以在系统可用时候进行,并且可以连续在多个主机上完成。与基于主机的方案相比,硬件阵列方案具有一些性能优势。一般来说,在主机和控制器间传输的数据比在主机系统内传输的要少。例如,如果需要多次写下数据的副本,数组控制器只需要主机上的一个副本。这就缓解了系统存储总线的传输压力(当然也就增加了可用的带宽)。对于基于机柜(enclosure)的控
16、制器,在外围连接(比较典型的是SCSI总线或光纤通道)上传输的数据数量也相应减少了。硬件阵列还减少了为了实现奇偶校验冗余技术所需要的处理要求。基于主机的存储管理软件必须使用主机的处理器来计算奇偶校验,可能会给数据传输带来一些额外的负荷。基于主机的存储管理功能可以用来补充硬件阵列的特征。例如,硬件阵列条带可以提供控制器之间或子系统之间的镜像,减少由于控制器的故障带来无法访问数据的可能性。分区,磁盘和磁盘组的管理,以及基于主机的存储管理的性能分析功能也可以简化具备硬件阵列的系统的管理。以下将研究常见的磁盘数组功能以及VERITAS卷管理器(VERITAS Volume Manager)如何实施开发
17、这些功能。 3分区(1)简介UNIX操作系统允许管理员对磁盘进行分区以达到不同的目的,包括操作系统文件、用户文件、数据库和虚拟内存空间。基于主机的存储管理可用来补充这种分区模式,并且使用它来建立更加复杂的存储对象。(2)分区数量的限制Solaris磁盘分区模式允许分成8个区。其中一个分区被定义为备份区,映射驱动器上所有可用的扇区,另外7个区可根据不同的需要来定义。卷管理器(Volume Manager)使用两个区来访问磁盘;他们通常隐藏于正常的管理行为之中。其中一个是每个磁盘上都会有的私有区域,包括卷管理器(Volume Manager)的标识和配置数据。另一个是公用区域,映射所有剩余的扇区,
18、用来分配和寻址可得的数据空间。 在公用分区中,卷管理器(Volume Manager)利用本身的分区或子磁盘来分配空间,因此不会占据磁盘里磁头或虚拟内容表(VTOC)的通道。理论上讲,这种方法不对磁盘划分成单独可配置化的分区数量进行限制,它允许子磁盘小到一个扇区的大小,子磁盘的数量只受配置数据库(默认支持上千个入口通道,并且可以扩展到更大的配置)的大小的限制。 这个对于硬件阵列尤其有用。比较典型的情况是,它可以将多种大型磁盘结合成非常大(200 GB到500 GB)的条带化阵列或RAID 5逻辑单元(LUNs)。卷管理器(Volume Manager)子磁盘管理允许将大型逻辑单元分成许多小的部
19、分,每个部分可以用来作为安放点(mountpoint)或表空间,对于大型磁盘特别是具备数据库引擎的大型逻辑单元会更有效。 (3)动态的和静态的分区管理 应用存储系统可能需要管理员分配一个新的分区,同时可能有必要调整分区的容量,将一个分区划分为两个或更多的分区,或者合并相邻的分区。卷管理器(Volume Manager)允许在已分区磁盘上的其他区域使用时创建新的分区。它还支持子磁盘的分割和合并操作,并保护内容和配置结构,这就意味着可以在其他磁盘的数据或同一磁盘上其他部分的数据被访问时收回空间或再分配空间。(4)捆绑和串联(spanning and concatenation)为了得到一个比单个的
20、磁盘容量大的磁盘,需要将基于多个设备的分区细分结合或捆绑在一起。有一种方法可以将这些结合起来,那就是连续分配磁盘区域,这种方法被称为串联。另外一种方法,条带化(或交叉)这些细分将在下文中详细的讨论。串联增加了容量,但是不会给性能带来任何正面的影响。事实上它会降低可靠性,因为一旦串联中的任何磁盘出现故障,数据将无法访问。因此,如果需要保证可靠性,它必须要与镜像(见下面)结合。4镜像和转接(1)简介 如果一个磁盘出现故障或者变得不可用了,在这个磁盘上的数据访问将被中断。通过提供冗余的方式将停机时间降到最低,以便在磁盘出现故障的情况下仍然能够进行数据的访问。并且,这个冗余最好是透明的,无需用户或管理
21、员进行干涉即可访问剩余的数据。通常,提供冗余的方法有两种。一种就是奇偶条化或奇偶RAID,将在下面谈到。另一种就是将所有数据的附加副本都保存在单独的磁盘上,这种方法被称为镜像。(对我们来说,主机控制器的转接或镜像是镜像的一种具体形式;它避免了由于在同一个控制器的磁盘上镜像带来的附加的个别的故障。)这种方法允许在不改变所需数据的结构情况下进行连续访问,但是需要另外的磁盘空间来存储额外的副本。使用这种方法在写入多种副本时会产生一些性能下降,但是这种性能下降非常小,它允许交迭地读取数据,(看下面的“读取策略”)总体而言,这种交替读取带来的益处超过了性能下降带来的惩罚。(2)读取策略镜像常用来提升多用
22、户和以读取为导向的应用系统的系统。通过独立的数据实例满足多重读取的要求,它可以将I/O的负载分配给多个磁盘(spindle),潜在地减少了数据访问时磁头的运动。卷管理器(Volume Manager)支持两种读取原则。一种叫做轮转(round-robin)原则,也就是像上面描述的一样,允许交替的读取数据的多个副本。它最适用于多份数据副本保存在具有相似存取和传输性能的设备。在当前读取操作距上一步操作超过512个数据块(256K)时,替代磁盘上的读取策略会得到加强;这就从磁盘和控制器读取高速缓冲存储器中获益不少,并且将磁头的运动减到最小。其中的差值可以由系统管理员来调节。另外一种是首选丛(pref
23、erred-plex)原则,当读取一个磁盘上的数据实例明显快于读取其他副本的情况下应用该原则。这种磁盘通常包含多种的属性,例如,一个已扩张(spanned)的对象镜像到未扩张(unspanned)的对象或另一个基本技术(如RAM磁盘、固态存储器等)上。在这种情况下,优先从快速副本读取(同时将数据写入所有副本中)。在缺省状态下,卷管理器(Volume Manager)会根据当前卷的配置来选择一种读取原则。如果所有数据副本都是相同的基本性质(都条化或都没有条化),卷管理器(Volume Manager)会认为轮转原则是最理想的读取策略。如果一部分条化而另外一部分没有条化,它会认为应该对条带化过的实
24、例采用首选丛原则。(3)镜像数量的限制对于一个卷,卷管理器(Volume Manager)最大可以支持32个数据实例。这些丛或镜像实例可以用来增加数据的可靠性,加快密集读取型程序的访问速度,还可以支持在线的管理操作(这一点将在下面谈到)。(4)局部镜像卷管理器(Volume Manager)支持一个卷里的局部或稀疏的数据实例,这可以用在一部分数据比其它数据的访问频率高得多的情况。将这些“热点”镜像到一个更快的且更昂贵的存储介质(RAM磁盘、固态存储器或仅仅是快速的设备)上,并把这个丛标记为首选的读取副本,这在很大程度上可以加快读取密集型程序的读取速度。(5)再次同步在设备出现故障或管理员操作时
25、,镜像的数据实例可能会变得不一致。卷管理器(Volume Manager)采用三种方式来恢复镜像卷的一致性:VOL_COPY是完全的再次同步,ATOMIC_COPY作为卷管理器(Volume Manager)以前的版本为人们所知。当一个新的镜像附加在一个卷上,或一个设备被替代,或管理员的操作明显地更新了一个或多个陈旧实例时,可以采用这种操作。这项操作大量使用系统资源,加快了镜像恢复的速度,它的潜在成本是降低了用户的I/O速度。(有些机制可以专门扼杀这种行为,削弱了性能下降,但也降低了再次同步的速度。)在VOL_COPY的操作中,可以对所有的副本上执行写操作,但是只能对新的副本上执行读操作。丛就
26、成为满足这种读操作要求的候选方法,它只能在VOL_COPY操作完成的情况下产生作用,并且它不能是陈旧的副本。当系统出现故障或重新启动时,会导致卷也被重启,发生故障前处于活动状态的多个镜像与卷一起重启,此时适合使用读取再写入(read-writeback)的同步方法。在这种情况下,所有的镜像都有可能包含最新的数据,也可能包含系统出现故障时的各种不同的写入结果,这时卷管理器(Volume Manager)对任意一个实例中执行读操作,在数据返还给调用进程前数据写入所有其他的镜像。这就保证了后续读取对同一个数据块中的数据时能返回一致的数据。如果不采用读取再写入的方法,就只有在完全再同步操作完成后才能读
27、取镜像实例,因此就降低了性能并妥协于未来的恢复。卷管理器(Volume Manager)也能够启动一个进程,读取卷里所有数据,再强行写回,在完成操作后卷就实现了完全再同步过程。在进行读取再写入模式期间,所有丛里的再次同步数据块都可以用来满足读取要求。这就增加了在再次同步过程中数据的可靠性和读取的性能。另外,虽然完成这个过程一般会花费更多的时间,但是与VOL_COPY恢复过程相比,它需要的资源更少,并减少了对缺省状态下I/O使用操作的影响。每个卷都有一个被称为“脏(dirty)”的区域日志,也就是最近写入的日志。这个“脏”的区域日志可以在系统出现故障时加速即读即写的恢复,条件就是只更新被标记为“
28、脏”的区域。VERITAS卷管理器(VERITAS Volume Manager)在日志被写入的时候就标记了一个作为“脏”的区域,当数据块到所有镜像被冲洗时再重新设置标记。由于每次卷里的干净区域被标记为“脏”时都要重新写入这个日志,所以增加了写入操作的负担。可以设定日志的大小来加速恢复(为了让恢复区域具有更好的颗粒度,可以采用更大的日志)或充分减小运行期间对写入性能的影响(为了让日志的颗粒度更粗糙并降低日至更新的频率,采用更小的日志)。对于密集写入型和随机写入型的应用程序,卷的重要区域可能一次性地被标记为“脏”,这就有可能完全放弃“脏”区域的记录。另外,卷管理器(Volume Manager)
29、提供了一个可授权的选件瞬时快照(Flashsnap),用于提供快速再同步功能。这个特性允许用户对卷一级的数据进行多种快照。这种卷快照包含卷数据的point-in-time副本,可以用来完成如备份或决策支持这种耗费CPU的任务。通过脱机处理,FlashSnap可以让你中断这些卷快照,在另外的主机上执行这些操作。最终被中断的镜像里的数据会变得过期、陈旧,随着时间的过去主卷会被更改。如果FlashSnap作用到镜像的卷,卷管理器(Volume Manager)可以采用FastResync Data Change Map保持对主卷和快照中变化的数据的跟踪。要再次同步那些镜像的时候, FlashSnap
30、采用Data Change Map仅对变化的数据块进行再同步。这避免了极其耗费时间的完全再同步过程,而完全再同步在FlashSnap出现之前是常用的方法。Data Change Map也可以存储在一个数据变化对象(DCO)的日志卷里,这个日志卷与卷是相联的,因此映射可以在系统重起或崩溃的时候幸存下来。使用FlashSnap功能可以捕捉或跟踪高达31个快照镜像。条带对象扩充(Striped Object extension)动态存储管理要求具有扩展存储对象的能力,以满足逐渐提高的存储需要。由于条带对象地址映射是非线性的,相对串联式对象(concatenated object),它的扩充更为困难。
31、有两种可能的方法来扩充条带对象:一种方法是增加单个列分配的存储量;另一种方法相对要困难的多,它要求重新分配数据并增加列的数量。Volume Manager将单个列作为稀疏串联式对象处理,实现了条带对象扩充。通过增加单个列存储量,使条带对象增容。此方法可以使接口保持不变。Volume Manager也支持在条带对象上增加附加列。数据可在适当的位置重新分布在到更宽条带上,这种重新分配可以在应用软件访问数据时运行。增加的条带中的列的数量能够提高性能。条带与镜像相结合简介为了发挥条带化的性能优点并提高其稳定性,需要配置条带镜像(striped and mirrored)对象。一些硬件磁盘阵列产品不具备
32、这种能力,但基于主机的工具可以做到。在RAID文件中没有明确的编号,它们有时被称作RAID 0+1 或 RAID 1+0.建立对象有两种方式:其一是先条带化一些磁盘,再对条带磁盘组进行镜像得到镜像条带对象。其二是先将磁盘镜像到每一个设备上,再对镜像磁盘进行条带化,得到条带镜像对象。条化镜像(SAME)的最佳策略是部署系统环境。因为条带的性能和镜像的可用性都非常重要,所以在根据此种规则部署系统环境时必须十分谨慎。如果系统环境中有 100个磁盘,那么对于条带化50个磁盘并镜像它们没有什么意义;同样的,用这50个磁盘实现另外50个磁盘的镜像然后条带化同样没有意义。这种做法在存储量随时间变化的数据中心
33、中无法工作镜像化条带当条带对象被镜像时, 每给条带对象都可被看做一张磁盘。 如果某个磁盘出现错误变得不可用,将导致整个条带对象不可用。 发生在未受损拷贝中的后续故障将使所有的数据不可用。然而,可以在这种状况发生之前修复磁盘,此外,由于使用了热备用(hot spares)技术,又进一步避免了这种状况的发生。条化镜像为了更进一步减少上述多重磁盘故障的不良影响,可以建立条化镜像。 如果使用条化镜像, 仅仅当要访问的特定区域的所有数据副本不可用时,才会导致数据获取失败。类似的,如果单一磁盘发生故障并被其它磁盘替代,需要重新分布数据以达到与此区域同步。 RAID 5 镜像的使用(或RAID1)增加了数据
34、的可用性以及I/O读取性能,但是这是以大量冗余副本占用存储容量为代价的。为解决数据冗余, RAID 2至RAID 5在驱动器故障后通过存储一个计算过的数值(通常称作奇偶校验)来重建数据,满足I/O接口对驱动器需求。在RAID奇偶校验方案中,RAID 2运用复杂汉明码(Hamming Code)进行奇偶校验。在商业方案中较少采用这种方式,而更多采用RAID 3, RAID 4 and RAID 5,它们采用异或运算,检查和纠正丢失的数据。其中,RAID 3 在多重磁盘上分配字节,要求通过I/O接口可以访问所有磁盘。它较适合用于单数据流、面向带宽、访问多重驱动器的应用系统,如视频服务器,不适合用于
35、像数据库这种经常读写较小数据块的系统。RAID 4 和RAID 5 根据应用程序特定的块大小(即交替或条带单位)进行奇偶校验,这个块是一个容量固定的数据域,可以被连续访问。各驱动器上所有同一位置的条带单位用来进行奇偶校验。它通过交替读取访问即一个用户访问单个驱动器而其他用户访问RAID中的其他不同的驱动器来实现应用软件最优化效果。此类奇偶校验条带需要写操作与读操作联合进行,写操作面向其它磁盘,不包括正在写入数据、更新奇偶校验的磁盘。RAID 4将奇偶校验储存在磁盘阵列中的单个磁盘中;RAID 5在设备中所有驱动器上轮流写入奇偶校验数据,消除了奇偶校验驱动器的潜在瓶颈。RAID 2没有商业应用,
36、RAID 3更适用于硬件磁盘阵列,而RAID 4和RAID 5在基于主机的应用软件中应用优势明显。其中,RAID 4所有的读改写操作都要访问专门用于奇偶校验的驱动器,而RAID 5平衡了列间实际数据和奇偶校验的关系,性能瓶颈低于RAID 4。选择适合的RAID结构对于特定文件系统或数据库表空间,必须基于访问模式和性价比选择最适合的RAID结构。RAID 0可靠性较差。然而如上所述,它可以在不增加存储成本的基础上提高性能。 RAID 1为冗余存储系统提供了最高的性能。 它不需要读改写循环来更新数据,而且多重数据副本可以提高频繁读取型应用系统的速度。 然而, 它需要至少双倍的磁盘容量 ( 即至少双
37、倍的磁盘开支),它最适合用于写操作只占读写操作中很小比例应用软件。 同时, 因为RAID 1使用了超过两份的拷贝,在磁盘损坏时可以重新构建RAID 阵列,不影响使用。 奇偶校验RAID可以使用更少的存储资源实现冗余。它需要读改写周期,这将降低整体性能,除非应用于只读或频繁读取型系统中。如果某个磁盘的损坏,需要读取所有磁盘中的信息重新计算丢失的数据,这会降低读取性能。另外,它经受不住多个磁盘损坏,也不支持多重冗余。注意:基于主机的RAID解决方案允许以上方法混合使用,甚至相同磁盘的不同部分也支持这种结合。多路径存储VERITAS Volume Manager采用动态多路径(DMP),这是一种通过
38、两条或多条以上路径访问单个驱动器的技术。 举例来说,硬件的物理结构中至少有两条路径, 如 c1t1d0 和 c2t1d0, I/O指向相同的驱动器。Volume Manager 选择其中一条并建立单个设备入口,然后通过两条路径将数据传送至I/O。DMP默认状态是激活的。Volume Manager通过全球通用设备标识符(WWD IDs)探测多路径系统,管理多路径目标,以磁盘阵列为例,它定义了使用一种以上路径的策略。DMP 的好处DMP 通过路径故障切换机制增强了系统的可靠性。即使损坏了一条磁盘连接, 系统仍然可以通过其它连接来访问关键数据,直至故障路径被替代。DMP通过磁盘设备的多重I/O路径
39、,可以均匀的平衡I/O负荷,提供了更强的I/O性能。磁盘管理特性绪论除上述对虚拟设备的创建和管理的技术讨论以外,大型服务器和服务器池也展示了另外一些问题:如何寻址,辨识,管理和置换物理磁盘自身。工作站、工作组服务器或中枢分时系统应用程序曾经属于开放型系统软件的传统领域,专业的管理员往往能够不使用附加工具跟踪它们的组态。但是随着越来越多的使用UNIX和NT管理服务器和服务器池,这些信息越来越难以跟踪,甚至在紧急状况下更加难于管理。用户造成的数据丢失和大幅增加的存储管理费用,可能导致集成系统或者外围设备发生故障。随着磁盘容量(disk farms)的增长,明确哪些存储空间是根据哪种用途进行分配以及
40、哪些存储空间可用变得越发困难。这可能导致数据的重复,产生购入额外磁盘的花费增加的容量并不是必须的,而只是由于管理员不能简捷的查找到现有的自由存储空间。The disk management capabilities of these products assist, to varying degrees, with the management of physical media.这些产品的磁盘管理能力以各种方式辅助物理介质进行管理。磁盘辨识传统的UNIX磁盘辨识模式依据于磁盘的两个物理特性:与系统的物理连接(控制器,总线和地址)以及操作系统分区表。没有其他辨识驱动器自身或其内容的方法。这种方
41、法对于一些小系统是可行的。但是当隶属于单个系统或单个管理员管理下的磁盘数目增长时,这些管理方法并非像假想中那样只是简单的规模按比例增大,而是无法正常适用。传统上,大型主机对数据辨识采取了不同的解决途径。在使用可换磁盘组的时期,用于访问和标识存储介质及数据的命名方法与以物理连接地址无关,而是依据存储于磁盘介质中的标识符或磁盘包卷标。随后,这项技术在许多系统中遭到弃用,包括绝大多数使用UNIX变量的系统,甚至是固化介质磁盘系统。绝大多数的操作系统都忽略磁盘包卷标,而是根据物理地址寻找磁盘。磁盘卷标能够用于支持磁盘空间的重新分配,其地址可以处于同一系统内部,也可以分布于在另外一个系统中,不会丢失配置
42、信息。此外,它也可以协助管理员替换失效磁盘和恢复数据的全部可用性。随着存储区域网络(SAN网络)时代的来临,无法根据操作系统提供的设备名称获取与磁盘设备相关的正确的硬件连接信息。主机操作系统无法感知SAN网络设备(如交换机和集线器)的存在可能是造成这种状况的原因之一。VERITAS Volume Manageer configurator (vxconfigd)和 Volume Manager allocator (vxassist) 通过发现模块(discovery module)调用API函数获取与硬件连接相关的信息,而不再通过对操作系统设备进行解析获得这些信息。 这解决了与操作系统无关的
43、设备命名问题,改变了SUN和其他操作系统厂商需要为设备命名作出规划的状况。管理员能够发现硬件设备,并将其划分到不同类别的磁盘阵列组内。Volume Manager为每个磁盘的专用区设置一个卷标。专区中卷标以外的数据当中,Volume Manager为磁盘存储了一个短标识符(在磁盘首次置于Volume Manager控制下时设定)和一个长标识符(将系统专门和随机产生的数据组合起来得到的独一无二的标识)。当Volume Manager环境随着系统启动,VERITAS Volume Manager在操作系统中检索设备树状目录,将每个逻辑标识符和物理地址配对。Volume Manager独立跟踪存储本
44、身连接的方法有助于降低管理成本,减少对管理员记录的依赖。Volume Manager 允许管理员定义磁盘名称,允许使用具有特殊意义的磁盘名。例如:可以根据磁盘的设立地址为其命名:hdstray1d1;或者根据使用该磁盘的应用程序为其命名:decisiondb01。磁盘组/集大型系统中,磁盘被分成多个组或集合,允许管理员集中管理属于某个应用程序或用户组的磁盘集合,这有助于更方便的管理大型服务器。此外,磁盘可能会在系统间移动(通过实际的重新连接或者双端口的切换)。把这些磁盘隔离,简化了磁盘间的数据传输简,易于实现高可用性的故障切换和集群化配置。使用Volume Manager,除了拥有独一无二的磁
45、盘标识外,卷标还可以辨识每个磁盘所属的磁盘组。在单个磁盘组中,配置对象必须充分定义。许多功能如热再分配(hot relocation)(后述讨论)也基于磁盘组的地址。Volume Manager 接口广泛的支持系统的广泛视图,也支持磁盘组专门的配置视图。数据库配置Volume Manager and keeps (怀疑没有and)把配置信息的多份拷贝存储在多个磁盘中,使存储对象可以不受系统和磁盘故障影响。这些数据库实例在启动时被读取并保证相互没有冲突。与此同时,设备配置被解析和实施。Volume Manager 在专用区中保存数据库配置备份。每个磁盘组都包含描述其本身的数据库备份。此外,每个系
46、统的主磁盘组或者根磁盘组(root disk group)都包括一小套系统的广泛记录。自动分区 vs. 显式分区(Auto Location vs. Explicit Location)VERITAS Volume Manager 根据磁盘组中控制器、指标和磁盘的数量配置数据库备份,根据比例系数平衡它们的分区,尝试优化存取时间和可靠度。管理员可以通过将拷贝数目强制设为一个固定值来调整这种策略。如果某个磁盘包含有数据库备份故障,管理员并不介入操作,Volume Manager会在某个适当的磁盘上建立另一个备份,保持数据库数目。一致性校验和?系统(Consistency Checking vs.
47、Quorum System)多个配置备份增加了系统弹性,但也引入了系统升级的不一致性。如果配置升级时系统发生故障,或者以前断开连接的磁盘重新接入系统与配置相连必须避免数据库内部冲突。Volume Manager 检查数据库备份的头信息确定每个磁盘组内部的数据库一致性。确定上次信息输入期间的工作备份集,从备份集中选出一个备份,升级后所有的备份都必须与之相匹配。如果某个备份产生内部冲突(例如由先前的I/O错误引起的冲突)或者试图访问过程中产生I/O错误,将导致备份失效。如果上次信息输入期间发生中断,Volume Manager将其收回并进行适当处理,配置随即生效。如果缺乏有效的备份,磁盘组就不能被
48、激活。如果无法激活根磁盘组,那么就根本不能使用Volume Manager。而无法激活非根磁盘组,并不影响其他已激活的磁盘组。这样一来,即使其他应用程序所用的全部磁盘都不可用,处于同一系统或不同系统中执行关键任务的应用程序也可被在线回收。磁盘重新分区Volume Manager在系统启动时发现磁盘分区(或者运行期间直接手动搜索磁盘),因此易于移动磁盘。首先,关闭系统或者Volume Manager(或者给系统发出配置变更指令),然后移动磁盘并重启。根据磁盘卷标辨识所有的Volume Manager配置对象(包括生成、镜像、条带、RAID 5整合)。对磁盘简单的重新分区,可平衡系统I/O在控制器
49、和总线间的负载。这样,很容易在配置中增加新的磁盘,并迅速将其提供给一组或多组用户使用。并发访问控制(Concurrent Access Control)如果一个磁盘联入多个系统并提供读写访问服务,其中任两个系统在此磁盘的同一位置写入数据会导致系统崩溃。UNIX文件系统在主内存中缓存信息来解决这个问题,但是,即使其中一个系统仅仅是只读访问,只读系统想获取相一致的有效数据视图也是不可靠的。VERITAS Volume Manager 令一个磁盘组每次只被一个系统访问,避免了危险性。如果一个磁盘组尝试从第二个系统访问Volume Manager对象,管理员将被告知它尚在第一个系统中被使用。一些数据内
50、容(context)管理器,如Oracle和其他数据库,使用分布式锁定管理(DLM)或相似技术控制访问它们自己的存储块或缓冲区。它们可以在系统集群中与其自身的实例通信。当利用这些技术时,可同时使用Volume Manager的提供称为 VERITAS Cluster Volume Manager的新功能,这是一种可以授权的功能。此产品允许多个主机将数据导入同一个磁盘组(被称作共享磁盘组)。Cluster Volume Manager强制设置访问限制,并假定内容管理器解决数据一致性问题。(Cluster Volume Manager 目前应用于下列软件包:VERITAS SANPoint Fou
51、ndation Suite, VERITAS Database Edition/Advanced Cluster, SunCluster from Sun and MC ServiceGuard from HP.)默认状况下,共享磁盘组的卷采用共享写入(shared-write)工作模式。通过每个可以访问磁盘组的集群节点,在卷中实现数据读写。必要时,可以在一个共享磁盘组内部把个体卷配置为独占打开模式(exclusive-open),每次集群读写时,它们只对一个节点开放。使用共享写入工作模式的共享磁盘组中的卷对于任何可访问它的集群节点都是可写的。但是,如果工作组被设置为独占写入(exclusiv
52、e- write)工作模式,位于该工作组中的卷只对一个节点可写,而其他节点只能进行数据读出访问。磁盘替换(Disk Replacement)如果磁盘发生故障,保存在磁盘中的对象有冗余(RAID 5中各部分或镜像),那么这些对象仍然可被继续使用,而无冗余的对象则无法获取。当替代磁盘可用时,有冗余的对象被重建,无冗余的对象则进行重载。值得注意的是,替代磁盘保存相同的数据对象,必须以与原磁盘相同大小的分区格式化。Volume Manager在一个磁盘组中保存关于多个磁盘的子磁盘的定义,由于仅通过公共和私有分区访问数据,因此可以很方便恢复原有的配置,只需简单的通知Volume Manager增加磁盘重
53、建数据即可,简化了通常状况下繁重的磁盘替换工作。热备用和热再分配(Hot Sparing 和Hot Relocation)绪言镜像和奇偶校验(parity) RAID这样的冗余技术使用户在介质发生故障时能够持续获取数据,但持续访问受到性能下降的影响(镜像的循环损失,RAID 5的读写性能下降)。而且,数据很容易受到其他故障影响。更换故障磁盘同样受此问题困扰,因此,操作日程并不允许随时替换磁盘。热备用(Hot sparing)是一种新技术,它可以延缓磁盘替换时造成的后续故障和性能下降影响。除系统中的空间外,磁盘其他可用空间都可以被指定为备用区。磁盘故障发生时,冗余对象在备用区重建,而非冗余对象在
54、备用区重载。一旦重建完成,不再准许在低性能工作模式下访问冗余对象。VERITAS Volume Manager提供了另外一种技术,即熟知的热再分配(hot relocation)。它允许系统对于冗余的Volume Manager对象的I/O故障自动作用,恢复冗余并访问这些对象。Volume Manager监测磁盘I/O故障,重新分配受到影响的子磁盘。子磁盘被重新分区,散布于设定的备用磁盘或磁盘组的空白区。随后,Volume Manager重建故障前的对象并使它们重新可被访问。当局部磁盘故障发生时(故障仅影响磁盘的某些子盘),磁盘故障区的冗余数据被重新分配。磁盘未受影响的卷仍然可被访问。在这种情
55、况下,热备用(hot sparing)会使整个磁盘失效,影响到磁盘的所有卷。如果磁盘的相关卷不是冗余,它们数据重载后才重新可用。通常情况下,一旦故障磁盘被替换,必须将原来的数据送回配置的原始位置。Volume Manager有一种功能,能够确保将重新分配的数据送回原始位置,或者送往具有相同结构而优于再分配区的新定义目的地。热备用选择在Volume Manager中热再分配(hot relocation)是缺省可用的,当故障发生时它可以自动启动而无须系统管理员干预。备用磁盘可以被分配,但这不是必须的。并且,此组中磁盘可能在维护环境性能时被标记为不可用于再分配。在线磁盘管理特性性能分析简介有效的多
56、磁盘服务器管理使系统管理员能够在物理和虚拟层面上分析性能水平,查出瓶颈问题。大多数标准磁盘性能测量工具(包括那些标准命令,诸如sar和iostat等)可以在颗粒度较为原始的等级上通过磁盘或最多通过分区对磁盘性能进行监控。对于经过最优化管理的磁盘来说,它必须能够随着时间的推移在颗粒度较为精细的等级上对性能进行追踪。这个信息可以作为对负载平衡以及其它重新配置决定的输入信息来使用。除此之外,标准磁盘测量命令并不支持根据报告信息对性能进行调整的能力。命令行实用工具VERITAS Volume Manager支持vxstat命令,该命令可以在Volume Maneger分级存储的所有等级上为所支持的所有
57、输入/输出类型采集并报告数据。对于可微粒来说,分区能力(详见上文“分区”)使系统管理员能够创建更为狭窄的统计单元。Vxstat命令可以对服务时间进行采集、计算和取平均值。它可以在固定或者不固定的时间按照特定的采样间隔运行。这些统计数据可以用来追踪访问期的峰值和确定那些高活动性(high-activity)“热点”的位置。在线操作可以在无需中断数据访问的情况下用来实现性能的改善。对于相当出色的性能监控来说,vxtrace命令可以被用来在每个块的每个输入/输出操作上捕获统计数据。由于这种操作的成本较高,因此它通常仅在验证性能假设或者调查与特定存储对象相关的特定性能的时候使用。图形化性能分析VERITAS Volume Manager 存储管理器采用易于区分的颜色标识出高活动性的磁盘区域,以便进行进一步的研究。下文中将进行详细说明。在线再分配(Relocation)一旦在系统上识别出瓶颈现象或者失衡现象,我们期待能够在不中断数据访问的情况下解决问题。通常情况下,这一切与对已经连接到系统上而未经利用或者未经充分利用的磁盘进行存储再分配有着密切关系。Volume Manager使得分区可以以原子活动的方式在磁盘之间移动。根据需要在移动操作前加入适当的磁盘分区,可以获得将良好的调整和平衡性能。这种方法还可以被用来移近位于同一驱动器上的热点,
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 建筑混凝土石料运输合同
- 标准存款合同范本
- 商铺租赁合同解除协议格式范本
- 2024农村建房合同范本
- 赠与合同范本大全
- 笔记本电脑选购协议
- 农村土地使用权买卖合同样本
- 房屋出租代理委托合同范本样本
- 股票交易委托代理协议
- 代理电力收费协议
- 《相学集存》优秀课件
- (完整版)新概念青少版1a1-10测试卷
- 国家开放大学《教育组织行为与管理案例》大作业参考答案
- 2023年江苏苏州工业园区管委会招聘笔试参考题库附带答案详解
- 优化少先队仪式教育的尝试 论文
- 【知识解析】化学促进科学技术的发展
- 大学生职业规划-教师职业规划书范文
- 三国演义第三回读后感100字 三国演义第三回读后感1000字以上(三篇)
- 双阳区巡游出租汽车驾驶员从业资格考试区域科目考试题库
- 口腔修复学名解及案例分析题
- 制糖工艺基础知识及煮糖技术(上课)
评论
0/150
提交评论