（计算机系统结构专业论文）磁盘阵列的模拟方法研究.pdf

磁盘阵列的模拟方法研究 摘要 随着存储系统规模的不断增大，存储系统的访问性能、能量消耗及数据可靠性等问 题变得越来越显著突出。为了针对上述问题提出有效的解决方案，研究者需要搭建不同 结构的磁盘阵列进行研究。基于模拟方法的磁盘阵列研究具有成本低、搭建和更改灵活 方便、研究周期短、并可以模拟真实环境难以搭建的磁盘阵列结构等优点被研究者广泛 采用。本文着重研究磁盘阵列的模拟方法，并基于目前使用广泛的磁盘阵列模拟器提出 磁盘阵列能耗的模拟方法、高容错磁盘阵列的模拟方法及高可靠性磁盘阵列的模拟方 法。 磁盘阵列的能量消耗一直是存储领域研究的热点，在保证不会降低磁盘阵列性能的 前提下，研究者已经提出了多种磁盘能耗控制算法，力图通过降低磁盘转速，来达到有 效降低磁盘阵列能耗的目的。本文基于磁盘阵列子系统的工作原理，提出一种能够模拟 多种能耗控制算法的磁盘阵列模拟器，为磁盘阵列的能耗研究提供了试验平台。同时在 此模拟器的基础上研究了i o 访问的长相关性对磁盘阵列性能及能耗的影响。研究表明， 1 ) i o 访问的长相关性对磁盘阵列的性能影响不大，i o 访问的短相关性对磁盘阵列的 性能影响很大。2 ) i o 访问的长相关性对磁盘阵列能耗的影响不大。 磁盘阵列的数据可靠性同样也是存储领域研究的热点，近些年各种高容错纠删码以 及其他高可靠性方案被相继提出。本文在可靠性方面进行了两种不同的研究，1 ) 基于 二进制矩阵编码技术提出一种高容错磁盘阵列的模拟方法，该模拟方法应用二进制矩阵 编码技术作为输入参数，能够模拟各种基于异或操作的高容错磁盘阵列，为高容错磁盘 阵列的研究提供了研究平台。同时本文还发现高容错磁盘阵列的写请求过程中，校验单 元的更新会产生多余的i o 单元读取请求。针对这一问题，本文提出了两种解决途径， 从研究结果可以看出基于整条带校验的更新机制能够在保证校验单元被正确更新的同 时，有效提高了磁盘阵列的响应性能。2 ) 提出二种高可靠性磁盘阵列的模拟方法，该 模拟方法能够模拟磁盘数据扫描及内部磁盘冗余校验两种机制，为高可靠性的磁盘阵列 研究提供了实验平台。同时还分析了不同高可靠性机制对磁盘阵列的纠错能力、响应性 能及能耗的影响。从研究结果可以看出，交叉内部磁盘冗余校验机制为几种高可靠性机 制中最好的，其次为机会扫描。 关键词：磁盘阵列模拟能耗高容错高可靠性 磁盘阵列的模拟方法研究 ab s t r a e t w i t ht h eg r o w t ho fs t o r a g es y s t e ms c a l e ，m o r ea n d m o r ea t t e n t i o n sa r ep a i do nt h e p r o b l e m sw h i c h a r ei op e r f o r m a n c e ，e n e r g yc o s t i n ga n dd a t ar e l i a b i l i t yi n c r e a s i n g l y i no r d e rt os o l v e t h e s ep r o b l e m s ，r e s e a r c h e r ss h o u l de s t a b l i s hm a n yd i s k a r r a y s y s t e m st os t u d ys o l u t i o n sa m o n gv a r i o u sd i s ka r r a ys y s t e m s t h em e t h o do fd i s k a r r a yr e s e a r c hb a s e do ns i m u l a t i o ni sp o p u l a ra m o n gs t o r a g ea r e a ，f o ri th a sm a n y a d v a n t a g e ss u c ha sl o wc o s t ，e s t a b l i s h i n ga n du p d a t i n gf l e x i b l ya n dc o n v e n i e n t l y ， s h o r tt e a ms t u d y i n ga n db e i n ga b l et om a k ec o m p l e xs y s t e m sw h i c ha r eh a r dt o e s t a b l i s hi nt h er e a le n t e r p r i s e s t h i sp a p e rf o c u s e so nr e s e a r c h i n gt h es i m u l a t i o n m e t h o do fd i s ka r r a y ，a n dp r o p o s e st h es i m u l a t i o nm e t h o d so fd i s ka r r a ye n e r g y ， h i g h f a u l t - - t o l e r a n c ed i s ka r r a ya n dh i g h - r e l i a b i l i t yd i s ka r r a yb a s e do nt h es i m u l a t o r w h i c hi sp o p u l a ra m o n gr e s e a r c h e r s e n e r g yc o n s u m e db yd i s ka r r a y i s a l w a y sam a j o r c o n c e r ni n s t o r a g e a r e a r e s e a r c h e r sh a v ep r o p o s e dm a n yd i s kp o w e rc o n t r o la l g o r i t h m si no r d e rt or e d u c e e n e r g yc o n s u m p t i o nt h r o u g hs l o w i n gd o w nd i s kr o t a t i o n a ls p e e d sn o tt od e g r a d e p e r f o r m a n c e t h i sp a p e rp r o p o s e sam e t h o do fs i m u l a t i n gm a n yd i s kp o w e rc o n t r o l a l g o r i t h m sb a s e do nt h ew o r k i n gp r i n c i p l eo fs t o r a g es u b s y s t e ma n dp r o v i d e sa n e x p e r i m e n t a lp l a t f o r mf o rr e s e a r c h i n ge n e r g yc o n s u m p t i o no p t i m a lm e t h o d so fd i s k a r r a y t h i sp a p e rf o c u s e so nt h ei m p a c tb e t w e e ni oa c c e s sl o n g r e l e v a n c ea n d p e r f o r m a n c ea n dp o w e rc o n s u m p t i o na sw e l l i ti n d i c a t e st h a tl o n g r e l e v a n c eo fi o a c c e s sh a sn oi m p a c to np e r f o r m a n c ea n d p o w e rc o n s u m p t i o n d a t ar e l i a b i l i t yo fd i s k a r r a yi s a l s oa ni m p o r t a n ti s s u eo fs t o r a g ea r e a m a n y s o l u t i o n sa b o u th i g h f a u l t t o l e r a n c ee r a s u r ec o d e sa n dh i g h r e l i a b i l i t yh a v e b e e n p r o p o s e di nr e s e n ty e a r s t h i sp a p e rp r o p o s e st w os i m u l a t i o nm e t h o d so fr e l i a b i l i t y ，1 ) h i g h - f a u l t - - t o l e r a n c ed i s ka r r a ys i m u l a t i o nb a s e do nt h et e c h n o l o g yo fb i n a r ym a t r i x c o d e t h i ss i m u l a t o ri sc a p a b l eo fs i m u l a t i n ge v e r yh i g h - f a u l t t o l e r a n c ed i s ka r r a yi n w h i c hp a r i t yc a l c u l a t i n gi sb a s e do nx o ro p e r a t i o n s a n di tp r o v i d e sar e s e a r c h p l a t f o r mf o rh i g h f a u l t t o l e r a n c ed i s ka r r a y d u r i n gt h er e s e a r c h i n gp r o c e s s ，w ef i n d t h a to u t e rw r i t er e q u e s tm a yg e n e r a t ee x t r ai ou n i tr e q u e s t sw h e nu p d a t i n gp a r i t y u n i t s t h i sp a p e rp r o p o s e st w os o l u t i o n s ，a n dt h es c h e m eb a s e do nw h o l es t r i p ep a r i t y u p d a t i n gi sa b l et oi m p r o v ep e r f o r m a n c ew h o s ep a r i t yu n i tc a nb eu p d a t e de x a c t l y 2 ) h i g h r e l i a b i l i t yd i s ka r r a ys i m u l a t i o n t h i ss i m u l a t o ri sc a p a b l eo fs i m u l a t i n gt w o k i n d so fs c h e m e sw h i c ha r ei n t r a d i s kp a r i t ya n dd i s kd a t as c r u b b i n g a n di t p r o v i d e s ar e s e a r c hp l a t f o r mf o rh i g h r e l i a b i l i t y t h i sp a p e ra l s oa n a l y z e st h ei m p a c to fd i s k a r r a y e r r o rc o r r e c t i o n c a p a b i l i t y ，p e r f o r m a n c ea n de n e r g yc o n s u m p t i o nu s i n g d i f f e r e n ts c h e m e s i ti n d i c a t e st h a ti n t e r l e a v e dp a r i t y - c h e c ki st h eb e s tm e t h o do fa l la n d t h ef o l l o w i n gi so p p o r t u n i t ys c r u b b i n g i i 磁盘阵列的模拟方法研究 k e yw o r d s ：d i s ka r r a y s i m u l a t i o n p o w e rc o n s u m p t i o n h i g h r e l i a b i l i t y i l l h i g h f a u l t - t o l e r a n c e 学位论文独创性声明 本人承诺：所呈交的学位论文是本人在导师指导下所取得的研究成果。论文中除特 别加以标注和致谢的地方外，不包含他人和其他机构已经撰写或发表过的研究成果，其 他同志的研究成果对本人的启示和所提供的帮助，均己在论文中做了明确的声明并表示 谢意。 学位论文作者签名：丞垒 学位论文版权的使用授权书 本学位论文作者完全了解辽宁师范大学有关保留、使用学位论文的规定，及学校有 权保留并向国家有关部门或机构送交复印件或磁盘，允许论文被查阅和借阅。本文授权 辽宁师范大学，可以将学位论文的全部或部分内容编入有关数据库并进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文，并且本人电子文档的内容和纸质 论文的内容相一致。 保密的学位论文在解密后使用本授权书。 学位论文作者签名： 趁硷 指导教师签名：刻盔垦 签名只期：2 口卵年p 月j 日 磁盘阵列的模拟方法研究 1引言 1 1 研究背景及相关工作 随着互联网的飞速发展和企业信息化的普及，信息系统对存储容量的需求急剧增 长，存储容量从之前的p b 级上升到t b 级甚至e b 级。这种飞速的增长速度导致存储系 统需要面对数据可靠性、存储有效性、访问性能及能量消耗等诸多问题。这样便需要我 们基于不同的磁盘阵列结构来研究提升可靠性方法，性能及能耗优化方法等，而研究的 前提是需要搭建不同的磁盘阵列结构。目前磁盘阵列的研究方法有两种： 1 ) 基于真实环境的磁盘阵列研究：该方法需要真实的磁盘硬件做支持，配置和更改磁 盘阵列结构均比较复杂，虽然它能够真实反映磁盘阵列的性能，能耗及可靠性等相 关问题，但在其上进行性能及能耗的优化十分困难，研究过程中往往很少采用。 2 ) 基于模拟方法的磁盘阵列研究：该方法不需要特殊的磁盘硬件做支持，硬件成本较 低；搭建和更改磁盘阵列结构均比较简单，研究周期较短；而且它还可以模拟真实 环境难以搭建的磁盘阵列结构。在其上进行磁盘阵列性能，能耗及可靠性等优化方 法的研究均比较简单，同时目前已经提出的磁盘模拟器能够准确的模拟磁盘阵列的 性能。这种方法已经被更多的研究者所采用。 很多有关磁盘阵列的可靠性f 1 2 , 5 】，性能【1 1 】及能耗f 8 , 1 4 】的关键技术均是以模拟方式提 出的，例如：数据扫描技术【，磁盘内部校验技术【2 ，5 1 ，d r p m 磁盘转速动念控制算澍2 0 1 等。可见，磁盘阵列的模拟方法在网络存储的研究领域占有十分重要的位置，推动存储 领域技术创新的发展。目前，已经提出的磁盘阵列模拟器有： 1 ) d i s k s i m 磁盘模拟器【3 ，4 】：该模拟器是1 9 9 5 年由c m u 的g a n g e r 等人提出的，并在 以后的十几年时间里进行了4 次程序优化及功能模块添加工作。它主要用来模拟磁 盘阵列的性能，包括设备驱动、r a i d 控制器、控制器、总线、请求调度器、磁盘 控制器等模拟模块。尤其在磁盘控制器模块对现代磁盘进行了十分细致的模拟，能 够模拟多个厂家的磁盘设备。目前最新版本的d i s k s i m 4 0 e 4 】支持到r a i d 5 的磁盘阵 列结构，并支持s s d 固态硬盘的模拟。更重要的是d i s k s i m l 3 , 4 j 为开源软件，模拟方 式合理准确，被广大研究者普遍认同，在其上进行各种优化算法的研究更加有说服 力。 2 ) h p 公司研发的p a t h e o n 磁盘阵列模拟器【1 5 ，1 7 】：该模拟器是1 9 9 2 年由j o h nw i l k e s 等 人提出的，它能够模拟磁盘、磁带及磁盘阵列控制器的各种操作。它具有空闲阶段 的探测和预测功能，并可以对a f r a i d ( af r e q u e n t l yr e d u n d a n ta r r a yo fi n d e p e n d e n t d i s k s ) 频繁磁盘阵列的性能及可靠性进行分析。虽然p a t h e o n 1 5 l7 j 磁盘模拟器具有 d i s k s i m 所不具备的功能，但由于其不是开源软件，在其上无法扩展其他功能，因 此，很多性能及能耗的优化算法无法在p a t h e o n t l 5 1 7 】磁盘模拟器上进行扩展研究。 3 ) r o c h e s t e r 大学研发的v e s p e r 1 3m 皿伏q 4 - 以器：该模拟器是2 0 0 6 年由p e t e rd e r o s a 等 磁盘阵列的模拟方法研究 人提出的，它的主要用途是为操作系统的研究提供虚拟的硬件支持。它旧样模拟了 磁盘的性能，但实现方式没有d i s k s i m 复杂。它将总线及控制器作为一个整体进行 模拟，只对磁盘控制器进行了细致的模拟。 基于目前研究现状，可见磁盘阵列的模拟方法在存储领域占有十分重要的地位，它 的提出为存储领域中可靠性、性能及能耗的优化理论起到了显著的推动作用。 1 2 磁盘阵列能耗控制方法 随着存储系统规模的不断扩大，存储系统消耗的能量急剧上升，导致一个数据中心 每年需花费几百万甚至几千万美元的电费【l8 1 ，而其中1 3 的费用是由磁盘设备引起的。 磁盘的高能量消耗不仅增加了存储系统的整体费用，还带来了存储系统高热量的问题， 这需要制冷设备来控制机房的整体发热温度，又会消耗昂贵的电费。因此，如何降低磁 盘设备的能量消耗，进而降低存储系统整体的能量开销成为存储界亟待解决的问题。 根据研究发现，磁盘消耗的能量与磁盘转速存在一定关系，即磁盘转速越高，磁盘 消耗的能量就越大【8 l4 1 。因此为了节省磁盘消耗的能量，很多研究者提出了设法降低磁 盘转速的磁盘能耗控制算法 8 , 1 4 , 2 0 】。目前，已经提出的磁盘能耗控制算法大致分为以下 两大类。 1 ) 基于非预测思想的磁盘能耗控制算法：使用这类能耗控制算法的磁盘不能够预测下 一阶段磁盘请求的负载情况。它只根据磁盘请求到来的问隔时间来调整磁盘转速。 基于非预测思想的常用磁盘能耗控制算法有( 1 ) t p m ( t r a d i t i o n a lp o w e r m a n a g e m e n t ) t 1 4 】传统磁盘能耗控制算法，分为单速磁盘t p m 和多速磁盘t p m 两种 能耗控制算法；( 2 ) p d p m ( p r a c t i c a ld i s kp o w e rm a n a g e m e n t ) t 剐实际的磁盘能耗控制 算法，该算法通过设定一个或几个最大允许空闲时间来控制磁盘的转速级别，当磁 盘的空闲时间大于当前速度级别的最大允许空闲时间时，降速到低速状态节省能耗， 当磁盘请求到来时，提速到高速状态处理磁盘请求。 2 ) 基于预测思想的磁盘能耗控制算法：使用这类能耗控制算法的磁盘可以根据预测信 息，来动态调整磁盘的速度级别。它的预测方法有( 1 ) 根据服务器的访问请求特征， 预测的下一个请求的到来时间，提前将运行在低速状态下的磁盘提速到全速状态， 如o d p m ( o r a c l ed i s kp o w e rm a n a g e m e n t ) 1 4 】理想的磁盘能耗控制算法。预测方法 有i o 负载的自相似特征f l l j 等。( 2 ) 通过计算前一阶段请求的负载情况，来预测下 一阶段请求的负载情况，从而动态调整磁盘的运转速度，如d r p m ( d y n a m i c r o t a t i o n sp e rm i n u t e ) 2 0 j 动态磁盘转速。 目前，基于非预测思想的p d p m 算法已经被广泛应用于实际系统中。而基于预测思 想的磁盘能耗控制算法由于很难准确预测下一个请求的到达时间，并没有被应用于实际 系统之中。但有关预测方法的研究工作并没有停止，近年来又提出了基于i o 访问的长 相关性【l l 】来预测磁盘请求的到达时间等方法，这些方法的提出都以磁盘阵列模拟器作为 2 磁盘阵列的模拟方法研究 研究环境，因此磁盘阵列的模拟方法是磁盘阵列能耗研究的重要方式。 1 3 高容错磁盘阵列技术 随着社会对信息需求的不断增大，大规模存储系统被广泛应用于各种领域。磁盘阵 列的规模不断增大，随之而来的磁盘出错和潜在扇区错误【2 6 j f - j 题也变得越来越显著突 出。r a i d 5 已经很难提供足够的可靠性保障。为了确保数据的高可靠性和高可用性，各 种高容错纠删码技术被相继提出，并且部分已经应用于真实系统之 3 1 , 3 2 】。已经提出的 高容错纠删码有： 1 ) r e e d s o l o m o n 码【1 0 , 1 6 ：包括标准r e e d s o l o m o n 码【1 0 】和c a u c h yr e e d s o l o m o n 码【1 6 】 两种高容错纠删码。由于标准r e e d s o l o m o n 码【io 】采用了复杂的o a l o i sf i e l d 算法， 其编码解码的时间开销过大。p l a n k 等人便提出将标准r e e d s o l o m o n 码以二进制矩 阵编码形式表示出来，命名为c a u c h yr e e d s o l o m o n 码【1 6 】，不仅节省了编码解码的 额外开销，而且没有对系统可靠性产生影响。 2 ) 矩阵校验码：分为横向校验，纵向校验及横向纵向同时校验三种方式。横向校验编 码是校验单元仅校验当前条带中数据单元的一种编码形式，常用的有e v e n o d d 编 码【2 l 】，r d p 编码【2 2 】及l i b e r a t i o n 编码等。纵向校验编码是校验单元仅校验当前列 中的数据单元，也就是说每个磁盘的校验单元仅校验自身磁盘的数据单元，常用的 方式有w e a v e r 编码【6 j 等。横向纵向同时校验编码综合了横向校验和纵向校验编码 的特点，从行和列两方面进行校验，常用的方式有h o v e r 编码【7 1 ，g r i d 编码【9 】等。 其中部分纠删码是完全基于异或操作的，并属于m d s ( 最大距离可分离) 3 5 编码， 应用范围广泛。 3 ) l d p c ( l o w d e n s i t yp a r i t yc h e c k ) 低密度校验验证编码【2 3 ，2 4 】：是基于异或操作的一 维纠错码，起初应用于通信信道领域【2 3 1 ，最近被应用在存储系统可靠性领域【2 4 1 。 这些高容错纠删码大大提高了磁盘阵列的可靠性。其中，r e e d s o l o m o n 码【1 0 , 1 6 】和矩 阵校验码两类编码可以使用二进制矩阵编码【1 2 】方式表示，部分纠删码已经应用于实际系 统之中【2 1 , 2 2 , 1 6 】。二进制矩阵编码技术【1 2 1 是高容错纠删码技术一种表示形式，它将高容错 纠删码以二进制矩阵编码方式表示出来，并简化了编码及解码过程，被应用于多种基于 异或操作的纠删码技术 1 6 j 2 】。 由于基于高容错纠删码的磁盘阵列环境很难搭建，高容错纠删码的提出和研究大多 基于磁盘阵列的模拟方法，因此磁盘阵列的模拟方法是高容错纠删码研究的重要途径。 1 4 高可靠性磁盘阵列技术 前面已经介绍了有关高容错磁盘阵列技术，这种技术在磁盘阵列的可靠性方面发挥 了很大的作用，但是基于r a i d 技术的磁盘阵列有时也会产生错误。例如，( 1 ) r a i d 5 磁盘阵列技术能够容错一块磁盘错误，但如果在发现这一错误之前。在同一条带上已经 存在其他错误，在数据恢复的时候便会产生数据丢失【l9 1 。同时，对于r a i d 5 磁盘阵列， 磁盘阵列的模拟方法研究 它只能够检测出当日订条带中存在错误，无法确定错误的具体位置【l9 l 。( 2 ) r a i d 6 磁盘 阵列技术能够容错两块磁盘错误，它可以克服上述r a i d 5 的缺陷，但r a i d 6 只能够检 测出两个磁盘错误，定位并修正一个磁盘错误，无法修正两个磁盘错误【l 引。因此，单纯 地依靠r a i d 技术很难达到磁盘阵列的高可靠性标准，需要通过更可靠的方法尽早的检 测出磁盘中的扇区错误，从而提高磁盘阵列的可靠性。 有研究者在r a i d 技术的基础上提出了两种提高磁盘阵列可靠性的方法，( 1 ) 磁盘 阵列的数据扫描技术【，使用该方法的磁盘阵列能够定期对磁盘进行数据扫描，来检测 磁盘扇区的错误，从而尽早发现并恢复错误数据。( 2 ) 内部磁盘校验技术【2 ，5 j ，使用该方 法的磁盘阵列为每个磁盘提供了内部磁盘校验的冗余机制，使得磁盘阵列在r a i d 技术 校验的同时，还会进行内部磁盘校验。这样在每次读写磁盘块时便能够检测磁盘数据块 的错误，从而尽早恢复错误数据，提高磁盘阵列的可靠性。 上述两种方式，在真实系统中实现复杂，很难搭建真实的环境进行研究，它们的研 究均选用了磁盘阵列模拟器作为实验平台，可见，对于复杂的高可靠性磁盘阵列技术， 磁盘阵列的模拟方法起到了非常大的作用。 1 5 本文研究的主要内容和贡献 1 5 1组织结构 本文共分6 章，内容组织结构如下： 第l 章为引言。首先介绍磁盘阵列模拟方法的研究背景及国内外相关工作；其次介 绍三个有关磁盘阵列技术的研究背景和相关工作，即磁盘阵列的能耗控制算法、高容错 磁盘阵列技术和高可靠性磁盘阵列技术；最后介绍本文的组织结构和主要贡献。 第2 章重点介绍磁盘阵列模拟器的基本原理，结合真实系统的磁盘阵列工作原理整 体介绍磁盘模拟器模拟方式。 第3 章着重介绍磁盘阵列能耗的模拟方法，基于三种能耗控制算法，设计并实现对 磁盘阵列能耗的模拟。并针对影响磁盘阵列性能及能耗的磁盘参数进行了研究，得出不 同参数对磁盘阵列性能及能耗的影响趋势结论。第3 章后半部分研究了l j o 访问特征对 磁盘阵列能耗及性能的影响，并给出i o 访问的长相关性对磁盘阵列性能及能耗的影响 结论。 第4 章结合二进制矩阵编码技术，介绍了一种高容错磁盘阵列的模拟方法，同时针 对高容错磁盘阵列写请求过程中，i o 访问数量多余的问题，提出了两种解决方案。 第5 章结合磁盘阵列的数据扫描技术及内部磁盘校验技术，介绍了高可靠性磁盘阵 列的模拟方法。同时，结合高可靠性磁盘阵列的实验结果，给出高可靠性磁盘阵列模拟 器对磁盘阵列性能及能耗的影响结论。 第6 章对论文总结并提出下一步研究方向。 4 磁盘阵列的模拟方法研究 1 5 2主要贡献 本文的第一贡献在于基于d i s k s i m 提出了一种能够模拟不同磁盘能耗控制算法的磁 盘阵列能耗模拟方法，为磁盘阵列的能耗研究提供了实验平台。同时基于设计的能耗模 拟器研究了i o 访问的长相关对磁盘阵列能耗及性能的影响，并得出i o 访问的长相关 性对磁盘阵列能耗及性能的影响不大，进行磁箍阵列能耗及性能优化考虑时，可以从i o 访问的短相关性进行考虑。 本文的另一个贡献在于基于d i s k s i m 磁盘模拟器提出了磁盘阵列可靠性方向相关的 两种磁盘阵列模拟方法，即高容错磁盘阵列的模拟方法及高可靠性磁盘阵列的模拟方 法。( 1 ) 高容错磁盘阵列的模拟方法应用了二进制矩阵编码技术作为输入接口，能够模 拟各种基于异或操作高容错纠删码的磁盘阵列。同时还针对写请求校验单元更新产生多 余i o 的问题，提出了两种解决方案。从研究结果可以看出基于整条带校验的更新机制 能够在保证校验单元被正确更薪的同时，有效提高了磁盘阵列的响应性能。( 2 ) 高可靠 性磁盘阵列的模拟方法能够模拟基于r a i d 技术的磁盘数据扫描及内部磁盘冗余校验两 种机制，为高可靠性磁盘阵列的研究提供了实验平台。同时研究了不同高可靠性机制对 磁盘阵列性能及能耗的影响，从研究结果可以看出，交叉校验编码机制为几种高可靠性 机制中最好的，其次为机会扫描。 磁盘阵列的模拟方法研究 2 磁盘阵列模拟器的基本原理 2 1磁盘阵列子系统的基本原理 本章着重介绍磁盘阵列模拟器的工作原理，在介绍磁盘阵列的模拟方法之前，首先 介绍一下磁盘阵列子系统的工作原理。 在真实环境中，磁盘阵列子系统是位于文件系统层之下的，由设备驱动作为磁盘阵 列子系统的接口，接收来自文件系统层的磁盘请求，同时也将磁盘阵列的处理结果返回 给文件系统。在磁盘阵列子系统中，i o 请求的响应时间是评价磁盘阵列子系统响应性 能的唯一标准，它被定义为i o 请求处理完成时间与i o 请求到达设备驱动时阳j 的差值。 磁盘阵列子系统的系统结构图如图2 1 所示。它主要由设备驱动、r a i d 控制器、系 统总线、控制器、外部总线及磁盘几部分组成。当磁盘阵列子系统采用软r a i d 机制时， r a i d 控制器在设备驱动之内( 如图2 1 所示) 。文件系统传递1 个外部磁盘请求到达设 备驱动时，( 1 ) r a i d 控制器根据磁盘阵列结构将其拆分成多个内部磁盘访问请求，并 将拆分后的内部访问请求传递给系统总线。( 2 ) 系统总线接收到请求处理命令后，根据 访问的具体磁盘将它们传递给控制器。( 3 ) 控制器接收到具体磁盘请求后，将它们传递 给对应的外部总线。( 4 ) 外部总线将磁盘请求发送给磁盘进行处理。( 5 ) 磁盘处理完成 请求后，依次经由外部总线、控制器和系统总线传递给设备驱动，最后设备驱动将处理 结果返回给文件系统。 d r i v e r r i oc o n t l - o ll e t j 上 s y s t e mb u s j 上 c o n t r o l l e r f p p 一与一， e x t e r n a l e x t e r n a lb u s o b u s 。 图2 1 磁盘阵列子系统体系结构图 在磁盘阵列子系统中，最重要的组成部分是磁盘，它对不同的请求类型会采用不同 方式进行处理，磁盘设备处理请求的过程如图2 2 所示。( 1 ) 当磁盘请求为读请求时， 磁盘设备断开外部总线连接，开始进行寻道及旋转操作。磁臂定位到要读取的扇区后， 磁盘控制器便将磁盘上的数据读入磁盘缓冲区中。当磁盘缓冲区被填满时，磁盘设备申 请总线连接，将缓冲区的数据通过外部总线向设备驱动传输。如果读取的磁盘扇区比较 多，可能会涉及到磁头切换，之后继续向总线传输数据。( 2 ) 当磁盘请求为写请求时， 总线向磁盘缓冲区内写数据的过程与磁盘设备的寻道和旋转操作同时进行，磁盘定位到 更新扇区后，将磁盘缓冲区中的数据写入磁盘介质中。如果更新的磁盘扇区比较多，可 6 盘# 列的模“ 女研宄 能会涉及到磁头切换，之后继续自磁盘更新数据 器；嚣学蹴麓i勰器k，雕 ，、7 土_d_-_一b 5 r o a d 卜怒册舞嚣 ：器嚣紫器害鬻n 嚣譬蒲删，酬 w r i t e r 嚣擞kl _ 一l 。r 。一、。一 4 “g g 曹絮5 铡? ”o 幽2 2 磁盘设备处理磁盘请求流科”4 _ 从v o 请求的处理流程可以看出，i o 请求的响应时间主要包括以下三部分：( 1 ) 请 求在总线的传输时问：它涉及到总线延时和总线传输时叫。( 3 ) 拧制器调度磁盘内部访 问请求的时i n j 。( 3 ) 磁枯设备处理内部磁盘访问请求的时间：包括寻道时间，旋转等待 和读写时间。其中，前两部分的时间值在不同i o 请求的处理过程中基本保持不变。而 第三部分磁盘设备处理请求的时间随着不同i o 请求的访问特征变化而变化，而且在i o 请求响应时间中占绝大比例，决定了磁盘阵列v o 访问性能的好坏。 2 2 磁盘阵列的模拟方法 目前，比较流行的磁盘阵列模拟器大多包含了设备驱动、r a i d 控制器、总线、控 制器及磁盘几个模块。为了准确地模拟磁盘阵列的v o 访问性能，磁盘阵列模拟器模拟 了真实环境的v o 请求处理流程，并细致模拟了磁盘控制器处理请求的过程。其模拟的 v o 请求响应时间计算方式为：( 1 ) 总线延时、总线传输时间及控制器调度内部磁盘访 问请求的时间，g e 4 i 的值均由外部参数文件设定。( 2 ) 磁盘设各处理请求的时间按照以 下方式计算：根据当前磁头与要访问磁道的相对位置计算寻道时问。根据磁道位置 及要访问扇区的位置计算旋转等待时间。 根据访问数据块的大小计算读写时间。这几 部分时间之和即为i o 请求的响应时间。同前d i s k s i m 3 , 4 1 以及p a n t h e o n t l 5 1 v 1 4 均采用上 述v o 请求响应时f i l j 的计算方式，能够准确的模拟磁盘阵列的i o 访问性能。 23 本章小结 本章着重介绍了磁盘阵列子系统的工作原理，并根据详细的工作原理介绍了有关磁 盘阵列的性能模拟方法。 磁盘阵列的模耘方法研究 3 磁盘阵列能耗的模拟方法 3 1 本章引论 随着存储系统规模的不断扩大，存储系统消耗的能量急剧上升，能耗问题已经成为 存储领域不容忽视的问题。据统计，存储介质尺寸大约为3 0 ，0 0 0 f t 2 的数据中心需要消耗 1 5 m w 功率的能量，其中有1 3 的能耗用来制冷【2 8 1 ，这部分的能耗每年需要花费1 3 0 万 美元电费。美国数据中心仅2 0 0 5 年便花费了4 0 亿美元电费【2 9 1 ，同时以2 5 的增长速度 逐年递增【3 0 】。因此有效降低大规模存储系统的耗电资源成为了存储领域亟待解决的问 题。 由于数据中心能量消耗最多的是磁盘存储系统，例如在e m cs y m m e t r i x 3 0 0 0 存储系 统中磁盘驱动器便消耗了8 6 的能量 i 引，上文提到的数据中心，磁盘驱动每年需要花费 7 0 0 到9 0 0 万美元的电费【2 9 1 。因此，降低磁盘驱动器消耗的能量能够有效降低存储系统 的能量开销，从而节省电费开支。 我们首先了解一下磁盘驱动器的能量消耗原理。硬盘驱动器是一种机电设备，主要 有用来旋转磁盘盘片的轴电动机( s p i n d l e m o t o r ) 和用来移动磁盘磁臂的音圈电动机 ( v o i c e - c o i l m o t o r ) 两个能量消耗源。当磁盘不处理磁盘请求的时候，盘片处于旋转状念， 这种情况下磁盘消耗的能量仅来自于磁盘盘片的轴电动机( s p i n d l e m o t o r ) 。当有请求到达 的时候，磁盘需要进行寻道操作来确定访问磁道，这种情况下磁盘消耗的能量还包括磁 臂的音圈电动机( v o i c e - c o i l m o t o r ) 进行的寻道操作。当磁盘进行读写操作时，数据传输 过程同样需要消耗能量。综合这三方面的能量消耗来看，磁盘盘片的轴电动机始终处于 旋转状态，它是决定磁盘能耗多少的主要因素。因此很多磁盘能耗控制算法均通过降低 磁盘盘片转速，来达到降低磁盘能耗的目的。 本章着重研究不同的磁盘能耗控制算法在磁盘阵列模拟器d i s k s i m 上的设计与实 现，并研究磁盘阵列参数及不同的能耗控制算法对磁盘阵列性能及能耗的影响。同时， 本章利用已实现的模拟器，针对目前研究热门的i o 访问特征，研究了d o 访问的长相 关性对磁盘阵列性能及能耗的影响。 3 2 磁盘能耗控制算法 磁盘的旋转状态一般分为处理请求的活跃状态( a c t i v i t y ) 和不处理请求的空闲状态 ( i d l e ) ，目前已经提出很多的能耗控制算法是在磁盘处于空闲状态时来降低磁盘盘片转速 从而节省能量的( 如果降低到磁盘的最低转速则称为s t a n d b y 状态) ，但也有少部分磁盘 能耗控制算法是在不影响磁盘系统性能的情况使磁盘在非全速状态下处理磁盘请求。 目前，已经提出的磁盘能耗控制算法有t p m ( t r a d i t i o n a lp o w e rm a n a g e m e n t ) 1 4 】传统 能耗控制算法、o d p m ( o r a c l ed i s kp o w e rm a n a g e m e n t ) t 1 4 】理想的磁盘能耗控制算法、 p d p m ( p r a c t i c a ld i s kp o w e rm a n a g e m e n t ) e 8 , 一。，- 。t i f fz e , 。，i 。一。 去及d r p m ( d y n a m i e r o t a t i o n sp e rm i n u t e ) 2 0 】磁盘动态转速的能耗控制算法。本节将对这四种技术进行详细阐 磁盘“”模# j & 研究 述。 32 1t p m 传统磁盘能耗控制算法 t p m ( t r a d i t i o n a lp o w e rm a n a g e m e n t ) 【1 4 】传统磁盘能耗控制算法分为单速磁盘t p m 和双速磁盘t p m 两种能耗控制算法。 单速磁盘的t p m 算法是最传统的能耗控制算法，应用这种尊法的磁盘在处理请求及 不处理请求的情况下均处丁全速旋转状态。相比其他磁盘能耗控制算法，它始终阻全速 转速旋转，y o 响应性能最好，但同时磁盘盘片轴电动机消耗的能量最多，因此整体消 耗的能量是最多的。 陶31 不同磁盘阵列模式f 的磁盘能耗分布情况( r 4 r 5 和r 1 0 分别对应r a i d 4 r a i d 5 和 r a d i o 三种磁盘阵列) ” 文献 1 4 1 的实验( 图31 ) 表明，磁盘阵列使片jt p c c 及t p c h 两种麻用t r a c e 时， 火部分时间均处十空闲( i d l e ) 状态。为了解决争速磁盘消耗能量过多的问题，双速磁盘的 t p m 算法被提了出来。应用这种算法的磁盘只有在处理y o 请求过程( a c t i v e 状态) 中全 速旋转，当磁盘空闲一段时间后，便降速到低速转速( s t a n d b y 状态1 下来节省能量。下一 个请求到来时，磁盘立即恢复到全速状态处理磁盘请求。 由于磁盘提速过程需要消耗大量的时间，而应用多速t p m 算法的磁盘是在下一个磁 盘请求已经到来的情况下才开始提速，因此多速t m p 算法与单速t p m 算法相比，虽然 节省了能耗，但同时也造成了i o 响应性能的相对降低。 3 22o d p m 理想的磁盘能耗控制算法 为了解决多速t p m 算法所造成的i o 响应性能损失，o d p m ( o r a c l ed i s kp o w e r m a n a g e m e n t ) 1 4 1 理想的磁盘能耗控制算法被提了出来。应用o d p m 算法的融盘是在下 一个请求到达之前，便预测到该请求的到达时间，提前将磁盘提速到全速转速来处理该 磁盘请求。这种算法相对t p m 算法，不仅降低了磁盘能耗，而且没有对y o 响应性能 产生影响，是最好的一种能耗控制算法。但由于预测下一个磁盘清求的到达时问很难实 现，因此o d p m 没有被应用于真实系统中。 磁盘阵列的模拟方法研究 3 2 3p d p m 实际磁盘能耗控制算法 由于双速t p m 算法的降速及提速过程均需要消耗大量能量和i j o 响应性能，而 o d p m 算法的预测功能又很难实现，因此研究者提出了一种能够减少磁盘降速和提速次 数的p d p m ( p r a c t i c a ld i s kp o w e rm a n a g e m e n t ) 博】实际磁盘能耗控制算法。p d p m 算法 是通过设定一个允许最大空闲时问，来保证磁盘系统i 0 响应性能没有损失太多的情况 下，降低尽可能多的磁盘能耗。当磁盘的空闲时间大于设定的允许最大空闲时间时，磁 盘便降速到较低级别上运转，当下一个磁盘请求到来时，磁盘便提速到较高级别上处理 该请求。这样不仅解决了频繁的降速提速问题，保证了系统性能不会损失太多，同时也 节省了很多能量开销，因此p d p m 算法被广泛应用于实际系统中。 3 2 4d r p m 动态改变磁盘转速能耗控制算法 d r p m ( d y n a m i cr o t a t i o n sp e rm i n u t e ) 【2 0 】动态改变磁盘转速的能耗控制算法是 g u r u m u r t h i 等人近几年提出的算法。与t p m 算法相比，( 1 ) d r p m 降速时并没有完全降 低到最低转速，而是降低到中间的一个速度级别，这样在需要提速的过程中可以花费较 少的时间。( 2 ) d r p m 提速时并没有提高到全速状态，而是提高到一个较高级别或利用当 前转速来处理磁盘请求，这样可以减少从最低转速提速到最高转速所花费的时间，能够 提高系统的f o 响应性能，减少系统的额外能耗开销。( 3 ) d r p m 是一种能够在能耗和i o 响