（计算机系统结构专业论文）外存储系统数据组织与体系结构.pdf

摘 y 5 7 8 9 7 s 近年来，外存储系统技术取得了飞速的发展。以磁盘阵列、存储区域网、附网 存储为代表的外存储系统占据了计算机市场很大的份额。纵观外存储系统的发展， 其数据组织形式由最初的单个设备连续存放，发展到多台设备的数据分块与交叉相 结合的存放，对系统性能产生了越来越大的影响，进而推动了外存储系统的体系结 构的多样化。在这种条件下，有必要从数据组织与体系结构的角度出发，研究不同 的数据组织形式在不同系统结构和应用环境中对性能的影响，揭示数据组织形式与 体系结构之间的关系，为新型外存储系统的设计提供有力的理论基础。 为了满足读取和传送连续音、视频数据流的需求，针对顺序数据的特点，磁盘 阵列可以采用合适的数据组织结构和不同的实现方式提高磁盘阵列的读性能。结合 全数字电视台播放系统的应用特点，实现顺序数据的预取有三种方式，它们是按照 预取操作执行时阳：j 来划分的。在预取实现方式中，c a c h e 数据组织采用在盘阵列存储 空问上水平移动的窗口方式。利用p c t r i 网建立预取分析模型，可以分析磁盘阵列实 现顺序数据预取的性能，比较各部件( 如主从通道、设备通道、硬盘、预取命中率 以及预取数据长度等) 参数对系统性能的影响。在s c s i 一1 6 0 通道磁盘阵列和光纤通 道磁盘阵列中实现顺序数据预取的区别主要在于s l a v e 端驱动程序设计及协议适配 方法。 从数据组织看，网络磁盘阵列系统的扩展可以分为单服务器扩展和多服务器扩 展。单服务器扩展包括无分块无冗余、无分块有备份冗余、分块无冗余、分块有备 份冗余、分块有校验冗余等五种。多服务器扩展其数据组织类似于前者，但其由多 台服务器组成对网络用户统一的存储空间。 存储系统采用流水处理技术有两个前提条件，一是在前一个i 0 命令没有完全结 束之前，系统能获取下一个i o 命令的有关信息；二是不同部件应能同时操作，资源 不发生冲突。网络磁盘阵列满足这两个条件，可以在i 0 调度过程中采用流水处理技 + 本文受同家。然科学苯金资助，批准吁e ，s 。一，、s 。：，。，。；：! ! ! 雯纛导师同意 i l i 术。根据f o 调度进程的重叠度，流水调度方式可以分为固定流水方式和柔性流水方 式。在固定流水方式中，多进程按照固定的重叠方式执行；而在柔性流水方式中， 则通过判断进程的完成顺序，在一定程度上自由组合多个进程进行重叠。实验结果 证明，在多用户进程的条件下，两种流水调度方式都能提高网络磁盘阵列的带宽利 用率。 随着设备通道速率的不断增长，磁盘阵列控制器的总线成为新的带宽瓶颈。系 统总线与设备通道之间存在带宽匹配问题，单个系统总线只能连接有限的设备通道。 若采用树型结构来连接设备通道，则可以扩展存储系统连接的设备数，同时又不会 造成总线瓶颈，这就是提出磁盘树的基本思想。为了发挥树型结构在物理连接上带 来的好处，有必要研究磁盘树的数据组织形式，并定义有效冲突系数来判断数据分 块的f 确性。利用单元控制器中串控制器的p e t r i 网模型，可以计算出磁盘树的串控 制器利用率。与传统磁盘阵列比较，磁盘树具有结构上的优点。 共享存储已经成为当前计算机技术研究中的一大热点。现有的共享存储模型按 照文件和块对存储系统的层次结构作出了明确的划分，若再加入对象的概念，则可 描述更多的存储系统，构成一种新的共享存储的统一模型。于是从共享模型看，存 储区域网以块为数据访问单位，附网存储以文件为数据访问单位，而网络磁盘阵列 则以对象为数据访问单位。在分析了几种典型存储系统的基础上，详细讨论了一种 基于块的对等共享存储系统，包括它的关键技术、地址映射方法和块的一致性问题。 关键字：数据组织，体系结构，磁盘阵列，流水，磁盘树，共享存储 v a b s t r a c t a r a p i dp r o g r e s s h a sb e e nm a d ei nt h ef i e l do fs t o r a g e s y s t e mr e c e n t l y s t o r a g e s y s t e m s ，s u c h a s r a i d ( r e d u n d a n ta r r a yo fi n e x p e n s i v ed i s k s ) ，s a n ( s t o r a g ea r e a n e t w o r k ) ，n a s ( n e t w o r k a t t a c h e ds t o r a g e ) ，h a v eo c c u p i e dag r e a tp a r to ft h ec o m p u t e r m a r k e t r e v i e w i n gt h ed e v e l o p m e n to fs t o r a g es y s t e m ，d a t ai ss t o r e di nas i n g l ed e v i c e s e q u e n t i a l l y , r u n n i n gt ob es t r i p e da n dd i s t r i b u t e d i nm u l t id i s k s ，w h i c hm a k e sag r e a t i m p a c to ns y s t e mp e r f o r m a n c e ，t h u si m p e l l i n gt h eb o o m i n gv a r i e t yo fs t o r a g es y s t e m u n d e rs u c hc o n d i t i o n s ，i ti sn e c e s s a r yt om a k er e s e a r c ho nd i f f e r e n ti n f l u e n c e so f d i f f e r e n t d a t a o r g a n i z a t i o n o nd i f f e r e n ta r c h i t e c t u r ef r o mt h ea n g l e so fd a t ao r g a n i z a t i o na n d a r c h i t e c t u r e ，a n dt or e v e a lt h er e l a t i o n s h i pb e t w e e nd a t ao r g a n i z a t i o na n da r c h i t e c t u r e t h e s er e s e a r c h e sw i l lp r o v i d et h e o r e t i c a lf o u n d a t i o nf o rd e s i g n i n gan e ws t o r a g es y s t e m i no r d e rt oa c c e s sa n dt r a n s l a t es e q u e n t i a la u d i oa n dv i d e od a t a , r a i dm a y u s e a p p r o p r i a t ed a t ao r g a n i z a t i o na n d d i f f e r e n tr e a l i z a t i o nt oi m p r o v e p e r f o r m a n c e a c c o r d i n g t oc h a r a c t e r i s t i c so f d i g i t a lt v , s e q u e n t i a ld a t ap r e f e t c hc a n u s et h r e ep o l i c i e st h a tv a r yb y d i f f e r e n tt i m eo f p r e f e t c ho p e r a t i o n i nd i f f e r e n tp o l i c y , c a c h ed a t am o v e sh o r i z o n t a l l yi n r a i d s t o r a g es p a c ei nt h ef o r mo f w i n d o w r a i dp r e f e t c hm o d e lc a nb eb u i l tb y u s i n g p e t r in e t ，t h e ni ti su s e dt oa n a l y z er a i dp e r f o r m a n c ea n dc o m p a r et h ei n f l u e n c eo fe a c h u n i t ，s u c ha 8h o s tc h a n n e l ，d e v i c ec h a n n e l ，d i s k s ，p r e f e t c hh i tr a t i o ，p r e f e t c hd a t al e n g t h a n ds oo n t h e r ea r et w ok i n d so f p l a t f o r m su s e dt or e a l i z es e q u e n t i a ld a t ap r e f e t c h ，o n ei s s c s i 一1 6 0c h a n n e lr a i d ，a n dt h eo t h e ri sf i b r ec h a n n e lr a i d t h em a j o rd i f f e r e n c e so f t w ok i n d so f r a i dl i ei ns l a v ed r i v e ra n d p r o t o c o la d a p t i n g m e t h o d a c c o r d i n g t os c a l i n ga n dd a t ao r g a n i z a t i o n ，n e t w o r kr a i d s c a l i n gh a st w ow a y s ，o n e i sw i t hs i n g l es e r v e r , a n dt h eo t h e ri sw i t hm u l t is e r v e r s t h ef o r m e ri n c l u d e sf i v em e t h o d s s u c ha sn os t r i p i n gw i t h o u tb a c k u pr e d u n d a n t ，n os t r i p i n gw i t hr e d u n d a n t ，s t r i p i n gw i t h o u t r e d u n d a n t ，s t r i p i n gw i t hb a c k u pr e d u n d a n t ，s t r i p i n gw i t hc h e c k i n gr e d u n d a n t t h el a t t e ri s l i k et h ef o r m e r , a n di tm a k e sau n i f o r m s t o r a g es p a c e f o rn e t w o r kc l i e n t sb ym u l t is e r v e r s v s t o r a g es y s t e ms h o u l dm e e t t w o r e q u i r e m e n t st ou s ep i p e l i n et e c h n o l o g y , o n ei st h a t t h es y s t e mc a n g e t i n f o r m a t i o no fn e x tc o m m a n db e f o r et h e c o m p l e t i o no fc u r r e n t c o m m a n d ，a n dt h eo t h e ri st h a td i f f e r e n tu n i t sc a l lo p e r a t es i m u l t a n e o u s l yw i t h o u tc o n f l i c t o fd i f f e r e n tr e s o u r c e s m e e t i n gt h e s et w or e q u i r e m e n t s ，n e t w o r kr a i dc a nu s ep i p e l i n e o p e r a t i o nd u r i n gb os c h e d u l i n g 。a c c o r d i n g t oo v e r l a pd e g r e eo f y o s c h e d u l i n gp r o c e s s e s ， p i p e l i n eo p e r a t i o no fn e t w o r kr a i dc a l l b ed i v i d e di n t ot w om e t h o d s ，o n ei sf i x e d p i p e l i n es c h e d u l i n g ，a n dt h eo t h e ri sf l e x i b l ep i p e l i n es c h e d u l i n g m u l t ip r o c e s s e sw i l l e x e c u t eb yf i x e ds c h e d u l i n gs e q u e n c ei nf i x e dp i p e l i n es c h e d u l i n g 。o t h e r w i s e ，f l e x i b l e p i p e l i n es c h e d u l i n gj u d g e st h ec o m p l e t i n gs e q u e n c ea n do v e r l a p sm u l t ip r o c e s s e sf r e e l y t e s t sp r o v et h a tt h ea b o v et w ok i n d so fp i p e l i n e s c h e d u l i n gc a ni m p r o v eb a n d w i d t h u t i l i z a t i o nw h e nal o to f c l i e n t sa c c e s sn e t w o r kr a l i ) w i t ht h ed e v e l o p m e n to fd e v i c ec h a n n e lb a n d w i d t h , r a i ds y s t e mb u sb e c o m e sa n e wb o t t l e n e c ki nb a n d w i d t h s y s t e mb u ss h o u l dm a t c hd e v i c ec h a n n e l ，s os i n g l es y s t e m b u sc a l lo n l yc o n n e c tl i m i t e dd e v i c ec h a n n e l s 。i fw e a d o p t t r e es t r u c t u r et oc o n n e c td e v i c e c h a n n e l s ，t h en u m b e ro fd e v i c e sw i l lb ei n c r e a s e di nas t o r a g es y s t e ma n ds y s t e mb u s b o t t l e n e c kw i l l d i s a p p e a r t h i s i st h eb a s i ci d e ao fd i s kt r e e i no r d e rt oe x o r tt h e a d v a n t a g e so fd i s kt r e e ，i ti sn e c e s s a r yt os t u d yd a t as t r u c t u r ea n dd e f i n ev a l i dc o n f l i c t c o e f f i c i e n tt oj u d g ed i f f e r e n td a t as t r i p i n g ，u s i n gp e t r in e tm o d e lo f s t r i n gc o n t r o l l e ri n u n i t c o n t r o l l e r , t h eu t i l i z a t i o no fs t r i n gc o n t r o l l e ri nd i s kt r e ec a l lb ec a l c u l a t e da n da c o n c l u s i o nt h a td i s kt r e ei sb e t t e rt h a nt r a d i t i o n a lr a i ns t r u c t u r ew i l lb em a d e s h a r e ds t o r a g eh a sb e c o m eah o t s p o to f c o m p u t e r t e c h n o l o g y c u r r e n ts h a r e ds t o r a g e m o d e ld e s c r i b e ss t o r a g ea r c h i t e c t u r ea c c o r d i n gt of i l ea n db l o c k i fw ea d do b j e c ti n t o c u r r e n ts h a r e ds t o r a g em o d e l ，w ec a nd e s c r i b em o r e s t o r a g es y s t e m s w en a n l ei tu n i f o r m s h a r e ds t o r a g em o d e l s a ni ss h a r e ds t o r a g es y s t e mb a s e do n b l o c k ；n a si sb a s e do nf i l e a n dn e t w o r kr a i di sb a s e do nd a t ao b j e c t a f t e rw e a n a l y z es o m er e p r e s e n t a t i v es t o r a g e s y s t e m s ，ap e e r - t o - p e e rs h a r e ds t o r a g es y s t e mb a s e do nb l o c ki sp r o v i d e da n di t sk e y t e c h n o l o g i e s ，a d d r e s sm a p p i n ga n db l o c kc o h e r e n c ea r ed i s c u s s e d 。 k e y w o r d s ：d a t a o r g a n i z a t i o n ，a r c h i t e c t u r e ，r a i d ，p i p e l i n e ，d i s kt r e e ，s h a r e ds t o r a g e v l 1概述 有一个著名的木桶理论：决定木桶能盛多少水不取决于构成木桶的木板中最长 的一块，而是最短的那一块。存储系统正是构成计算机系统的“最短的那一块”，如 何提高存储系统性能已经成为众多学者关注的焦点。 1 1 存储系统的发展概述 计算机存储技术在这十几年的发展当中，已取得了长足的进步。推动其发展的 原因有三。一是计算机本身的迫切需求。计算机技术由三大部分组成一计算技术、 传输技术、存储技术，在以c p u 为代表的计算技术取得飞速发展、以i n t e m e t 为代 表的传输技术深入社会的每个角落的时候，存储技术的相对落后逐渐被某些重大应 用的现实所察觉，众多学者和公司都意识到发展存储技术势在必行。二是长期积累 下来的研究和产业基础已开始发挥作用，一大批技术进入实用化阶段。2 0 世纪7 0 年 代提出来的垂直磁记录技术，已被美国s e a g a t e 公司作为下一代硬盘产品的主要支撑 点，预计在l i n c h 2 的面积上记录1 0 0 0 g b 的数据i l l 。三是商业的利润增长点开始转移， 旧公司为了继续保持盈利，新公司为了在新的资本“洗牌”游戏中赢得先机，都不 遗余力地扩大在存储技术上的投资，各种商业炒作层出不穷。由于这些内外因素的 影响，计算机存储技术沿着存储设备和存储系统两条主线在不断发展。 以磁记录和光记录技术为代表的存储技术来看，图1 1 表示了以新技术为依托的 一些新产品，它们说明了当前的发展趋势。单个磁盘设备在磁记录方面出现了使用 垂直磁记录、单畴磁记录等新型技术f 2 】，且已接近实用化阶段。这些技术在使得磁盘 驱动器容量大幅增长的同时，也使得磁盘驱动器的存取时间不断缩小，据报道将达 到纳秒级，接近目前使用的内存存取周期的时问量级。在接口标准方面，出现了 f c ( f e b r ec h a n n e l ) o “、s c s i - 3 ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e 3 r 州、s a t a ( s e r i a l a d v a n c e d t e c h n o l o g y a t t a c h m e n t ) 6 7 1 1 8 等新型实用化标准。由于光纤通道的出现，研 究者在存储设备领域引进了光纤交换机，使得外部设备总线的连接方式从单一的级 联型扩展到交换型。s c s i 3 协议作为一个系列标准，包含了不同的层次和命令集， 实用化的产品已经出现了1 6 0 m b 、3 2 0 m b 、6 4 0 m b s 速率的接口卡。s a t a 作为i d e 系列接口的换代产品，其产品化的核心工作已基本完成，预计在近期将大量投放市 ； j q i l k 水 ，记录方式二一垂直记录( 包括h a m r 等_ ) 案争口新标怅氯耶 s c s h动器s t a ，：篡 t l + t 5 ，访问时间 t 2 = t 1 + t 2 + 2 * t 3 + t 4 。文献 3 8 1 的试验结果表明，多线粳调度下的双盘访问时间接近单 露访闫时麓。 随着磁盘驱动器缓襻的增大，磁赧驱动器数据在相当大的比例上被自身的缓存 命中。当数据命中时，t 2 很小，约1 5 2 微秒，而s c s i 命令阶段因采用异步传输方 式，t l 较大，在1 0 擞移友右。医篷，鲡暴磁盘驱动器鼗握套中，藏不应采燕多线程 调度技术了。 通过仔细分析图1 3 ，可以看出，如果能够减小第n 个i 0 与篇n + 1 个f o 之间 楚润骧延拜誊砉4 ，可敬结短乎筠i o 噙应延冀雪，赋悉掇囊设备逶_ i 羹懿i 0 照理遥度。臻 短t 4 可以有两种方法。第一种方法是尽量减小主机发送i 0 之间的间隔，加快主机 处理i 0 的速度，这种方法的实现必需修改主机端的没备驱动程序。第二种方法是加 大一次i o 懿平均酶i 0 数据量，镬魅壤鞠嗣数据援爨豹f o 数瓣疆小，鼓嚣等效遗 减小4 。第二种方法适合于磁盘阵列使用。 从上述沿革可以看出，存储系统的底层i 0 并行性研究已从研究通道内的i 0 命 令并行操作发展至研究系统各部件之阕魏俺协调处嫒f o 请求。国忿考虑能否在存储 系统各部件之间实现流求操作。流水线技术是提高c p u 性能的一个重要方法，自然 人们就想到y 搬它运用到存储系统当中来。i n t e l 公司糟推出一种称为1 2 0 的智能i 0 技 术，在i o 处理器内部采用两条p c 总线，以实现设套通道和主从通道的滚水掇l 乍。 但事与愿遗，工程设计静结果证实无法在同一时闽肉操作两条不同豹总线，戳p c i 总线的设计只是增大了p c i 总线负载。赢到现在，存储系统在部件级的流水操作还 没有解决，于是人们把目光投向了在处理机间实现宏流水。文献 4 3 】提出的网络磁盘 阵列实现了双通道分别传输控制信息和数据信息的流水操作，从而使系统性能成倍 的提高。类似结构的还有网络s c s i 技术、附网安全磁盘技术等。这种利用网络在服 务器和存储设备之间实现流水操作的技术，从根本上打破了用户请求数据和服务器 响应并传送请求数据的模式，要求整个系统作一定的修改。虽然某些应用，例如文 件传输协议、流媒体服务等，可以采用控制信息和数据信息分开传送的模式，但大 多数应用尚未接受上述这种存储系统结构，因此其推广难度比较大。 通过把网络技术引入到存储系统，出现了多种网络存储结构，如附网存储、存 储区域网、网络磁盘阵列、网络安全磁盘等。这些网络存储系统通过对存储系统结 构的设计，改变了传统数据请求的模式，达到拓展存储带宽、扩展容量、方便用户 直接快速存取数据的目的。存储系统的这些变革，对计算机系统性能和应用领域发 挥了明显的提升与拓展作用，同时也对大幅度增加了存储节点的负载。首先，由于 到达存储节点的请求数以及请求所包含的数据量远高于以往，导致了存储节点的存 储i 0 负载在量上的激增。其次，由于存储节点的外部连接模式和第三方传输协 议的应用，使到达的请求类型除了面向块的请求外，还有面向存储对象和文件的请 求，致使其存储i 0 负载在质上也发生变化。此外，在存储节点内部网络i o 与 存储 0 成为同等重要的处理环节。在此情况下，人们似乎仍旧更多地关注于外部连 接模式等的研究，而对存储节点内部结构的研究，尤其是针对负载变化的内部系统 结构研究则略显滞后。这一研究上的忽略造成的“内”、“外”失衡必将逐渐影响网 络存储优势的发挥。 存储节点中，用户请求通常要经过许多处理环节：从网络通讯接口接收网络i 0 数据包；由网络协议处理、提取用户的i 0 请求：处理用户请求( 即从请求到磁盘驱 动器0 的转换和准备) ；启动磁盘驱动器i o 任务进行数据存取操作；经网络协议 处理封装数据结果；最后由网络通讯接口发送网络i 0 数据包上网。传统存储节点进 行处理时，由于考虑到存储i 0 是系统最薄弱环节，采用以优化存储f o 为中心、通 过调度不同用户进程的方法，调配各种系统资源，以实现性能的优化。由于在存储 i 0 和网络i 0 问缺乏必要协调，又造成新的瓶颈。同时，高速存储技术的发展极大 地降低了存储环节的处理时间。对s c s l l 6 0 存储设备的实际测量结果显示，从发出 s c s ii o 命令到数据开始返回的时间最快可以达到1 5 1 t s 。与之相对比，运行速度 l g h z 的p 6c p u 在执行一段2 0 0 条高级语言的程序时，执行时间约为1 2 u s 。这种处 理时间上的趋近为我们采用流水处理的新思路来提高i o 请求吞吐率提供了可能。由 此看来，在存储系统各部件之间实现流水操作成为存储系统研究发展的一种趋势。 存储系统结构应顺应这种技术发展趋势，做出某些调整。磁盘阵列是并行存储 系统结构的典型代表，其技术来源于：对主机请求读写的数据进行分块使之分布存 放在多台磁盘驱动器上的分块技术【4 4 】 4 5 】 4 6 ；对存放在多台磁盘驱动器上的数据采取 交叉读写的交叉存储技术h 7 1 ( 4 8 1 ：对多台磁盘驱动器上的存储空恤j 进行重新编址，使 数据按重新编址后的存储空间进行存放的重束技术等。在当前单台磁盘驱动器的存 储容量和读写速度大幅度提高的条件下，存储系统是否还要沿用磁盘阵列的分块方 式? 是否有更好的能适应s a t a 一对一连接的存储系统结构? 是否能改变传统的数据 线性组织、采用更加有效的数据组织? 网络的发展使得网络的价值同网络用户数量的平方成正比f 4 9 1 ，而网络上浩如烟 海的数据却使得用户在使用网络时的实际使用效率很低，如何利用分布在网络上的 各个独立的存储空间来实现友好的数据共享便成为越来越突出的问题。为此，网络 存储工业联合会于近期推出了共享存储模型草案，试图模仿网络七层模型，从层次 结构的划分来规范共享存储。目前，对共享存储系统的研究正如火如茶的展开，包 括已出现的共享文件存储、附网存储、存储区域网和现在兴起的对等存储系统等， 都无一不是朝着这方面努力。 网络存储系统是一种共享存储系统。目前，网络存储系统主要有存储区域网、 附网存储、对等网络存储、机群存储等。众多的网络存储系统之间不能做到互相兼 容，使得网络存储市场用户莫衷一是。为了统一市场，技术研究人员正试图尝试各 种方法以使得各种产品之间能互相操作。附网存储头端的出现，就是试图结合存储 区域网与附网存储的一个例证。这种无序的发展，是网络存储在发展道路上的一个 必然阶段，但随着技术的成熟，它逐渐成为阻碍网络存储发展的一个重要因素。为 了规范存储系统结构，美国存储网络工业联盟( s t o r a g en e t w o r ki n d u s t r ya s s o c i a t i o n s n i a ) 推出了共享存储模型( s h a r e ds t o r a g em o d e l ) 【5 。如同i s o 网络七层模型提 供了一个统一的网络层次结构一样，共享存储模型提供了一个统一的共享存储层次 结构。借鉴共享存储模型，技术人员能更好地理解不同网络存储系统的工作原理及 其所处的层次。 共享存储模型的主要内容是给出了一种共享存储的分层结构，如图1 5 所示。模 型一共分为四层，分别是应用层、文件1 2 , 录层、块聚集层和设备层。应用层包括各 种应用程序，它是共享存储的最高层。文件记录层包括文件系统和数据库管理系统， 它的数据共享单位是一个文件或一个数据记录。文件记录层接收下层提供的数据块， 进行逻辑组织后形成文件或是数据记录，为应用层提供可共享的文件或数据记录。 块聚集层处理的是数据块，它的功能是接收块存储设备提供的原始数据块，如磁盘 驱动器数据块等，进行冗余、分块等处理，再组织成为完整的更大的块。根据数据 块处理的主体不同，块聚集层可以分为主机子层、网络子层和设备子层。主机子层 是指主机处理存储设备提供的原始数据块，如软阵列等。网络子层是指网络设备处 理原始数据块，如存储区域网交换机等。设备子层是指存储设备控制器处理原始数 据块，如磁盘阵列控制器等。共享存储模型的最底层是设备层，它包括各种块设备， 如磁盘、磁带、光盘等。 应用层 文件记录层 块聚集层 设备层 l应用程序 豳南 ：千申苦 存储设备 图1 5 共享存储模型的分层结构 根据各种网络存储系统提供的最小共享数据单位、共享数据处理机制和结构组 成的不同，我们可以看出各种网络存储系统在共享网络模型中所处的地位。如存储 区域网处理的数据处于块聚集层，因此它是一种块级的共享存储系统。附网存储设 备对外提供的数据是文件，因此它的内部功能包括了块的聚集，可以容纳各种不同 的块设备。 作者认为，文件是对象的一种形式。为了在共享存储模型当中恰当地包含当前 已经出现的面向对象的存储，应该采用对象的概念，对该模型作稍许修改。人们之 所以易于接受文件这个概念，而难于理解对象，是因为当今操作系统普遍采用文件 作为数据的逻辑单位，文件概念已经深入人心，且系统设计人员通常只接触到文件， 而不知道存储系统的对象为何物。对象是存储系统一次请求的数据单位。随着各种 不同的网络存储系统的出现，一次请求的数据单位也许是多个数据块的组合，也许 是多个文件的组合，也可能是一个文件的部分数据，我们把它们统称为对象。对于 存储对象的研究可以说是既久远又新颖，其研究成果将有助于人们对存储技术的理 解。 综上所述，存储系统的研究重点集中在以下几个方面： 1 ) 新型存储系统结构，包括底层的通道间、通道内的并行操作，i o 路径中各 部件间的流水处理； 2 ) 存储系统的新型操作模式，即采用何种调度方式来协调存储系统各部件的动 作； 3 ) 共享存储系统，包括共享数据的一致性及管理模式。 1 5 本文研究的主要内容及意义 存储系统己处于当今研究的热门领域。以磁盘阵列技术为基础的附网存储技术、 存储区域网技术一经提出，便获得了飞速发展。随着各种应用对存储的要求不断提 高，比如高清晰电视的数据传输需要超过1 0 0 m b s 的存储速度、视频点播系统要求 超大容量的存储空间等，利用存储系统来满足应用的要求已经得到大家的共识。 从众多的计算机存储系统可以看出，数据的组织结构在某种程度上决定了系统 体系结构的组成，而同一种数据组织结构可以被多种存储系统体系结构实现，且由 于采用的技术不同，系统具有不同的性能。从大的方向来说，新的存储系统必须有 体系结构上的创新，新的体系结构需要新的数据组织结构来支持。目前大多数存储 系统采用的数据组织结构是以块为单位的分块交叉存储，从数据结构上来说是一种 二维数组形式。存储系统为了满足这种二维数组数据访问的要求，必须解决数据访 问的并行性问题，于是以磁盘阵列为代表的存储系统应运而生。随着网络的发展， 存储系统逐渐与网络技术结合起来，出现了几种典型的网络存储系统。从技术角度 看，网络技术在两个方面改善了存储系统。一是增强了存储系统的独立性。传统存 储系统的独立性表现在两个方面：一是降低对主机的依赖，通过标准接d 与各种形 式的主机相连，实现开放的体系结构；二是允许不同厂商、不同品种、不同规格的 设备接入系统，只要符合接口协议便可，即实现与设备无关的结构特征。从数据本 身来看，存储系统的独立性有着更深的含义。数据是信息的载体，计算机系统的运 行过程实际上是对数据的一系列加工过程，只要数据存在，现实世界的实体就存在。 这一点从9 1 l 恐怖袭击后充分地表现出来。位于世贸大厦内的金融界巨头摩根斯坦 利公司，在世贸大厦租有2 5 层，在全球有6 0 0 多家办事处。随着大厦的轰然倒塌， 人们都认为该公司将很难恢复其在全球的业务。可事发后几个小时，该公司宣布： 全球营业部第二天可以照常工作，这是因为该公司建立的数据备份和远程容灾系统。 摩根斯坦利公司的主要系统中心建在世贸大厦内，同时在新泽西的t e a n e c k 市建有一 个容灾中心，保证了数据与处理的分离。网络存储系统的出现，增强了数据独立性， 强调“以数据为中心”的处理模式。网络技术改善存储系统的第二个方面是提高了 存储系统的扩展性。传统存储系统采用总线与通道方式与服务器相连，由于总线设 备的独占性和通道的寻址能力有限，传统存储系统在扩展性方面存在各式各样的瓶 颈。利用网络的扩展能力，网络存储系统能轻易地连接众多存储设备，并且实现系 统扩展后数据的共享。正是由于上述两点的推动，存储系统在网络化方面取得了商 业上的成功。目前对存储系统的研究，正在经历一个从研究具体系统到研究存储系 统的系统化理论，从而指导研究新型存储系统的过程。 本文针对己同趋成熟的磁盘阵列，以数字化电视台播放系统中的应用为例，研 究了基于顺序数据组织的并行存储结构。为了在i o 请求地址基本连续的条件下评估 系统的性能，本文建立了预取p e t r i 网模型，计算采用预取策略之后磁盘阵列的理论 性能，并分析了组成磁盘阵列各部分参数对系统性能的影响，指出预取的实质是缩 短了平均i ，o 响应时间。在此基础上，萌发了在存储系统中实现流水操作的想法。存 储系统的流水操作一直是我们努力实现的目标，但由于技术难度较大的原因，至今 还未能完全实现。我们在研制网络磁盘阵列的过程中，通过分析网络磁盘阵列系统 的两种扩展方式和网络磁盘阵列i 0 处理流程，探讨在处理多i 0 请求的过程中实现 流水操作的可能性，得出流水操作的实现原理，并采用固定段和柔性流水的方法实 现流水操作。试验表明，多i o 请求的流水处理能够减小i o 处理的响应时间。存储 系统的研究需要在系统结构方面创新。为了克服总线瓶颈，本文提出一种基于树结 构的并行存储系统磁盘树的新型结构，分析了磁盘树的数据分块原则，并从理论 上证明串控制器利用率的高效性。随着各种存储系统的提出，以文件和块这两种数 据单位来区分共享存储产生了局限，为使研究深化，本文还提出了以对象来建立的 共享存储统一模型，并在研制一种基于块的对等存储系统中，研究了块数据一致性 的解决方案。 概括起来，围绕存储系统的数据组织与系统结构，本文的主要研究内容包括以 下几个方面： 1 、基于顺序数据组织的并行存储结构，建立数据请求连续条件下磁盘阵列预取 模型，分析磁盘阵列各部分参数对系统性能的影响； 2 、基于流水操作的存储体系结构，针对网络磁盘阵列i o 响应过程的时间特征， 研究存储系统的流水操作； 3 、一种新型的存储系统结构磁盘树，树型结构的数据组织及其评价，串控 制器p e t r i 网模型、分析其利用率； 4 、基于网络的共享存储体系结构，提出共享存储的统一模型，研制一种基于块 的对等存储系统原型，分析基于块的数据一致性解决方案。 2 基于顺序数据组织的关键技术及l 生能分析 为了满足读取和传送连续音、视频数据流的需求，针对顺序数据的特点，可以 采用合适的数据组织结构和不同的实现方式提高磁盘阵列的读性能。本章结合全数 字电视台播放系统的应用特点，讨论了顺序数据的三种预取实现方式和c a c h e 数据 组织形式，并利用p e t r i 网模型分析了磁盘阵列实现顺序数据预取的性能，比较了各 部件参数对系统性能的影响。本章还介绍了实现顺序数据预取平台中的两种s l a v e 驱 动程序设计及协议适配方法。 2 1 顺序预取的并行执行与数据组织方式 矩阵结构的磁盘阵列可分为单通道水平阵列、单通道垂直阵列、双通道水平阵 列、双通道垂直阵列和c r o s s h a t c h 结构阵列【5 ”。它们都使用串控制器连接磁盘，任 何单台磁盘驱动器的失效都能通过奇偶校验组来恢复，而且在恢复过程中系统能降 级运行。其中，c r o s s h a t c h 磁盘阵列中使用的磁盘驱动器都有两个端口，一个接入水 平串，另一个接入垂直串。当一个串控制器出错时，系统降级运行。这种结构的容 错能力特强，且降级模式下性能较好。 对数据组织的研究除了划分磁盘阵列级别之外，还包括对数据分块单元的优化 设计、为改善性能的数据分配策略、以及对应的c a c h e 数据组织的研究。p e t e rc h e n 研究了数据分块单元粒度与阵列参数之间的关系，得出分块单元大小正比于平均定 位时间与数据传输率的乘积1 5 2 5 3 】【5 4 】 5 5 】【5 6 】。l e e 、h o l l a n d 等人通过研究奇偶数据放置 策略，改善了系统数据重构时间 5 7 】 5 8 1 5 9 】 6 0 。m e n o n 等人提出了浮动奇偶校验分配策 略，并给出了四种算法，并对备用磁盘的数据分布方法进行了研究，提出了专用备 用、分布式备用和奇偶校验备用三种方法川 6 2 】【6 3 】【6 4 f 6 5 。 对于磁盘阵列c a c h e 的研究由来已久，主要包括c a c h e 策略和c a c h e 预取算法 的研究。c a c h e 策略采用类似于主机c a c h e 策略。c a c h e 预取算法则包括顺序预取算 法f 6 6 】、基于磁道的预取算法【6 7 】【6 8 】、概率预测预取算、法【6 9 1 、t i p ( t r a n s p a r e n ti n f o r m e d p r e f e t c h i n g ) 算法 7 0 】川、自适应并行预取算法口2 】【7 3 1 等。本文主要是在顺序o 条件 下，对顺序数据提出一种c a c h e 的组织结构，适应顺序数据预取的要求。 随着计算机多媒体应用的深入，系统对存储设备的速率要求越来越高。以全数 字图像数据采用无压缩格式视频编辑系统为例，要求系统在节目播出时，存储设备 要做到无压缩数据的实时读出。普通视频图像的分辨率为7 2 0 * 5 7 6 ，每一个象素用 1 6 b i t 表示，播放时每秒2 5 帧，要求数据从存储器中的读出速率约为2 1 m s ；高清晰 数字电视图像分辨率1 9 2 0 1 1 5 2 ，每一个象素用2 4 b i t 表示，播放时每秒2 5 帧，要求 数据从存储器中的读出速率约为1 5 5 m s 。多媒体应用中读操作的比例高，而且是连 续的，因而磁盘阵列成为首选存储设备【7 4 【7 5 7 6 】 7 7 。 特殊的多媒体应用还具有请求数据量大、且在相当长一段时问内请求数据不重 复的特点。对于全数字图像数据采用无压缩格式视频编辑系统为例，普通视频图像 播出1 小时，消耗的数据量是7 5 g b 。一般情况下，电视台播出的节目在1 个小时内 不会重复，这就要求7 5 g b 的数据完全从磁盘上读出来，而不会出现重复命中c a c h e 中已有数据的情况。 提高磁盘阵列数据读出速率的方法有两种类型