（计算机系统结构专业论文）多媒体文件系统集成与错误隐藏技术的研究.pdf

华中科技大学博士学位论文 摘要+ ；压缩、存储和通信技术的飞速发展，促使多媒体应用范围日益广泛，要求文件系统能 够有效管理多种类型数据( 如：文本、音频、视频、图象等) 的存储和回取。v o d 系统、 v o d 服务器的研究和开发取得了实用的成果。单一数据类型的文件系统已不能满足应用 的需要，文件系统向多数据类型集成化、网络化、分布式、可扩展方向发展。 、 本文对多媒体文件系统集成和存储系统的错误隐藏进行了较为系统和全面的理论和 方法的研究。主要研究内容包括：集成文件系统模型、存储系统资源调度、媒体相关的传 输策略、存储系统的客户端错误隐藏算法以及原型系统。 首先，分析了传统文件系统和多媒体文件系统的特点。呔多数文件系统按单一数据类 型优化。传统的文本数据的存储和回取按“尽力服务”优化，但不能满足实时应用的需要； 而连续媒体服务器根据数据的周期性和连续性的特点，采用资源预留算法确保实时性，却 不适合文本文件。连续媒体数据传输有严格的时延限制，而能够容忍少量的差错；文本数 据的传输则要求可靠、无错误，对时延不十分敏感，因而它们的传输策略也有本质的不同。 存储系统的磁盘带宽和缓存空间的管理，对文件系统的性能有重要的影响。由于集成文件 系统集成了多种不同特性的数据类型，对磁盘和缓存空间的管理也提出了新的要求。为此， 提出了层次化的集成多媒体文件系统模型，即分三层：存取控制层，传输控制层，应用程 序层。存取控制层根据媒体流的特点，如实时性、数据传输率等，决定数据在磁盘上的放 置、调度策略，充分利用磁盘的带宽；传输控制层处理网络带宽的合理利用问题，它依据 媒体流的实时性、数据传输率等特性，选择传输策略、分配带宽、处理差错；应用层根据 数据格式调用相应的应用程序。下层之间通过接口连接，上层不必关心下层实现的细节， 各层根据自身的特点优化本层的资源分配和管理，扩展新的媒体数据类型方便。 其次，提出了一种适合集成文件系统的磁盘存储子系统管理策略，以及磁盘带宽分配 算法。该算法按照权重为不同的数据类型分配磁盘带宽，组织相应的媒体队列，再按不同 的策略把它们插入磁盘i o 队列。它在每一轮调度中，保证连续媒体类的实时性要求同时 优先服务尽力服务类数据，这样，尽力服务类数据有小的平均响应时间，连续媒体类有时 限( d e a d l i n e ) 保障。该算法还对因某类请求较少而空闲的磁盘带宽，采用= 次加权分配 给其它类请求，提高资源利用率。此外，还提出了一种适合集成文件系统的缓存组织和管 理算法，它对连续媒体类采用c m l r u 策略管理缓存区，改善缓存效果。为验证上述算 本文的研究工作获得国家高技术研究与发展计划( 8 6 3 3 1 7 - 0 1 - 1 0 9 9 ) 和国防预研项目( 1 58 4 ) 资助。 华中科技大学博士学位论文 法，设计了一个磁盘阵列仿真软件，仿真结果表明，随着视频客户数量的增力u ，文本客户 的响应时间大大小于单一调度算法。 根据多媒体的特点和及其应用要求，对以t c p i p 为基础的因特网( i n t e r n e t ) 的传输 协议进行了比较，提出应针对不同的媒体类型采用合适的传输协议，以获得满意的业务质 量。对关键控制命令采心t c p 协议传输，查询应答命令或短信息数据采j l | ju d p 传输，对 文本、静止图象等需要可靠传输的信息，采用t c p 协议传输，对实时连续媒体采刚u d p 传输。针对集成多媒体文件系统网络传输部分的主要环节，如数据包丢失、速率控制、流 控制、数据缓冲等进行了优化。 提出了一种存储系统的客户端错误隐藏算法。存储系统利j 【| r a i d 的冗余来提高可靠 性，但重建出错数据需要额外的磁盘访问时间，这是由于多媒体流数据量大、具有时限要 求，而且同时请求服务的客户数多，重建出错数据引起可用磁盘带宽的下降会影响可支持 的客户数和服务质量。客户端的错误隐藏是利用图象在时间和空间上的冗余，得到受损图 象区域的一个估计值，替代受损图象。提出的错误隐藏算法重建了主要交流d c t 系数， 使受损图象的恢复质量得到明显改善。 最后设计、开发了由四个子系统：测试机、客户机、媒体服务器和代理服务器组成的 原型系统，验证了提出的模型和相关算法。 ， 、一、 关键词：文件系统磁盘阵列错误隐藏多媒体存储传输 华中科技大学博士学位论文 a b s t r a c t t h er a p i dd e v e l o p m e n to fc o m p r e s s i n 昏s t o m g ea n dc o m m u n i c a t i o nt e c h n o l o g ym a k e s m u l t i m e d i aa p p l i c a t i o nb em o r ea n dm o r ew i d e l yu s e d ， a n dd e m a n d st h en l es y s t e mt o e f f e c t i v e j ym a n a g e t h es t o r a g ea n dr e t r j e v eo fv a r i o u sl y p e so fd a t a ，s u c ha s 妇t ，a u d j o ，v i d e o ， p j c t u r e ，e t c t h er e s e a r c ha n dd e v e l o p m e n to fv o ds y s t e m a n dv o ds e r v e ro b t a i n st h e a c h i e v e m e n t si np r a c t i c a l i t y t h en l es y s t e mf o rs i n g l ed a t at y p ec a n n o tm e e tt h ea p p l i c a t i o n r e q u i r e m e n t s t h e r e f o r e ，t h ei n t e g r a t e df o rt h ev a r i o u st y p e so fd a t a ，n e t w o r k ，d i s t r i b u t e d ，a n d s c a l a b l ef i i es y s t e mi sb e i n gd e v e l o p e d i nt h i sp a p e r ，t h ei n t e g r a t i o no f m u l t i m e d i an l es y s t e ma n dt h ee r r o rc o n c e a l m e n to f s t o r a g e s y s t e mh a v eb e e ns t u d i e dc o m p r e h e n s i v e l ya n ds y s t e m a t i c a i l y i nt h ea s p e c to ft h e o f ya n d m e t h o d ，m a i n l yi n c l u d i n gt h ei n t e 鲈a t e df j l es y s t e mm o d e l ，t h er e s o u r c es c h e d u l i n go fs t o m g e s y s t e m ，t h ec o r r e s p o n d i n gt r a n s p o n i n gs t r a t e g y f o rm u l t i m e d i ad a t a ，t 1 1 ee r m 卜c o n c e a l m e n t a l g o r i t h mo f c l i e n tf o rs t o r a g es y s t e m ，a n d t h ep r o t o t y p es y s t e m f i r s t i y ，t h ef e a t i l r e so ft r a d i t i o n a l n l es y s t e ma n dm u l t i m e d i af i l e s y s t e ma r ea n a l y z e d m o s tf i l e s y s t e m sa r eo p t i m i z e db ys i n 9 1 ed a t a 可p e t h es t o r a g ea n dr e t r i e v e o ft r a d i t i o n a l t e x t u a ld a t aa r e o p t i m i z e db yb e s te f 如r 【，w h i c h c a n n o ts a t i s 母t h er e q u i r e m e n to fr e a l t i m e 8 p p i l c a t i o n t h ec o n t i n u o u sm e d i a s e r v e ra d o p t sr e s o u r c er c s e r v ea i g o r i t h mt oe n s u r er e a l - t i m e d e p e n d i n g o nt h ep e r i o d i c i t ya n dc o n t i n u i t yo f d a t a ，b u ti td o e s n ta d a p tt ot e x tf i i e t r a n s p o r to f c o n t i n u o u s 出瞳ah a ss t r i c td e l a yl i m i t a t i o nb u tc a n 幻l e r a t eaf e w e r r o r s ，w h e r e a st h a to ft e x t u a l d a t ad e m a n d si n e r r a n c y t h e r e f o r e ，t h e r ci sas u b s t a n t i a ld i s t i n c t i o nb e t w e e nt h e i rt r a n s p o r t p o l i c i e s d i s kb a n d w i d t ha n db u f 亿rm a n a g e m e n to fs t o r a g es y s t e mh a sg r e a te f k c to nt h e p e r f o r m a n c eo f f i l es y s t e m t h ei n t e g r a t e df i l es y s t e mi n t e g r a t e st h ed i v e r s ed a t at y p e ss ot h a t n e wr e q u i r e m e n t sa r er a i s e df o rt h em a n a g c m e n to fd i s ka n db u f r e r t h e r e f o r e ，al a y e r e dm o d e i o f i n t e g r a t e dm u l t i m e d i af i l es y s t e mi sp r e s e n t e d ，w h i c hc o n s j s t so f t h r e e1 a y e r s ，i e t h es t o m g e c o n t r o l l a y e r ，t h et r a n 8 p o r tc o n t r o l l a y e ra n dt h ea p p l i c a t i o nl a y e r t h es t o r a g ec o n t r o l l a y e r d e c i d e sm e c h a n i s m sf o rd a t ap l a c e m e n ta i l ds c h e d u l i n g ，m a k i n gt h em o s tu s eo fd i s kb a n d w i d t h i nt e r m so ft h ef e a t u r e so fm e d i as t r e a ms u c ha st h er e a l - t i m e ，d a t at r 粕s f e r r i n gr a t e ，a n ds oo n t h e t r a n s p o nc o n t m l l a y e ri sr e s p o n s i b i ef o rm a k i n gt h em o s tu s eo fn e t w o r kb a n d w i d t hb yt h e f e a t u r c so f m e d i as t r e a i t it oc h o o s e t r a n s p o r ts t r a t e g y ，t oa i i o c a t cn e t w o r kb a n d w j d t ha n dt od e a l w i t he n o r s t h ea p p l i c a t i o nj a y e rc a l l st 1 1 ec o h 弓s p o n d i n g a p p l i c a t i o np r o g r a m sb yd a t af 0 咖a t s u p p e r1 a y e ri sc o n n e c t e dt ol a w e rl a y e rb yi n t e r f a c er e g a r d l e s so f t h ei m p l e m e n t d e t a i l so fl o w e r t h i sr e s e a r c hw o r ki ss “p p o n e db yt h en a t i o n a ld e f c n s e t e c h n o l o g yr e s e a r c hp r o j e c ta n dt h en a t i o n a lh i g h t e c hr dp r o g r a m i i i 华中科技大学博士学位论文 l a v e re a c hl a y e ri sr e s p o n s i b l ef o ro p t n z i n gi t s r e s o u r c ea l l o c a t i o na n dm a n a g e m c n tb yl t s o w nc h a r a c t e r i s t i cs oa st 0f a c i l i t a t et h ee x p a n d i n g o f n e wm e d j ad a t at y p e s e c o n d l y ，am a n a g e m e n ts t r a t e g yo f t h ed i s ks t o r a g es u b s y s t e ma n daa l l o c a t i o na l g o r i t h m o ft h ed i s kb a n d w i d t ha r ep r o p o s e d ， w h i c ha d a p tt ot h ei n t e g r a t e dn l es y s t e m t h ea i l o c a t i o n a l e o r i t h mo ft h ed i s kb a n d w i d t ha l l o c a t e st h ed i s kb a n d w i d t hf o rd i f 绝r e n td a t at y p e sa c c o r d i n g t ot h e i rw e i g h t s ，a n do r g a n i z e st h er e l e v a n tm e d i ad a t aq u e u e s ，t h e ni n s e r t st h e mi n t od i s ki o q u e u e sb yd i f 传r e n tp o i i c i e s 1 ne a c h r o u n do fs c h e d u i i n g ，r e a i - t j m er e q u e s t so fc o n t j n u o u s m e d i aa r ee n s u r e dw i t hd e a d l i n e 譬u a r a n t e ea n db e s t e f 硒r td a t aa r ep r i m a r i l ys e r v e dw i t hs h o r t r e s p o n s et i m e d u e t of e w e r r 。q u e s t so f s o m ed a t at y p e s ，t h ei d l ed i s kb a n d w i d t hi sa l l o c a t e dt o o t h e r sb vt h e i rw e i 曲t s ，w h i c he n h a n c e st h eu t m z a t i o no fr e s o u r c e m o r e o v e r ，a b u f 传r o r g a n i z a t i o na n dm a n a g e m e n ta l g o r i t h m f o rt h e i n t e g r a t e d n l es y s t e mi s p r o p o s e d i tu s e s c m l r um e c h a n i s mt om a n a 辩b u f k r sf o rt h ec o n t i n u o u sm e d i ad a t as oa st oi m p r o v et h e e f f e c to f c a c h i n g ar a i d s i m u l a t o ri sd e s 培n e dt ov a i j d a t ea b o v ea i g o r i t h m s t h es j m u i a t i n g r e s u i t ss h o wt h a tt e x tr e s p o n s et i m ei sm u c hl e s st h a nt h a to fs i n g l es c h e d u l j n ga l g o r i t h mw i t h t h ei n c r e a s eo f v i d e oc i i e n t s t h i r d l y ，i ni i g h to f t h ec h a r a c t e “s t i c so fm u i t i m e d i as y s t e ma n da p p i i c a t j o nr c q u i r e m e n t s ， t h ei n t e m e tt r a n s p o r tp r o t o c o l sb a s e do nt c 肌pa r ec o m p a r e d ，a n dt h ea p p r o p “a t et r a n s p o n p r o t o c o i sb ee m p l o y e dt od i f r c r e n tm e d i at y p e sa r ep r e s e n t e dt oo b t a i nt h es a t j s 毋i n gs e r v i c e q u a l j t y k e yc o n t r o lc o m m a n d sa r et r a n s p o r t e db yt c p a n dq u e r y r e p l yc o m m a n d so rs h o r t m e s s a g ed a t ab y u d p t b ei n f o r m a t i o nt h a tr e q u i r e sr e l i a b l et r a n s p o n a t i o n ，s u c ha st e x t u a ld a t a ， u s e st c pt om e e tt h en e e d s ，v e tr e a l t i m ec o n t i n u o u sm e d i ad a t au s e su d p t h em a i ni s s u e si n t h en e t w o r k t r a n s p o n a t i o no fi m e g r a t e dm u l t i m e d i a 6 1 es y s t e m ，f o re x a m p l e ，d a t ap a c k a g el o s e ， r a t ec o n t r o l ，s t r e a mc o n t r o la n ds oo n ，h a v eb e e no p t i m i z e d f o u n h l y ，a n e r r o rc o n c e a l m e n t a l g o f i t h m o nc l i e n tf o r s t o r a g es y s t e m i s p r o p o s e d r e l i a b i i t yo fs t o r a g cs y s t c mi si m p m v e dt h r o u g hr e d u n d a n c yo fr a i d ，h o w e v e r ，e x t r a t i m eo f d i s ka c c e s si sn e e d e dw h e nr e c o v e r i n gf a i l u r ed a t a v i d e oa n da u d i os t r e a mh a st h e 】a 唱e v o l u m ea n dd e a d i j n er e q u i r e m e n t s ，a sw e l la sm a n yc l i e n t sr e q u e s ts e r v i c es i m u l t a n e o u s l ys o t h a tt h ed e c i i n eo fa v a i l a b i ed f s kb a n d w i d t hb r o u g h tb yr e c o v e r i n gf a j i u r cd a t aw i i ie f 话c tt h e n u m b e ro fc l i e n t ss u p p o n a b i ea n ds e r v i c eq u a “t y t h ee r r o rc o n c e a i m e n to nc l i o n tr c p l a c e s d a m a g e dj m a g eb y a ne s t i m a t e dv a l u eo b t a i n e dt h r o u g ht h e i m a g e st e m p o r a i a n d s p a t i a i r e d u n d a n c y t h ep r o p o s e de r r o r - c o n c e a i m e n ta 】g o r j t h m r e c o v e r sm a i nd c tc o e 晡c i e n t st o j m p r o v e t h er e c o v e r i n gq u a l i t yo f t h ed a m a g e d i m a g e s f i n a l l y ap r o t o t y p es y s t e mi sd e v e l o p e dw h i c hc o n s i s t so ff o u rs u b - s y s t e m s ，i e t e s t i n g m a c h i n e ，c l i e n t ，m e d i as e e ra n dp r o x ys e r v e r nv a l i d a t e st h ep r o p o s e dm o d e l sa n dr e l e v a n t a i g o r i t h m s k e y w o r d s ：f i l e s y s t e m r a i de r r o rc o n c e a i m e n tm u l t i m e d i a s t o r a g e t r a n s m i s s o n ( t r a n s f e r s ) 华中科技大学博士学位论文 1 概述 数字音频、视频的出现，要求计算机系统不仅要能够处理文本和数字数据，还要能够 处理大数据量的与时间相关的音频、视频数据。 a d 和d ，a 实现了音频、视频数据模拟量与计算机存储、回取和处理的数字量之间的 转换。数字音频、视频称为连续媒体，它们由一系列按一定时间间隔采样、量化得到的数 字信号组成，例如音频的一组采样参数：2 通道、4 8 k h z 采样频率、1 6 位样本，视频的一 组采样参数：3 0 帧秒、3 5 2 2 8 8 象素、2 4 比特象素。因此音频、视频流的存储、回取 和处理都具有时限要求，不能按照采样频率存储或回放会造成数据的丢失或回放质量的下 降。另一个不同于文本和数字数据的特点是音频、视频数据流有着巨大的数据量。文件系 统如何协调处理传统的文本、数字数据的存储与音频、视频数据的存储是本文研究的主要 问题。 本章余下的内容组织如下：1 1 节给出本文的研究背景；1 2 节简要回顾文件系统及其 存在的问题；1 3 节分析不同的文件类型对文件系统的需求以及相关的研究工作；1 4 节介 绍存储系统的错误隐藏；最后的1 5 节给出本文的研究工作和其余章节的内容安排。 1 1 本文研究背景 本文作者在攻读博士学位期间参加了三个科研项目的研究工作：国防预研项目“多媒 体数据存取与交换方法评估”、8 6 3 项目“可扩展集成多媒体系统的建模与实现”、湖北 省自然科学基金项目“基于内容的视频对象分割算法研究”，其中后两个项目由本文作者 在导师指导下执笔申请，前两个项目已分别于2 0 0 0 年1 1 月通过教育部鉴定和2 0 0 1 年l 通过8 6 3 专家组验收。 在国防预研项目“多媒体数据存取与交换方法评估”的研究初期，收集了多种多媒体 的标准( 草案) 和数据格式、国际最新发展动态和大量的技术资料；通过设计多种多媒体 流编解码器、建立多媒体评估平台，取得了一定的实际经验和测试数据；在建立多媒体评 估平台的过程中，发现了现有的文件系统大多针对一种媒体数据类型进行优化设计，因而 产生了建立集成多媒体集成文件系统的思想，提出了“可扩展集成多媒体系统的建模与实 现”的研究计划，并获得国家8 6 3 计划资助。 在“可扩展集成多媒体系统的建模与实现”项目中，对现有文件系统的局限性、集成 文件系统的功能、不同数据类型的优化管理、网络的传输策略、磁盘的存取调度算法以及 集成文件系统的分层模型进行深入的理论分析研究。对多媒体集成文件系统的各个层次进 华中科技大学博士学位论文 行算法分析和软件设计，在综合作为多媒体服务平台l i n u x 文件系统内核、多媒体的数据 流特性、服务模型、服务质量的保证等多媒体领域中的新技术的基础上，采用了多媒体文 件系统的分层模型、磁盘错误的客户端隐藏算法、调度许可与控制算法、磁盘带宽分配算 法、服务质量控制算法。 1 2 文件系统概述 文件是逻辑上具有完整意义的信息集合，它有一个名字以供标识。文件系统指操作系 统中负责管理和存取文件信息的软件机构，由管理文件所需的数据结构( 如目录表、文件 控制块、存储分配表) 和相应的管理软件以及访问文件的一组操作所组成。文件是由文件 系统存储和加工的逻辑部件。文件系统利用大容量外存设备作为存放文件的存储器，提供 用户与外存的接口。特征：分配、管理存储空间，按名存取l l i 。 作为操作系统的一部分，文件系统为用户提供一种简单的、统一的存取和管理信息的 方法，用户只需要通过文件名字，按照信息的逻辑关系存取信息，而不必关心存储介质的 特性和操作细节。文件系统利用大容量的外存设备存放文件。 操作系统是计算机的核心软件，负责管理系统中的软、硬件资源。操作系统管理的硬 件资源包括：处理器、存储器和各种外部设备；软件资源包括存在于计算机系统中的所有 程序和各种类型的数据，在操作系统中都称为文件p 】。操作系统对资源的管理分成处理器 管理、存储器管理、设备管理和文件系统，其中文件系统统一管理以各种形式保存在系统 中的各种文件，负责文件的建立、查找、读写、删除等操作，并负责外存储器的操作。作 为计算机系统的控制核心，操作系统随着计算机技术的不断发展和计算机应用领域的不断 扩大，从手工编写程序操纵计算机到现在的分时操作系统、实时操作系统、网络操作系统、 分布式操作系统，取得了巨大的发展。 支持最终用户的计算机软、硬件层次结构如图1 1 所示( “。 l用户命令 l应用程序 l程序库 ll 文件系统； 1 。攥柞素绣一 1机器指令集 【硬件 图1 1 计算机软、硬件层次 多媒体具有三个重要特性】：( 1 ) 信息载体的多样性使计算机从字符数值型为主的 数据形式，进入到缤纷多彩的多媒体世界；( 2 ) 集成性将各种媒体、设备、软件和数据 组成系统，发挥出更大的作用；( 3 ) 交互性更注重人机交互，便多媒体系统更靠拢用户。 2 华中科技大学博士学位论文 内存对文件系统的研究有重要的影响。一方面足内存大小的限制，由于成本、技术等 方面的原因，内存容量不能满足系统的需求；另一方面是内存的易失性( v o l a t i l i t y ) ，即 存储在内存中的数据在掉电后会丢失。因此存储系统采用了辅助存储器( 外存储器) 来弥 补这一不足。辅助存储器主要是磁盘、磁带、光盘等，它们的特点是价格低、容量大、非 易失，可以永久存放数据，但存取时间比较长。内存储器作为主存，具有高速、随机访问、 易失性的特点。这就是层次存储的思想，把大量的数据、应用程序存放在廉价、大容量 的辅存上；在运行某个应用程序时，将它及相关的数据复制到内存运行。主存的访问时间 在纳秒级，而辅存的访问时间在毫秒级，两者之间存在一个约1 0 0 0 倍的速度差，如何快 速、高效地实现主存与辅存的数据传输是文件系统要解决的一个主要问题。 制约文件系统性能提高的外部因素主要有：c p u 速度、内存大小和速度、磁盘访问速 度。c p u 对数据进行处理、传输和存取控制：内存用于缓冲磁盘数据，减少对磁盘的访 问，提高响应速度；磁盘存放数据。在过去几十年中，c p u 的速度提高最多，内存容量 提高也很快，而内存和磁盘的速度相对提高很慢。例如，从1 9 8 5 到1 9 9 5 年，典型的c p u 速度提高了1 0 0 - l o o o 倍，内存大小提高了接近l o o 倍，而磁盘的速度只提高了2 3 倍【5 】。 但磁盘的存储密度( 容量) 与成本之比却获得了很大的提高，出现了廉价冗余磁盘阵列 ( r a i d ) ，通过对多个磁盘的并行读写提高磁盘系统的带宽。由于c p u 处理能力的大幅 度提高，数据读写占用的时间越来越突出，需要减少这一时问以提高整机性能。越来越大 的内存川于c a c h e 磁盘数据，高命中率大大缩短了存取时间。虽然磁盘的寻道时间提高不 多，但体积小、容量大、价格低的趋势，使r a l d 越来越普及。文件系统的发展主要集中 在如下几个方向：多请求的尽力服务型；多连续媒体流的实时存取；网络和分布式文件系 统。 不同文件系统的需求 a 尽力服务型文件 传统的文件系统主要处理文本数据的存储和回取，文件访问可以分成三种类型：科学 计算( 大的文件读写量) ，事务处理( 大的并发数据请求、小数据量) 和读密集型( 大部 分是读请求，且数据量较小) f “。该类文件对系统的要求是较小的响应延迟、大的吞吐量 和可靠的数据。 b 连续媒体文件 连续媒体文件有严格的时间依赖性，如音频、视频文件。与传统的文本文件相比，它 还有虫下一些特点： 大数据量 华中科技大学博士学位论文 3 0 帧秒、1 0 2 4 1 0 2 4 清晰度、1 6 位色彩的未压缩视频l 小时的数据量高达2 0 0 g b 。 尽管采用相关标准压缩，如m p e g ，数据量仍然十分庞大，1 小刚的m p e g l 视频仍有 5 5 0 m b 以上。典型音频、视频文件的大小如表1 1 所示。 大数据量提出了高i o 带宽需求，如典型的m p e g 一1 需要1 5 m b p s 的磁盘i 0 和网 络带宽，严重限制了系统能够支持的用户数量，对存储设备、块大小、放置策略、缓冲策 略等的选择都提出了新的要求。 连续存储与回取 连续媒体数据的另一个特征是与时间相关，当一个视频片段播放时，应用程序连续、 周期性地回取一个一个的视频帧。如果视频是以3 0 帧秒的速率记录的，那么在正常回放 时，大约每3 3 毫秒就要向应用程序送一帧。如果某帧没有及时送达，用户看到的画面就 会有抖动( j i n e r ) 。非多媒体应用中i o 延迟过大用户可以等待，但画面抖动过大则令人 无法接受。因此系统必须为连续媒体提供实时保证。连续媒体的实时性对文件系统的磁盘 调度、许可控制、磁盘放置策略、带宽预留策略等都有影响。 表1 1 媒体数据大小 类型格式参数带宽1 小时存储容量 v i d e om p e g l3 2 0 x 2 4 0 ，3 0 f d s1 2 3m b p s5 5 0 1 3 5 0m b m p e g 2 v i d e o 7 2 0 4 8 0 ，3 0 f p s 5 1 0m b p s2 2 5 4 5g b ( c c i r 6 0 1 ) 1 9 2 0 1 0 8 0 ， v i d e om p e g 一2 ( h d t v )2 0 一4 0m b p s9 1 8g b 3 0 f p s s t e r e o ，4 4 1 k h z a u d i o未压缩 1 4 m b p s 6 3 0 m b l6 b i t s s a m p l e s t e r e o ，4 4 1 k h z a u d i om p e g 1l a v e ri i6 4 7 6 8k b p s3 0 3 5 0m b 1 6 b i t s s a m p l e 特性不同 不同的媒体类型有不同的特性。如视频的带宽需求较高，但对q o s 要求不很苛刻， 3 0 帧秒的视频以2 8 帧，秒的速率播放，不会令人感到明显的质量降级。音频则不同，虽 然带宽需求较视频低，但很容易察觉到它的质量降级。在出现比特错误( 误码) 或丢包等 错误时，可采用不同的处理策略，对连续媒体可以采用错误隐藏技术来折中服务质量与占 用资源的矛盾。 同步问题 时间相关的多个媒体流合成是需要同步，不同的媒体流合成对同步的要求也不相同。 4 华中科技大学博士学位论文 立体声的两个声道需要严格同步才会有好的听觉效果，而对口形对音频和视频的同步要求 就低得多。州于合成的多个爨体流可以分开存储，也可以在一起交叉存储。前者对文件系 统的带宽分配、i o 调度要求较高。 1 3 国内外研究概况 存储系统主要针对尽力服务( b e s t 。e f f o r t ，b e ) 文件或连续媒体( c o n t 抽u o u s - m e d i a ， c m ) 的资源调度优化。大量按尽力服务优化的存储系统有较好的总体资源利用率，而没 有考虑具体数据的时间限制，如l _ n i x 文件系统。 另一类存储系统按连续媒体的时间依赖性优化，能够满足并发连续媒体流的时限要 求，典型的应用有视频点播( v i d e oo nd e m a n d ，v o d ) 。 第三类是混合媒体文件系统，在一套存储系统中同时存储了尽力服务和连续媒体数 据，系统调度磁盘请求在满足连续媒体应用的时限要求的同时，尽可能快地响应尽力服务 型应用。但这类混合媒体型文件系统还不多见。 a u n i x 文件系统 尽力服务型文件系统的优化目标是文件系统有尽可能大的吞吐量、满足尽可能多的存 储请求。u n i x 文件系统是为尽力服务型数据设计的，在磁盘数据的布局、缓存策略和磁 盘调度策略等多方面不满足连续媒体存取的要求。 u n i x 缓存的l r u ( l e a s tr e c e n t l yu s e d ) 替换策略 u n i x 文件系统使用块缓存技术，认为最近被访问过的磁盘块及其邻块很可能再次被 访问。读缓存采用l r u 替换策略维护，缓存始终保存最近经常访问的块。 该策略服务于连续媒体应用时，缓存将失去作用。按照l r u 策略，文件系统将不断 用新近访问的连续媒体数据块替换过时的尽力服务文件数据块，最终，大部分、甚至整个 缓存空间将充斥着连续媒体文件的数据块。由于连续媒体从头至尾顺序回取的特性，如果 缓存不足以存放整个文件，或有多个不同的连续媒体文件被同时访问，那么当一个连续媒 体文件被再次访问时，该文件的开始部分很可能已经不在缓存，整个文件将再次被读入。 这样值得缓存的尽力服务型文件数据块被替换掉，而缓存的却是不值得缓存的连续媒体数 据块。 考虑到发出写请求的数据有很大的概率会被再次修改或删除，大多数u n i x 文件系统 把请求写盘的数据先缓存，以后再刷新磁盘。这种刷新策略也不适合连续媒体文件的存储， 当多个连续媒体文件写盘时，缓存有可能被没有写盘的连续媒体数据块充满，这时，由于 磁盘的刷新过程比较慢，又没有足够的缓存空间，新到达的数据就会被丢弃。写盘后的数 据会移入读缓存，又会再次带来读缓存的问题。 u n i x 的i 节点 华中科技大学博士学位论文 u n i x 的i 节点是描述磁盘块分配给l 小i x 文件系统的数据结构。由于i 节点大小固 定，所以用扩展块来描述文件大小超出一个i 节点表示范围大文件的块地址，称为间索引 接块和二级问接索引块。间接索引的块地址位于索引块的最后一个索引项，二次间接索引 块的地址位于间接索引快的最后一个索引项。由于连续媒体文件都比较大，而许多u n i x 文件系统打开文件时并不读入所有的间接和二次间接地址块，这些地址块将在必要时读 入。该策略因为读入额外的地址块，降低了磁盘的有效i o 带宽。 u n i x 文件系统布局 不同的u n x 文件系统按不同的特点优化磁盘布局。f f s 通过组织文件系统来优化磁 盘请求【7 】。如，把文件和它的目录放在邻近的磁盘柱面组中，当搜索文件时，同时获得目 录和文件，减少寻道时间和陇l 延迟。但f f s 不允许应用程序强制把该类柱面组分配给连 续媒体文件，再加上前述的i 节点问题，综合效果并不很好。同时f f s 无法保证磁盘吞吐 量，连续媒体应用没有实时保障。 e f s 是可变块大小的f f s l 8 】。e f s 顺序存储大文件，以提高顺序读、写的性能，但也 没有磁盘吞吐量保证。 v x f s 是类似于e f s 的扩展文件系统p 】。v x f s 文件系统的布局适合连续媒体数据存 储，但和其它u n i x 文件系统一样，也没有吞吐量保证。v x f s 表明，顺序数据存储有益 于文件系统吞吐量提高：一种专门配置的s u n 工作站可以9 6 0 m b p s 的稳定速率传送数据。 l f s 是一种日志结构的文件系统，它提高了u n l x 文件系统写的性能：文件系统的更 新不需要很多寻道操作，直接添加到文件系统日志i l 。通过利用大的读( l r u ) 缓存， 缓存命中大多数读请求，磁盘主要用于写操作，寻道时间小于其它u n l x 文件系统。由于 标准的l f s 文件系统没有磁盘吞吐量保证，不适合连续媒体文件存储。应用程序不能强 制分配顺序的块来优化磁盘带宽，当两个以上的媒体流同时存储时，它们会被交叉存储在 磁盘上。 b a n d e r s o n 连续媒体文件系统 a n d e r s o n 等利用会话( s e s s i o n ) 构建连续媒体文件系统【“】。客户机向服务器提出会话请 求；服务器按静态资源调度，如果有足够的资源响应新请求，则接受该会话；客户机成功 打开了与连续媒体服务器的会话，获得最低性能保证。每个会话包含一个作为服务器与客 户机间中间件的f i f o 队列，服务器写满或读空该队列。由于静态资源调度只适台固定传 输速率的媒体流，a n d e r s o n 用缓存来适应变比特率流，每个流分配一个固定的传输缓冲区， 没有动态调整，可能发生溢出。该系统采用三种磁盘调度策略：静态最小策略、贪婪策 略和循环计划策略。静态最小策略利用会话的速率参数项调度；贪婪策略传输尽可能多 的字节；循环计划策略把空闲时间调整给瓶颈会话。后