（计算机科学与技术专业论文）连续媒体数据存储与回取技术的研究.pdf

国防科学技术人学研究生院学位论文 摘要 u ( 随着存储技术、通讯技术和视频压缩技术的高速发展，使得通过b i s d n 进 行视频点播( v i d e o o n d e m a n d ) 服务成为可能。v o d 服务器以压缩、数字化的 形式存储视频数据，并为多个用户并发提供回取和传输服务了 为了实现视频数据的优化存储与回取，本文对m p e g 流的结构及传输特性进 行了讨论，分析了现有磁盘系统的读取过程和延时特性建立了用于对连续媒 体回取过程进行分析的磁盘传输延迟模型。 定义了与具体算法无关的用于连续媒体回取的一般模型，并建立了回取过 程中必须满足的条件，并在此基础上，对基于服务循环的回取过程进行了深入 的讨论，给出了防止缓冲器上溢和下溢的原则。分析了几种磁盘调度对回取过 程所需的磁盘带宽和缓冲空问的影响，提出了用于回取过程的缓冲管理、磁盘 调度和允许控制算法，对可伸缩性压缩视频流的存储技术进行了探讨。 为了实现v b r 视频流的有效存储和回取，我们提出了用分段恒位率去逼近 v b r 视频流传输特性的带宽分配算法，为了充分利用分区磁盘各个分区上的传 输带宽，我们提出的基于区域的补偿数据分布和回取算法，并在综合带宽平滑 技术、可伸缩视频流的存储技术及磁盘0 n a r r i v a lr e a d a h e a d 读取技术的基 础上，提出了能最大限度减小流间切换开销的r b c d p r 一3 算法，由模拟和实验结 果可知，它比基于区域的简单数据分布和回取策略要提高2 5 - - 3 5 的磁盘吞 吐能力。该算法可扩展到多盘系统中，在不需额外附加磁盘带宽的前提下，实 现快进快退等功能。 关健词：数据分布算法，存储导回诹，连续媒体。视频点播，视频压缩 籀括穆防，旧奔拨莩 第1 页 垦堕型堂丝查叁堂婴塞兰堕堂堡笙茎一 a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t o f s t o r a g e ，c o m m u n i c a t i o n a n dv l d e n c o m p r e s s e dt e c h n o l o g y ，i ti sn o wp o s s i b l et op r o v i d ev i d e oo nd e m a n d ( v o d ) s e r v i c et h r o u g hb i s d n av o ds e r v e ri sac o m p u t e rs y s t e mt h a ts t o r e sv i d e n s i n c o m p r e s s e dd i g i t a l f o r ma n dp r o v i d e ss u p p o r tf o r t h ec o n c u r r e n t r e t r i e v a la n dt r a n s m i s s i o no fc o m p r e s s e dv i d e ns t r e a mt ov a t i o u sv i e w e r s i nt h i sd i s s e r t a t i o n ，i no r d e rt oa c h i e v et h eo p t i m i z i n gs t o r a g ea n d r e t r i e v a lo fv i d e od a t aw ed i s c u s st h es t r u c t u r ea n dt r a n s m i s s i o n c h a r a c t e r i s t i co fm p e g ，a n a l y s e s t h er e a d p r o c e s s a n dt h e d e l a y c h a r a c t e r i s t i co fd i s k a n de s t a b l i s ht h ed i s kt r a n s f e rd e l a ym o d e lt h a t i su s e di nt h ea n a l y s i so ft h er e t r i e v a lo fc o n t i n u o u sm e d i ad a t a w ed e f i n eag e n e r a lm o d e if o rt h er e t r i e v a lo fc o n t i n u o u sm e d i ad a t a t h a ti s i n d e p e n d e n t o f a n ys p e c i f i ca l g o r i t h m ，a n d e s t a b l i s ht h e c o n d i t i o n st h a ta n yr e t r i e v a la l g o r i t h mm u s tm e e t i nt h i sb a s e ，w eh a v e d e e pd i s c u s s i o no nt h er e t r i e v a lp r o c e s so fc o n t i n u o u sm e d i a ，w h i c hw o r k i ns e r v i c er o u n da n d g i v es o m ed r i f i e i p l e st op r e v e n tb u f f e ro v e r f l o w a n du n d e r f l o w w ed i s d u s st h ee f f e c tt h a td i s ks c h e d u l i n ga l g o r i t h m sh a v e o nt h ed i s kb a n d w i d t ha n db u f f e rt h a ti sn e e d e di nr e t r i e v a lo fv i d e o ， p r e s e n ta l g o r i t h m sf o rb u f f e rm a n a g e m e n t ，d i s ks c h e d u l i n ga n da d m i s s i o n c o n t r o l ，a n dp r o b e i n t ot h e t e c h n o l o g y f o rt h e s t o r a g e o fs c a l a b l e c o m p r e s s e dv i d e nd a t a i no r d e rt or e a l i z et h ee f f e c t i v es t o r a g ea n dr e t r i e v a lo fv b rv i d e n w ep r e s e n tab a n d w i d t ha 1 1 0 c a t i o nm e t h o dw i t ht h et r a n s f e rc h a r a c t e r i s t i c o fm a n yc b rs u b s e c t i o na p p r o a c h i n gt h ec h a r a c t e r i s t i co fv b rv i d e o i n t h i s d i s s e r t a t i o n ar e g i o n b a s e d c o m p e n s a t o r y d a t a p l a c e m e n t a n d f e t r i e v a l a l g o r i t h i n i s p r o p o s e d t o e f f i c i e n t l y u t i l i z et h ed i s k b a n d w i d t h so fz o n e d d i s k s w i t ht h es y n t h e s i so fb a n d w i d t hs m o o t h i n g t h es t o r a g et e c h n i q u eo fs c a b l ev i d e od a t aa n do n a r r i v a lr e a d - a h e a dd i s k r e a dt e c h n i q u e ，w ep r e s e n tr b c d p r 一3a l g o r i t h m ，w h i c hc a ns i g n i f i c a n t l y i m p r o v e t h ed i s k t h r o u g h p u t f r o mr e s u l t so fs i m u l a t i o na n dt h e e x p e r i m e n t ，t h ed i s kt h r o u g h p u tc a nb ep r o m o t e db y2 5 一3 5 c o m p a r e dw i t h t h a to ft h er e g i o n b a s e ds i m p l ed a t ap l a c e m e n ts c h e m e t h ea l g o r it h mc a n b ee x t e n d e dt om u l t i - d i s k a n dw i t hr e q u i r i n gn oe x t r ad i s kb a n d w i d t hi t c a ns u p p o r ti n t e r a c t i v es e a r c hs u c ha sf a s t - f o r w a r d f a s t b a c k w a r de t c k e yw o r d ：d a t ap i a c e m e n ta l g o r i t h m ，a t o r q aa n dr e t r i e v a l o o n t ir l u o u am e d i a v i d e o - o n - d e m n d v i d e od a t ac o m p r e s s i o n 第1 i 页 里堕型堡查堂堕壅尘堕堂堡丝苎 第一章绪论 随着人们对信息需求的不断深化，多媒体信息服务，特别是列视频和音频信息的 点播服务引起了人们的极大兴趣。而存储技术、通汛技术和视频压缩技术的高速发展， 使得通过宽带网络进行视频点播( v i d e o o n d e m a n d ) 服务成为可能。v o d 的实质是 信息的使用者根据自己酌需要主动获取多媒体信息，它与信息发布和广播的最大不同 在于它具有主动性和交互性。这种信息服务方式比较符合人们对信息资源更深层次的 需要，它改变了广播式的信息被动灌输方式。目前，v o d 已作为宽带综合业务数字网 上的一种交互式业务，已演变成泛指对各种视频信息的点播。它的应用很广，电影点 播h o d ( m o v i e so nd e m a n d ) ，远程购物( t e l e s h o p p i n g ) ，卡拉o k 点播( k a r a o k eo n d e m a n d ) ，新闻点播( n e w so nd e m a n d ) ，远程教学( d i s t a r l c el e a r n i n g ) 等都是v o d 技 术的具体应用。 从结构组成上来看，可以认为一个v o d 系统应由v o d 服务器( 也可称为连续媒体 服务器，可分为节目提供单元和业务提供单元两部分) 、网络( 可分为核心网和接入 网两部分) 和用户终端等子系统构成。节目提供单元和业务提供单元的功能可由同一 台机器柬实现；也可以由不同的机器分别柬完成，然后通过网络连接来实现。具体采 用那利，方式与系统服务规模以及采用的机器类型密切相关。为了对v o d 系统的工作过 程有个比较清楚的了解，下面对整个系统传输流的类型和作用、各个子系统功能和工 作过程作一个简单的描述。 1 1v o d 系统传输流的分类与作用 v o d 作为宽带综合业务数字网上的一种交互式业务，可沿用i s d n 分层模型，对 整个系统中的各个功能和对应信号进行分层。这样v o d 系统可分为三个面：即用户面、 控制面和管理面。每个面又可分为：主要服务层、应用服务层、会话传输服务层和网 络服务层。 其中用户面完成用户数据处理，在各实体间透明传输用户信息。主要包括两类信 息流。我们不妨把该两类信息流分别定义为s t r e a ml 和s t r e a m2 ，s t r e a ml 就是我 们平时所指的下行数据流，这是一个从服务器到用户端的高速单向数据流，s t r e a m1 的胁议栈的高层可采用m p e g 的传输流，低层可根据不同的网络有不同的协议结构。 s t r e a m 一2 就是我们平时所指的双向控制流，服务器收到s t r e a m 这类流，可根据_2 s t r e a m 一2 的内容改变工作状态。s t r e a m _ l 信息流也受s t r e a m 控制，如通过_2 s t r e a m2 可以控制一个视频流( s t r e a m _ 1 ) 的暂停、快进等。s t r e a m _ 2 协议栈的高层与s t r e a m _ 2 流的的具体功能有关。在m p e g 一2 标准的第6 部分规定了数字存储媒介访问控制协议 d s m = c c ，它可分为用户用户控制、用户网络控制以及下载这三大部分，s t r e a m2 可利用o s m - c c 的用户用户控制规程，来实现服务器和用户端上会话的交互式控制。 s t r e a m 一2 协议栈的低层也与具体的网络实现有关。 控制面为各个控制实体间传送信息，完成呼叫控制、连接控制、会话控制，负责 处理各利i 丰目关的信令和协议。主要包括两类信息，我们不妨把该两类信息流分别定义 为s t r e a m 一3 和s t r e a m _ 4 ，其中s t r e a m 一3 为在同等实体间传送的会话控制信息流， 它的功能包括：建立、改变和终止一个会话、协商资源请求等。s t r e a m3 的高层协议 可采用d s m c c 的用户网络控制规程。低层协议与具体网络有关。s t r e a m4 为负责 网络链路上与连接建立、管理、拆除有关的控制信息。因此，实际上s t r e a m4 就相 当于各个网络中的信令。显然不同的网络s t r e a m _ 4 的内容也不同，典型的控制信息 第1 页 国防科技大学研究生院学位论文 包括：建立和释放一个连接、传送地址、端口和路由等信息。故它的低层和高层协议 都与具体网络有关。 管理而为各个管理实体之间传送信息，完成系统管理和维护功能，包括故障处理、 配置、性能监测、保密、计费、资源管理等。我们把用于完成这些功能的信息流定义 为s t r e a m5 ，它的高层可采用现有网管中常用的s n m p 等协议，低层协议与具体网络 有关。 下面我们以点播服务过程中的有关信号为线索，用以下的图卜1 对v o d 系统的模 型进行描述： 视( ，目源、： r 币目深) 用 、， 捌r 磊i 矗n s lr ea m2 、五i i ；、) p 、 服p 五五d 点 * 互丢矗) ( q p 插 。鬲旨)( 五0 j ) 图1 一lv o d 模型 从图卜1 中可知，s t r e a m _ l 、s t r e a m _ 2 为端到端的业务信号流，与网络无关， 网络只对s t r e a m _ i 、s t r e a m _ 2 透明传送；s t r e a m _ 3 、s t r e a m 一4 则属控制信号流，与 会话、呼叫、连接的管理有关，因此与网络有很大关系；会话控制是与业务有关的， 如用户点播一部电影的过程就是v o d 的一个会话建立的过程，当会话改变时，如用户 从点播电影改为远程购物( 这两种会话所需的资源是不同的) ，这时服务器可以通知 网络要求增加或减少资源，网络可以根据要求改变或重新建立连接。而呼叫控制和连 接控制是与网络信令有关的。 1 2r o d 系统各子系统功能 v o d 系统出v o d 服务器、网络和用户端三个组成部分构成，下面对这三个组成部 分的功能进行描述。 1 2 1y o i ) 服务器 v o d 服务器包括节目提供单元和业务提供单元，它们各自的功能为：节目提供单 元完成的主要功能是节目存储，节目制作完后，大部分仍存放在节目提供单元中。节 目提供单元的存储系统一般可采用由磁带库、光盘塔、大容量磁盘阵列以及缓冲器等 构成的层次化结构。业务提供单元是一个沟通用户和节目的桥梁，节目提供单元不直 接与用户打交道。用户通过网络与业务提供单元建立连接，用户的申请首先送到业务 提供单元，由业务提供单元的业务网关分析用户所要的是哪一种应用、哪一个节目， 并与用户建立会话连接，然后业务提供单元再从节目提供单元的存储系统中调取相应 的节目内容，将它通过网络送给用户。在点播服务过程中，用户应能通过交互的方式 改变服务模式。 因此，视频服务器应具有与网络的接口、连接控制功能、会话控制功能、分析和 处理各种业务的能力以及向用户传送节目的能力。这样对服务器应有两项基本要求： 一是能支持多路流并发回取的大容量快速存储系统，例如，一部两小时的m p e g 2 电影就需上千兆字节的存储空间，因此服务器中常采用磁盘阵列。 第2 页 国防科技大学研究生院学位论文 另一个是高速的i o ，若一个v o d 系统允许同时有2 0 0 个用户访问( 这还算不上 大系统) ，每个用户有6 m b p s 的带宽，就要求服务器有1 2 g b p s 的吞吐能力。这 个速率即使有a t m 接口也难达到，常采用高速并行接口( h i p p i ) ，也可用多个接 口和在网 ：配罱多个服务器的方法来解决。 1 2 2 网络与用户终端 用于v o d 系统的网络可分为核心网络和接入网络两大部分。核心网络可以是采用 a t m 技术的光纤传输网，接入网络是连接用户和核心网络的那一段网络。常用的接入 系统有i i f c 、f t t c 、a d s l 等。 v o d 用户终端可以有多种，最常用的一种是机顶盒( s t b ：s e t t o p b o x ) 连接电视， 另外也可以用计算机作终端。从硬件结构上看，s t b 可分为n i u ( n e t w o r k i n t e r f a c e u n i t ) 和s t u ( s e t t o p u n i t ) 两部分。 n i u 负责与网络的接口，不同的接入网络结构可以有不同的n i u ，包括不同的物 理接口，调制方式和连接控制机制。s t u 接受和分析用户通过遥控器等发来的或是网 络传送来的控制信息，按各种信息的协议栈进行分析或组装，因此s t u 需完成m p e g 、 d s m c c u u 、d s m c c u n 、t c p u d p 、i p 等协议的处理。在用户面上，s t u 完成对点播 的压缩视频流s t r e a m 一1 ( 下行数据) 和交互命令s t r e a m _ 2 ( 双向控制信息) 两种信 息流的处理，主要是m p e g 解码，双向控制信息的产生和分析。在控制面上，s t u 根 据会话控制信息的协议栈产生s t r e a m _ 3 ，并分析从网络接受到的s t r e a m3 信息。 1 3g o d 系统工作过程 v o d 的工作过程可通过图卜2 ，简洁地由如下几个步骤给以描述。 图卜2 v o d 视频服务器工作过程简图 用户开机，由机顶盒向服务器发出请求，建立基本连接( 连接的建立可以是 默认的) 。 服务器向用户传送欢迎页，其中包括能提供的各种服务选项。 用户选择所要的服务( 如m o v i eo nd e m a n d 、n e w so nd e m a n d 、k a r a o k eo nd e m a n d 等) 。 s t e p 4 ：服务器分析用户回送的选项，送相应的单元( 如m o v i eo nd e m a n d 、n e w s0 n d e m a n d 、k a r a o k eo nd e m a n d 等) 处理，且送相关的服务界面给用户。 s t e p 5 ：用户从相关的服务界面上选择要点播的节目。( 以上过程相关的信息流包括 s t r e a m 一3 ) s t e p 6 ：点播请求被送到视频服务器的请求队列排队( 排队规则有：优先级规则、f i f o 规则等) 。 第3 页 1 2 3 印 印印 吼 啦吼 国防科技人学研究生院学位论文 s t e p 7 ：服务器按排队规则，对请求队列中的点播服务请求依序进行分析，计算该点 播服务所需的系统资源( 主要包括存储系统的i o 带宽、缓冲空间与网络资 源等) ，在保证系统不过载的前提下，允许控制决定该请求是否可以得到服 务。 s t e p 8 ：被允许服务的请求被写入服务队列，同时通知网络的呼叫控制和连接控制， 为这次会话建立连接，连接建立过程与具体网络的信令有关，相关的信息流 为s t r e a m _ 4 ；同时从节目提供者调用所点播的节目。不被允许服务的请求继 续排队，转入s t e p 6 ；或者断开连接，告诉请求客户服务不被提供。 s t e p 9 ：服务器与用户之间会话建立完毕，开始会话过程，这时有s t r e a ml 和s t r e a m2 信息流。用户可以通过s t r e a m 一2 控制s t r e a m _ l 流，如实现影片的快进快退 等。 调度程序的主要任务：它应用服务队列中有关点播视频流的信息，按照设计的调度算 法对整个服务过程进行调度和管理，保证所被服务客户的实时 和连续点播。 存储控制和文件系统：负责视频数据的存储读取等功能。 1 4 视频数据的回取与传输模式 音频和视频数据都属于“延迟一敏感”类数据，一般习惯也称该类数据为连续媒 体数据，该类数据为由一系列访闯单元或者为演示单元构成( 访问单元：和演示单元： 的定义见 2 ) 的一种结构数据流，这些单元只有在连续时间点上播放刁有意义。因 此该类数据的回取和传输必须满足其中每个单元的时间要求，与文本数据不同的是， 文本对象只要求保持空间的连续性，对数据回取和传输所用的时间则没有严格的限 制。 视频数据是最具代表性的一种连续媒体数据，同时也是结构最为复杂，涉及到的 技术难点最多的一种媒体数据，故我们对连续媒体存储与回取技术的研究重点针对视 频数据进行。视频数据可存放在磁盘、光盘和磁带等存储设备上。由于光盘和磁带等 设备不能支持多路视频流的并发回取，故本文只对视频文件在磁盘系统中的存储和回 取技术加以讨论。如何充分利用光盘和磁带等设备与磁盘一起构成性能价格比高、能 支持多流并发回取的层次化视频数据存储系统需要解决不同层次存储系统之间的数据 替换和速率适配等问题，这是我们将要进一步研究的问题。 众所周知，视频数据非常庞大，例如，要存储一部长度为两小时分辨率为6 4 0 4 8 0 ，2 4 b i t p i x e l 不经压缩的n t s c 影片，需要的存储空间达2 0 0 g b y t e ，传输带宽达 2 2 2 m b p s ，这在目前的技术条件下，要提供这种流的并发服务无论是从经济上还是技 术上都是不可行的，故我们讨论视频流的存储、回取和传输都是针对压缩视频数据而 占的。针对以上的视频流如采用m p e g 2 标准进行压缩，可将该影片压缩成带宽为 6 m b p s 存储它所需的存储空间达5 4 g b y t e ，这在所需存储容量和传输带宽上都大大 降低了，虽然目前的存储技术和传输技术能支持这种流的并发服务，但所需的成本还 是较高的。视频压缩给视频数据的存储和传输带来了好处，同时也对在存储和传输过 程中资源管理和对视频流进行控制都带来了新的问题。主要体现在：为了获得高的压 缩，引入了帧间压缩，这样使得视频帧之间存在着帧间相关性；由于不同的视频片段 的内容不一样，对应的压缩比也会不一样，如果要保证重构图像质量不变，生成的压 缩视频流旨定是变位率流；这样就使得视频流的存储、回取和传输带来了新的问题。 妆有必要对压缩视频流的存储、回取和传输技术进行分析，尽量挖掘出设备的潜力， 第4 页 里堕型垫查堂婴塞圭堕堂垒堡壅 在现有的设备条件下，能为尽量多的流提供并发服务，这就是本论文的研究目的。 每一路视频数据的回取可看作是存储服务系统的一系列具有时间限( d e a d l i n e ) 的磁盘存取任务。在每次任务中，存储服务系统从磁盘中读取一定的数据并将数据准 备好放在发送缓冲区中，而时间限则规定了准备好这些数据的最后时刻。多个视频流 的并发回取是通过分时复用磁盘的传输带宽来完成的，可用图1 3 来表示，图中t ( i ) 表示第i 路流用于回取化费的时间，包括流间切换的寻找时间t 。( i ) 和用于该流数据 回取的读取时间t ，( i ) ，t 。为一个服务循环中磁盘的空闲时间。 碰竺蜘坐兰世尘坠出羔些型：= 二芷竺出当生兰崖竺世当些出苎塾出兰! 当：碰竺趔当坐刍 i 一h 1 】+ h t 囟叫h 一l 叫卜一t o ) 卅一t o l 叫卜一t i n ) + | h 一t r 。n d _ i 一t m 日i 图卜3 分时复用磁盘带宽 v o d 服务器中视频数据的存储、回取和传输过程可由图卜4 来表示，从逻辑上来 说服务器维持着两个缓冲器，一个用于存储从磁盘中读取的数据，我们称之为磁盘缓 冲器：另一个用于视频数据通过网络向外传输，我们称之为传输缓冲器。 图卜4回取和传输过程 视频文件在磁盘系统上的存储和回取效率的高低依赖于三个方面的因素：磁盘系 统的物理特性，视频数据的结构和时间特性以及视频数据的时间特性与磁盘设备的物 理特性间的配合。物理特性在系统建立后即已确定：数据的结构和时间特性取决于对 原始视频数据所采用的压缩编码方法：数据与设备的配合则包含了以下三个方面的内 容。 1 物理设备特性的研究：即存储和传输设备的带宽和延迟特性，以及磁盘特性对视 频流并发回取模式的影响。 2 数据的结构和特性研究：视频流是存储回取的对象，它的结构和时间特性影响着 存储回取中的存储分布和回取调度。研究包括对已压缩编码的数据结构分析和结 构调整：以及对未编码视频数据采用的面向数据回取的编码方法，使视频数据经 处理后可以适应有限的数据空间和带宽，同时保持好的存储回放性能。 3 物理设备与数据的配合：即数据在存储设备中的存储分布和回取调度，它涉及允 许控制算法、系统资源动态分配策略、磁盘调度等方面的研究。 本文假定传输网络的资源分配和允许控制与存储系统的控制相对独立，围绕以上 三个方面着重研究视频流的存储和回取技术，即主要研究磁盘特性对存储服务性能的 影响、视频文件数据在磁盘中的存储分布和回取策略、以及传输带宽的平滑技术；具 体涉及的几个技术面如1 5 中所述。 1 5 本论文涉及的相关技术 1 连续媒体带宽分配( b a n d w i d t ha t l o c a t i o n ) 和数据分布( d a t ap l a c e m e n t ) 技术 在压缩编码的过程守，根据位率控制机制可把压缩视频流分为变位率视频流 第5 页 国防科技大学研究生院学位论文 ( v a r i a b l eb i tr a t e ：v b r ) 和恒位率视频流( c o n s t a n tb i tr a t e ：c b r ) 两类。对视 频数据的回取和传输控制也采用两种方式：一种是恒定带宽分配控制，称之为c b a ( c o n s t a n t b a n d w i d t ha l l o c a t e ) 方式，另一种为变带宽分配控制，称之为v b a ( v a r i a b l eb a n d w i d t ha 1 l o c a t i o n ) 方式。在此所讲的变带宽分配控制是指根据视 频流回放过程中要求的位率变化而改变传输该流所用的带宽，显然c b r - c b a 、v b r - v b a 是理想搭配，但是要根据视频位率的变化来实时改变传输带宽分配是有较太难度的， 一般难以实现，故有时针对v b r 视频流也采用c b a 方式进行磁盘回取和网络传输，但 简单地采用c b a 方式对v b r 压缩视频流进行传输时，过低的带宽不能保证视频流的回 放质量，而分配较高的带宽( 大于或等于该视频流瞬时的最大位率) 来保证稳定的图 像质量时，会导致带宽资源的浪费，同时会引起缓存器的上溢等一系列问题，本文 采用分段c b a 进行逼近，尽量减少了带宽资源的浪费，同时在回取过程中引入缓冲反 馈的思想，有效地实现了漏桶位率控制( 1 e a k yb u c k e tr a t ec o n t r 0 1 ) ，使得在整 个回取过程中，缓冲器不会上溢( o v e r f l o w ) 也不会下溢( o v e r f l o w ) 。 v b r 视频流在磁盘上的存储要比c b r 流的存储复杂。c b r 视频流可简单按固定 大小的数据块进行存储，且采用简单的回取算法就可保证回放过程中不会出现抖动。 对于v b r 视频流，存储在磁盘上的数据块大小不能象c b r 视频流那么简单，为了支 持实时回放，可按某一播放时间长度所需的数据量为基本存储单位进行存储；也可按 某一固定大小的数据块为基本单位进行存储：但按后面这种方式进行存储需要漏桶位 率控制的支持，使得缓存器不出现上溢也不出现下溢，才能实现变位率流的回放。我 们称前一种存储分布方法为固定时间长度分布方法( c o n s t a n tt i m el e n g t h ) ，简记 为c t l ，后一种存储分布方法称为固定数据长度分布方法( c o n s t a n td a t al e n g t h ) ， 简记为c d l ，本文采用改进的c d l 分布方法，该方法按c d l 对视频流进行存储的同时， 在每个服务循环中回取的c d l 存储单元个数随位率的变化而进行改变，我们把这种存 储分布方法简记为c d l c t l 。 2 磁盘调度与回取控制( d i s ks c h e d u l ea n dr e t r i e v a lc o n t r 0 1 ) 技术 要支持多路连续媒体文件从磁盘系统并发地回取，要求磁头在各个媒体文件之间 进行频繁地切换。由于磁头定位和磁盘旋转延时都受到磁盘的机械部分运动的制约， 就目前的磁盘而言，磁盘的数据查找时间是它的数据传输延时的主要部分许多磁盘 存储系统通过采用一定的算法来调度磁盘磁头的读写操作。以降低磁盘延迟带来的 系统开销，比如先来先服务( f c f s ) 算法，最短查找时间优先( s s t f ) 算法，但这些算法 不是专门为实时多媒体存取服务所设计的。这样，在视频服务器中需研究适应于连续 媒体回取的磁盘调度问题。磁盘调度通常是在操作系统一级来完成的，磁盘系统必须 推测出数据在磁盘中存放的实际物理位置，并且找到一个对磁盘的数据迸行读取的最 佳顺序，在本文中，通过命令队列( c o m m a n dq u e u e ) 来支持一次多个的数据请求，这 使得可向磁盘系统一次发送多个数据请求，由磁盘系统决定执行请求的最佳顺序，来 优化磁头定位和磁盘旋转等待，通过引入对磁盘进行分区，可以进一步减小磁盘寻道 丌销，从而提高了数据传输的有效带宽。在视频服务器中为各个用户提供数据回取服 务是采用多路复用磁盘带宽的方法进行的，为了在采用多路复用磁盘带宽的过程中 保证多路回取流的实时性和连续性，本文采用s c a n 调度算法对磁盘的回取进行调度， s c a n 调度算法的思想是：基于每路流在磁盘上存储的物理位置对每路流的回取序列进 行安排，使得一个服务循环中总的磁盘延迟时间最小。 为了充分应用多个磁盘的并行性，我们对多盘系统进行了讨论，针对视频数据的 特点- 提出了用于多盘视频数据进行存储和回取的算法，并计划把这些算法用于两级 磁盘阵列，来实现具有容错能力的、能实现多个磁盘高度并行和并发的、能高效率地 第6 页 里堕型垫盔堂竺塞生堕堂焦堡塞 支持多路视频流高度并发和交互式操作的视频数据存储系统。 3 缓存控制( b u f f e rc o n t r 0 1 ) 技术 在主存中拿出部分存储空间作为缓存器，用于存储从磁盘回取来的数据，根据用 户的需要，按一定的速率和服务顺序向用户输出所回取的数据，对回取数据进行缓存 的主要目的是：便于进行输出带宽的平滑( 减小阵发性) ，同时能灵活地把回取顺序和 输出服务顺序相分离，保证每个用户能连续地进行流的播放。关于缓存有两个问题需 解决： 缓存结构 缓存结构可分为单缓存器结构和双缓存器结构( 还有多缓存器结构) ，在采用 单缓存器结构时，调度程序从磁盘上读取的流数据与向用户输出的流数据存储在 同一个缓存空间中；在采用双缓存结构时，一个缓存器用于缓存调度程序从磁盘 上回取的数据，另一个缓存器用于向用户输出流的数据。为了做到磁盘调度算法 与用户请求服务的顺序相独立，使得磁头调度程序不用考虑用户消耗数据的顺序 来进行优化控制，一般视频服务器都采用双缓存结构。 缓存空间大小 虽然半导体技术的飞速发展，使得内存的价格下降得很快，但当视频服务器 为很多用户提供并发服务时，所需的缓存空间还是较大的。为了更为经济有效地 为多个点播用户提供并发的点播服务，有效地降低视频服务器的成本，防止在服 务过程中缓存器出现上溢和下溢并尽量减少点播服务的启动延迟，本文对缓存空 间的最小化问题进行了探讨。 4 允许控制与资源分配( a d m i s s i o nc o n t r o la n dr e s o u r c ea 1 l o c a t i o n ) 技术 视频服务器为多个用户提供并发点播服务。显然每路点播流都需要占用一定的系统 资源，这包括磁盘带宽、缓存空间、网络带宽等。允许控制就是根据目前系统中空闲 可用的资源和为请求队列中某个请求提供点播服务需要占用的系统资源进行比较，以 不破坏目前正在并发服务点播流的实时性和连续性为前提，判断是否为该请求提供服 务，视频服务器所采用的允许控制一般可分为下列四种： 确定性允许控制：该允许控制使得每路服务点播流的实时性和连续性都得以保 证，故该算法在允许为新用户提供服务之前，必须考虑最坏情况，故是一种最安 全，同时也是一种保守的算法，会导致资源的浪费。 统计性允许控制：该允许控制按某一概率保证服务点播流的实时性和连续性， 该算法为提供这样的保证，在允许为新用户提供服务之前，需考虑系统的随机行 为。 预测性允许控制：如果根据系统过去的特性值预测的结果表明可以很好地满足所 有用户的请求( 包括新来的用户请求) 时，才对新客户提供服务，否则拒绝服务， 预测通常基于过去平均性能特性。 最佳尝试性允许控制：该允许控制不保证新点播流的实时性和连续性，也就是说， 只有当服务器满足所有确定的、统计的和预测性的点播服务用户后，还有剩余带 宽的时候，才考虑为新用户提供服务。 本文主要涉及确定性服务允许控制的研究，并在尽量减小资源的浪费方面做了大 量工作，在带宽平滑技术的支持下，有效地实现了一种具有预测性允许控制特性的确 定性允许控制算法，该算法在保证不出现磁盘过载的前提下，能为尽量多的视频流提 供并发服务。 资源分配可分为静态资源分配( s t a r i cr e s o u r c ea l l o c a t i o n ) 和动态资源分配 ( d y n a m i c r e s o u r c ea 1 1 0 c a t i o n ) ，静态资源分配是在点播连接建立期间完成资源的 第7 页 匿防科技大学研究生院学位论文 分配，在整个点播服务过程中不变，而动态资源分配在点播服务过程中可以动态地改 变预留的资源，静态资源分配实现起来简单，但它缺乏灵活性，难以支持服务质量的 可伸缩性( s c a l a b i l i t y ) ，使得系统的交互性差。允许控制与系统资源分配算法紧密 相关，采用动态系统资源分配可更好地利用系统资源。 5 带宽平滑、可伸缩性及交互技术 视频点播主要涉及存储的压缩视频应用，数据压缩导致视频数据流帧间相关性与 传输的阵发性，使得网络资源的管理变得复杂。 对于存储的视频应用，可以采用比实时视频应用复杂有效的带宽平滑技术，系统 可采用灵活的方法来处理视频数据传输问题。可以充分利用预取和缓存技术来对数据 压缩导入的阵发性进行平滑，因为对整个视频的特性事先都是可知的，在脱机状态下， 可以事先完成带宽的分配，这样可对视频数据的传输进行合理有效的控制。在不降低 图像质量的同时，减少磁盘i o 带宽和网络传输带宽的浪费。 可伸缩性可分为系统的可伸缩性( s c a l a b i l i t y ) 和服务质量的可伸缩性，系统 的可伸缩性需从体系结构上( 包括服务器方面和网络方面) 进行研究，比如，作为视频 服务器来说，m p p 结构就是种可伸缩性很好的并行服务器，n c u b e 公司对于这种结 构的视频服务器进行了很有价值的研究。服务质量的可伸缩性需要数据分布技术、回 取控制技术、系统资源的分配以及视频压缩等多种技术的支持，比如m p e g 一2 标准中 的分层压缩编码提出了数据按优先级进行的数据划分( d a t ap a r t i t i o n i n g ) 编码、按 信噪比进行可伸缩性( s n rs c a l a b l e ) 编码、按空间分辩率进行可伸缩性( s p a t i a l s c a l a b l e ) 编码和按帧率进行可伸缩性( t e m p o r a ls c a l a b l e ) 编码，以及对以上四种可 伸缩性进行综合，进行多层次可伸缩性编码等都是对服务质量可伸缩性的有力支持。 本文对可伸缩性流的存储和回取技术进行了探讨，并利用该技术对“基于区域的补偿 数据分布与回取( r b c d p a r ) ”算法进行了改进，在o i l a r r i v a lr e a d a h e a d 技术的支 持下，在能对类似v c r 操作提供支持的前提下，成功地消除了流间切换过程中所需的 旋转等待延时。v o d 系统的交互能力，主要体现在视频服务器对类v c r ( v c r l i k e ) 功 能的支持以及用户对系统资源进行请求分配的灵活程度。在压缩过程中，引入了帧间 编码技术，使类v c r 功能的实现增加了难度，本文在支持类v c r 功能的实现方面做了 些研究，基于r b c d p a r 一3 算法，在多盘环境中对应的两种存储和回取算法，在不额外 占用磁盘带宽的前提下，提出了支持类似v c r 操作的实现方案。 i 6 研究与发展现况 目前在v o d 标准化、v o d 视频服务器的设计、存储回取、磁盘调度、连续媒体的 传输以及用户点播端方丽进行了很多研究。v o d 它泛指一类能在用户需要时随时提供 视频服务的业务，它是一个非常复杂的系统，不可能有一个厂家能提供所有的硬件、 软件产品。故需要有大家都遵守的统一标准，d a v i c ( d i g i t a la u d i o - v i s u a l c o u n c i l ) 在推进v o d 标准化进程中做了大量的工作，文献( 5 对一般数字音频、视频系统的结 构、参考模型、参考点和信号流等进行了规范描述，对v o d 系统和构造v o d 系统的框 架进行了逻辑描述；a t m 论坛对v o d 规范化也做了大量积极的工作，公布了音频、视 频多媒体业务v o d i 0 版。 在v o d 视频服务器的设计方面：有的从数据库设计的角度进行研究 6 7 ，6 8 ，有 的从操作系统角度进行研究 7 0 ，有代表意义的产品包括m i c r o w a r es y s t e m s c o r p o r a t i o n 在o s 一9 实时操作系统的基础上开发出的一种用于交互式视频业务的操 作系统d a v i dv 2 0 、t h o m o s o n t s u n m i c r o s y s t e m s 的o p e n t v 以及i n t e g r a t e ds y s t e m s 第8 贾 里堕型塾查堂婴塞尘堕堂篁堡塞 。 研制的基于实时多任务操作系统- - p s o s 多媒体操作系统；有的从体系结构方面进行 研究 7 1 ，g e m e l l 2 7 ，7 8 等建立了处理回取和存储时间延时敏感数据的一些基本原 则，l o u g h e r 2 1 对设计一个连续媒体数据文件服务器的的基本原则进行了阐 述r a n g a n 7 5 ，7 6 等则建立了一个存储连续媒体数据的模型。 1 对用于大规模r o d 系统的分布多层次存储系统的设计进行了研究： 8 4 对视频流在多处理机系统中的分 夼和调度进行了分析， 8 7 对n v o d 系统中的节目调度进行了分析。 在视频数据的存储分布方面：文献 3 4 提出了s c a t t e r i n gp a r a m e t e r 方法，文 献 2 8 提出了c l u s t e