（计算机软件与理论专业论文）流媒体服务器的设计与实现.pdf

ab s t r a c t a s t h e m o s t r e c e n t l y d e v e l o p m e n t o f t h e m u l t i m e d i a t e c h n o l o g y , t h e s t r e a m me d i a t e c h n o l o g y h a s a c h i e v e d t h e u s e r s c a n a c c e s s a n d p l a y m u l t i m e d i a d a t a fr o m t h e n e t w o r k r e a l - t i m e l y a n d c o n t i n u o u s ly . a s a r e s u l t t h e r e s e a r c h a n d d e s i g n o f t h e s t r e a m me d i a s e r v e r t h a t s t o r a g e a n d t r a n s f e r t h e s t r e a m me d i a d a t a , h a s b e e n m o r e a n d mo r e t a k e n i n t o a c c o u n t . b e c a u s e o f t h e c h a r a c t e r o f t h e s t r e a m me d i a t e c h n o l o g y : t r a n s f e r r i n g t h r o u g h t h e n e t w o r k m u s t k e e p i n g c e rt a i n t r a n s f e r r a t e ; a n d s t r e a m me d i a f i l e s a l w a y s c o n t a i n i n g a l a r g e v o l u m e o f d a t a , t h e d e s i g n o f t h e s t r e a m me d i a s e r v e r h a s m a n y s p e c i a l r e q u i r e m e n t s t h a n t h e n o r m a l s e r v e r s . a t t h e b e g in n i n g o f t h i s p a p e r , w e s t u d y t h e c h a r a c t e r o f t h e s t r e a m me d i a t e c h n o l o g y . a c c o d i n g l y w e s t u d y t h e m a i n d e s i g n i t e m s o f t h e s t r e a m m e d i a s e r v e r , t h e s e i t e m s i n c l u d e d a t a s t o r a g e s c h e d u l e , d a t a 1 / o d e s i g n , b u f f e r m a n a g e m e n t , a n d a d m i s s i o n c o n t r o l . t h e n w e i n v e s t i g a t e t h e s t r u c t u r e o f s o m e c u r r e n t l y p o p u l a r s t r e a m me d i a s e r v e r s a n d s u m m a r i z e t h r e e k i n d s o f s y s t e m s o l u t i o n s o f t h e s t r e a m me d i a s e r v e r , t h e s e s o l u t i o n s a r e t h e c e n t r a l i z e d s y s t e m , t h e d i s t r i b u t e d s y s t e m , a n d t h e c l u s t e r s y s t e m . w e c a r e f u l l y s t u d y t h e a b o v e s o l u t i o n s a n d s e l e c t t h e c l u s t e r s y s t e m s o lu t i o n t o b u i l d o u r o w n s t r e a m me d i a s e r v e r . i n o u r c l u s t e r s t r e a m me d i a s e r v e r , w e j o i n t h e s e r v e r s c l u s t e r t e c h n o l o g y a n d s a n t e c h n o l o g y t o g e t h e r , a d o p t t h e mi c r o s o f t wi n d o w s 2 0 0 0 a d v a n c e s e r v e r a s t h e o p e r a t i o n s y s t e m , u s e t h e n e t w o r k l o a d b a l a n c e ( n l b ) t e c h n o l o g y t o b a l a n c e t h e w o r k l o a d i n t h e c l u s t e r , a n d u s e t h e wi n d o w s me d i a t e c h n o l o g y t o a c c o m p l i s h t h e s t r e a m me d i a a p p l i c a t i o n s. t h i s s y s t e m c a n a c h i e v e o u r e x p e c t o f win d o w s me d i a s e r v i c e s i n f a c t . i n t h e e n d p a r t o f t h e p a p e r , w e r e s e a r c h t h e p e r f o r m o f o u r c l u s t e r s t r e a m m e d i a s e rv e r . w e h a v e f o u n d t h a t t h e b o tt l e - n e c k o f t h e p e r f o r m i s t h e l o w - e ffi c i e n c y i n r e a d i n g d a t a f r o m t h e d i s k - a r r a y s . b y t h e o r e t i c a l c a l c u l a t i o n a n d p r a c t i c a l e x p e r i m e n t ， we f i n d t h e m e t h o d t o o p t i m i z e t h e s t o r a g e s u b s y s t e m o f o u r s e rv e r : c o a r s e - g r a i n e d s t r i p i n g t h e s t r e a m me d i a d a t a a c r o s s t h e d i s k - a r r a y s k e y wo r d s : s t r e a m me d i a ， s e rve r , c l u s t e r , s a n, s t r i p i n g 第一章 引言和概述 第一章 引言和概述 1 . 1 流媒体与流媒体服务器概述 随着网 络数据通讯技术、 多媒体数据压缩技术与宽带接入技术等多种技术的日 渐成熟 和成功运用，通过网 络访问 音/ 视频等多媒体信息的各种应用得到了 迅速的发展。 在网络上传输音/ 视频等多媒体信息目 前主要有下载和流式传输两种方式。 其中下载 是用户访问多媒体信息的 传统方式， 整个多 媒体文件先通过网 络下载到本地， 再在客户端 播放。 但音/ 视频等多媒体文件一般都较大， 所以 需要的存储容量也较大; 同时由于网 络 带宽的限 制， 下载常常要花数分钟甚至数小时， 所以 这种处理方法延迟也很大。 而在流式 传输时， 声音、 影像或动画等实时媒体由 服务器向 用户计算机连续、 实时地传送， 用户不 必等到整个文件全部下载完毕， 而只需经过几秒或十几秒的启动延时即可进行观看; 当多 媒体在客户机上播放时， 文件的剩余部分将在后台从服务器内 继续下载。 流式传输不仅使 启动延时成十倍、 百倍地缩短， 而且不需要太大的缓冲容量。 流式传输避免了用户必须等 待整个文件全部从i n t e m e t 上下载才能观看的缺点。 流媒体 ( s t r e a m in g m e d ia ) 指在i n t e m e t/ i n tr an e t 中 使用流式传输技术的 连续实时 媒 体， 如: 音频、 视频或多 媒体文件。 流媒体在播放前并不下载整个文件， 只将开始部分内 容存入内存， 流媒体的数据流随时传送随时播放， 只是在开始时有一些延迟， 这就是“ 流” 的含义。流媒体实现的关键技术就是流式传输。 流媒体具有以下两方面的特点: 一、 流媒体具有带宽 特性， 要求保持一定的传输速率，以 确保客户端的实时、 连续的 播放效果; 二、 流媒体的数据量一般较大，以保存长时间的 音频或视频剪辑。 流媒体技术所提供的 对多媒体数据访问的实时性和连续性使其在商业、教育、 娱乐、 军事等众多领域得到广泛的应用， 而用于 存储和传输流媒体数据的流媒体服务器则是各种 流媒体应用的核心设备。 针对流媒体自 身的特点，流媒体服务器的主要任务有两项: 一、对大数据量的 流媒体数据提供可靠的存储和高效的数据检索 二、向客户端用户提供实时、连续的流媒体数据传输服务 由此可见对流媒体服务器的技术要求主要应侧重于其数据吞吐能力， 特别是对流式传 1 第一章引言和概述 输数据的吞吐能力。 对于一个成功的流媒体服务器系统， 应该能够为尽可能多的客户端访 问提供确保服务质量的流媒体数据服务。这样的流媒体服务器为视频点播 ( v i d e o o n d e m a n d ) 、 交互式电 视( i n te r a c t iv e t v ) 、 远程教学( d is t a n c e l e a r n in g ) 、 在线购物( s h o p p in g o n l i n e ) ,交互式游戏 ( i n t e r a c t i v e g a m e ) 等应用提供了 理想的数据服务平台。 1 . 2 流媒体与流媒体服务器的工作原理 流媒体技术现在主要指通过网络传送媒体 ( 如视频、音频)的技术的总称。 流媒体 技术的思想在m p e g 2 标准中就己经提出了， 而目 前流媒体技术的主流主要是基于mp e g 4 标准的。m p e g 4标准中 并没有确定的 关于视频、音频的具体数据压缩算法，而是定义了 一套用于在网络上实时传输多媒体数 据的规范和系统框架， 这很类似与网 络技术中的o s i 七层模型。 因 此基于m p e g 4 标准的 流媒体产品非常适用于在不同带宽的网络环境中 传输 与播放。 由于流媒体的应用与网络密切相关， 流媒体必须遵守特定的网络协议。 通常所采用的 流媒体文件是能够在基于i p的网络 ( 主要是i n t e r n e t 和i n t r a n e t )上播放的媒体格式，如 音频、 视频等多 媒体文件; 而且这些流媒体文件是以网 络传输宽带为基础的， 只有这样才 能做到流媒体文件的边下载边播放。因此流媒体文件一般都与一定的网络传输带宽相联 系，比 如一 个流媒体文 件适用于5 1 2 k b p s 的 宽带网 络， 而另 一个文 件适用于6 4 k b p s 的 单 通道i s d n网络， 显然前者无法在后者的网 络环境下实现保证质量的传输， 而后者可以在 宽带网络中有效的使用。 因为目 前的网络带宽对多媒体巨 大的数据流量来说是远远不够的， 多媒体数据必须进 行预处理， 才能适合流式传输， 这种根据网络协议和网 络传输带宽定制的流媒体文件才是 流媒体服务器所要存储和传输的对象。 流媒体传输的实现需要采用合适的网 络传输协议。 www技术是以h t t p 协议为基础 的，而h t t p 又建立在t c p 协议基础之上。由于t c p 需要较多的开销，故不太适合传输 实时数据。 在流式传输的实现方案中， 一般采用h t t p / t c p 来传输控制信息， 而用r t p / u d p 来传输实时多媒体数据。支持流媒体传输的网络协议包括: . 实时 传输协议r t p ( r e a l - t im e t r a n s p o r tp r o t o c o l ) ， 这是一种用于in t e rn e t 上针对多 媒体 数据流的一种传输协议。 .实时传输控制协议r t c p ( r e a l -t i m e t r ans o o r t c o n t r o l p r o t o c o l ) ，它和r t p 一起提供流量 第一章 引言和概述 控制和拥塞控制服务。 . 实时流协议r t s p ( r e a t i m e s t r e a m in g p r o t o c o l ) ， 定 义了 一对多的 应用 进程如何 有效地通 过i p网络传送多媒体数据。 . r s v p 协议( r e s o u r c e r e s e r v e p r o t o c o l ) ， 它是正 在开发的i n t e m e t 上的资 源预订协议。 由于流媒体的流式传输的特性不要求流媒体服务器一次性地将流媒体文件的数据全 部传输到客户端，而是在客户端播放流媒体的同时顺序的使流媒体数据 “ 流”向客户端， 流媒体数据流“ 流动” 的 速率只要能够保证客户端播放流媒体的 速率即可。 因此流媒体服 务器对流媒体数据的处理不用突发性地一次从存储设备中全部读出并连续不断的传输到 网络上， 而只需周期性地将流媒体数据一部分一部分的从存储设备中顺序读出 并发送到网 络上。 流媒体服务器周期性传输的 数据量的 包络线呈线性延伸， 这个线性的 斜率就是流媒 体数据流的传输速率( 如图1 所示) 。 数据流的 传输速率是由 流媒体的带宽 特性所决定的， 以 保证客户端能够以 一定的 速率实时、 连续地播放流媒体而不至产生饥饿。 l 朋摆 a 厂|.l期 厂|jll周 尸才 尸z 周期i 周期2周期3周期4周期5 图 1 流媒体服务器对一个流媒体数据流的周期性传输可能持续从数分钟到数小时不等， 在 这期间 流媒体服务器必须为该数据流保留 适当的系统资源，以 确保客户端的播放效果。 流媒体服务器长时间地、 周期性地以一定速率向客户端提供服务的特点是其与普通服 务器的主要区别: 流媒体服务器的设计都围绕着这个特点， 其中包括网络传输、 数据存储、 第一章引言 和概述 数据】 / 0以及数据缓冲等方面的设计。 流媒体服务器在确保每一个流媒体数据流实时、 连续传输的同时， 还应该为尽可能多 的并发客户端访问提供服务。当多个客户端对流媒体服务器上的流媒体数据并发访问时， 流媒体服务器要同时为多个数据流提供及时的 数据传输服务。 因此流媒体服务器在周期性 服务的策略中， 在一个访问周期内 要为每一个数据流从存储设备中读 取一定大小的流媒体 数据块， 并将数据块通过缓冲和网络传输发送到客户端， 在下一个访问周期服务器为每一 个数据流读 取和传输的下一个数据块。 由于 存储设各的v 0带宽远大于流媒体数据流所需 的带宽. 在一个访问 周期内 服务器可以同时为多个数据流提供数据， 从而实现了对并发客 户端访问的服务。 应特别指出的是， 在每个访问周期中为一个数据流读取的 数据块的大小 不能小于该客户端在一个周期内 播放数据流所需的数据量， 只有这样才能保证客户端的连 续播放，而不会出现饥饿的情况。 如果一台流媒体服务器同时只能向 很少的用户提供流媒体服务， 则传输一个流媒体数 据流的成本将过高， 该系统的性能价格比 太低， 这样的流媒体服务器将失去实用价值。 提 高 流媒体服务器对客户端访问的并发处理能力涉及到对处理机、 存储设备带宽、 网 络带宽、 内 存等系统咨6fix 的合理配置和调度， 这正是流媒体服务器设计的关键所在。 1 . 3 本文研究的目的 目 前许多 流媒体产品已 经实 现了 产品 化， 如r e a ln e t w o r k s 公司的r e a lm e d ia , m i c r o s o ft 公司的w i n d o w s m e d ia , a p p le 公司 的q u i c k t im e 等 产品， 这些 产品 都提出了 各自 的 基于 m p e g 4标准的流媒体文件格式，以 及相应的流媒体编码器、媒体播放器、媒体服务器产 品， 这为流媒体技术的应用提供了软件的基础。 这些软件一般都以 用户态方式运行于网 络 操作系统之上， 它们主要侧重于解决服务器进程向 客户端进程提供实时、 可靠的流媒体数 据传输服务， 通过采用适用于多媒体传输的网 络传输协议 ( r t p , r t c p , r t s p ) ， 及服 务器与客户端之间合理的缓冲设计， 以 消除客户端对于 流媒体数据播放的饥饿现象， 保证 服务的q o s . 而另一方面这些流媒体软件只是通过现有操作系统的文件系统对存储设各上的流媒 体数据进行读写访问操作， 而并不涉及到数据存储系统的设计和流媒体数据的访问调度问 题， 更不会涉及到流媒体服务器自身的体系结构。 因此它们只是解决了服务器与客户端之 间数据传输的优化问题， 而没有考虑服务器自身的数据v 0的优化和对客户端访问的调度。 第一章 引言 和概述 事实上客户端访问 流媒体服务器上的 流媒体数据时， 从存储设备上读取数据而产生v 0延 迟是整个访问 过程中的 最主要的时间消耗; 如果忽视流媒体服务器存储系统的设计， 将会 造成流媒体服务器的瓶颈。 为了有效地发挥流媒体巨大的应用潜力， 从流媒体的特性出发设计出专门用于存储与 传输流媒体数据的 流媒体服务器成为当务之急。目 前虽然存在着一些用于v o d服务的 传 统流媒体视频服务器， 它们中既有p c 级的小型视频服务器，也有基于并行处理结构的 大 型视频服务器; 但这些服务器不是性能较差， 无法支持大规模的并发访问; 就是价格昂贵， 无法得到普及应用。 因此设计一种具有良 好性能价格比 和优越的可扩展能力的流媒体服务 器十分必要。 在本文中将对目前已经存在的流媒体服务器的设计进行分析，并从数据存储、数据 1 / o 、访问调度、以 及体系结构等方面对流媒体服务器进行研究。 针对流媒体应用的特点 我们进行了 流媒体服务器的设计， 并建立起具有良 好性能价格比 和优越的可扩展能力的流 媒体服务器系统。 在本文的最后我们对影响流媒体服务器性能的因素进行了理论分析与实 践测试，找出了影响流媒体服务器性能的主要原因，并得到了优化设计的方法。 1 . 4 本文的主要内容 在本文的第二章对流媒体服务器设计中 所会遇到的主要技术问 题进行讨论， 并提出相应 的 解决方法。 第三章给出了 根据现有流媒体服务器产品 所总结出的几种流媒体服务器的体系 结构和系统解决方案。 在第四章中详细论述了我们的采用服务器集群方案的流媒体服务器的 硬件和软件设计。 第五章对集群式流媒体服务器的性能进行了 分析， 指出了 服务器的性能瓶 颈，并提出了解决的方法。第六章是对全篇文章的总结。 第二章 流媒体服务器的关键技术的分析 第二章 流媒体服务器的关键技术的分析 2 . 1 引言 作为流媒体应用的核心设各，流媒体服务器必须具备强大的并发访问 处理能力、 优越 的可扩展性、良 好的性能价格比，才能得到广泛的应用。目 前可用于流媒体应用的 服务器 的 生产厂商 大多 来自 美国， 比 较著 名厂商的 有n c u b e 公 司，具有n c u b e 3 和n c u b e 4 系列 产品:美国并行计算机公司的m e d i a h a w k ; h p 公司的me d i a s tr e a r n 系列等，这些公司的 服务 器都 是 专门 针对 流 媒 体 应用 而 设 计的 。 此 外， s g i 公 司的o r ig in 2 0 0 0 , 3 0 0 0 系 列， s u n 公司的s p a r c , h p 公司的h p 9 0 0 0 , i b m公司的r s / 6 0 0 0 等通用体系结构的计算机， 原本 主要用于高性能商业计算，而非针对专门的流媒体应用， 但如果在其平台上进行流媒体应 用开发，也可作为流媒体服务器。针对上述流媒体服务器的设计， 我们对流媒频服务器的 关键技术进行分析。 2 . 2 流媒体服务器的数据存储系统的设计 流媒体服务器向客户端提供的主要服务是根据流媒体数据流的 要求， 周期性地从存储设 备上检索和读取数据， 并发送到网络接口。因 此对于 流媒体服务器来说更侧重于 数据的u o 能力， 而对数据的运算处理能力要求并不高。 在客户端访问 存储在流媒体服务器上的流媒体 数据的过程中， 由于读取存储设备上的数据而产生的1 / o延迟， 在整个数据访问过程的时间 消耗中占据着主要的部分; 存储设备成为流媒体服务器向客户端传输数据的瓶颈。 因此存储 系统的设计是流媒体服务器设计的关键。 2 . 2 . 1 存储设备的 选择 通常流媒体的数据量非常大，同时又需要一定的的数据传输速率。以通过 mi c r o s o ft m e d i a v i d e o v 7算法压缩的 适用于5 1 2 k带宽的流媒体文件来计算， 每小时节目 需要2 3 0 m b 的存储空间， 而1 0 0 0 小时的节目 则需要近2 3 0 g b的实际文件存储空间， 因此流媒体服务器 需要采用适当的存储体系。从保证实时传输速率的角度出发，将流媒体数据永久地存储在 r a m中 是理想的( 目 前r a m的 数 据传 输带宽 可达上百m b p s ， 而 传输延 迟几乎 可以 忽略 不 记) ;但这样做给流媒体服务器带来的 成本的 增加是不可接受的，而且用 r a m存储数据是 第二章 流媒体服务器的关键技术的分析 易失性的， 因 此流媒体服务器必须选择外部存储设各作为 存储流媒体数据的 主存储设备。 出 于性价比的考虑， 目 前的流媒体服务器的存储系统通常采用磁盘作为主要的存储介质， 用于 永久的保存数据。( 下表列出主要外部存储介质的相关数据) 存储设备费用! m b ( ￥) 延迟传输速率 磁盘 ( m a g n e t i c d i s k ) 0 . 21 0 - 2 0 ms 3 0 - 5 0 m b p s ( 外 部 传 输 率 ) 磁带( t a p e ) 0 . 0 2 卜3 mi n u t e 1 . 5 - 1 0 mb p s 光盘 ( o p t ic a l d i s k ) 0 . 0 5 3 5 ms 1 - 2 mb p s 表 i 磁盘虽然具有存储容量大， 数据传输带宽高等优点， 但是访问 磁盘数据的 机械操作造成 了磁盘数据传输延迟较大的 缺点， 因 此不能将磁盘上的数据直 接传输到客户端。 流媒体服务 器采用一定数量的r a m作为缓冲区， 用于从磁盘上被读取的流媒体数据在传输到客户端之 前暂时存储这些数据。 由于单一磁盘提供的存储空间与数据传输带宽有限， 实际的 流媒体服 务器一般采用由 许多磁盘组成的磁盘阵列作为主存储系统。 为了 保证海量的流媒体数据的 存储安全， 系统稳定， 并具有一定的容错性能， 流媒体服 务器应 采用流媒体文 件系 统与操作系 统文件隔离的 方式， 这与目 前推崇的s a n ( 储域区 域网 络 ) 概念比 较类似; 对流媒 体数据同 时 采用r a i d保 护， r a i d 级别一般为r a i d 3 或r a i d 5 等目 前使用得较多的r a i d级。 流媒体数据的存储方式是评价流媒体服务系统的一个重要指标， 比较安全的方式是采用 与系统分开的方式， 即与流媒体服务器操作系统完全分开的方式， 这种方式的好处是易维护， 也 便于 操 作系 统的 升 级， 在 操 作 系 统瘫 痪 时， 只需 重新 安 装 操 作 系 统即 可， 流 媒体 数 据 不 需 要重新制作，这样大大降低了 系统的平均故障恢复时间 ( m t t r ) ，大多数流媒体服务器公 司如n c u b e . s g i . c o n c u r r e n t 等都采用了 这种方 式。 r a i d方式的实现有硬件和软件两种方式， 对于软件r a i d实现方式， 需要占 用一部分 存储1 / o资源。 但硬件r a i d方式在存储设备扩容时具有很高的 升级代价， 软件r a i d在存 储设备扩容时升级代价较低，n c u b e公司的流媒体服务器用的是软件r a i d方式。 2 . 2 .2 流媒体数据和v 0资源的共享 流媒体服务器有一个最重要的评价指标就是流媒体数据资源的共享性， 资 源的共享有两 层含义: 第二章 流媒体服务器的关键技术的 分析 ， 任意用户可以 访问流媒体服务器的 任意媒体数据内容: 在系统资源满足的前提下， 在系统资源满足的前提下，多个用户可以“ 同时” 访问流媒体服务器的同一媒体数 据内容。 为了实现这样的共享效果， 必须实现这样的 功能: 在逻辑上， 整个流媒体服务器系统所 存储的媒体数据相当于一个巨 大的存储设备， 所有存储媒体数据的磁盘就相当于一个逻辑上 的巨型 “ 磁盘” ，所有连接磁盘的s c s i 接口或f c( 光纤通道) 接口 相当于一个逻辑上的高 速 v o接口。 一般地， 流媒体数据是采用多个磁盘阵列来存储， 每个磁盘阵列带有多 块磁盘， 在物理 上这些阵列是分立的， 并连接到流媒体服务器的不同的处理模块 ( 节点) 上。 流媒体服务器 采用了分布式数据存储方式， 以充分利用所有的 磁盘的i / 0资源， 理想的方式是， 流媒体数 据内 容被平均分成许多 很小的 条纹单 元 ( s tr p in g ) ， 每个条纹单 元一 般都只有几十k b ， 这些 条纹单元又被均匀分布地存储到所有的磁盘中。流媒体服务器具有内 部高速无阻塞交换网 络， 以充分支持流媒体资源共享， 系统内 部运行通信调度软件用来对这些分布在不同 存储设 各上的流媒体数据进行协调和重组， 根据用户的 请求， 周期性地发送到客户端。 这些处理对 客户端而言是完全透明的， 用户不会感觉到通过播放器播放接受到的 节目 看起来是一段一段 的。 这种对分布式的存储设备在逻辑上的统一组织管理充分达成了对流媒体数据资源的共 享， 同时也实现了 对所有磁盘v 0资源的 共享。目 前采用s a n ( 储域区域网络) 技术可以很好 的实现这种功能。 2 . 2 . 3 磁盘的访问调度 由于技术上的原因，目 前广泛使用的磁盘虽然可以达到较大的存储容量 ( 几十g b - 上百 左右) g b ) 和较高的 数据传输 带宽 ( 实际可 达几十 m b p s ) ， 但其数据传输延迟较大 。这种严重的延迟主要是由磁盘头的寻道延迟和磁盘盘片的旋转延迟造成的。 ( 1 o m s 磁盘的 数据传输延迟将造成磁盘数据传输带宽的实际有效利用率大大的降低( 根据访问 数据块的大 小实际有效利用率从百分之几到百分之几十) 。 流媒体服务器为了保持流媒体数据流的连续传输， 需要周期性地从磁盘上读取数据。 当 流媒体服务器为大量的并发数据流提供服务时， 服务器访问磁盘的操作将极为频繁， 而这正 是流媒体服务器所要完成的主要工作。 此时磁盘的寻道延迟和旋转延迟将严重影响磁盘访问 的效率， 造成磁盘传输带宽资源的极大浪费。 因 此必须对并发数据流对磁盘的访问 进行优化 9 第二章 流媒体服务 器的 关键技术的分析 调度，较少延迟的产生。 流媒体服务器周期性地为并发数据流从磁盘上读取流媒体数据， 可以看作周期性完成多 个具有时间限制的 任务的调度问 题。 磁盘访问调度算法必须保证在一个访问 周期内为每一个 数据流提供及时所需的数据， 使得所有的客户端的播放不产生饥饿; 同时在一个访问周期中 应尽量减少磁盘访问延迟的影响， 提高 磁盘传输带宽的实际 利用率， 也就增加了服务器可支 持的并发数据流访问的数量。理想的磁盘调度算法应具有以下的特性: 一、低寻道延迟，低转动延迟: 二、没有客户端迹饿现象的发生 三、没有数据访问失败的情况发生 四、反应时间的 波动较小 五、有效的利用内存空间 目 前常见的磁盘调度算法有以下一些: f c f s( 最先到达请求优先) ， 这种简单的算法将磁盘访问请求根据其到达的先后顺序排 成队列， 并按照队列的次 序访问 磁盘， 显然这种算法既没有考虑减少磁盘的访问 延迟也没有 考虑访问 请求的时间限制。 s s t f( 最短寻道时间请求优先) ， 这种算法的目 的是尽可能减少寻道延迟， 但将导致在 不同访问 周期对同一流媒体数据流的不同 数据块的访问反 应时间出 现较大波动， 并 造成数据 流饥饿。 s c a n( 扫描算法) ， 这种算法根据磁盘访问队列中被访问 数据块在磁盘磁道上的位置， 对数据块进行排序 ( 由 最外磁道至最内 磁道，或反之) ;在磁盘头单向 或双向 扫过磁盘表面 时， 按照排序的次序依次访问 磁盘数据。 s c a n算法既减少了 磁盘寻道延迟又减少了 反应时 间的波动。目 前许多磁盘阵列产品中已 经结合了s c a n算法的设 计。 上述调度算法主要通过减少磁盘访问的寻道延迟和旋转延迟，以 提高磁盘的数据吞吐 率。然而由于客户端对流媒体数据的实时性要求 ( 服务的时间限制) ， 这些传统的磁盘调度 算法并不完全适合于流媒体服务器。 在针对具有时间限制任务的实时调度算法中，最有名的是e d f 算法 ( 时间限制最早优 先) 。 在e d f 算法中， 当 一个流媒体数据流的数据被访问 之后， 具有最早时间限制的 流媒体 数据流所应访问的磁盘数据块将被调度访问。然而仅采用 e d f算法调度磁盘会产生过多的 寻道时间和旋转延迟， 导致服务器资源的利用率非常低 ( 主要是磁盘的数据传输带宽) 。 因此将s c a n算法与e d f 算法结合起来的s c a n - e d f 调度算法是适用于流媒体服务器 9 第二章 流媒体服务器的关键技术的分析 的 磁盘访问调度算法。 在每一个访问 周期中， 具有最早时间限制的磁盘访问 请求被首先服务， 而如果几个磁盘访问 请求具有相同的时间限 制，则 它们所要访问的数据块采用 s c a n算法 访问。显然s c a n - e d f调 度算法的效率取决于在一个周期内 有多少磁盘访问请求具有相同 的时间限制， 具有相同的时间限制的 请求越多磁盘带宽的 利用率越高。 如果在一个周期内 所 有将被访问的多媒体数据块被安排了相同的时间限 制。 s c a n - e d f调度算法将成为高效的 s c a n调度算法: 当流媒体服务器所传输的流媒体数据流的传输速率都相同时( 访问的流媒 体文件为相同带宽) ，此时所有的数据流对磁盘数据的访问具有相同的时间限制，这种情况 就会发生。 2 . 2 . 4 流媒体数据的 布局与并发访问 前面提到流媒体服务器将流媒体文件的数据存储在一个由多个分布的磁盘阵列组成的 逻辑上统一的存储设备中。 如何将流媒体数据合理地布局到磁盘阵列的 每一块磁盘上， 以实 现存储设备】 / o资源的优化利用， 是提高 流媒体服务器处理并发流媒体数据流能力的关键。 流媒体服务器按周期从存储设备上为每个流媒体数据流读取流媒体文件的数据， 在一个 周期中为每一个数据流从磁盘阵列上读取的数据块通常需要占据多个磁盘基本存储单元 “ 簇” ( 5 1 2 b y t e ) 的 空 间， 这 些 数 据 块 就 是客 户 端 访问 流 媒 体 文 件的 基 本 逻辑 单 位， 而 存 放 一个数据块的磁盘簇通常是连续排列的， 这样才能 减少每次数据访问的寻道与旋转延迟。 这 样就可以将一个流媒体文件 ( 一段音频或视频)分解为由一系列数据块组成的序列。 对于如何将组成流媒体文件的数据块( 访问的逻辑单位) 分布存储到磁盘阵列上的问题 在许多文章中都做过详细的论述。 这个问题的 核心就是如何通过恰当的磁盘数据布局， 使得 在任何时刻并发的流媒体数据流能够充分地利用磁盘阵列中所有磁盘的总数据带宽， 实现阵 列中所有磁盘的负载均衡。 最简单的数据布局方式就是使一个流媒体文件的数据块连续地存储在磁盘阵列的一个 磁盘上。 这种情况下流媒体服务器为一个流媒体文件提供的最大传输带宽不会超过单独一个 磁盘的数据带宽， 对这个文件的并发访问的数量将会受到单一磁盘带宽的限止。 当 磁盘阵列 中某些流媒体文件的内 容比 其他文件更受欢迎时， 这种单磁盘存储方案可能 产生问 题: 那些 受欢迎的流媒体文件所在的磁盘将受到大量的并发访问 请求， 并可能超过磁盘带宽的承受能 力， 在磁盘阵列中 将产生“ 热点” 和瓶颈; 与此同时对那些存储不受欢迎的 流媒体文件的磁 盘的访问较少， 这些磁盘的数据带宽 很大部分处于闲置状态， 造成对系统资源的浪费。 这种 由于客户端对流媒体文件的不均衡访问， 而引起的磁盘阵列中磁盘的负载不均衡必须通过合 1 0 第二章 流媒体服务器的关键技术的分析 理的数据布局来避免。 对于上述的单一磁盘存储方案的一种改进是根据流媒体文件的受欢迎程度( 客户端访问 的密度) ，将受欢迎的流媒体文件整个备份在多 个磁盘上， 这样的改进可以 大大提高磁盘阵 列接受并发访问的能力和磁盘带宽的利用率。 但是将整个流媒体文件备份将多占用数倍的磁 盘存储空间 ( 一般流媒体文件的数据量较大) ，而且如何根据客户端对流媒体文件的访问情 况， 动态地实现数据备份也是一个复杂的问 题。 一个更为有效的数据布局方法是将组成流媒体文件的数据块分散到磁盘阵列的所有磁 盘上去。 这种布局方法采用了r a i d技术的某些思想; r a i d技术将逻辑上连续的数据划分 成条纹( s t r i p e ) ， 并 将条 纹循环连续地分散存储到磁盘阵列的 每一 个磁盘 上， 以 实 现对所有 磁盘的并行访问。在流媒体应用中， 流媒体服务器为客户端周期性传输流媒体数据的 特性， 使得流媒体文件被划分为逻辑上连续的数据块，这与r a i d中采用的条纹化技术不谋而和， 因此采用条纹化技术实现流媒体数据在磁盘阵列上的布局是十分自 然的。 目 前采用的流媒体数据的条纹化方法主要由两种: 细粒度和粗粒度的条纹化。 其中细粒 度条纹化与r a i d - 3 采用的数据布局方案相似。 r a i d - 3 的特点是每一次对数据的访问 都会 涉及到磁盘阵列的 所有磁盘， 这一点 特别适合于对于连续的大数据量数据块的 访问( 磁盘阵 列中所有磁盘的带宽资源在某一时刻都用于同一客户端的访问请求) 。利用这一特点，细粒 度条纹化将客户端在一个访问 周期内 所要访问的数据块划分为更为细小的条纹单元， 并将条 纹单元连续循环存储在所有的磁盘上。 在客户端访问一个数据块时， 将读取属于该数据块并 存储在磁盘阵列中所有的磁盘上的条纹单元， 这样就从根本上解决了磁盘间的负载均衡问 题， 避免了“ 热点” 的出 现。 用于 流媒体 服务器的 细粒 度条纹化的条 纹单 元是b it e 或b y t e 或簇 ( s e c t e r ) 。细粒度数据条纹化的示意图如图2 所示。 而粗粒度条纹化与r a i d - 5 采用的数据分布方案很相似。与r a i d - 3 不同， 在r a i d - 5 中一次数据访问只会涉及到一个磁盘， 属于一个文件的逻辑上连续的数据块 ( 条纹单元) 被 循环连续的存储到所有的磁盘中。 r a i d - 5 非常适合于与数据库访问 相关的事物处理系统， 如果磁盘阵列中 有n 个磁盘， 在同 一时刻磁盘阵列可以同时为n 个客户端的请求提供服务。 在粗粒度的条纹化中， 组成一个流媒体文件的客户端访问 逻辑单位 数据块被连续循环的 存储到所有的 磁盘中( 象r a i d - 5 ) ， 访问同一个流媒体文件的并发数据流可以同时访问 存储 在不同磁盘上属于该文件的不同部分。 根据概率论的观点， 当 存在足够多的客户端的访问请 求时， 这些请求将均匀分布到所有的磁盘上， 实现负载的均衡。 在粗粒度条纹化布局中， 条 纹单元的尺寸要比 细粒度条纹化要大得多，一般占 用磁盘簇 ( s e t t e r ) 单位的整数倍，从几 第二章 流媒体服务器的 关键技术的分析 k b到上千k b不等。细粒度数据条纹化的示意图如图3 所示 一次 数据的 读取同时 访何m 个磁盘 s u习 s um s o m s u i 吕 样 均资 i 外2 m + 1 即 2 拟 功+ 2 : ， 2 切 + 2 i. 。 。 1 二 . u - 的 ， ， 动叼资习比.1 s u 3 m - .l d i s k 0 d i s k 1d i s k 2d i s k m- 1 m 个磁盘组成的磁盘阵列 细 粒 度 数 据 条 纹 化 ， 条 缺 单 元 大 小 灿1 t e b y t e 或s e c t e r 图 2 丽 习 s um 5 7 3 m s u主 t o 勿 + -1 加 2 m + 1 劝 2 5 仃 m + 2 s u 2 m + 2 5 甘m- i s u2 m. s o3 m. t 0 i s k m- 1 图 3 第二章 流媒体服务器的关键技术的分析 在流媒体服务器中条纹化数据布局的实现需要通过现有的r a i d技术来实现。 设计中具 体采用那种条纹化数据布局与具体的 应用环境有关， 但一般认为粗粒度条纹化更有利于磁盘 阵列i/ 。资 源的有效利用， 提高处理并发访问的能力。 条纹单元大小的具体选择与流媒体数 据流的实际带宽以及缓冲区的设置密切相关。 我们希望流媒体服务器在一个访问周期内为一 个流媒体数据流从磁盘阵列上读取的数据全都存储在一个条纹单元上， 这样只需对一个磁盘 进行一次访问，只产生一次寻道和旋转延迟。在第五章还将对这个问题做具体的论述。 2 . 3 流媒体服务器的数据u o的设计 2 . 3 . 1 v 0接口的类型 流媒体服务器的数据i / 0接口的 主要特征是: 存在多个存储v 0接口 + 多个网络v 0接 口 。 存储i / 0接口 一般是采用u l t r a s c s i , u l t r a 2 s c s i , u l t r a 3 s c s i 或f i b e r c h a n n e l ( 光纤 通道) ，一般每个 s c s i 或光纤通道连接一个磁盘阵列，在系统实现完全资源共享时，存储 u o能力是所有s c s i 或f c通道u o速率的总和。 对于网 络 】 / o接口，一般的流媒体服务器都具有e t h e r n e t ( 1 0 / 1 0 0 m) 接口，某些服务 器具有1 0 0 0 m以 太网 接口， 可以 用于在l a n上作流媒体应用， 但这样的流媒体服务器只能 用于局域网的应用， 并且只能用于基于i p 方式的流媒体应用。目 前，由 于以 太网技术的 进 步，i p o v e r s d h和i p o v e r d w d m等技术的成熟， l a n和w a n之间的 差别逐渐消失， i p 流媒体已 经可以 很容易在w a n上进行大规模应用了，因 此目 前提供 1 0 / 1 0 0 b a s e t , g b e , i o g b e网络接口己 经成为流媒体服务器跟上时代潮流的 表现。 目 前， 仍 有 许 多 流 媒 体 服 务 是 基 于c a t v( 有 线 电 视) 网 络 或h f c ( h y b r id f i b e r - c o a x ) 网 络的， 因 此， 有许多 服务 器针 对这样的 接入网 络提供了d v b -a s i 或q a m 6 4 / 2 5 6 接口 ; 此 外， 针 对 d s l ( a s y n c h r o n o u s d ig it a l s u b s c r ib e r l o o p ) 等 接 入 方 式， 有 些 服 务 器 可 提 供 a t m o c - 3 或o c - 1 2 接口 ，以 提 供高 速数 据通 道给局端的d s l a m ( d ig it a l s