（计算机系统结构专业论文）面向流媒体传输的代理缓存技术研究.pdf

重庆大学硕士学位论文中文摘要 摘要 随着网络和多媒体技术的发展，流媒体应用越来越广泛。然而现有的互联网 络缺乏对实时通信的良好支持，影响了流媒体的传输性能。同时，流媒体传输对 系统i o 和网络带宽的高需求，使得服务器和网络带宽成为系统的瓶颈。流媒体代 理缓存技术通过缓存热门节目的部分或全部数据，为就近的客户端请求提供服务， 可以有效的解决上述问题。因此，针对流媒体应用的特点，研究高效的代理缓存 策略，以提高缓存命中率、减小客户端启动延迟、降低服务器负载和网络资源消 耗，是流媒体代理缓存技术的重要研究内容。 本文针对影响流媒体缓存性能和传输资源消耗的主要因素，以代理缓存策略 为主要研究内容，研究缓存替换算法和调度算法，并据此设计流媒体代理缓存原 型系统，且对该系统的性能进行了相应的测试和分析。论文主要工作如下： 针对现有缓存替换算法主要以媒体访问次数和访问频率来计算缓存效用 值，对效用值评价不够精确的问题，提出了基于最小效用的缓存替换算法。该算 法充分考虑了媒体部分有效性、访问频率和已缓存大小对缓存效用值的影响，提 高了缓存性能。 针对补丁调度算法频繁地从服务器传输补丁流而消耗大量服务器资源和 网络带宽资源的问题，提出了带动态缓存的补丁调度算法，通过缓存补丁数据， 使补丁流从代理服务器产生，降低了服务器负载和网络资源消耗。 设计并实现了流媒体代理缓存原型系统，采用直接存储r t p 包的形式，使 媒体数据的缓存和传输与具体的媒体格式无关，并对系统实现中的关键部分进行 了分析和阐述。 搭建模拟环境，在缓存字节命中率、客户端平均启动延迟和传输通道占用 量等方面对原型系统进行了相应的测试。 模拟实验结果表明：基于上述流媒体代理缓存策略设计的原型系统能够实现 流媒体传输中的代理缓存，并在提高缓存字节命中率、降低客户端平均启动延迟 和传输通道占用量等方面具有较好的性能，有利于提高流媒体的传输效率和播放 质量。 关键词：流媒体，代理缓存，缓存替换算法，调度算法 重庆大学硕士学位论文英文摘要 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ei n t e r n e ta n dt h em u l t i m e d i at e c h n o l o g y , t h e a p p l i c a t i o no fs t r e a m i n gm e d i ai sg a i n i n gm o r ea n dm o r ep o p u l a r i t y h o w e v e r , t h e c u r r e n ti n t e m e tl a c k ss u p p o r tf o rr e a l t i m et r a f f i c ，w h i c ha f f e c t st h em e d i at r a n s m i s s i o n p e r f o r m a n c e f u r t h e r m o r e ，t h eh i g hd e m a n d so ft h es t r e a m i n gm e d i at r a n s m i s s i o no n t h es y s t e mf oa n dn e t w o r kb a n d w i d t hm a k et h es e i v g i a n dt h eb a n d w i d t hb o t t l e n e c k t h es y s t e m w h i l es u c hp r o b l e m sc a l lb ee f f e c t i v e l ys e t t l e db yt h ep r o x yc a c h i n g t e c h n o l o g y , w h i c hi su s e dt os t o r ep a r t so ra l lo ft h ed a t ao ft h eh o tp r o g r a m ss oa st o o f f e rs e r v i c et ot h en e a r b yu s e r s t h e r e f o r e ，i nl i g h to ft h ec h a r a c t e r i s t i c so ft h e a p p l i c a t i o no fs t r e a m i n gm e d i a , t h es t u d yo f e f f i c i e n tp r o x yc a c h i n gs t r a t e g yi so fg r e a t s i g n i f i c a n c et ot h er e s e a r c ho fp r o x yc a c h i n gt e c h n o l o g yo fs t r e a m i n gm e d i ab e c a u s e i t c a l li n c r e a s ec a c h i n gh i tr a t e ，d e c r e a s et h ec l i e n ts t a r t - u pl a t e n c y , a n dr e d u c en e t w o r k a n ds e r v e l 1 0 a d b a s e do nt h em a i nf a c t o r si n f l u e n c i n gt h es t r e a m i n gm e d i ac a c h i n gp e r f o r m a n c e a n dt r a n s m i s s i o nr e s o u r c ec o n s u m p t i o n , t h i sd i s s e r t a t i o nd i s c u s s e st h ep r o x yc a c h i n g s t r a t e g y , w i t ht h ef o c u s e so nt h ec a c h er e p l a c e m e n ta l g o r i t h ma n ds c h e d u l i n ga l g o r i t h m i ta l s od e s i g n sa n di m p l e m e n t sap r o t o t y p eo f p r o x yc a c h i n gs y s t e mw h o s ee f f e c t i v e n e s s i sa l s ot e s t e da n da n a l y s e d s p e c i f i c a l l y , t h em a i nw o r kd o n ei n t h i sd i s s e r t a t i o ni sa s f o l l o w s ： t h ec u r r e n tc a c h er e p l a c e m e n ta l g o r i t h m sh a v et h ep r o b l e mo fi n a c c u r a t e e v a l u a t i o no ft h ec a c h i n gu t i l i t yb e c a u s et l l e i rs t a n d a r d sa r et h ea c c e s s i n gt i m ea n d f r e q u e n c yo ft h em e d i a t os o l v es u c hp r o b l e m t h ep r e s e n ts t i l d yp r o p o s e st h ec a c h e r e p l a c e m e n ta l g o r i t h mf o rs t r e a m i n gm e d i ab a s e d o ns m a l l e s tc a c h eu t i l i t y t h e a l g o r i t h mc o n s i d e r si nf u l lt h ep a r t i a lv a l i d i t yo fm e d i a , a c c e s s i n gf r e q u e n c ya n dt h e i n f l u e n c eo ft h es i z eo fc a c h e dd a t ao nc a c h i n gu t i l i t y , t h u si m p r o v e st h ec a c h i n g p e r f o r m a n c e t os o l v et h ep r o b l e mo fg r e a tc o n s u m p t i o no fs e l - v c ra n dn e t w o r kb a n d w i d t h r e s o u r c e sd u et of r e q u e n tt r a n s m i s s i o no f p a t c h i n gs t r e a mf r o mt h es e l - v e rc a u s e db yt h e c u r r e n tp a t c h i n ga l g o r i t h m ，t h es t u d yp u t sf o r w a r dt h ep a t c h i n ga l g o r i t h mw i t hd y n a m i c c a c h e ，w h i c h ，t h r o u g hc a c h i n gp a t c h i n gd a t a , m a k e st h ep a t c h i n gs t r e a mg e n e r a t e df r o m t h ep r o x ys e r v e r , t h u sr e d u c e st h es e r v e rl o a da n dn e t w o r kr e s o u r c ec o n s u m p t i o n t h ep r e s e n ts t u d ya l s od e s i g n sa n di m p l e m e n t sap r o t o t y p eo fp r o x yc a c h i n g l i 重庆大学硕士学位论文英文摘要 s y s t e m ，i nw h i c h ，w i t ht h ed i r e c ts t o r a g eo fr t pp a c k s ，t h ec a c h i n ga n dt r a n s m i t t i n go f m e d i ad a t aa r ei r r e l e v a n tt ot h em e d i af o r m a t m e a n w h i l e ，s o m ec r u c i a li m p l e m e n t i n g i s s u e sa r ea n a l y z e di nd e t a i l i tc o n s t r u c t sas i m u l a t e de n v i r o n m e n li nw h i c h , t h ee f f e c t i v e n e s so f t h es y s t e m i se v a l u a t e dw i t hr e g a r dt ot h eb y t eh i tr a t e , t h ea v e r a g es t a r t u pl a t e n c y , a n dt h e o c c u p a t i o ni nt r a n s m i s s i o nc h a n n e l t h er e s u l t so ft h es t i m u l a t e de x p e r i m e n ta r ea sf o l l o w s ：t h es y s t e mc a nr e a l i z et h e c a c h i n gt a s ki ns t r e a m i n gm e d i at r a n s m i s s i o na n d h a sb e t t e rp e r f o r m a n c eo ni m p r o v i n g t h eb y t eh i tr a t e ，d e c r e a s i n gt h ea v e r a g es t a r t - u pl a t e n c ya n dr e d u c i n gt h eo c c u p a t i o ni n t r a n s m i s s i o nc h a n n e l t h e r e f o r e ，t h es y s t e mb a s e do nt h es t r e a m i n gm e d i ap r o x y c a c h i n gs t r a t e g yp r o p o s e d i nt h ep r e s e n ts t u d yh e l p st oi m p r o v et h et r a n s m i s s i o n e f f i c i e n c ya n dm e d i aq u a l i t yp e r c e i v e db yt h ee n du s e r s k e y w o r d s ：s t r e a m i n gm e d i a , p r o x yc a c h e ，c a c h er e p l a c e m e n ta l g o r i t h m ，s c h e d u l i n g a l g o r i t h m 1 1 1 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重麽太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：留a 、& 签字日期：妒7 年6 月易日 学位论文版权使用授权书 本学位论文作者完全了解重麽太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重麽太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( ) 。 ( 请只在上述一个括号内打“4 ”) 学位论文作者签名：门、) 浪导师签名： 签字日期： 洳7 年i 月6 日签字日期：沙。7 年6 月6 日 重庆大学硕士学位论文l 引言 1 引言 1 1 研究背景及意义 i n t e m e t 的飞速发展使其成为了社会基础信息的载体。随着网络信息资源的逐 渐丰富，网络上的文本和图片等静态信息已经不能充分满足人们的需要。取而代 之的是由音频、视频以及数据资源综合形成的新的多媒体信息。这些多媒体包含 了丰富内容，但文件占用存储空间大，下载这些媒体文件需要数分钟甚至数小时。 为了解决这样的多媒体资源传输问题，流媒体技术应运而生，流媒体【1 】是指i n t e r n e t 中使用流式传输技术传输的连续时基媒体，它并不需要下载整个媒体文件，只要 获得其起始部分即可开始播放。流媒体技术的发展和逐步成熟，使得在i n t e m e t 上 开展各种流媒体应用，如v o d ( v i d e oo nd e m a n d ) 、口t v ( i n t e r n e tp r o t o c o l t e l e v i s i o n ) 、远程教育、视频会议等已经越来越流行。 流媒体传输具有实时性、高速性、宽带性的特点。然而，由于现有的互联网 络主要是为传输非实时数据而建立的，延迟、抖动、包丢失率等问题普遍存在。 网络传输质量常常不能满足流媒体应用的需求，影响了流媒体传输的性能，造成 用户可感知质量的降低。目前，网络带宽的增长速度跟不上流媒体应用的增长速 度，网络资源的紧张和流媒体的广泛应用之间的矛盾日益严重，如何在i n t e m e t 中 高效地传输流媒体成为了近年来网络应用的研究热点。为了提供较高的流媒体服 务质量，必须解决以下三个问题 2 1 ： 大量用户访问造成的流媒体服务器过载： 网络拥塞造成的播放质量下降； 网络传输距离和经过不同网络路径造成的用户启动延迟。 在以往的解决办法中，互联网服务提供商多利用镜像服务器提高系统的服务 能力。但镜像服务器并不考虑用户的访问行为，多次拷贝冷门数据浪费了服务器 系统的存储资源。 流媒体代理缓存技术能有效解决上述问题。它通过在骨干网络的边缘靠近用 户的代理服务器上部署代理缓存系统，来缓存热门节目的部分或全部数据，为后 来的用户请求提供服务，如图1 1 ，其重要作用表现在1 3 】： 代理缓存承担了一部分用户访问，有效降低了对流媒体服务器的访问负载， 减少了服务器的f o 带宽资源消耗，使服务器可以为更多用户提供服务； 代理缓存位于i n t e m e t 边缘，利用缓存数据服务用户，可节约从服务器到代 理缓存之间的主干网络资源； 利用代理缓存内容直接服务用户，可降低用户的启动延迟。 重庆大学硕士学位论文l 引言 代理缓存可以有效地提高流媒体服务器的鲁棒性( r o b u s t ) 。 因此，流媒体代理缓存是解决目前网络带宽资源不足与流媒体应用对网络带 宽高需求之间的矛盾，降低用户的播放启动延迟，提高播放质量的重要技术。研 究流媒体代理缓存技术，对于推动流媒体应用具有重要意义。 客户端 图1 1 流媒体代理缓存部署结构 f i g1 1d e p l o y m e n ts 仇l c b l r eo f t h ep r o x yc a c h i n gs y s t e mf o rs l l e n m i n gm e d i a 1 2 国内外研究现状 虽然流媒体代理缓存还是一项新兴的技术，但近年来，随着i n t e r n e t 上流媒体 应用的迅速发展，流媒体代理缓存技术的研究在国内外越来越受到重视，范围主 要集中在对代理缓存结构、缓存方式、缓存替换算法、调度算法、媒体预取算法 等方面的研究，传输协议上一般基于标准的r t s p r t p r t c p 4 l 【5 】协议簇。本文主 要对缓存方式、替换算法和调度算法的研究现状进行分析： 缓存方式 在缓存方式上，传统w e b 缓存中广泛使用的整体缓存方式不符合流媒体文件 占用存储空间大的特点，缓存空间利用率低。现有的研究几乎都是基于部分缓存 的方式进行，主要有前缀缓存方式、间隔缓存方式和分段缓存方式。 由s e n 6 等提出的前缀缓存( p r e f i xc a c h i n g ) 将媒体内容分成前缀和后缀两个 部分，并且优先缓存前缀。当接收到用户对该媒体对象的请求时，代理服务器立 即把前缀部分发送给客户端，同时从服务器请求并向客户端转发媒体对象的后缀 部分。前缀缓存方式的主要目的在于降低客户端启动延迟。 间隔缓存的思想最初由d a n f 7 】提出。它缓存媒体对象的滑动间隔，如果两个请 2 重庆大学硕七学位论文 l 引言 求在时间上十分接近，那么任意时刻只需要缓存- d , 部分数据就可以使后续请求 完全从缓存中获取数据进行播放。然而，当用户请求的分布在时域上稀疏时，它 的有效性就会随着请求到达时间问隔的增长而降低。极端情况下，如果对媒体对 象的请求间隔比播放持续时间长，该算法的性能就会退化到不可接受的整体缓存。 分段缓存将媒体内容沿着播放时间分成多个片段( s e g m e n t ) ，并将片段作为 存储和置换的基本单元。这种方式可以提供更为精细的缓存粒度，带来了更大的 灵活性，而成为研究的热点。文献 8 对现有的分段方式进行了研究，证明指数增 长的分段方式在分段缓存中性能最优。 缓存替换算法 缓存替换算法的研究以缓存方式为基础，其主要思想是制定一个标准来评价 媒体对象的缓存价值，本文中把这种标准和缓存价值分别称为缓存效用函数和缓 存效用值。替换算法按照媒体的缓存效用值排序，依次替换出效用值最小的对象， 直至能容纳需要缓存的数据。传统的l f u 和l r u 算法分别以访问频率和最近访问 时间来判断缓存数据的冷热程度并作为缓存替换的依据。文献 9 】为了优先缓存前 缀部分，将前缀和后缀分开存储并采用不同的替换标准，虽然有效地降低了启动 延迟，但增加了替换算法开销及存储空间管理的复杂程度。文献【1 0 】考虑了对象最 近k 次被访问的信息，将访问频率和访问的最近性综合到缓存效用函数的设计中， 具有较好的性能。文献【1 1 强调缓存容量及磁盘i o 的负载平衡，为避免磁盘i o 和缓存容量两种资源一种过载另一种空闲的情况，优先缓存对稀缺资源占用较少 的对象。“m t l 2 】等提出s c u 算法，根据媒体的流行度计算该对象的缓存效用值， 在代理服务器上缓存流媒体的一部分或整个媒体对象。 调度算法 调度算法的主要目的是通过对用户请求进行批处理传输，降低服务器负载和 网络带宽消耗。现有的研究主要集中在流媒体服务器端调度算法上，分为静态调 度算法和动态调度算法两类。其中，动态调度算法具有更好的灵活性和更低的启 动延迟，使用最广泛的是成批算法( b a t c h i n g ) 【l3 】和补丁算法( p a t c h i n g ) 1 1 4 。成 批算法通过适当延迟对用户请求的响应，将在延迟时间段中到达的用户点播请求 集中起来，利用组播流进行响应，这种方式使用户必须经历一定时间的等待。补 丁算法通过客户端缓存和补丁流来解决用户加入组播流导致延迟时间过长的问 题。然而补丁流需要从服务器上获取，仍然要消耗服务器带宽和网络带宽资源。 目前，针对流媒体代理的调度算法的研究还比较少，主要是以前缀缓存为基础， 分为前缀缓存结合成批处理算法和前缀结合补丁调度算法两类。 由上面的分析可知，现有的缓存替换算法主要以分段缓存方式为基础，在媒 体缓存效用函数的设计上主要以整体的访问次数、访问频率和媒体大小等为主要 重庆大学硕士学位论文1 引言 考虑因素，而没有考虑每次请求中真正被访问部分的大小，对媒体缓存效用值的 评估不够准确。现有的调度算法主要以补丁算法为基础，为了满足客户端的播放 请求，仍然需要单独从服务器上获取部分补丁流，频繁的补丁流传输占用了大量 的服务器和网络资源。因此，本文主要针对以上问题，在缓存替换算法和调度算 法两方面进行研究，并提出一种高效的缓存策略来提高流媒体传输效率。 1 3 论文研究内容及组织结构 本文首先分析了流媒体应用的现状和存在的问题，指出研究代理缓存技术对 于提高流媒体传输效率和推动流媒体技术的应用具有重要意义。接着，从研究和 分析流媒体基本原理、传输方式和传输协议入手，对流媒体代理的缓存策略进行 了深入研究。在分段缓存的基础上，以段为单位提出了基于最小效用的缓存替换 算法，充分考虑了媒体的部分有效性、访问频率和已缓存大小对缓存效用值的影 响。同时，研究并分析了现有的流媒体调度技术，提出了带动态缓存的补丁调度 算法。然后设计并实现了一个流媒体代理缓存原型系统，在模拟环境中对系统的 性能进行了测试和分析。本论文分为六章，具体安排如下： 第一章简要介绍本文的研究背景和意义，主要包括流媒体技术的应用现状和 存在的问题、流媒体代理缓存的作用和研究现状等。 第二章介绍了流媒体传输和代理缓存的基本概念及相关技术，通过与传统 w e b 缓存机制的对比，指出了流媒体代理缓存的特点和本文的主要研究内容。 第三章主要对流媒体代理的高效缓存策略进行了深入研究，以分段缓存为基 础，提出了基于最小效用的缓存替换算法。同时，研究并分析了现有的流媒体调 度技术，提出了带动态缓存的补丁调度算法。 第四章在本文的缓存策略基础上，设计并实现了一个流媒体代理缓存原型系 统，采用直接存储r t p 包的形式，使媒体的缓存和传输与具体的媒体格式无关， 并对系统中的关键部分进行了分析和阐述。 第五章在模拟环境中对原型系统进行了测试，并对测试结果进行了分析和评 价。 第六章总结全文工作，并提出下一步需要解决的问题。 4 重庆大学硕士学位论文2 流媒体传输技术概述 2 流媒体传输技术概述 本章首先对流媒体传输方式进行阐述，分析两种传输方式的特点和支持实时 流式传输的协议。然后，根据流媒体应用的特点，阐述在媒体传输中可以借鉴w 曲 缓存机制，采用代理缓存来提高传输效率和节省骨干网络带宽消耗，并将流媒体 代理缓存技术与传统的w e b 缓存机制进行比较。最后，指出流媒体代理缓存的特 点和本文在后续部分的主要研究内容。 2 1 媒体流式传输方式 目前，在网络上传输音频、视频等多媒体信息主要有下载和流式传输两种方 式。下载方式要求用户在播放前必须先将媒体文件下载到本地，由于a n 文件一 般比较大，受网络带宽的限制，下载常常要等待数分钟甚至数小时，所以这种方 法带来了很大的延迟。流式传输【1 l 定义很广泛，主要指通过网络传送媒体的技术总 称。流式传输方式将声音、影像或动画等媒体通过服务器向用户计算机连续、实 时传送，用户不必等到整个文件全部下载完毕，而只需经过比较短时间的启动延 时( 几秒或几十秒) 即可进行观看。在客户机上播放的同时，文件的剩余部分将 从服务器上继续下载。流式传输的特点主要有【l l ： 实时传输和实时播放。 流媒体使得用户可以立即播放音频和视频，这对于获取存储在服务器上的流 媒体文件和现场音频和视频流都是很有意义的。 可以节省大量的存储空间。 预先构造的媒体文件或用实时编码器对现场信息进行编码得到的现场流都比 原始信息的数据量要小，并且用户不必将媒体数据存储在本地，从而节省了大量 的磁盘空间。 目前，实现流式传输主要有两种方法【2 】：实时流传输和顺序流传输。一般来说， 如视频为实时广播，或使用流媒体服务器，或应用如r t s p 的实时协议，即为实时 流传输。如使用h t t p ( h y p e r t e x tt r a n s f e rp r o t o c 0 1 ) 服务器将媒体文件通过顺序 流发送，即为顺序流传输。 重庆大学硕士学位论文2 流媒体传输技术概述 表2 1 实时流式传输和顺序流式传输的主要特点 t a b l e2 1m a i nt r a i t so f t h er e a lt i m es t r e a m i n ga n dp r o g r e s s i v es t r e a m i n g 主要特点实时流式传输顺序流式传输 对交互的支持有无 传输质鼙的控制有无 服务器专用标准w e b 服务器 支持的协议i u s p 、m m sh t r p 、f t p 使用范围长影片播放高质餐的短片断 系统管理功能 功能强，实现复杂功能弱，实现简单 2 1 1 顺序流式传输 顺序流式传输采用顺序下载方式实现。在下载文件的同时，用户可观看在线 媒体，但在给定时刻，只能观看已下载的那部分，而不能跳到还未下载的部分进 行播放。顺序流式传输不能在传输期间根据用户连接的速度做调整，即没有传输 过程中的传输质量反馈。采用标准的h t t p 服务器就可以实现顺序传输，它易于 管理，也不需要其他特殊协议，经常被称作h t t p 流式传输。顺序流式传输比较 适合高质量的短片段，如片头、片尾和广告。由于媒体在播放前的部分是无损下 载的，这种方法可保证电影播放的最终质量。但用户在观看前必须经历较长延迟， 对较慢的连接尤其如此。顺序流式传输不适合长片段和有随机访问要求的播放， 如：电影、讲座、演说与演示。 2 1 2 实时流式传输 实时流式传输保证媒体信号带宽与网络连接匹配，使媒体可被实时观看到。 这种传输方式的实时性，特别适合现场事件，也支持随机访问，用户可快进和后 退以观看不同时段的内容。理论上，实时流一经播放就能提供不间断服务，但根 据网络的实际情况，可能发生周期暂停。实时流式传输需要特定服务器，如 q u i c k t i m es t r e a m i n gs e r v e r 、r e a l s e r v e r 、w i n d o w sm e d i as e r v e r 等。这些服务器 允许用户对播放进行更多的控制，因而系统设置、管理比标准h t t p 服务器更复 杂。实时流式传输还需要特殊网络协议，如r t s p 或m m s 。 顺序流与实时流相比，其好处是实现和管理简单，能够直接利用现有的w 曲 服务器兼作流媒体服务器。而后者由于其针对网络流媒体的设计而更具有优势， 主要表现在以下几个方面【l l ： 实时流有更高的网络传输效率 实时流一般是通过u d p ( u s e rd a t a g r a mp r o t o c 0 1 ) 传输的，而u d p 是一种轻 量级的传输协议，它将传输质量( 比如拥塞控制、差错控制等) 的控制权交给了 6 重庆大学硕士学位论文2 流媒体传输技术概述 用户层。u d p 还支持组播，这使实时流服务器可以利用有限的带宽将现场节目同 时传送到许多个用户。相比之下，顺序流是使用t c p ( t r a n s f e r c o n t r o lp r o t o c 0 1 ) 方式，其底层诸多的传输控制对于流媒体应用来说不但不必要，反而会浪费网络 带宽。另外，u d p 包在互联网络上比t c p 包有着更高的路由优先权。 实时流有更高的系统资源利用效率 实时流的实现是专门为多媒体传输优化的，包括磁盘、内存和网络等等。实 时调度的结果使系统资源利用率大为提高。一个设计良好的实时流服务器支持的 并发用户个数，比为传输小文件而设计的w e b 服务器通常要高2 3 倍。 实时流会给用户带来更好的服务质量 由于实时流具有流控功能，服务器能够自动调整媒体的质量等级。比如在网 络比较拥塞时，服务器能自动丢掉视频中的一些非关键帧。这样客户仍然能够欣 赏连续的电影，而不会有顺序流中不断需要缓冲的干扰。 更好地保护媒体资源的版权 顺序流为用户提供了下载和保存媒体资源的可能，不利于对媒体资源的版权 进行控制和保护，而这在实时流中要困难得多。 2 2 流媒体传输和控制协议 目前在i p 网络上传输实时多媒体数据的应用越来越多。传输音频和视频的实 时程序必须要求能够及时的交付，即对传输实时性的要求远高于传输可靠性。然 而，基于包交换的i n t e r n e t 的传输协议不是为实时、不间断的流媒体传输而设计的。 i n t e m e t 核心协议t c p i p 强调的数据传输的可靠性，不提供任何实时功能，数据包 可能延迟或不按顺序到达，抖动( j i t t e r ) 现象尤其普遍，这就严重影响了网络服务 质量( q o s ) ，达不到流媒体传输的实时性要求。因此，为了允许用m 语义在网 络上有意义地传输和再现多媒体数字信号，则需要额外的协议支持。 为了解决上述问题，互联网工程任务组( i n t e r n e te n g i n e e r i n gt a s kf o r c e ，i e t f ) 相继提出了一系列新的支持实时传输的标准协议，包括实时传输协议r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 、实时传输控制协议r t c p ( r e a l ，t i m ec o n t r o l p r o t o c 0 1 ) 、实时流协议r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 、资源预留协议r s v p ( r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) 【l 朋，这四种协议构成了实时服务的基础，它们协 同工作，在很大程度上满足了实时数据的传输要求。 7 重庆大学硕士学位论文2 流媒体传输技术概述 r t s p h r i p r t p ，r t c p t c p ，u d p i p 图2 1 流媒体数据传输协议的层次 f i g u r e1 2 t h e h i e r a r c h y o f s t r e a m i n g m e d i a t r a n s f e r p r o t o c o l s 2 2 1 实时传输协议r t p r t p 协议简介 r t p 是在i p 网络上传输数字音频或视频信号所使用的协议。该协议可基于组 播或单播的网络提供端到端的实时数据传输，是用来解决实时通信问题的一种技 术方案。 r t p 在u d p 协议上运行，每条报文都封装在u d p 数据包中，图2 2 说明了一 个封装在u d p i p 包中的r t p 包数据组成。虽然t c p 比u d p 更为可靠，但其数据 重传机制很容易导致网络拥塞，从而破坏连续媒体的实时性。使用u d p 的另一个 优点是其并发性，即单个计算机可以有多个使用r t p 的应用程序，而不会互相干 扰。通常情况下，r t p 选择偶数的u d p 端口号。 需要注意的是，r t p 本身并不能为按顺序传送数据包提供可靠的传送机制， 也不提供流量控制或拥塞控制，它依靠实时传输控制协议r t c p 提供这些服务。 通常r t p 并不作为一个独立的网络层来实现，而是作为应用程序的一部分。实时 传输控制协议r t c p 和r t p 一起提供流量控制和拥塞控制服务。 i p 头部u d p 头部r t p 头部载荷部分 图2 , 2 携带r t p 包的口包封装 f i g u r e2 2 e n c a p s u l a t i o no f i p p a c k e t w i t h r t p p a c k e t r t p 协议头部格式 r t p 数据协议对媒体数据进行包封装，每个r t p 数据包都由一个头部和一个 负载数据( p a y l o a d ) 部分组成。r t p 分组头部前1 2 个字节是固定的，其格式如下 重庆大学硕- f = 学位论文2 流媒体传输技术概述 图所示： 0234 8 9 推3 1 可 ，i xj c c m p a y l v m i 5 酉 时阃戳 同步源标识符( s s r c ) 提供源标识行( c s a c ) 图2 3 r t p 报文的头格式 f i g u r e2 3r t pm e s s a g eh e a df o r m a t r t p 报文头出现在每个r t p 包中，而c s r c 标识列表仅出现在混合器插入时。 头部各字段说明如下： 版本( v ) ：2 位，表示r t p 的版本。现有规范定义的版本是2 。 填充( p ) ：l 位，如果填充位被设置，包在尾部包含一个或多个附加填充字节， 它不属于载荷部分。填充的最后一个字节包含应该被忽略的填充字节的数目。某 些加密算法需要固定大小的填充字。 扩展( x ) ：1 位，如果扩展位被设置，固定头部紧跟一个头部扩展。 c s r c 计数( c c ) ：4 位，表示跟在固定头部后的c s r c 标识的数目。 标记( m ) ：1 位。标记的解释由程序定义，目的在于允许诸如帧边界的重要 事件在包流中标记出来。 载荷类型( p t ) ：7 位，标识r t p 载荷的格式及编码压缩方法，常见的类型有： p c m 、m p e g l m p e g 2 、j p e g 视频和h 2 6 1 视频流等，用户也可根据需要自行定 义。首部中大多数其他字段的解释要依赖于该字段的具体指定。 序列号( s e q u e n c e n u m b e r ) ：1 6 位，包含分组的序号，初始值是随机产生的， 随后每发送一个r t p 数据包序列号便增加1 ，接收端可以通过序列号来检测传输 过程中的数据包丢失、损坏以及失序的情况。 时间戳( t i m e s t a m p ) ：3 2 位，它描述了l m 数据分组中第一个字节的采样时 刻，但并不指定准确的时间间隔，而是取决于r t p 载荷的类型。接收方可以利用 时间戳来维持数据接收的实时性，实现数据流的同步和r t p 数据报的重组，并按 照正确的速率回放媒体流。 同步源( s s r c ) ：3 2 位，标识同步源。用于指定数据流的源站，每个源站必 须选择一个唯一的标识符。接收方可以利用发送方生成的唯一值来区分多个同时 的数据流。如果一个源改变它的源传输地址，它也必须选择一个新标识以避免被 解释为一个成同路资源。 9 重庆大学硕士学位论文2 流媒体传输技术概述 参与源列表( c s r c ) ：0 到1 5 项，每项3 2 位，表示对包含在包内的载荷起作 用的源。标识数由c c 字段给出。如果有超过1 5 项作用源，也只标识1 5 个。 r t p 协议工作流程 首先，发送方应为每一个源定义一个同步源。在采样形成每一个有效荷载之 后，依据第一个包的序列号和已发包的数目产生序列号，并根据第一个包的时间 戳和时自j 戳的频率产生本次的时间戳。r t p 的每个会话分配有一个端口( 通常使 用偶数u d p 端口) ，封装后的r t p 包后经由下层协议发出。接收方应维持一个抖 动缓存，并根据传输延迟的大小确定回放点( p a y l o a dp o i n t ) ，用于控制回放的起 始时间。回放点的选择应兼顾时延的大小和播放的稳定程度，采取折衷的方案。 客户端对时间戳的处理有显式时问管理( e x p l i c i tt i m em a n a g e m e n t ) 和隐式时间管 理( i m p l i c i tt i m em a n a g e m e n t ) 两种。前者由r t p 协议向应用程序提供时间戳，由 应用程序处理。后者由r t p 协议处理时间戳，弗把到达回放时间的r t p 包交给播 放程序。 r t p 传输协议有如下一些特点【1 6 】； 1 ) 协议的灵活性 r t p 协议不具备传输层协议的完整功能，其本身也不提供任何机制来保证实 时地传输数据，不支持资源预留，也不保证服务质量，这些都由其他协议来负责 完成。r t p 包甚至不包括长度和包边界的描述，而是依靠下层协议提供长度标志 和长度限制。另外，r t p 协议将部分传输层协议功能( 比如流量控制) 上移到应 用层完成，简化了传输层处理，提高了该层效率。 2 ) 数据流和控制流分离 r t p 协议的数据包和控制包使用相邻的不同端口，这样大大提高了协议的灵 活性和处理的简单性。 3 ) 协议的可扩展性和适用性 r t p 协议通常为一个具体的应用来提供服务，通过一个具体的应用进程实现， 而不作为o s i 网络体系结构中单独的一层来实现。r t p 只提供协议框架，开发者 可以根据应用的具体要求对协议进行充分的扩展。 2 2 2 实时传输控制协议r t c p 实时传输控制协议r t c p ( r e a l t i m ec o n t r o lp r o t o c 0 1 ) 作为r t p 协议的伴随 协议主要用于对多媒体数据传输进行控制，通过包头时间参数的配置使其具有实 时的特征。r t c p 采用与r t p 数据包相同的分发机制，向媒体会话中的所有成员 周期性地发送控制包。应用程序接从收到的r t c p 控制包中获取会话参加者的有 关信息和网络状况、数据包丢失数等反馈信息，并用于服务质量控制和网络状况 诊断。r t p 和r t c p 必须配合使用，通常r t c p 包的数量占所有传输量的5 【m 。 i o 重庆大学硕士学位论文 2 流媒体传输技术概述 r t c p 协议的控制功能是通过不同的r t c p 控制包实现的。如表2 2 所示，r t c p 协议规范定义了五种不同类型的控制包，这些类型决定了r t c p 包中的具体格式。 其中，最重要的是发送方报告报文s r ( s e n d e rr e p o r t ) 和接收方报告报文r r ( r e c e i v e r r e p o r t ) 。通常s r 报文占总r t c p 包数量的2 5 ，r r 报文占7 5 。 表2 2r t c p 使用的基本报文类型 名称 类型含义 发送方报告( s r ) 2 0 0 发送方报告时间信息和已发送字节数 接收方报告( r r )2 0 1接收方报告包丢失率和抖动 源描述报文( s d e s )2 0 2拥有信息源的用户的描述 结束报文( b y e )2 0 3接收方离开会话 应用程序特定报文( a p p )2 0 4待定义的报告 r t c p 的主要功能如下： 服务质量动态监控和拥塞控制 r t c p 控制包含有服务质量监控的必要信息。所有会话成员都可以通过r t c p 包返回的控制信息了解其他参加者的状况。 发送音频、视频流的应用程序周期性地产生发送方报告s r 。该r t c p 控制包 含有不同媒体流间的同步信息以及发送包和字节的计数，接收端可以据此估计实 际的数据传输速率。 接收端向所有已知的发送端发送接收方报告r r 。该控制包含有已接收数据包 的最大序列号、丢失包数日、延时抖动和时间戳等重要信息。发送端应用程序收 到这些包后可以估计往返时延，还可以根据包丢失数和时延抖动动态调整发送端 的数据发送速率，以改善网络拥塞状况，实现公平带宽共享