（通信与信息系统专业论文）基于vcr的p2p视频点播系统的研究.pdf

摘要 基于v c r 的p 2 p 视频点播系统的研究 专业： 硕士生： 通信与信息系统 王平 指导老师：张晓瑜讲师 摘要 传统的基于c s 模式的流媒体服务将大部分的功能都集中放在服务器端。对 于数据量大、实时性高的视频点播业务来说，这种c s 模式中的服务器很容易成 为系统的瓶颈，限制系统的扩展性。 为解决这一问题，p 2 p 对等网络技术被引入到视频点播系统中。这种模式充 分利用了网络闲置的带宽资源和存储资源，极大地减轻了服务器的工作负荷，提 高了节点资源的利用效率。此外，这种系统的服务能力随着需求的增长而自然增 长，具有与生俱来的可扩展性。目前，p 2 p 技术在下载和直播业务中已经有了比 较成熟的解决方案，但p 2 p 视频点播系统的发展却很缓慢。这是由于点播业务 所特有的播放异步性，使得将p 2 p 技术应用到点播业务面临许多挑战，许多问 题还不能很好地解决，尤其是对v c r 交互式操作的支持。 本文研究了视频点播系统与流媒体的各种关键技术，并利用a p p l e 公司的开 源流媒体服务器d a r w i ns t r e a m i n gs e r v e r 和久播网络公司的w e b p l a y e r 9 分别 搭建了c s 架构和p 2 p 模式的视频点播系统，以进一步了解两者的性能。分析了 现有各种p 2 p 视频点播系统，对p 2 p 视频点播系统面临着的各种技术问题，如 网络拓扑关系、覆盖层的构造、节点的组织与管理、数据的缓存和调度、对v c r 交互式操作的支持等提出了自己的见解。提出了一种基于差异化缓存的p 2 p 视频 点播系统，并设计了该系统的架构和主要的组成模块。该系统综合了关联规则挖 i 中山大学硕士学位论文 掘技术、推拉技术和差异化缓存；对节点之间进行消息交互的g o s s i p 协议进行 了改进，使得节点不必与列表中的每个节点都频繁的交换信息，而是有区别地传 递不同的g o s s i p 消息，从而大大减少了系统的开销。 关键词：视频点播p 2 p 对等网络差异化缓存关联规则挖掘v c r 操作 l i a b s t r a c t r e s e a r c ho nt h ev o ds y s t e mw i t hv c ro p e r a t i o n so v e rp 2 p n e t w o r k m a j o r ： c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m n a m e ： w a n gp i n g s u p e r v i s o r ：l e c t u r e r z h a n gx i a o y u a bs t r a c t t r a d i t i o n a ls t r e a m i n gm e d i as e r v i c e sb a s e do nc sm o d e ，c o n c e n t r a t em o s to ft h e f u n c t i o n so nt h es e l w e l a st ot h ev o ds e r v i c e ，w h i c hh a sl a r g ea m o u n to fd a t at r a n s f e r a n di ss e n s i t i v et ot i m e ，t h es e r v e rw i l lh e c o m et h eb o t t l e n e c ko ft h es y s t e m t h i s m o d ew i l ll i m i tt h es e a l a b i l i t yo ft h es y s t e ma n dc a nn o ts u p p o r th u g ec a p a c i t yt o p r o v i d em e d i as t r e a m i n gs e r v i c e i no r d e rt os o l v et h ep r o b l e m , p 2 pn e t w o r kt e c h n o l o g yi sa p p l i e di nt h ev o d s y s t e m t h i sm o d e lm a k e sf u l lu s eo fi d l eb a n d w i d t ha n ds t o r a g er e s o u r c e so ft h e n e t w o r k , t h u si ta l l e v i a t e st h es e r v e r sw o r k l o a da n di m p r o v er e s o u r c eu s ee f f i c i e n c y o fn o d e sg r e a t l y b e s i d e ，s e r v i c ea b i l i t yo ft h es y s t e mc a l lg r o wa st h eg r o w t ho f d e m a n d ，a n dh a v es c a l a b i l i t yi n h e r e n t l y c u r r e n t l y , t od o w n l o a da n dw a t c hl i v e b r o a d c a s tb yu s i n gp 2 pt e c h n o l o g yh a v ea l r e a d yb e c o m em a t u r e ，b u tt h ed e v e l o p m e n t o ft h ep 2 pv o ds y s t e mi sv e r ys l o w t h i si sd u et oi t sp a r t i c u l a rc h a r a c t e ro f a s y n c h r o n i e si nt h eo n - d e m a n ds g r v i c es y s t e m , w h i c hm a k e si th a r dt oa p p l yt h ep 2 p t e c h n o l o g yt ot h eo n - d e m a n ds e r v i c es y s t e m , a n df a c em a n yc h a l l e n g e s ，e s p e c i a l l yi n t h ea s p e c to fs u p p o r t i n gt h ev c ri n t e r a c t i v eo p e r a t i n gs y s t e m t h i sp a p e rf i r s t l ya n a l y z e sa l lk i n d so fk e yt e c h n o l o g i e so fv o da n ds t r e a m i n g 1 1 1 中山大学硕士学位论文 t r a n s m i s s i o n i no r d e rt ot e s ta n dc o m p a r et h ep e r f o r m a n c eo ft h es y s t e mb a s e do n c sm o d ea n dp 2 pm o d e ，w es p e c i a l l yd e p l o yt w ov o ds y s t e m sw i t ha p p l e so p e n s o u r c es t r e a m i n gs e r v e r , d a r w i ns t r e a m i n gs e r v e r , a n dj i u b on e t w o r kc o m p a n y s w e b p l a y e r 9 b e s i d e s ，w i t ht h es t u d ya n dc o m p a r i s o n o ft h ec u r r e n tp 2 p v i d e o o n - d e m a n dt e c h n o l o g y , t h i sp a p e rp r o p o s e sap 2 pv o ds y s t e mb a s e do n d i f f e r e n t i a t e dc a c h em e c h a n i s m ，a n dg i v e sd e t a i l sa b o u tt h ea r c h i t e c t u r eo ft h es y s t e m a n dt h em a i nc o m p o n e n tm o d u l e s t h es y s t e mc o m b i n e sa s s o c i a t i o nr u l em i n i n g ， s l i d i n gt e c h n i q u e sa n dd i f f e r e n t i a lc a c h e m e a n w h i l e ，w ei m p r o v eg o s s i pp r o t o c 0 1 a s ar e s u l t ，n o d ed o e sn o tn e e dt oe x c h a n g ei n f o r m a t i o nf r e q u e n t l yw i t he a c hn o d ei nt h e l i s t ，a n dt h e yc o n v e yd i f f e r e n tm e s s a g e sw i t hd i f f e r e n tm e t h o d s ，s oi tg r e a t l yr e d u c e s s y s t e mo v e r h e a d k e yw o r d s ：v i d e o o n - d e m a n d ，p 2 pn e t w o r k , d i f f e r e n t i a t e dc a c h em e c h a n i s m , a s s o c i a t i o nr u l em i n i n g ，v c ro p e r a t i o n i v 本人郑重声明： 原创性声明 所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表 或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以 明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：王野 日期： 乃胗年 厶月2 - 日 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版，有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查 阅，有权将学位论文的内容编入有关数据库进行检索，可以采用复印、缩印或其 他方法保存学位论文。 学位论文作者签名：五平 日期：砷年厶月日 导师张露瘦谕 日期：如o 年月弓日 第1 章绪论 1 1 研究背景 第1 章绪论 随着局域网、宽带网、互联网的逐步普及，网络上传输的资料不再仅仅局限 于文字和图形，而是向多媒体数据的多向传输方面发展，视频点播和广播系统首 先成为网络上的应用热点。数字视频与传统的模拟视频相比，具有多方面的优势， 主要体现在可快速检索、传输无失真、交互手段丰富、能够适应各种网络条件等 方面。随着流媒体技术的发展，越来越多的站点开始采用流技术来传播多媒体音 视频信息，为用户提供更丰富的内容，使网站变得更加精彩。目前，有许多的 i n t c r n e t 的视频应用需要在网络上提供直播或点播服务；如现场直播、音视频播 放等，它们都要求晟大范围的让观众观看到高质量的节卧。 但是，传统的流媒体服务都是基于c s 模式的。c s 服务模式的主要特点是 将大部分的功能都集中放在服务器端，客户端只需要向服务端发送请求并接收数 据即可，所以这种方式也称为瘦客户端模式【2 1 。在这种模式的视频点播系统中， 用户从流媒体服务器点击观看节目时，流媒体服务器以单播方式把数据流推送给 用户。 由于视频点播业务具有数据量大、实时性高等特点，c s 服务模式在规模较 小，用户较少的局域网内可以较好的工作。而当规模较大、网络状况复杂、用户 量较大时，服务器很可能成为系统的瓶颈，限制了系统的扩展性【2 1 。这是因为 不同于电台和电视台使用广播形式发送节目，流媒体业务使用了单播形式，即一 个用户一份流，即使有两个用户在观看同一个节目，也不能共享数据。这就造成 了服务器带宽消耗与用户数成正比，用户越多，需要的带宽就越多。当用户达到 一定规模后，带宽就会成为业务发展的瓶颈。另外，服务器要满足大量用户的多 媒体请求，对c p u 、内存等硬件性能要求也越来越高，这就需要投入大量经费 来扩充带宽，更新或重新购黄多台服务器以满足需求。但是，这样仍然无法从根 本上解决流媒体业务发展所遭遇到的瓶颈问题。 为了解决这些问题，人们提出了多种解决方案，如采用组播来提供广播，或 者是采用内容分布网络( c o n t e n td i s t r i b u t i o nn e t w o r k ，简称c d n ) 技术将服务器尽 l 中山大学硕士学位论文 量放到离客户近的地方以减轻网络负荷。但是i p 组播需要路由器的支持，在网 络上难以广泛部署，而c d n 分发网络代价比较昂贵，需事先建立庞大的c d n 网络。 最近兴起的p 2 p ( p e e r - t o p e e r ) 技术，改变了传统的网络服务模式，使视频点 播系统的大规模部署成为了可能。这种模式充分利用了网络闲置的带宽资源和存 储资源。在此网络中的参与者既是资源获取者( c l i e n t ) ，又是资源( 服务和内容) 提供者( s e r v e r ) ，因而系统的服务能力能够随着需求的增长自然增长，具有与 生俱来的可扩展性【1 9 】。而且，p 2 p 系统采用节点自组织的方式工作，强调无中心 的结构，因而在容错性、数据高可用性方面具有不可替代的优势。 目前，p 2 p 技术在下载和直播业务中已经形成比较成熟的解决方案，p 2 p 视 频点播系统的发展却很缓慢。这是由于点播业务所特有的播放异步性和对v c r 交互式操作的要求，使得将p 2 p 技术应用到点播业务面临许多挑战，许多问题 还不能很好地解决。因此，基于p 2 p 技术的视频点播系统的研究是当今研究的 一个热点问题。 1 2 国内外研究现状 利用p 2 p 技术实现大规模流媒体点播和直播的系统w e b c a s t t 3 】是在1 9 9 8 年由 美国学者在i e e em u l t i m e d i a 上发表的一篇论文中提出的。w e b c a s t 系统的想法 很简单，只是利用一棵二叉多播树在用户之间进行实时多媒体数据的传输和共享， 但其高度可扩展性和可行性给工业界和学术届的研究带来了极大的冲击。至此， p 2 p 流媒体服务( p 2 pm u l t i m e d i as t r e a m i n gs e r v i c e ) 技术的发展以直播和点播两 个分支进入研究的萌芽期【4 】。 在接下来的几年中，由于流媒体直播服务相对简单，首先得到快速发展。2 0 0 0 年，美国c m u 大学的华人科学家张辉带领的团队率先实现了第一套p 2 p 视频直 播系统的原型e s m ( e n ds y s t e mm u l t i c a s t ) ，并且使用该原型系统向全球学者直 播当年的a c m 学术盛会s i g c o m 。虽然由于算法限制和网络传输方面存在的问 题，使得这套系统只能扩展到几千人同时在线，但已经标志着p 2 p 流媒体直播 系统进入了技术丌发期【5 1 。此后随着各种点播和直播系统的高度可扩展的应用层 多播协议大量涌现，使得p 2 p 技术直播进入蓬勃发展时期。其中，又以微软研 第l 章绪论 究院的c o o p n e t s p l i t s t r e a m 协议、c i s c o 研究院的o v e r c a s t 协议、马里兰大学的 n i c e 协议、伯克利大学的o o s s i p 协议等最具代表性。虽然这些系统和协议在实 用过程中存在一些缺陷，如协议复杂、通讯冗余过大等，但是原型系统的实用以 及基础协议研究工作的开展为p 2 p 直播技术进入商业领域运作打下了坚实的理 论基础【6 1 。 2 0 0 0 年，美国s t a n d f o r d 大学实现的g n u s t r e a m 是在g n u t e l l a 网络基础之上 的第一个的p 2 p 准点播系统( 不支持v c r 操作) 。该系统使用了网状多播的策 略，但是由于版权因素的限制，这套系统没有能得到大规模的使用。2 0 0 0 年之 后，p 2 p 的点播技术在适用于点播的应用层传输协议技术、底层编码技术以及数 字版权技术等方面都有重要进展【6 1 。2 0 0 3 年，g u o 7 】等人提出了采用树状拓扑结 构视频点播系统p 2 c a s t 。p 2 c a s t 借鉴了传统i p 组播中的p a t c h i n g 策略来提高流 媒体服务的质量。它通过中心节点( 一般为服务器) 来记录维护系统中所有节点的 状态，并采用中心控制协议，目录中维护了服务器的影片信息索引以及组播树中 所有p e e r 的信息。节点按照到达的时间加入一个应用层组播树。新节点加入组 播树后，选取与自己到达时间较为接近的节点为父节点。在p 2 c a s t 系统中，每 个p e e r 节点的p a t c h i n g 流既可以从其他p e e r 节点获取，也可以从服务器获取。 此后，各种视频点播系统陆续被提出，如p 2 v o d t 8 1 、p e e r v o d t g 、p r o m i s e t l 0 】等。 在国内，流媒体发展相对比较落后，但是发展的速度非常快。2 0 0 4 年，香港 科技大学的张欣研博士在d o n e t 模型上提出了c o o l s t r e a m i n g t l l l 。它是一个数 据驱动的重叠网络，而其中的核心操作非常简单：每一个结点与一组伙伴周期性 地通过g o s s i p 协议交换数据可用性信息，从一个或多个伙伴那里接收自己所没 有的数据，并把自己所拥有的数据提供给需要的伙伴。c o o l s t r e a m i n g 系统是第 一次真正将高可扩展和高可靠性的网状多播协议应用在p 2 p 流直播系统当中， 标志着p 2 p 直播技术进入准商业运作阶段。2 0 0 4 年5 月欧洲杯期间，这套系统 在p l a n e t l a b 网上试用并获得了成功【5 1 。 在c o o l s t r e a m i n g 成功的鼓舞下，人们将视频点播系纳入了研究范围，并陆 续提出了很多解决方案。如w a n g i t 2 等人提出了一种基于分段的支持v c r 操作 的p 2 p 视频点播系统。他们主张在服务器端将视频分段，并生成个索引，然 后在点播的时候把视频索引传给节点，通过索引，用户就能有针对性地观看自己 3 中山大学硕士学位论文 喜欢的内容，减少v c r 交互式操作时的等待时间。h u a n g t n 】等人在现已成功商 用的视频直播系统p p l i v e 的基础上进行了改进，提出了类直播系统的点播系统， 但这种系统问题很多，本质上还是一个直播系统。g u o 1 4 】等人提出了基于网状的 支持v c r 交互式操作的点播系统，他们主张通过限制系统访问人数来减少服务 器的负载，维护系统健壮性。 目前，以及成功商用的p 2 p 视频点播系统还不多。来自于华中科技大学校园 的p p l i v e 是目前市场占有率较高的p 2 p 视频播放软件。该软件由上海聚力传媒 技术公司开发，目前主要提供视频节目的在线播放，仅提供直播服务( 电视节目 同步直播或电视剧电影轮播) 。p p l i v e 的主要竞争对手之一，腾讯旗下的q q l i v e 同样只提供直播服务，而同样位于上海的p p s t r e a m 目前已提供点播功能，但也 是在测试阶段【l 5 】 1 3 论文的主要工作和内容安排 1 3 1 论文的主要研究内容 本文主要是研究p 2 p 点播系统的模型、设计及各种相关技术，尝试让p 2 p 视 频点播系统能够更好地支持快进、快退、暂停和随机拖放等各种v c r 交互式操 作。 本文分析了流媒体技术、p 2 p 网络技术和v o d 技术，以掌握流媒体的相关知 识以及v o d 的结构和原理；利用a p p l e 公司的开源服务器d a r w i ns t r e a m i n gs e r v e r 和久播网络公司的w e b p l a y e r 9 分别搭建了媒体视频点播系统，以测试c s 模式 和p 2 p 模式视频点播系统的性能；提出了一种基于差异化缓存的p 2 p 视频点播 系统，并设计了该系统的架构和各个组成模块；对p 2 p 视频点播系统面临着的 各种技术问题，如网络拓扑关系、覆盖层的构造、节点的组织与管理、数据的缓 存和调度、对v c r 交互式操作的支持等提出了自己的见解；对节点之间进行消 息交互的g o s s i p 协议进行了改进，使得节点不必与列表中的每个节点都频繁的 交换信息，而是有区别地传递不同的g o s s i p 消息，从而大大减少了系统的开销。 4 第1 章绪论 1 3 2 论文的组织结构 本论文主要章节和内容安排如下： 第1 章，介绍论文的研究背景、国内外发展现状和本文主要内容。 第2 章，介绍了流式传输的基本原理和方式；简单描述了流媒体传输中用到 的各种协议；分析了p 2 p 的技术特点和网络结构。 第3 章，对视频点播系统的结构和关键技术做出了简单介绍；分析了现有的 各种p 2 p 视频点播系统。 第4 章， 分别用a p p l e 公司的开源流媒体服务器d a r w i ns t r e a m i n gs e r v e r 和久播网络公司的w e b p l a y e r 9 搭建了视频点播系统，以测试两种模式视频点播 系统的性能。 第5 章，介绍了基于v c r 的p 2 p 视频点播系统的总体设计；详细设计了主 要模块；对其中的关键技术提出了自己的见解。 第6 章，对全文所做工作进行了总结，并对未来的工作进行展望。 第2 章p 2 p 流媒体相关技术的研究 第2 章p 2 p 流媒体相关技术的研究 2 1 流媒体技术 在以前的网上视频传输过程中，通常要求用户将音频、视频文件下载到本地 的计算机后，再进行播放。这种方法虽然使i n t e m e t 上多媒体信息的传输成为可 能，但也带来了3 个极为突出的问题。首先，由于必须下载多媒体信息，而多媒 体信息的数据量通常都很大，一个视频片段可能需要很长的下载时间。其次，由 于必须将节目下载到本地计算机后才能播放，这必然占用本地计算机的存储资源。 第三，就是版权问题。因为用户将音频、视频文件下载到硬盘后，可能会对这些 资料进行再传播，那么制作单位的知识产权可能受到损掣1 6 】。 为了解决这一问题，“流式传输 应运而生。流式传输的思想借鉴了计算机 在处理文件时利用缓存区来提高文件运行速度的方式，考虑在播放端放置缓冲区 来解决服务质量问题。流式传输时，动画、音频或视频等多媒体文件经过特殊的 压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时地传送。用 户不必等到整个文件全部下载完毕，而只需经过几秒或十几秒的启动延时就可以 进行观看，多媒体文件的剩余部分将在后台的服务器内继续下载。流式传输不仅 使启动延时大大缩短，而且不需要太大的缓存容量，避免了用户必须等待整个文 件全部从i n t e m e t 上下载才能观看的缺吲。7 1 。 流媒体( s t r e a m i n gm e d i a ) 是指在网络中使用流式传输技术的连续时基媒体。 流媒体实现的关键技术就是流式传输。 2 1 1 流式传输的基本原理和方式 流式传输定义很广泛，现在主要指通过网络传送媒体( 如音频、视频) 的技 术总称。流式传输的实现需要缓冲，这是由于i n t e m e t 以包传输为基础进行断续 的异步传输，对一个实时a n 源或存储的a v 文件，在传输中他们要被分解成 许多包，而网络是动态变化的，各个数据包选择的路由可能不尽相同，故到达客 户端的时间延迟也就不等。为此，使用缓存系统来弥补延迟和抖动的影响，并保 6 中山大学硕士学位论文 证数据包的顺序正确，从而使媒体数据能连续输出，而不会因为网络暂时拥塞而 导致播放出现停顿。 流式传输的实现需要合适的传输协议。由于t c p 需要较多开销，故不太适合 传输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传输控制信 息，而用r t p u d p 来传输实时声音或视频数据。 流式传输的过程般是这样的：用户选择某一流媒体服务后，w e b 浏览器与 w e b 服务器之间使用h t t p t c p 交换控制信息，以便把需要传输的实时数据从 原始信息中检索出来；然后客户机上的w e b 浏览器启动音频、视频h e l p e r 程序， 使用h t t p 从w e b 服务器检索相关参数对h e l p e r 程序初始化。音视频服务器使 用r t p u d p 协议将音频视频数据传输给音视频客户程序，一旦这些数据抵达客 户端，即可播放输出。流式传输的基本原理如图2 1 所示【1 6 1 【1 7 】。 图2 1 流式传输基本原理 实现流式传输有两种方法：实时流式传输( r e a ls t r e a m i n g ) 和顺序流式传输 ( p r o g r e s s i v es t r e a m i n g ) 。一般说来，如果视频为实时广播，或使用流式传输媒 体服务器，或应用如r t s p 的实时协议，即为实时流式传输。若使用帅服务 器，文件即通过顺序流发送。采用哪种传输方式依赖具体的要求。 ( 1 ) 顺序流式传输 顺序流式传输是对流媒体格式文件的顺序下载，在下载的同时，用户可以观 看流媒体。但是，用户的观看与服务器上的传输并不是同步进行的，或者说用户 看到的总是服务器在若干时间按以前传出来的信息。在这过程中，在给定的时刻， 用户也只能观看已下载的那部分内容，而不能跳到还未下载的部分，由于标准的 7 第2 章p 2 p 流媒体相关技术的研究 h t t p 服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作 h t t p 流式传输。顺序流式传输比较适合高质量的短片段，如片头、片尾和广告。 由于该文件在播放前观看的部分是无损下载的，这种方法保证电源播放的最终质 量。这意味着用户在观看前，必须经历延迟，对较慢的链接尤其如此。 顺序流式文件时放在标准h t t p 或f t p 服务器上，易于管理，基本上与防火 墙无关。顺序流式传输不适合长片段和有随机访问要求的视频，如：讲座、演说 与演示。它也不支持现场广播，严格说来，它是种点播技术”】1 1 8 1 1 2 4 1 。 顺序流式传输不支持拖动，这样必定限制了功能，但却减少了网络抖动。由 于技术简单，易于组建，因而在网络上得到了广泛的应用。 ( 2 ) 实时流式传输 实时流式传输是指保证媒体信号带宽与网络连接匹配，使媒体可被实时观看 到。实时流与h t t p 流式传输不同，它需要专用的流媒体服务器与传输协议。实 时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或 后退，以观看前面或后面的内容。理论上，实时流一经播放就可不停止，但实际 上可能发生周期暂停。 实时流式传输必须匹配连接带宽，这意味着在以调制解调器的速度进行连接 时，图像质量会比较差。而且，由于出错丢失的信息被忽略掉，在网络拥挤或出 现问题时，视频质量会很差。如欲保证视频质量，顺序流式传输也许更好。另外， 实时流式传输需要特定的服务器，这些服务器允许用户对媒体发送进行更多级别 的控制，因而系统设置和管理比标准h t t p 服务器更复杂。实时流式传输还需要 特殊网络协议，这些协议在通过防火墙时可能会出现问题，导致用户不能看到一 些地点的实时内容【1 5 】【1 8 】【2 4 。 实时流式传输对技术的要求相当高，如果只是简单在顺序播放的基础上增加 这一功能，频繁的拖动将使服务器不堪重负，势必要通过更多的技术途径来解决。 p 2 p 技术对这一点是一个有益的补充，在一定程度上提高了实时流式传输的可行 性，改善了媒体传输的q o s 。 2 1 2 流媒体传输协议 8 流媒体在i n t e m e t 上的传输必然涉及到网络传输协议，其中包括i n t e m e t 本身 中山大学硕士学位论文 的多媒体传输协议，以及一些实时流式传输协议等。只有采用合适的协议，才能 更好地发挥流媒体的作用，保证传输质量。i e t f ( i n t e m e t 工程任务组) 是i n t e r n e t 规划与发展的主要标准化组织，已经设计出几种支持流媒体传输的协议。主要有 用于i n t e r n e t 上针对多媒体数据流的实时传输协议( r t p ) 、与r t p 一起提供流 量控制和拥塞控制服务的实时传输控制协议( r t c p ) 、定义了一对多的应用程序如 何有效地通过i p 网络传送多媒体数据的实时流协议( r e a l - t i m es t r e a m i n gp r o t o c o l ， r t s p ) 1 1 6 1 。 ( 1 ) r t p 数据传输协议【6 】f 1 6 i t l 7 】【1 8 】 r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是用于i n t e m e t 上针对多媒体数据流的一 种传输协议，r t p 被定义为在一对一或一对多的传输情况下工作，它提供时间标 志、序列号以及其他能够保证在实时数据传输时处理时间的方法，其目的是提供 时间信息和实现流同步，r t p 依靠r v s p 保证服务质量标准。r t p 通常使用u d p 来传送数据，但r t p 也可以在t c p 或a t m 等其他协议上工作。当应用程序开 始一个r t p 会话时将使用两个端口：一个给r t p ，一个给r t c p 。r t p 本身并不 能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它 依靠r t c p 提供这些服务。通常r t p 并不作为一个独立的网络层来实现，而是 作为应用程序代码的一部分。r t c p 和r t p 一起提供流量控制和拥塞控制服务。 r ip 协议虽然是传输层协议，但是它没有作为o s i 体系结构中单独的一层来 实现。r t p 协议通常根据一个具体的应用来提供服务，这就是说，r t p 只提供协 议框架，开发者可以根据应用的具体要求对协议进行充分的扩展。r t p 包的头格 式如图2 2 所示【坫1 。 v = 2 1 p i x i c c i m i p t i 系列号 l 图2 - 2r t p 头格式 ( 2 ) r t p 控制协议i 玎c p 【6 】【1 6 】【1 7 】1 1 8 1 9 第2 章p 2 p 流媒体相关技术的研究 r t c p 被设计为和r t p 一起使用的迸行流量控制和拥塞控制的服务控制协议。 r t c p 在r t p 会话之间周期地发放一些r t c p 包用以传输监听服务质量和交换会 话用户信息等功能。r t c p 包中含有以发送的数据包的数量、丢失的数据包的数 量等统计资料。因此，服务器可以利用这些信息动态地改变传输速率，甚至改变 有效载荷类型。r t p 和r t c p 配合使用，能以有效的反馈和最小的丌销使传输效 率最佳化，因而特别适合传送网上的实时数据。根据用户问的数据传输反馈信息， 可以制定流量控制策略，而会话用户信息的交互，可以制定会话控制的策略。 ( 3 ) r t s p 协议【6 】【1 6 】f 1 7 】【1 8 】 实时流协议( 1 玎s p ) 是应用级协议，控制实时数据的发送。r t s p 定义了如 何有效地通过i p 网络传送实时多媒体数据，是一种客户端到服务器端的多媒体 描述协议。r t s p 提供了一个可扩展框架，使实时数据，如音频与视频的受控、 点播成为可能。该协议的目的在于控制多个数据发送连接，为发送选择通道，如 u d p 、组播u d p 与t c p 等提供途径，并为选择基于r t p 上发送机制提供方法。 r t p 建立并控制一个或几个时间同步的连续流媒体。尽管连续媒体流与控制 流交叉是可能的，通常它本身并不发送连续流。换言之，r t s p 充当多媒体服务 器的网络远程控制。r t s p 是一个非常类似于h t t p 的应用层协议，在体系结构 上位于r t p 和r t c p 之上，它使用t c p 或r t p 完成数据传输，但r t s p 连接没 有绑定到传输层连接，如t c p 。在r t s p 连接期间，r t s p 用户可以打开或关闭 多个对服务器的可靠性传输连接以发出r t s p 请求。r t s p 协议支持的操作包括： 从媒体服务器上检索媒体；媒体服务器邀请进入会议；将媒体加入到现成讲座中。 ( 4 ) r s v p 协议吲【1 6 】f 1 7 】【1 8 】 由于音频和视频数据流比传统数据对网络的延时更敏感，要在网络中传输高 质量的音频、视频信息，除带宽要求之外，还需要其他更多的条件。r s v p 是一 种工作于i n t e m e t 上的资源预留协议，利用r s v p 预留一部分网络资源，能在一 定程度上为流媒体的传输提供q o s 。 r s v p 是一个网络控制协议，其组成元素有发送者、接收者和主机或路由器。 r s v p 能使i n t e r n e t 应用传输数据流时获得特殊服务质量。r s v p 不是路由协议， 但它与路由协议协同工作，建立与路由协议计算出路由等价的动态访问列表，属 于o s i 七层协议栈中的传输层。图2 3 说明了r s v p 的运行环境。 l o 中山大学硕士学位论文 图2 3r s v p 中主机信息通过数据流发送给接收者示意图 2 1 3 流媒体存在的问题 目前应用最广的流媒体提供商提供的流媒体平台主要采用了客户端服务器 ( c s ) 模式。当用户需要播放视频时，向服务器发出请求，服务器以单播的方 式和每个客户建立连接，所有的客户机都从流媒体服务器接收多媒体流，也就是 说，所有的带宽均由服务器提供。这种模式构建的流媒体系统存在以下问题： ( 1 ) 可扩展性差 和电台以及电视台使用广播形式发送节目不同，流媒体业务使用了单播形式， 即一个用户一份流，即使有两个用户在观看同一节目，他们也不能共享一份流。 所以用户数和服务器带宽消耗成正比，用户越多，需要带宽就越多。由于所有的 带宽和资源都是由流媒体服务器提供的，而流媒体服务器带宽和数据存储空间均 是有限的，在同一时刻只能给一定数量的用户提供服务。当大量用户访问服务器 时，由于服务器带宽不够，会造成播放不流畅等后果，使用户不能得到优质的服 务。尤其是当网络上出现热点节目时，系统会在短时间内收到大量异步的服务请 求，使系统压力随用户数直线上升，导致服务器过载，网络阻塞，从而无法容纳 大规模的点播请求。为了解决这一问题，媒体内容提供商需增加整个系统的资金 投入购买性能优异的服务器，但是，这种方法也不能从根本上解决问题。 l l 第2 章p 2 p 流媒体相关技术的研究 ( 2 ) 单点失效问题 用户播放视频时所获取的流媒体数据全部从多媒体服务器那里得到，一旦服 务器受到攻击，所有的用户将都不能获得资源。这种c s 模式注定了流媒体系统 容错性差，易造成单点失效问题。 由于流媒体服务具有高带宽、持续时间长、q o s 要求严格等特点，随着客户 数目的快速增加，服务器的资源如带宽很快被消耗完，这成为流媒体系统大规模 应用的瓶颈所在。因此，迫切需要采取新的技术，解决现有流媒体系统的这些缺 陷，从而为用户提供超大规模的流媒体服务。p 2 p 技术的出现，刚好为这一问题 的解决提供了切实可行的方案。 2 2 p 2 p 网络技术 2 2 1p 2 p 概述 在上一节我们讨论了由于现有基于单播的c s 架构流媒体系统存在的固有缺 陷造成的系统扩展的瓶颈和其他一系列问题，因而使其不能提供大规模的流媒体 服务。为了提高i n t e m e t 上流媒体应用的q o s ，近年来p 2 p 被引入到了流媒体领 域，以通过节点之间的互联，在合理的组织和调度方式下，使流媒体数据在广大 参与节点之间进行传输。在对等网络中，每个对等实体既是服务的提供者，又是 服务的享用者，将服务器的负载分散到p e e r 中，从而有效地减轻了服务器的负 载和网络带宽占用，极大地提高了系统的可扩展性【5 1 。 早在2 0 0 0 年，p 2 p 就成了一些技术性w e b 站点上讨论的热门话题。p 2 p 是 p e e r - t o p e e r 的缩写，p 2 p 可以理解为“伙伴对伙伴 的意思。p 2 p 是网络计算的 一种新技术，这种技术的目的是将网络中不同的计算机连接在一起，并充分利用 互联网和w e b 站点中任何地方的闲置资源。 p 2 p 号称自身就等同于网络。在这个网络中，存在于传统客户服务器体系结 构中的功能和通信在客户端和服务器上的分离消失了，新术语s e r v e n t s ( 源自 “s e r v e r 和c l i e n t ) 正伴随着网络计算领域的新机遇出现在我们面前。网络计算 领域内某些因素的演变f 成为促使p 2 p 技术发展的源动力【4 6 1 。 将p 2 p 技术应用于流媒体传输领域，其实质是把组播的功能从网络层移到应 1 2 中山大学硕士学位论文 用层。在p 2 p 系统中，用户在这个系统中既是终端，也是服务器。这样，用户 不仅能从流媒体服务器下载资源，也可以从其他用户那里获取资源。每个人在下 载资源的同时，也在为别人提供资源，也就是“人人为我，我为人人。因而大 大减少了服务器的负担，并能有效的提升用户的连接质量。p 2 p 技术因为其多用 户分享数据的特性，可以有效地解决流媒体应用中的可扩展性问题，即使是大量 的用户同时访问流媒体服务器的情况下，也不会造成服务器因负载过重而瘫痪， 从而可有效提升流媒体系统的鲁棒性。c s 结构和p 2 p 结构的区别如图2 4 所示 服务器 电哪嘞蹿曩曩! 曩 5 1 3 警缫羞t z 目目 画应应 麴 舞麓国 沪 客户端 图2 4 客户端h a 务器结构和p 2 p 结构 2 2 2p 2 p 技术特点 和传统的客户端服务器系统相比，p 2 p 有着自己显著的特点，主要表现在以 下方面。 ( 1 ) 非中心化( d e c e n t r a l i z a t i o n ) ：在p 2 p 系统中，网络中的资源和服务分 散在所有结点上，信息的传输和服务的实现都直接在结点之间进行，每个节点既 是客户端，也是服务器，可以无需中间环节和服务器的介入，避免了可能的瓶颈。 正是由于这一特点，使其具有可扩展性好、健壮性强等方面的优势【6 】。 ( 2 ) 可扩展性：在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了， 系统整体的资源和服务能力也在同步地扩充，始终能较容易地满足用户的需要， 很好地解决了传统架构中服务器的瓶颈。在p 2 p 系统中，用户越多，服务质量 反而更好，因此，理论上其可扩展性几乎可以认为是无限的【4 7 1 。 第2 章p 2 p 流媒体相关技术的研究 ( 3 ) 健壮性：在互联网中随时可能出现异常情况，如网络中断、网络拥塞、 节点失效、匿名攻击等。这是由互联网的特点所决定的。这些异常事件都会给系 统的稳定性和服务持续性带来很大的影响。在p 2 p 系统中，由于各种服务是分 散在各个结点之间进行的，部分结点或网络遭到破坏不会对其它部分造成很大的 影响。p 2 p 网络在部分结点失效时一般能够自动调整整体拓扑，保持其它结点的 连通性【6 】【4 7 1 。 ( 4 ) 高性价比：性能优势是p 2 p 被广泛关注的一个重要原因。客户服务器 系统的费用是非常昂贵的，这样的系统即需要客户端软硬件，也需要服务器软硬 件，从而导致了过多的存储设备和软件，由此也导致了更多的维护工作。在p 2 p 系统中，由于p 2 p 可以充分利用网络带宽和各个节点的闲置资源，因而大大提 高了存储设备、带宽和计算资源等技术资源的使用率 6 1 。 ( 5 ) 负载均衡：在p 2 p 网络环境下，每个节点既是服务器又是客户端。也 就是说，资源分布在多个节点，因而大大减少了对传统c s 结构服务器计算能力、 存储能力的要求，同时也更好的实现了整个网络的负载均衡【4 7 1 。 2 2 3p 2 p 网络结构 到目前为止，p 2 p 技术的发展经历了四个阶段，每个阶段都代表着一种p 2 p 网络模型：集中式、纯分布式、混合式和结构化模型。其中，又以混合式模型为 当前最为成熟、有效的实现方式。下面简要介绍一下p 2 p 模式的几种主要形式。 ( 1 ) 集中目录式结构 集中目录式p 2 p 结构是最早出现的p 2 p 应用模式。在这种模型中，有一个中 心服务器来负责记录共享信息以及回答对这些信息的查询，每一个对等实体对它 将要共享的信息以及进行的通信负责，根据需要下载它所需要的其他对等实体上 的信息。