（计算机应用技术专业论文）p2p流媒体内容分发系统技术研究.pdf

摘要 摘要 对等网络流媒体技术可以合理地利用客户端的计算机能力和带宽资源，使用 户实现下载的同时播放流媒体节目，也可以利用自身的计算机空闲资源为其它用 户提供服务。因此，p 2 p 流媒体分发系统成为p 2 p 技术领域内重要应用之一，也是 当前分布式系统领域的一个研究热点。 本文主要研究了两个问题：( 1 ) 节点的搜索问题；( 2 ) 节点的动态性问题。对于 问题( 1 ) 本文深入研究和分析了g n m e l l a 网络中的节点搜索定位机制，指出了洪泛 式搜索机制所存在的问题，并对其中的f l o o d i n g 搜索算法提出了基于路由索引与 缓存路由策略的改进算法i - f l o o d i n g ，模拟实验结果表明，随着网络规模的扩大， i - f l o o d i n g 算法能更有效的减少g n u t e l l a 网络的冗余搜索消息并保持较高的搜索 成功率。对于问题( 2 ) 本文设计了一个结合p 2 p 技术和c d n 技术的流媒体内容分 发网络模型，该模型能大大地降低p 2 p 网络的高度动态性对节点播放的影响，为 普通节点提供更好的服务。 关键词：p 2 p 流媒体内容分发 a b s t r a c t 3 二- - - - - - - - - - - - - 一 一 a b s t r a c t p e e r - t o p e e rm e d i as t r e a m i n gt e c h n o l o g yc a nu t i l i z ec o m p u t i n gc a p a c i t ya n d b a n d w i d t ho fc l i e n te f f e c t i v e l y f u r t h e r m o r e ，i tc a l lm a k et h eo t h e rc l i e n t sp l a yam e d i a f i l ea n dd o w n l o a dc o n c u r r e n t l y ，a l s oc a np r o v i d es e r v i c eu s i n gi t so w ni d l er e s o u r c e s s o ，p 2 pm e d i as t r e a m i n gs y s t e mi sn o to n l yo n eo ft h ea p p l i c a t i o n so fp 2 pt e c h n o l o g y ， b u ta l s oo n eo fh o ts p o t si nt h ef i e l do fd i s t r i b u t i o ns y s t e m i nt h i sp a p e r ，w ef o c u so nt w op r o b l e m s ：( 1 ) n o d e ss e a r c h i n g ( 2 ) t h ed y n a m i co f n o d e s t ot h ef i r s tp r o b l e m ，w es t u d yt h es e a r c h i n gm e c h a n i s md e e p l yi nt h eg n u t e l l a n e t w o r k ，p o i n to u tt h ep r o b l e mt h a tt h ef l o o d i n g s e a r c hm e c h a n i s me x i s t s ，a n dp r o p o s e t h ei - f l o o d i n gs e a r c h i n ga l g o r i t h mb a s e do nr o u t i n gi n d i c e sa n dr o u t i n gc a c h e t h e s i m u l a t i o nr e s u l t sd e m o n s t r a t et h a t ，、i t ht h ee n l a r g e m e n to ft h en e t w o r ks c a l e ，t h e i - f l o o d i n ga l g o r i t h mc a l lb em o r ee f f e c t i v e l yt or e d u c er e d u n d a n ts e a r c h i n gm e s s a g e s o ft h eg n u t e l l an e t w o r ka n dm a i n t a i nar e l a t i v e l yh i g h s u c c e s sr a t eo ft h e s e a r c h i n g t ot h es e c o n dp r o b l e m ，w ed e s i g nam e d i as t r e a m i n gc o n t e n td i s t r i b u t i o n n e t w o r km o d e lb a s e do nc d na n dp 2 pt e c h n o l o g y ，w h i c hc a nb e t t e rr e d u c et h ei m p a c t t h a tt h ed y n a m i co fp 2 pn e t w o r ke x e r t so nn o d e sp l a y i n ga n dp r o v i d eb e t t e rs e r v i c ef o r a no r d i n a r yn o d e k e y w o r d s ：p e e r - t o p e e r m e d i as t r e a m i n gc o n t e n td i s t r i b u t i o n 西安电子科技大学 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容外，论文中不包 含其它人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其 它教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：1 7 1j 朝：丝巧多多 关于论文使用权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果署名单位仍然为西安电子科技大学，学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本学位论文属于保密，在年解密后使用本授权书。 本人签名： 导师签名： h 其1 l ：丝墨堡翌 1 7 t 其7 1 ：高删l 萨 第一章绪论 第一章绪论 1 1 课题背景 随着i n t e m e t 网络的同趋普及和信息传输技术的快速发展，i n t e m e t 上的传输 内容已逐渐由单纯的文字传输转变成为包含文本、音频、视频的多媒体数据传输， 这样的改变不仅使i n t e m e t 使用者能获得更为丰富多样的信息，同时也代表着多媒 体网络时代的来临。面对有限的带宽和拥挤的拨号网络，要实时实现窄带网络的视 频、音频传输，最好的解决方案就是采用流式媒体的传输方式。流媒体的特点是数 据量大、传输持续时间长、并且对延迟、抖动、丢包率、带宽等q o s 等指标要求 非常严格，在当前的因特网上构建大规模的性价比高的流媒体系统是一个具有挑 战性的工作l l j 。 以前，多媒体文件需要从服务器上下载后才能播放。由于多媒体文件一般都 比较大，下载整个文件往往需要很长的时间，限制了人们在互联网上使用多媒体 数据进行交流。流媒体应用的一个最大的好处是用户不需要花费很长时间将多媒 体数据全部下载到本地后才能播放，而仅需将起始几秒的数据先下载到本地的缓 冲区中就可以开始播放了。 因特网上的传统流媒体系统是基于c l i e n t s e r v e r 模式的，一般包括一台或多 台服务器，若干客户机。我们将系统能同时服务的客户总数称为系统容量，c s 模式的流媒体系统容量主要是由服务器端的网络输出带宽决定的，有时服务器的 处理能力，内存大小，i o 速率也影响到系统的容量。在c s 模式下，由于传输 流媒体占用的带宽大，持续时间长，而服务器端可利用的网络带宽有限，所以即 使是使用高档服务器，其系统容量也不过几百个客户，根本就不具有经济规模性。 另外，由于因特网不能保证q o s ，如果客户机距服务器较远，则流媒体传输过程 中的延迟、抖动、带宽、丢包率等指标也将更加不确定，服务器为每一个客户都 要单独发送一次流媒体内容，从而网络资源的消耗也十分巨大【2 j 。 对此业界相继提出了多种解决方案，比较重要的有内容分发网络【3 l ( c o n t e n t d e l i v e r yn e t w o r kc d n ) 和i p 组播1 4 , 5 1 ( i pm u l t i c a s t ) 等。但是，这些解决方案的共同 特点是需要有专门的硬件支持，比如c d n 需要在全球各地部署多个c d n 服务器， 通过服务器之间协同工作，分发多媒体数据；而i p 组播更是需要修改目前i n t e m e t 的路由机制，广泛部署复杂的支持广播功能的路由器。这样不仅耗资巨大，而且 并不能从根本上解决我们上面提出的问题。 在传统分发架构无法满足现有需求时，p 2 p 技术得到了复兴。p 2 p 网络的基本 2 p 2 p 流媒体内容分发系统技术研究 思想是充分利用因特网上分布在不同地理位置上的计算机的空闲资源，采用分布 式计算模式来为因特网上的用户提供各种服务。p 2 p 网络中没有集中的服务器，网 络的每一个节点既可以作为客户接受其它节点的服务，也可以作为服务器向其它 节点提供服务。基于p 2 p 的流媒体系统也是借助了这种思想进行流媒体内容的分发 传输的【6 ，丌，图1 1 描述了一个典型的p 2 p 流媒体内容分发系统，其设计思想是充分 利用众多客户节点的空闲资源，让客户端缓存一部分信息，充当一部分服务器的功 能，而减轻服务器的负载和网络带宽占用，构建一个成本低、扩展性好、并有一 定q o s 保证的流媒体分发系统。 e l234 5 67891 0l l1 21 31 41 5 图1 1p 2 p 流媒体分发系统 1 2p 2 p 流媒体内容分发的研究现状 1 2 1 国内外的研究工作 由于p 2 p 流媒体传输的优越性，基于p 2 p 的流媒体内容分发系统已经引起了许 多大学、研究机构以及商业机构的重视。美国斯坦福大学【9 】、马塞诸塞大学【1 0 , 1 1 】 以及微软研究酣1 2 , 1 3 】对单源的p 2 p 流媒体传输展开了研究并取得了一定的成果，而 伯克利大学【1 4 】和普度大学【1 5 , 1 6 贝, 1 j 致力于对多源的p 2 p 流媒体传输的研究，其中普度 大学提出了单源的p 2 p 流媒体传输的模型及相应的激励机制。此外，也有一些研究机 构将传统的流媒体技术运用于p 2 p 系统。如i b m 中国研究院【j 7 】将层次式的流合并技 术集成至t j p 2 p 视频点播系统中，而美国奥利根大学提出的p a l s r l 8 l ，则利用了媒体流 的分层编码技术，各个节点发送不同层的编码流，由接收者根据其能力选择接收若 干层的编码流，在商业应用上，也出现了一些商用p 2 p 流媒体传输系统，如 v t r a i l s l l 9 j ，a l l c a s t 2 0 】以及清华大学的g r i d m e d i a ( 清华大学网格研究组) ，沸点网络电 视，武汉的p p l i v e 等，对p 2 p 流媒体分发系统的运行模式进行了尝试。 大部分的研究内容集中在媒体流分发策略的研究上，这些研究大致可以分为 第一章绪论 两类： ( 1 ) 应用层组播树 应用层组播树适合于架构视频直播服务系统或应用到视 频点播系统中某热门节目的服务策略，即适合于节目请求率高、并发请求量大的 媒体应用需求。其思想是在各对等节点之间、在应用层之上构建树型覆盖结构。 树的根节点是直播源，直播源可以是实时压缩的媒体数据流或流化的热门节目， 树的每个节点在接收数据的同时转发数据。 在基于应用层组播树的p 2 p 流媒体分发系统中，首先要解决的问题是组播树的 构建，最简单的模型是p e e r c a s d j 。在p e e r c a s t 中节点被组织成一个树状结构，树 的父节点给子节点提供服务。在p e e r c a s t 中，节点的加入和离开策略都很简单，但 也容易导致树的不平衡。在组播树中，如果节点离根节点越远，则数据的时延就 越大，因此，树的深度应该尽可能短。但是每个节点的有限输出带宽限制了节点 的宽度。理想的组播树是在深度和宽度之间能够有效的平衡，事实上，当所有节 点的深度都为1 的时候就退化成了传统的客户端服务器模型了。z i g z a g t 4 0 j 模型能够 有效的构造组播树，它定义了整套完整的树的构建规则，保证树的深度维持在 o ( 1 0 9 n ) ，n 为系统中的节点数量，此外，z i g z a g j 丕拥有很多优良的特性。 另一个重要问题是组播树中的叶子节点只作为单纯的客户端，没有参与到媒 体的分发，而通常叶子节点在树中所占的比例非常大，因此，基于树的系统没有 充分利用所有节点的能力，解决这个问题的一个比较简单而有效的模型是同时构 造两棵或多棵组播树，通过在系统中部署多重描述编硬j m d c 5 5 l ，每个组播树组播 一个描述，节点把接收到的所有描述进行叠加以提高视频质量。因为只要收到一 个描述就可以单独解码，因此这种系统也可以很好的解决节点不稳定的问题，典 型的模型为s p l i t s t r e a m l 4 1 l s t 茸i c o o p e r n e t j 。 ( 2 ) 非树型p 2 p 媒体服务系统对于视频点播系统中请求率相对不高、并发请 求少的节目，可以采用非树型对等模式媒体服务的服务策略。所谓非树型，就是 指在服务节点和请求节点之间的逻辑拓扑结构不再是树型结构，请求节点不再通 过树的中间节点中转得到数据，而是首先找到为其提供服务的服务节点集合，然 后制定相应的多源流调度策略，最后直接由这个服务节点集合中的节点提供服务。 该类研究主要涉及三个基本问题：一是媒体内容搜索，即如何找到所需的完整 的媒体数据；二是媒体流调度与控制，即在保障q o s 前提下，采用什么策略将媒体 数据传输到本地；三是媒体数掘布局与存储，即由于媒体文件数据量大，研究如 何将媒体数据切分并在已被服务节点中冗余布局的策略。采用这种模式进行服务， 既可能是传统c s 模式视频点播系统的候补者，即在视频服务器不能满足用户需求 的情况下，由对等节点提供服务；也可能是其替代者，完全由其提供服务，无需 视频服务器，只需普通视频源节点即可。非树型p 2 p 媒体服务系统以p r o m i s e t l 6 j 、 g n u s t r e a m 【1 5 j ，d o n e t t ”j 为代表。 4 p 2 p 流媒体内容分发系统技术研究 1 2 2 面临的挑战 由于p 2 p 流媒体分发服务需要让某些节点暂时发挥服务器功效，而这些节点与 传统的服务器相比存在一定差异，如提供服务的节点位置不固定、服务能力有强 有弱、节点频繁加入和离开等。而流媒体本身又有其独特性质，如数据存储量大、 带宽占用高、持续服务时间长、高q o s 要求等。因此，在p 2 p 流媒体内容分发系统 技术中，如何在充分而又合理地利用众多节点资源的同时并能确保服务质量，面 临着许多挑战。归纳起来，主要包括以下几点： ( 1 ) 节点搜索问题：在p 2 p 流媒体中由于请求节点一般需要从其它对等节点获取 流数据，因此当新节点请求加入时首先需要在系统中搜索定位其它能为其提供数 据服务的对等节点，而当提供服务的对等节点离开或失效后也同样需要在系统中 搜索定位新的对等服务节点。对这个问题最直观的解决方法是采用某种中心索引 服务器来记录并维护系统中所有对等节点的状态信息，而当节点在加入或重新加 入系统时则直接从中心索引服务器上获取对等服务节点。这种方式虽然简单易行， 但至少有两点缺陷：一是当系统规模较大时，这种基于中心索引的搜索定位方式 是否可行还值得商榷，因为此时中心索引服务器本身可能就会被与对等节点状态 维护相关的信息所淹没；二是中心索引服务器将成为系统的单点失效节点，从而 会削弱系统的鲁棒性。因此在大规模的p 2 p 流媒体应用环境下如何建立有效的对等 节点搜索定位机制，成为p 2 p 流媒体分发技术研究中所面i 临最基本的问题。 ( 2 ) 动态性问题：由于p 2 p 网络是通过软件构筑的一个逻辑覆盖网，节点之间的 连接关系不像物理网络中的连接那样相对稳定，节点可以随时加入，也可以随时 退出。如何应对这种高度动态性对节点播放的影响也是p 2 p 流媒体系统所要解决的 问题。 ( 3 ) 异构性问题：p 2 p 网络中的节点具有异构性。如节点接入i n t e m e t 的连接方式 是各种各样的( 有的采用局域网连接，有的是a d s l 连接，有的是通过卫星网络无 线连接) ，不同的网络连接有着不同的传输带宽、延时和包丢失率。另外，不同节 点的设备处理能力也存在着很大的差异，如c p u 的主频、内存的大小、磁盘存贮 空间等也都是各不相同的。节点的异构性决定节点在参与系统服务时的服务能力 也是各不相同的，所以p 2 p 流媒体分发系统在进行节点协作任务分配的时候要充分 考虑到异构性问题。 ( 4 ) 共享问题：基于p 2 p 的流媒体系统的服务能力取决于用户之间的共享程度， 然而在大多数p 2 p 文件共享系统中，都存在着大量的称为f r e e r i d e r l 2 t l 的用户，这些 用户只下载文件却不共享任何文件。大量f r e e r i d e r 用户的存在，造成p 2 p 文件共享 系统资源的匮乏和下载速度的下降。对于p 2 p 流媒体系统来说，f r e e r i d e r 的影响更 第一章绪论 为严重，如果系统中的用户都只下载而不共享的话，p 2 p 流媒体系统就退化为c s 模式的流媒体系统。所以p 2 p 流媒体内容分发系统的设计还要考虑到能够提供对信 誉机制的支持，鼓励用户积极共享资源，以提高整个系统的服务能力。 1 3 本文的内容和组织结构 本文主要研究了p 2 p 流媒体内容分发系统中节点搜索问题和节点动态性问 题，对于节点搜索问题，本文对g n u t e l l a 网络中的节点搜索算法f l o o d i n g 进行了 研究，并提出了基于路由索引与缓存路由策略的改进算法i - f l o o d i n g 。对于节点 动态性问题，本文设计了一个结合p 2 p 和c d n 技术流媒体内容分发网络模型， 并提出了相应的节点组织和管理策略。 全文共分五章，各章的组织结构如下： 第1 章，绪论。介绍了课题背景、研究现状及面临的挑战和本文主要研究内容。 第2 章，内容分发技术。介绍了传统的流媒体内容分发技术、p 2 p 技术和p 2 p 环境的下的流媒体内容分发。 第3 章，p 2 p 流媒体内容分发网络模型研究与设计。深入研究了一个重要p 2 p 网络模型g n u t e l l a ，对其洪泛式搜索机制的所存在的问题提出了基于路由索引与 缓存路由策略的改进算法i - f l o o d i n g ，并在以上研究的基础上设计了一个结合p 2 p 和c d n 技术的流媒体内容分发网络模型。 第4 章，仿真实验。采用了网络模拟器n s 2 对i f l o o d i n g 算法的性能进行了评价 分析。 第5 章，结束语。总结了全文，并指出了未来的研究方向。 第章流媒体内容分笈拄术 第二章流媒体内容分发技术 本章介绍了流媒体内容分发技术及p 2 p 网络和p 2 p 流媒体分发技术的相关研 究。首先介绍几种典型的流媒体的内容分发技术，然后介绍p 2 p 网络和p 2 p i n 络模 型，最后介绍流媒体服务的应用层组播树协议和非树型p 2 p 流媒体。 2 1 几种典型的流媒体内容分发技术 211 传统的c l i e n t s e r v e r 架构 如图21 所示，这是服务器直接提供内容方式的拓扑结构图。首先c l i e n t l 自s e r v e r 发出请求，s e r v e r 0 发n 请求后把数据直接发送至1 c l i e n t 。这种方式的优点是具有集中 管理的方便性。缺点也比较明显，那就是当c l i e n t 连接数较多时，s e r v e r 的n 络带 宽常不能满足需求，并且并发和并行请求的处理也引起s e r v e r 不堪负荷。 0 ，。 一4 、： 。、 7 幽2 lc s 模式下的数据分发 在这种架构下，采用集中计算方式，客户端和服务器存在着明显的主从关系， 具体来说c s 结构有如下特点： f 1 1 该结构模型以服务器为中心，各种各样的资源、信息和数据等都存放在服 务器的硬盘上，客户端通过网络连到服务器上检索、下载、上传资料或请求运算， 只有服务器端具有控制能力客户端基本上充当了一个高性能的i o 设备。 ( 2 ) 服务器性能决定了网络的性能，每台服务器所能提供的信息数量受到自身 存储空川的限制，而任意h 0 刻它所能支持的客户端访问数量则既受到自身处理能 力的限制也受到服务器所在附络吞吐能力的限制。 旧1 被发相信息的分布与生存期1 分稳定。服务器只发m 机器所有者想公之r 众的信息，这些信息将会在法服务器l 稳定地保存段时间，并且该服务器通常 也不矧断地运行在刚络上。 8 一 p 2 p 流媒体内容分发系统技术研究 局。 ( 4 ) 该结构的优点是被发布信息的存贮与管理比较集中、规范，网络安全性较 2 1 2 代理服务器技术 代理服务器p i ( p r o x ys e r v e r ) 是一种特殊类型的i n t e m e t j 艮务器。在传统的w e b 应用中，代理服务器用于扩展用户对i n t e m e t 的数据访问能力。为提高代理服务的 系统效率，缓存( c a c h e ) 技术被引入到代理服务器中，代理服务器将一些频繁访问 的数据存贮在内存或硬盘中，当用户通过代理服务器用户访问时，如果数据在代 理服务器的缓存中，代理服务器就无需访问远程的服务器，而只需通过本地缓存 为用户服务。流媒体代理服务器的重要作用表现在： ( 1 ) 代理服务器承担了一部分用户访问，有效的降低了主服务器的访问负载； ( 2 ) 可以提高用户访问的响应速度，降低启动延迟； ( 3 ) 代理服务器离用户较近，网络状况较好，可以提供更好的流媒体服务； ( 4 ) 可以提高服务器的鲁棒性及节省网络资源。 然而代理服务器的主要问题在于如何保证主服务器的内容与代理缓存中的内 容的一致性。即当服务器的内容更新后，如何保证代理服务器中缓存的数据即时 更新，对这些问题的研究就产生了更智能的c d n 技术。 2 1 3c d n 技术 c d n ( c o n t e n td e l i v e r yn e t w o r k ) ，即互联网内容发布网络，它是一个建立并覆 盖在互联网( i n t e m e t ) 之上、由分布在不同区域的节点s e r v e r 群组成的虚拟网络，如 图2 2 所示。c d n 可以实现把s e r v e r 的内容高效、稳定地发布到离c l i e n t 最近的地方。 其基本思路就是尽可能避开互联网上有一可能影响数据传输速度和稳定性的瓶颈 和环节，使内容传输的更快、更稳。通过在网络各处放置节点s e r v e r 所构成的在现 有的互联网基础之上的一层智能虚拟网络，c d n 系统能够实时地根据网络流量和 各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求 重新导向离用户最近的服务节点上。对用户来说，通过c d n 系统，得到响应的时 间被大大缩短，连接质量也大大提高，从而大大提高了上网访问的总体性能。然 而，c d n 高昂的部署成本始终是一个问题。 第章游l 蝴体内布分发技术 图2 2 且联网内存发布网络 流媒体c d n 的核心问题主要集中在以下几个方面，一是缓存代理服务器的缓 存机制研究，包括缓存策略( 全部缓存、分段缓存、头部缓存等) 、替换算法和预取 算法等，一是针对部分缓存策略的分发技术研究以及多代理服务器日j 的协作等。 c d n 系统的设计目标是通过将媒体缓存于距用户较近的缓存代理服务器以提高客 广端的访问质量，同时减轻流媒体对骨干网络上带宽的消耗传输成本) ，其缓存机 制的设计、分发拄术和多代理协作机制的研究等都是以此作为优化目标的。 增加c d n 系统容量的方法：一是增加各代理的容量，但由于带宽限制，其 增加的空间极为有限，整个系统依然受到c s 架构的因素的约束并且其成本也 不低： 是增加代理服务器的数量，但代理服务器的建设成本却是极其昂贵的。 另外，c d n 对实时数据的传输并不能起到作用。 2 14 i p 组播技术 目前基于t c p i p 的i n t e r n e l 网络主要有j 种传输模式：单播、广播和组播。 单播技术是一种单点到单点的数据传输模式，这种模式也足最常见的i n t e r n e t 通信方式。h t r p 和f t p 等应用部采用这种单摇模式。这种模式的缺点足如果多个 用户刊时请求同份数据，服务器必额通过网络给每个用户发送多份相同的数据。 凶为多媒体的数据量大，随着客户端数目的增加，很容易造成s e r v e r 端的网络拥塞。 广播技术足一点到所有主机的数据传输模式，服务器发送的份数据，将被 发送到连接在网络r 的所有主机。采用这种模式，服务器只需要发送一次数掘， 效率很高，但是由于发送模式的盲目性，数据会扩散到所有的网段而不关心网段 中的主机是否需要接收。如果多媒体通信采用厂播发送方式则大量的数据将造 成“广播风幂”，使网络通信处f 瘫痪。 组播技术融合了以上两种传输模式的特点，呵以将一份数据同时发送给组 特定的用户，避免r 数杯的，c 余卫小会自h 地造成网络带宽的浪费，日i j ，很多的 流媒体j 迸日鄙采用这种传输模式。组播技术创始人s t e v eed e e r i n g 定义组播为：“将 驰氢蹄羹i一罐翁，盟嗲学鱼砸 p 2 p 流媒体内容分发系统技术研究 i p 数据包发送到共享相同i p 地址的一个主机组中，该主机组的成员数目可以为零个 或多个。组播数据包的传输可靠性和i p 单播相同。主机组的成员是动态的，任何主 机可以在任何时刻加入或退出某个主机组，主机组对其成员没有位置和数量的限 制，且一台主机可以同时是多个主机组的成员。 i p 组播方式在网络上只有唯一的数据包在进行传输，每个客户端都能接收到这 个数据包，这极大地减轻了服务器的带宽需求，并且减轻了整个网络的负担。在 这种模型中，数据被有效地发送给对数据感兴趣的接收者。在大规模的应用中， 组播技术能够有效的节省网络带宽，然而i p 组播技术有着其自身的问题。虽然研究 人员对i p 组播技术做了很多研究，并基于组播技术实现了一些应用，如视频会议， 然而在实际的部署中，i p 组播技术仍然存在一些很重要的关键问题，主要包括：网 络协议的复杂性、网络和终端系统的异构性、组播的可靠性。 1 网络协议的复杂性 i p 协议在现实中能够成功的应用和流行，其中最重要的原因就是协议的简单性 和健壮性。i p 协议的设计遵循了端对端设计中的简单性原则，使i n t e r n e t 的核心网 络层保持简单、健壮并且易于理解，而让其上层的协议提供其它复杂的服务。i p 层只是简单地提供b e s te f f o r t 的服务，而传输可靠性、拥塞控制和流量控制等都由 上层负责。然而，组播要比单播复杂得多而难以部署。 首先，组播模型中缺乏有效的组管理。i n t e m e t 缺少对于网络层的访问控制，导 致任何匿名的用户可以加入某些特定的会话组。任何用户都可以通过给一些著名 的组播会话中的节点发送一些无用的信息发起拒绝服务攻击。虽然拒绝服务攻击 在单播服务中也存在，然而在组播系统中会严重得多。 第二，路由器需要维护组播中每个s e s s i o n 的状态，这不但增加了路由的复杂性， 同时也导致了路由的扩展性。 第三，组播要求给每个s e s s i o n 分配一个全球唯一的组地址。组地址分配机制的 缺乏将导致s e s s i o n 间的地址冲突。 第四，组播监视和调试工具的缺乏导致难以管理。 2 网络和终端系统的异构性 虽然组播能够有效地提高系统效率，很多网络应用能够从组播服务中受益， 然而i n t e m e t 是一个异构网络，在异构环境中，组播仍然存在一些问题和挑战。 异构性表现在很多方面，包括网络和终端。i n t e m e t 的底层硬件平台干差万别， 可以是以太网、a t m ，f d d i 、令牌环网、帧中继、串行链路( p s t n ，x d s l ) 、无线网 络、卫星网络、移动网络等，这些底层网络具有不同的带宽、硬件存取控制方式 和时延特性，在多链路情况下，各链路的带宽与代价也可能不同。 另外，某些网络平台的数据链路具有非对称性，比如x d s l 和卫星网络。终端 主机的硬件处理能力和操作系统各不相同。就操作系统而言，主要操作系统包括 第二章流媒体内容分发技术 u n i x ，w i n d o w s ，m a c o s 平l o s 2 等以及各自不同的版本，对i p 组播的支持程度和进程 调度与管理、t c p i p 的实现方式和a p i 都存在差异。 此外，互联设备具有差异性。路由器、交换机、网络服务器在包转发率、支 持的路由协议的互操作性上存在差异。这些异构性都导致了实现i p 组播网络中的复 杂性。由于多个用户共享同一个通道，组播虽然在网络效率上要远高于单播，然 而单通道的组播的用户只能接收同样的数据，不能同时满足不同用户的不同需求， 单通道组播缺少扩展性。 3 组播的可靠性 在组播中，数据包的传输可靠性和单播中是一样的，都只提供b e s te f f o r t l 艮务， 然而上层系统为组播提供可靠性传输、拥塞控制和流量控制等服务要比为单播提 供这些服务复杂得多。在单播中，传输的可靠性、有序性和拥塞控制等基本上都 已经在t c p 里实现了，而组播中，不同的应用对可靠性、拥塞控制和流量控制有不 同的需求，这就使实现这些服务非常的复杂。 2 2 1p 2 p 概述 2 2p 2 p 网络 p 2 p 的全称是p e e r - t o p e e r ，在英语里p e e r 的意思是“( 地位、能力等) 同等者、 同事、伙伴”，体现一种平等的关系，所以p 2 p 网络一般也称为对等网络。在p 2 p 网络中，节点之间没有服务器与客户机之分，各节点之间是平等的关系，相互可 以直接通信，共享计算和存贮能力。 p 2 p 其实也算不上是新概念，可以说有了互联网就有了p 2 p 。互联网整体架构 就是基于p 2 p 的：互联网最基本的协议t c p f i p 并没有客户机和服务器的概念，所有 的设备都是平等通讯的一端。在i n t e r n e t 初期，所有的互联网上的系统都同时具有 服务器和客户机的功能，只是后来那些架构在t c p d p 之上的应用层软件采用了客 户机服务器的结构，如浏览器和w e b j 艮务器、邮件客户端和邮件服务器，才使得 互联网变得不平等起来。 目前p 2 p 在以下几个方面己经得到了广泛的应用： ( 1 ) 大规模计算：通过采用p 2 p 技术，将大量被闲置的普通计算机的计算能力利 用起来，来完成以前通常只有昂贵的超级计算机才能完成的大规模计算任务。比 较著名的p 2 p 普及计算项目有s e t i h o m e l 2 2 1 、d i s t r b u t e d n e t l 2 3 】等。 ( 2 ) 信息检索：利用p 2 p 技术开发出的强大搜索工具有实时、全面的特点，可以 搜索到每个节点上的最新信息，有着传统的搜索引擎，如g o o g l e ( 只能搜索到 p 2 p 流媒体内容分发系统技术研究 2 0 3 0 的资源信息，且更新不及时) ，所无法比拟的优点。典型的p 2 p 搜索工具 有d i g i t a l 公司i 拘p a n d a n g o l 2 4 1 ) s a ：j x t a l 2 5 】的子项e l j x t as e a r c h l 2 6 2 7 1 ，另外，常用的p 2 p 文件共享软件也都具有文件搜索功能，女l g n u t e l l a 2 8 】。 ( 3 ) 文件共享：p 2 p 技术使用户之间相互自由共享各种格式的文件成为可能，这 也是目前p 2 p 的主流应用。常见的p 2 p 文件共享系统有k a z a a l 2 9 1 、b i t o r e n t l 3 0 1 、 e d o n k e y 31 1 、f r e e n e t l 3 2 】等。 ( 4 ) 数据分发：与传统的c s 系统相比，p 2 p 系统有着较高的数据分发效率，基 于p 2 p 的流媒体应用就是利用p 2 p 技术来高效分发媒体数据。 ( 5 ) 其它应用：除了以上几方面的应用外，p 2 p 技术还可以应用在如即时通信、 海量数据存储等方面。 2 2 2p 2 p 网络模型 p 2 p 网络是在i p 网络基础之上，通过应用软件构筑起来的一个逻辑覆盖网 ( l o g i c a lo v e r l a yn e t w o r k ) ，并不是独立于现行的i p 网络之外的什么特殊网络。在实 际物理网络中安装有某种p 2 p 软件的节点可以构成一个逻辑覆盖网络，而没有安装 这种p 2 p 软件的节点则被排除在外。 p 2 p 网络架构，又称为p 2 p 网络模型，是指p 2 p 网络中节点的逻辑组织结构，即 节点互联的拓扑结构和节点在与相邻节点保持连接时的行为规范，一般用一个连 通的图来表示。但p 2 p 网络的连接图与物理网络的拓扑连接图不同，在覆盖网中相 邻的节点可能在实际物理网络中位于不同的子网中，中间相隔多个路由器，而在 覆盖网中不相邻的节点在实际物理网络中却可能是直接相连的。 p 2 p 网络模型主要分为结构化和非结构化两类，结构化p 2 p 系统是指系统中的 数据存放的位置和数据i 拘k e y 值有关，而非结构化p 2 p 系统中，数据的存放位置与 数据是无关的。 1 非结构化p 2 p 网络模型 非结构化p 2 p 网络模型按节点的集中化程度又分： ( 1 ) 集中式p 2 p 网络模型 以n a p s t e r 3 3 l 为代表的集中式p 2 p 网络架构是最早出现的p 2 p 应用模式，由于仍 具有中央服务器，没有完全去除服务器的性质，所以又被称为非纯粹的p 2 p 网络。 在n a p s t e r 系统中，资源的检索过程类似于传统的c s 模式，即所有节点向中央服 务器查询资源，但与传统的c s 模式不同的是，资源并非存储在服务器上，而是存 储在各个节点中。从服务器的返回结果中，查询节点根据网络流量和延迟等信息 选择合适的节点建立直接连接，进行数据传输，数据传输不需要经过中央服务器。 如图2 3 所示：这种网络架构的资源搜索效率较高，但其主要缺点是中央服务器 第二章流媒体内容分发技术 是系统的单故障点，如果中央服务器出现故障，则整个系统就会瘫痪，所有节点 都没法查询到所需的资源。 p 耐鳞节点s ：i 蹙缎等嚣 m 蠹内r ；碗成d ：文 i 卜戮 图2 3 n a p s t e r 网络模型 ( 2 ) 纯p 2 p 网络模型 纯p 2 p 网络架构以c m u t e l l a 为代表，g n u t e l l a 系统完全取消了服务器的概念，是 第一个真正采用无中心结构的p 2 p 文件共享系统，如图2 4 所示。 拓扑维护：g n u t e l l a 中每个节点维护了一个邻居节点列表，记录了与之相关联 的结点的i p 地址等信息。相邻节点之间彼此交换邻居节点信息来保持拓扑图的连通 性，并替换因节点离线而失效的连接。节点定期向邻居节点发送p i n g 消息，收到 p i n g 消息的节点则回应一个p o n g 消息，并附带了当前所拥有的邻居信息。收到 邻居列表后节点按照一定规则进行邻居替换，保证自身拥有一定数量的有效邻居。 当新的节点加入系统时( 它需要知道系统中至少一个节点的i p 地址) ，它向系统己有 的节点发送p i n g 消息来获得足够的邻居节点，从而加入系统。 信息搜索：g n u t e l l m 吏用洪泛式( f l o o d i n g ) 的资源查询机制。发起资源查询的节 点向所有邻居节点发送q u e r y 消息，而收至u q u e r y 消息的节点除了进行本地查 询，即看自己有没有所查询资源外，还把查询进一步转发给自己的所有邻居节点。 这些节点收到这一消息后，重复进行同样的操作，即进行本地查询和消息广播。 为避免无穷递归，每个搜索消息都有一个t t l ( t i m e t o l i v e ) 域，它随着转发的进 行而递减，t t l 为o 时消息不再被转发。另外节点对近期接收到的消息进行缓存， 以避免重复处理同样的消息。搜索操作结束后，发起搜索的节点会收到一些查询 结果，记录了满足条件的文件及其存放的节点i p ，节点可从中选择一些节点来下载 所需文件。g n u t e l l a 具有较好的扩展性，也不存在单故障点，但其查询机制效率较 低，而且也不能保证搜索到所需的、确实存在的资源，同时每次查询都要产生大 1 4 _ 一 p 2 p 流媒体内容分发系统技术研究 量的转发消息，容易形成消息泛滥，增加了网络的负担。 图2 4g n u t e l l a 网络模型 ( 3 ) 混合式网络模型 k a z a a 是混合式p 2 p 模型的典型代表，如图2 5 ，它在纯p 2 p 分布式模型基础上 引入了超级节点的概念，综合了集中式p 2 p 快速查找和纯p 2 p 去中心化的优势。 k a z a a 模型将节点按能力不同( 计算能力、内存大小、连接带宽、在线时间等) 区分 为普通节点和超级节点两类。当一个普通节点启动k a z a a 程序时，它首先与某一 超级节点建立t c p 连接，然后向这个超级节点发送它所拥有的文件的元数据，元数 据包括：文件名，文件大小，文件内容的哈希值( h a s hv a l u e ) ，以及其它信息( 在按 关键字查询时将用到这些信息) 。文件内容哈希值是一个文件的唯一标识，在某文 件的下载任务失败后，k a z a a 客户端可以根据此文件内容的哈希值自动搜索哈希 值相同的文件。 超级节点维护着所有隶属于它的普通节点的文件标识和对应的i p 地址等信息， 有点类似于n a p s t e r 中的中央服务器。超级节点与其所属的若干个普通节点构成一 个自治的簇。而整个p 2 p 网络中各个不同的簇之间再通过纯p 2 p 的模式将超级节点 连接起来，甚至也可以在各个节点之间再次选取性能最优的节点，或者另外引入 一个新的性能最优的节点作为索引节点来保存和维护整个网络中可以利用的超级 节点信息，并且负责维护整个网络的结构。 普通节点的文件搜索先在本地所属的簇内进行：普通节点向所属的超级节点 发送查询关键字，超级节点收到查询请求后，在本地目录数据库中查找相关文件， 若成功找到，则返回文件的元数据，包括文件所在节点的i p 地址。只有查询结果不 充分的时候，才在超级节点之间进行有限的洪泛查询；超级节点向与其有连接关 系的其他超级节点广播这个查询消息。收到这个消息的超级节点做本地数据库查 询，如果能找到，则向提交请求的普通节点返回查询结果，否则，继续广播查询 第二章流媒体内容分发技术 消息。 k a z a a 的这种混合式网络架构，可有效地消除p 2 p 结构中使用洪泛算法带来的 网络拥塞，也提高了资源搜索效率，并且超级节点的引入也能在一定程度上提高 整个网络的负载平衡。 图2 5k a z a a 网络模型 2 结构化p 2 p 网络模型 结构化( s t r u c t u r e d ) p 2 p络模型与非结构化p 2 p 网络模型的根本区别在于每个 节点所维护的邻居是否能够按照某种全局方式组织起来，以利于快速查找。结构 化p 2 p 模式采用纯分布式的消息传递机制，及根据关键字进行查找的定位服务。目 前的主流方法是采用分布式哈希表( d i s t r i b u t e dh a s ht a b l e ，d h t l 3 4 ) 这种资源定位 技术：首先将网络中的每一个节点分配虚拟地址( v i d ) ，同时用一个关键字( k e y ) 来表示其可提供的共享内容。取一个哈希函数，这个函数可以将k e y 转换成一个 哈希值h ( k e y ) 。网络中节点相邻的定义是哈希值相邻。发布信息的时候就把( k e y ， v i d ) - - 元组发布到具有和h ( k e y ) 相近地址的节点上去，其中v i d 指出了文档的存 储位置。资源定位的时候，就可以快速根据h ( k e y ) 到相近的节点上获取二元组 ( k e y ，v i d ) ，从而获得文档的