（应用数学专业论文）基于p2p的可靠应用层组播树生成算法.pdf

河南大学硕士研究生学位论文第l 页 摘要 近年来，i n t e m e t 上的流媒体应用得到了迅猛的发展，然而流媒体的质量 并不能让人满意，主要原因在于k t e m 文酶原始设计主要是为了满足端对端 系统的需求，传统的基于单播的传输方式很容易导致服务器端的性能瓶颈， 并不能有效的支持流媒体的大规模数据分发。因此，研究人员提出了i p 组播 技术：在网络层提供把数据包发送到共享相同臻地址的一个主机组的服务， 然而p 组播技术有其翻身固有的限制而难以部署，主要包括协议本身的复杂 性、网络异构性、以及缺少支持组播的可靠的、具有扩展性的拥塞控制机制 等。因此尽管i p 组播技术已经存在了数十年，仍然没有大规模的商业应用。 为了提高叠l e 臻霞上的流媒体的q o s ，研究人员提出了基于挖p 网络的媒 体分发技术：应用层组播技术，即把组播的功能从网络层移到了应用层。应 用层组播不需要对现有网络基础结构做任何修改，不需要路内器支持，在虚 拟叠加网的基础上由参与组播的端系统完成包的复制、路由计算、转发等功 能，从而笺方便、灵活地在因特网上进行部署。 本论文首先论述了流媒体发布技术，并就基于p 2 p 的应用层组播进行了 理论分析，就各类应用层组播协议特点和应用模式做了总结。由于应用层组 播通过组播树将组播分组传送至每一个组成员，树中的节点失效螽其下游的 节点将不能接收到分组，使得系统变的脆弱。本文提出了一种基于p 2 p 的可 靠应用层组播树生成算法，仿真结果表明，算法对于提高应用层组播的可靠 性有明显作用。 关键词：应用层组播；p 2 p 网络；流媒体； 第1 i 页河南大学硕士研究生学位论文 a b s 芝r a e 童 m u l t i m e d i as t r e a m i n go v e rt h em t e m e ti sb o o m i n gn o w a d a y s o w e v e r ，t h e s t 辩糊i 砖gq 醢a l 晦 sg e 魏e r a l l yu n s a t i s f a c t o r kf o fl 溅g e - s e 烈a b l e 坟a d c a s 斑毽，t h e 露鑫d 建i o 髓越i n 专e 鞭蘸璐o d e lo fp o 如t 1 0 巾o i 躐猢i e 豁le 镄羲擞渊i e a 重i o 赣两s e 粼毙s e 鑫l o ， t l l en e 帆o r k i n gr e s e a r c hc o m m u n 埘p r o p o s e dl pm u l t i c a s t ，an e 铆o r kl a y e r s e r v i c et h a ta l l o w sa s i n g l e s o u r c et od i s t r i b u t ead a t as t i e a mt om a n y s i m 珏l 铯瓣e o 雌s 羚e o i v e 醛遮a 娃e 蕊e i e 隧m 黝稚e t瓣g 孵e v e 嚣穗 sn e 批o ki a y 霉 a p p r o a e b 魏a s 撇e tw i ml i m i 协ds u c c e s s ( 1 u et oan l 程n b e ro f 弦c 幻r si n c l t l d i n g c o m p l e x 时o fn e t 、) l ，o r kp r o t o c o li t s e l ei t si n a b i l 时t oa d d r e s s1 1 1 t e m e th e t e r o - g e 觳o i 奴缄di t sl a c ko f 铋p p o r tf o re 笨c i e 嫩嬲蘸s c a l 曲l e 妇n 印o r 乏p 专o c o l sf o r 糟l i 曲i l 姆瓣莲e g e s 鼍i 镰e 雠锄i l 。a s 蠢羚聪l 耄，i 珏s p 娩o fa & e 鑫& o fe x i s 謇e 蕤e 岛臻e m u l t i c a s tp r o t o c 0 1a r c h i t e c t u r er e m a i n sj u s tar e s e a r c hc o m m o d 时w i ml i m i t e d p 朋e 扛a t i o ni n t oc o m m e r c i a l l yd e p l o y e di n t i e m e t k 迸畦汀稔i 嫩霉o v e 攮eq o so fs 溉a m i 弱器o v e r 佼e 孙t e 撼e 童，a 辫i l i e 嚣鲢。整l 戮 m u l t i e a s t ( a l mh e n c e f o 确) b a s e do np 2 pn e 撕o r ki sp r o p o s e d ea l m ，w h i e h n e e dn o td oa n ym o d i a c a t i o no nt h ep r e s e n tn e 铆o r ki n 触饥l c t u r e ，c a n 如l f i l lt h e m u 耗i c 嚣s l 翔融e t i 雠。珏馕eb a s i so f v i f 搬绷o v e r a yn e 溆翻泰s ，霹l ee 魏d - s y s t 嗽镳攮e a 乙mg 斓pe 麟强d 雕蔽e 氇e 毫a s 瓤瓣馥a s 弧p i e 蕊鹅p a c 薮鑫g o s ，凇】妊n g 糕莲 d a t af o m a r d i n g i i lm i sw a yi tb e m e sac o n v e n i e n ta n df l c x i b l em e t h o dt o d 印l o ym u l t i e a s ts e r v i c e s t h eb t e m e t 。 豫i s 缀i e l 黪蠡域抵e u s s e s 莲i s 饿鞋重量雠鼍e e 蟪o l o 黟q f 燃e d i 纛逝e 粼糯g 。强糕 i ta n a l y s i sa l mb a s e do np 2 pm o d ca n ds u m 狲a r i z e sf - ea _ t i l r e sa i l da p p l i c a t i o n m o d e so fa l m a l ms e n d sp a c k e t st o 辨u u pm e m b e r sb yt h es p a i m i i 培t r e e ， w h 鼹雠eo r 擞o r en o d e s 热i l ，馕霉d o 嘲s 骶凇n q d e se a n n o 鼍r 。c e i wp 萋( 搬， w h i l em 癜e s 攮es y s l e 糙b e e o m e 螽a g i l e 。至墩) p o s e di 魅像i sp 纛p 谨i sar e l i 曲l e a l g o r i t h mo fc o n s t m c t i n ga l mt r e e n se f r e c t i v e l yh a sb nv e r i f i e dt 1 1 r o u 曲 s i m u l a t i 雠s i 翌霉i 蠡c a n t l y 蚤嗡w o r d s ：a p p l i _ c a t i 渊l a y e rm u l t i c a s t ；p 2 pn e 晰o r k ；m e d i as 骶撇i n g 关于学位论文独立完成和内容创新的声明 本人向河南大学提出硕士学住申请。本人郑重声明：所呈交的学位论文是 本人在导师的指导下独立完成的，对所研究的课题有新酌见解。据我所知，除 文中特别加以说明、标注和致谢的地方外，论文中不包括其他人已经发表或撰 写过的研究成果，也不包括其他人为获得任何教育、科研机构的学位或证书而 段保存、汇编学位论文( 纸质文本和电子灭本) 。 ( 涉及保密内容的学位论文在解密后适用本授权书) 学位获得者( 学位论文作者) 釜名：墼奎 2 0d y 年6 月o 日 学位论文指导教师釜名：壹垫丝 2 0d g 年6 月j o 日 河南大学硕士研究生学位论文第1 页 第 章绪论 1 1 研究目的和意义 随羞毡l e 掇痰霹终疆垛】宽带接入技术筋快速发震，各种信息的共享和访闻 需求达到了前所未有的高度。网络厢户感兴趣的不仅仅是一些传统的文本和 图像之类的简单信息，对于多媒体内容如视频点播、网络电视直播的需求曰 渐增加。以前，多媒体内容需要从服务器完全下载后才能播放，由于多媒体 内容一般比较大，完全下载整个多媒体内容需要很长的时间，无法满足用户 的要求，影响了多媒体内容的传播。应用流媒体技术【2 - 5 】后，用户就不需要等 待很长一段时间才能接收到流媒体内容。流媒体技术实现了下载的同时支持 用户在线观看多媒体的功能。在这几年，流媒体技术得到了广泛的应用。 本文关心的问题是如何把流媒体数据从服务器向大量的客户端进行发 布。基于单播的c s 架构是最简单的流媒体发布方法。这种方法消耗巨大而 昂贵的服务器带宽，客户端却仍然难以获褥令人满意的媒体质量。原嚣在于 c s 架构完全依赖予服务器的性能包括带宽和计算能力，具有固有的性能瓶 颈，所以无法很好的适应大规模的流媒体发布。内容发布网络c d n 【6 】是对单 一服务器的c s 模式的改进，由分布在不同区域的服务器群组成一个虚拟网 络。不同的客户端选择对它来言性能最优的赧务器为其提供流媒体数据，尽 可能避兔服务器的性能瓶颈和网络对于数据传输的影响，使客户端获取高效 和稳定的流媒体数据。但c d n 的部署成本相当高，使得c d n 无法推广。 i p 组播f 弗】是面向组通讯应用的，被认为是流媒体发布的最佳方法。炉 组播功能是网络层提供的，由具有组播功能的路由器复制和转发数据。但怒， i p 组播的扩展性、健壮性和拥塞控制等问题还没有很好的解决。所以，i p 组 播被提】出数十年后还没有被广泛的部署。因此，研究者提出了一种更灵活的 流媒体发布方案，霹应用层组播，把组播的功能从网络层移到应用层，由客 户端实现数据复制和转发的功能。应用层组播不需要组播路由器的支持而且 容易部署。应用层组播策略结合了p 2 p 的思想【9 l0 1 ，每个用户既是客户端又 是缀务端，在接收数据的同时承担数据转发的功能。 应用层组播系统1 】依赖一个由计算机( n o d e s ) 和之间的连接( e d g e s ) 组成的 网络，这个网络称为叠加网( o v e r l a yn e t 、) r o r k ) 【1 2 1 3 】。叠加网是位于传输层和 第2 页河南大学硕士研究生学位论文 应用层之间的一个功能性虚拟网络，利用底层服务，向上层应用提供a p i 。 叠加网能确保节点能获得数据、延时有限、自动负载平衡、自组织等。叠加 网的配置和部署只需利用底层通用的协议，不需要路由器的支持，这就使得 它可以在因特网上灵活、方便的部署。p 2 p 网络是一种分布式的叠加网，网 络的参与者共享他们所拥有的一部分硬件资源( 处理能力、存储能力、网络连 接能力、打印机等) ，这些共享资源需要由网络提供服务和内容，能被其它对 等接点( p e e r ) 直接访问而无需经过中间实体。在此网络中的参与者既是资源 ( 服务和内容) 提供者( s e r v e r ) ，又是资源( 服务和内容) 获取者( c l i e n t ) 。p 2 p 打 破了传统的c l i e n t s e r v e r 模式，在网络中的每个节点的地位都是对等的。每 个节点既充当服务器，为其它节点提供服务，同时也享用其它节点提供的服 务。 目前应用层组播研究 1 4 】集中于视频会议系统、媒体流的分发系统( 如视频 广播) 和订阅分发系统( p u b l i s h s u b s c m es y s t e m ) 等。它主要用于实时的多媒 体传输，这利用了多媒体信息的性质，即在传输链路质量下降时，用户仍可 利用收到的低速率或者不完整的信息；也利用了组播“时间上集中、空间上 分布”的特点。 由于应用层组播实现数据包的复制和转发是在应用层的终端主机上而不 是在网络层路由器上，因此不可避免地在同一条数据逻辑链路上形成多个同 样的数据包传输而造成较大的传输负载，较大的负载可能造成终端主机的失 败。并且，这些终端主机可以自由地退出组播树，造成组播树中的下游节点 接收不到数据，使系统变的很脆弱。因此提高应用层组播的可靠性对于保证 应用层组播应用的服务质量有重要的意义。 1 2 研究内容 一虽然应用层组播只提出短短几年，但是很多研究机构开展了相关的研究。 n a r a d a 【15 怕】是最早的应用层组播研究项目之一，由卡内基梅隆大学开展； a c 瓜i ( a 1 r & tc e n t e rf o r1 1 1 t e m e tr e s e a r c ha ti c s i ) 提出了基于应用层组播的 一整套内容分发的解决方案y o i d 【1 7 】，包括应用层组播的可靠、安全、拥塞控 制等机制。马里兰大学的s u m a nb a l l e l j e e 等设计了一个基于分层结构的可扩 展应用层组播策略n i c e 1 引。h m t p 1 9 】是c a l i f o m i a ，l o sa n g e l e j 大学b e i c h u a i l z h a i l g 等在2 0 0 2 年提出的基于树结构的端组播策略；s p l i t s 仃e 锄【2 0 】是微软研 河南大学硕士研究生学位论文第3 页 究所设计的一个基予多树的高带宽组播方案；c o o l s 骶锄【2 1 2 2 】系统是香港中 文大学张欣研等设计和实现的基于非结构化o v e r l a v 的应用层组播系统；在 国内，华中科技大学设计并实现了个p 2 p 视频直播服务系统a n y s e e 【2 3 1 。虽 然应用层组播的研究已经取得了一定的成果，但是由于网络的复杂性和动态 性，使得应用层组播系统的流媒体分发效果没有达到令人满意的程度，一些 关键问题还有待进一步的研究，主要包括： 1 应用层组播系统中，流媒体数据在到达客户端之前会有定的延迟。像 在基于树组播的策略中某些节点( 如叶子节点) 的端到端延迟可能会很 大，所以，必须尽可能缩短树的高度。端到端迟延对于实时流媒体系统 是个非常关键的问题【2 4 之7 1 。 2 客户端在加入组播系统前，需要一个定位的过程，即查找个合适的位 置加入或者选择一些性能较好的客户端作为数据源。因此客户端在获褥 数据前需要等待定的时间。这个等待时间的长短主要取决于客户端加 入时需要联系的其它客户端的数量。对用户来讲，较大的加入迟延是不 能容忍的。所以在保证加入的有效性下，尽可能的访问少量的客户端。 目前对这个问题的研究还比较少f 2 8 ，2 9 1 。 3 应用层组播中的客户端往往是不可预测的，在任何时间随意加入或离开。 如果这些客户端承担着向其他客户端提供数据的任务，那么它的离开可 能导致某些客户端的流媒体服务受到影响。为了尽量减少这种影响，必 须增强应用层组播策略在动态环境下的可靠性，而且策略必须具有有效 的检测机制和快速的恢复能力【3 0 - 3 3 1 。 4 大部分应用层组播策略采用一个结构化覆盖网络，难以充分利用节点熬 带宽睁4 弓引。比如在树拓扑中，只有内部节点承担复制和转发数据的任务， 大部分边缘节点没有贡献任何资源，这与p 2 p 思想是相违背的。还有大 部分策略中低带宽节点没有得到利用。 5 接收端可能需要保存一些覆盖网络的拓扑信息，周期性与其它节点交换 信息来维护和优化覆盖网络。每个节点的控制开销必须尽量小，避免占 用过多网络资源耐导致控制消息的拥塞。这对于大规模组播环境下的可 扩展性是非常重要的疆。 鞠】。 本文对以上的内容都做了一定的研究，特别是第三个内容：应用层组播 的可靠性问题。在研究了国内外的解决方案后，本文提出了一种基于p 2 p 的 第4 页河南大学硕士研究生学位论文 可靠应用层组播树生成算法，仿真结果证明本算法对于提高了单树结构应用 层组播的可靠蠼有麓显作震。 1 3本文工作 由于应用层组播实现数据包的复制帮转发是在应耀层的终端主机上，丽 不是在网络层路由器上，端主机加入退患组播具有随意性，一个端主机的退 出可能导致其它端主机无法接收到数据，应用层组播的可靠性大大降低【l 4 】。 为了提高单树结构应用层组播系统的可靠性，本文提出了一种基于p 2 p 的可靠应用层组播树生成算法。算法分为两个阶段：第一个阶段在段p 叠加 网之上构造总延迟最小的组播树；第二个阶段利用组播树中节点的存活期符 合重尾分布( 1 1 e a v y - t a i l e dd i s 悄b u t i o n ) m 0 1 ，动态的把节点组织到一个能反映节 点可靠性的逻辑层次中，使德可靠性高的节点靠近组播树的根节点，可靠性 低的节点远离组播树的根节点，从而提高了应用层组播的可靠性。最后，在 n s 2 仿真平台上对本算法和y o i d 【1 9 】进行了仿真，分析和比较了实验结果。 主要学术贡献为： 研究了流媒体及其发布技术、p 2 p 技术阍弗】、应耀层组播技术。着重分 析了i p 组播技术存在的问题和应用层组播的特点；对应用层组播中的主 要算法和关键技术进行了分析和归纳，同时对应用层组播的性能指标进 行了总结。 由于应用层组播数据传输的特点【l 羽，应用层组播的可靠性是一个研究热 点。并且单树结构的应用层组播的传输数据具有高效性，该类应用层组 播被广泛的应用。针对单树结构的应用层组播可靠性问题，国内外提出 很多相应的解决办法。在分析了这些解决办法的基磊蠹上，本文针对单树 结构的应用层组播提出了一种基于p 2 p 的可靠应用层组播树生成算法。 算法的核心思想：在p 2 p 叠加网上实现应用层组播，在l p 网络上构建可 扩展、分布式、自组织的0 v 酣a y 网络，p 2 p 技术为应用层组播提供应震 层路由和叠加网节点的定位功能。在p 2 p 叠加网之上生成一棵可靠的组 播树，它分为两个阶段：第一个阶段在p 2 p 叠加网上构造总延迟最小组 播树；第二个阶段利雳组播树中节点的存活期符合重尾分布，动态的把 节点组织到一个能反映节点可靠性的逻辑层次中，使得可靠性高的节点 靠近多播树的源节点，可靠性低的节点远离多播树的源节点，从而提高 河南大学硕士研究生学位论文第5 页 了应用层组播的可靠性。 为了分析算法的性能，在n s 。2 网络模拟平台睁】上，利用n s 2 中集成的 g bi t m 【4 5 】工具生成网络拓扑，并将本文提出的应用层组播树生成算法与 y o i d 算法进行比较。通过对网络服务质量、接收数据质量、数据传输服 务中断次数的仿真模拟分析，本文所提出的基于p 2 p 的可靠应黑层组播 树生成算法能够提高网络服务质量、减少对组播树根节点的压力、提高 数据传输质量、减少数据传输服务中断次数，对于提高应用层组播树的 可靠性有甓显作用。 1 4 论文组织安排 论文的具体安排如下： 第一章是绪论。概要的介绍了课题来源、研究罄的程意义、研究内容、 本文的工作和本文的论述结构。 第二章介绍了流媒体及其发布技术。首先分析了流媒体的概念和基本原 理，并介绍了传统的流媒体发布技术：c 怨构架、代理服务器和c d n 技术。 然后介绍了p 2 p 技术的基本概念、分类、和当前主要的p 2 p 协议和软件，并 总结了p 2 p 模式媒体传输的优点。最后重点分析了i p 组播技术及其存在的问 题。 第三章主要研究了应用层组撩技术。首先，通过分析炉组播不麓在 i i l t e m e t 上广泛部署的原因，介绍了应用层组播技术的产生和概念。然后分析 了几种主要的应用层组播算法和应用层组播中的关键技术，最后介绍了应用 层组播算法的评价方法。 第四章详细描述了基于p 2 p 的可靠应用层组播树生成算法。结合第三章 对应用层组播技术的分析，针对单树结构的应用层组播的可靠性问题，提出 了一种基于挖p 的可靠应用层组援树生成算法，通过n s 一2 平台的网络仿真 模拟分析，证明该算法对于提高单树结构的应用层组播可靠性有显著作用。 第五章是对论文的工作进行总结和展望。 本章小结 本章首先概要的介绍了课题来源、研究目的和意义，然后介绍了研究内 容和本文的工作，最后，介绍了论文的具体安排。 第6 页河南大学硕士研究生学位论文 第2 章流媒体及其发布技术 2 1引言 流媒体( s 仃e 锄i n gm e d i a ) 是一种新兴的网络传输技术【2 1 ，在互联网上实时 顺序地传输和播放视音频等多媒体内容的连续时基数据流，流媒体技术包括 流媒体数据采集、视音频编解码、存储、传输、播放等领域。流媒体是相对 于传统的下载回放( d o w n l o a d p l a y b a c k ) 方式而言的一种媒体格式，它能从 i n t e m e t 上获取音频和视频等连续的多媒体流，客户可以边接收边播放，使时 延大大减少。 传统的多媒体传输方式是指在播放之前，用户下载多媒体文件至本地， 通常这类文件容量较大，依据目前的网络带宽条件，需要较长时间，并且对 本地的存储容量也有一定的要求，这就限制了p d a 等低存储容量设备的使 用。基于流媒体的传输则把多媒体信息通过服务器向用户实时地提供，采用 这种方式时，用户不必等到整个文件全部下载完毕，而只需经过几秒或几十 秒的启动时延即可播放，之后客户端边接收数据边播放。与下载方式相比， 基于流媒体的传输具有显著的优点：一方面大大地缩短了启动延时，同时也 降低了对缓存容量的需求；另一方面，又可以实现现场直播形式的实时数据 传输，这是下载等方式无法实现的，同时有助于保护多媒体数据的著作权。 近年来，随着宽带网络的发展，特别是宽带接入技术的发展，实时的高 质量流媒体传输应用已经成为可能。音频和视频编码技术的发展和i p 流媒体 协议的标准化也成为流媒体的广泛应用起到重要的促进作用。基于流媒体传 输的应用得到了越来越多的重视，流媒体应用将成为高速网络的主要应用之 2 2 流媒体的概念 流媒体其实是一种多媒体文件，其在网络上传输的过程中应用了流技术 【3 】。所谓流技术，就是将完整的影像和声音数据经过压缩处理后保存在网站 服务器上，用户可以边下载边获取信息，从而无需将整个压缩文件下载之后 再观看的网络传输技术。与单纯的下载方式相比，这种对多媒体文件边下载 边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容量 河南大学硕士研究生学位论文第7 页 的需求也大大降低。流媒体系统大致有以下几个组件：转档编码工具 ( e n c o d e r ) ，用于压缩转档；服务器( s e r v e r ) ，管理并传送大量多媒体文件； 编码器( s c r i p t e r ) ，可整合多媒休，并以互动方式呈现；播放器( p l a y e r ) ， 在用户端呈现流的内容。 流媒体技术有三大特点：畿够实时播放音视频和多媒体内容，也可对其 进行点播，具有交互性；边下载，边播放；客户端接收、处理和回放一个流 媒体文件，但该文件不在客户端驻留，不占用客户端的存储空间，流媒体处 理和播放完随即被清除。只有同时符合这三个特点的才能称蒸为流媒体。 2 2 1 流媒体技术原理 i n t e r n e t 以包传输为基础进行断续的异步传输，实时a v 源或存储的a v 文件在传输中被分解为许多包，鸯于网络是动态变化的，各个包选择的路嘲不 尽相同，故到达客户端的时间延迟也就不等，甚至先发的数据包有可能后到。 为此，使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确， 从面使媒体数据能够连续输出，不会因网络暂时拥塞使撵放遨现停顿。通常 高速缓存所需容量不大，因为高速缓存使用环形链表结构来存储数据，通过 丢弃已经播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚未 播放的内容。 w e bb r c 、v s e r 秘w p 玎c p 2 扁动播放软件 a p l a y e r 4 。交换控制绩息 r t s p 玎c p f 0 0 p 5 流数据的传输 r t p 门r c p w e bs e r v e r 3 资源定位 a vs e r v e r 图2 一l 餮e b 上的流式传输原理示意图 流式传输的实现需要合适的传输协议，由于t c p 需要较多的开销，故不太 适合传输实时数据。在流式传输的实现方案中，般采用h t t p t c p 来传输控 制信息，两用r t p u d p 来传输实时声音数据。流媒体的具体传输流程如下刚： 王驿e b 浏览器与溪e b 服务器之间使焉h t 秘以交换控制信息，以便把需要 传输的实时数据从原始信息中检索出来。 第8 页河南大学硕士研究生学位论文 2 用 i t t p 从w e b 服务器检索相关数据，由a v 播放器进行初始化。 3 从w e b 服务器检索出来的相关服务器的地址定位a v 服务器。 4 a v 播放器与a v 服务器之间交换a v 传输所需要的实时控制协议。 5 一旦a v 数据抵达客户端，a v 播放器就可播放。 需要说明的是，在流式传输中，使用r t p u d p 和r t s p t c p 两种不同的通 信协议与a v 服务器建立联系，是为了把服务器的输出重定向到一个不同于 运行a vh e l p e r 程序所在客户机的目的地址。实现流式传输一般都需要专用 服务器和播放器，其基本原理如图2 一l 所示。 2 3 传统的流媒体发布技术 2 。3 1ciie n t s e r v e r 架构 如图2 2 所示，在传统的c l i e n t s e r v e r 架构中，服务器必须通过网络给 每个用户发送多份相同的数据，因为多媒体的数据量大，随着客户端数目的 增加，很容易造成s e r v e r 端的网络拥塞。为了降低服务器的负载，代理服务 器、c d n 技术、p 2 p 技术开始得到研究和发展。 三堑 畏 图2 2c li e n t s e r v e r 结构图 2 3 2 多媒体代理服务器 代理服务器( p r o x y ) 6 1 是一种特殊类型的i n t e m e t 服务器。在传统的w e b 应用中，代理服务器用于扩展用户对i n t e m e t 的数据访问能力。为提高代理 服务器的系统效率，缓存( c a c h e ) 技术被引入到代理服务器中，代理服务器 将一些频繁访问的数据存贮在内存或硬盘中，当用户通过代理服务器用户访 河南大学硕士研究生学位论文第9 页 问时，如果数据在代理服务器的缓存中，代理服务器就无需访问远程的服务 器，而只需通过本地缓存为用户服务。流媒体代理服务器的重要作用表现在： 代理服务器承担了一部分用户访问，有效的降低了主服务器的访问负载； 可以提高用户访问的响应速度，降低肩动延迟； 代理服务器离用户较近，网络状况较好，可以提供更好的流媒体服务； 可以提高服务器的鲁棒性及节省网络资源。 然而代理服务器的主要问题在于如何保证主服务器的内容于代理缓存中 的内容的一致性。即当服务器的内容更新后，如果保证代理服务器中缓存的 数据即时更新，对这些问题的研究就产生了更智能的c d n 技术。 文 s e i 芳 t 弋 影 图2 3多媒体代理服务器模型 2 3 3c d n 概述 c d n 旧j 的英文全称是c o n t e n td e l i v e r yn e t 、j l ，o r k ，即互联网内容发布网络， 它是一个建立并覆盖在互联网( i n t e m e t ) 之上、由分布在不同区域的节点服 务器群组成的虚拟网络，如图2 - 4 所示。c d n 可以实现把服务器的内容高效、 稳定地发布到离客户端最近的地方。其基本思路就是尽可能避开互联网上有 可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳。 通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智 能虚拟网络，c d n 系统能够实时地根据网络流量和各节点的连接、负载状况 以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近 的服务节点上。对用户来说，通过c d n 系统，得到响应的时间被大大缩短， 第1o 页河南大学硕士研究生学位论文 连接质量也大大提高，从而大大提高了网络访问的总体性能。然而，c d n 高 昂的部署成本始终是一个问题。 2 4p 2 p 技术 图2 4c d n 结构图 2 4 1p 2 p 的基本概念 p 2 p 技术主要指由硬件形成网络连接后的信息控制技术，主要代表形式 是在应用层上基于p 2 p 网络协议的客户端软件。i b m 为p 2 p 下了如下定义： p 2 p 系统由若干互联协作的计算机构成，且至少具有如下特征之一：系统依 存于边缘化( 非中央式服务器) 设备的主动协作，每个成员直接从其他成员 而不是从服务器的参与中受益；系统中成员同时扮演服务器与客户端的角色： 系统应用的用户能够意识到彼此的存在，构成一个虚拟或实际的群体。p 2 p 网络是互联网整体架构的基础，互联网最基本的t c p i p 协议并没有客户端和 服务器的概念，在通讯过程中，所有的设备都是平等的一端。 p 2 p 技术与计算机技术联系起来可理解为计算机以对等关系接入网络， 进行数据交换，类似w i n d o w s 中的网络邻居。w i n d o w s 中的n e t b e u i 协议 就是一种支持对等网的网络协议，通过网络邻居使用该协议可以在局域网上 共享伙伴机器中的文件内容，甚至于硬件设施。实质上，可以认为目前为大 家所关注的p 2 p 技术是w i n d o w s 中的网络邻居从局域网到1 1 1 t e m e t 概念上的 河南大学硕士研究生学位论文第11 页 一种延伸。也就是说可以利用p 2 p 客户端软件在i n t e m e t 上实现文件甚至硬 件设施的共享。 p 2 p 技术改变了“内容”所在的位置，使其j f 在从“中心”走向“边缘”， 也就是说内容不再存于主要的服务器上，而是存在所有用户的p c 机上。p 2 p 使得p c 重新焕发活力、不再是被动的客户端，而成为具有服务器和客户端 双重特征的设备。 2 4 2p 2 p 的分类 根据是否有中央服务器，可将p 2 p 网络分为混合式、分散式和有超级节 点的p 2 p 网络。 混合式p 2 p 网络的中央服务器只是索引服务器，与c s 模式中的服务器 不同，p 2 p 网络中的索引服务器只记录内容的索引和节点的必要信息，辅助 节点之间建立连接，而内容本身存储在节点中，内容的传送只在节点之间进 行，不通过服务器。如n a p s t e r 、b t 、e d o n k e y 、e m u l e 。混合式p 2 p 网络结 构如图2 5 所示。 p p or 厶 图2 5 混合式p 2 p 网络结构 分散式p 2 p 网络没有服务器，通过基于p 2 p 协议的客户端软件搜索网 络中存在的对等节点，节点之间可直接建立连接，每个节点都是完全平等的， 如g n u t e l l a 。分散式p 2 p 网络结构如图2 6 所示。 有超级节点的p 2 p 网络中，有着高网速( 特别是很高的上行速率) 和高 第12 页河南大学硕士研究生学位论文 性能的计算机被自动设置为超级节点。超级节点作为其它用户的索引服务器。 随着节点的频繁加入和退出，超级节点有着很大的动态性，如f a s t t r a c k 。 d e r 芦 p e erb 。j 。：， 一【：f ：ri ， 图2 6 分散式p 2 p 结构 有中央服务器的p 2 p 网络易于管理、易于发现网络节点、搜索速度较快。 但是，存在单点失效问题，一旦中央服务器出现故障，整个网络将陷于瘫痪。 没有超级节点的分散式p 2 p 网络则没有单点失效问题，任何一个节点退出 网络或出现故障，都不会造成显著影响。但是不易管理，不易发现全部网络 节点，搜索相对较慢或者算法较复杂。有超级节点的p 2 p 网络结合了前两 者的优点，但是也有新问题，如怎样管理超级节点。 2 4 3p 2 p 协议和软件 。 n a p s t e r n a p s t e r 是s h a w nf a n n i n g 和s e 锄p a r k e r 于1 9 9 9 年5 月共同创办的文件 共享社区网站，同名软件n 印s t e r 使用p 2 p 技术提供免费m p 3 文件下载服务。 曾因遭到美国唱片业协会( r i a a ) 控告侵犯版权而被关闭，现在n a p s t e r 以 收费方式重新开通。 n a p s t e r 是混合式、非结构化的文件共享p 2 p 网络。中央服务器保存当 前所有在线节点所存文件的目录索引，而不存贮m p 3 文件，m p 3 文件保存 在节点的共享目录中。客户端搜索并下载音乐文件的整个过程如下： 1 节点打开n a p s t e r 客户端软件，登陆中央服务器，并向服务器发送搜索 请求；服务器通过目录索引查找与该节点搜索请求相匹配的m p 3 文件信 河南大学硕士研究生学位论文第13 页 息。 2 服务器向该节点发送拥有该m p 3 的所有节点的i p 地址、端口号和存放 路径等信息来响应节点的搜索请求。 3 该节点根据服务器所提供的信息，p i n g 每一台拥有所需m p 3 的节点，计 算返回时间，与距离最近的节点直接建立连接，开始下载文件。如果最 近节点位于防火墙后，则节点通过服务器向最近节点发送自己的l p 地址 和端口号，请求最近节点主动与本节点建立连接。下载完成后双方终止 连接。 b t b i t t o l l r e n t ( 简称b t ) 协议和同名软件是由美国旧金山的软件工程师布 莱姆科亨( b r a mc o h e n ) 开发的，现在有很多种基于b t 协议的软件，如 b i t c o m e t 、b i t s p i r i t 、f a s t b t 。 b t 是混合式、非结构化、多点多元传送数据的文件共享p 2 p 网络。在 b t 网络中，文件和文件的分块用s h a lh a s h 标识，h a s h 既是文件的标志， 也用来验证文件的完整性。b t 的中央服务器称t r a c k e r ，保存共享文件的信 息和每个文件的共享用户的信息，而不保存文件内容。共享文件的信息保存 在扩展名为t o r r e n t 的文件中，包括t r a c k e r 地址、文件的分块大小、分块h a s h 。 每个文件的共享用户的信息包括2 0 字节的i d 、i p 地址、端口号、已下载 上传待下载的部分。t o r r e n t 文件通常借助网站发布。b t 节点共享文件的过 程如下： 1 通过网上搜索或种子发布网站，找到需要的t o 仃e n t 文件； 2 点击t o l l r e n t 文件的连接，会下载t o r r e n t 文件，并且启动b t 客户端软； 3 确认下载后，客户端软件连接t r a c k e r ，上报本机信息( 同b t 共享用户 信息) 和需要共享的文件的信息； 4 t r a c k e r 向本机b t 客户端发送如下信息：与t r a 6 l ( e r 通信的时间间隔，正 在下载相同文件的p e e r s 的d 、口地址和端口号； 5 本机b t 客户端软件向这些p e e r s 发送t c ps y n ，建立连接。从建立连接 成功p e e r s 下载数据。本地完成一块文件下载后，也可以提供给其它p e e r s 下载； 6 下载上传过程中，每隔一段时间，p e e r 会与t r a c k e r 进行通信，通知 t r a c k e r ：上传了多少，下载了多少，还有多少需要下载；t r a c k e r 也会通 第14 页河南大学硕士研究生学位论文 知p e e r 一些新的p e e r 信息； 7 下载完成后，如果没有关闭b t 或者停止任务，那么就只上传，不下载。 g n u t e a g n u t e l i a 是n u l l s o r 公司的j u s t i nf r a n k e l 于2 0 0 0 年推出的一款开放源代 码音乐文件共享工具，现在有多种基于g n u t e l l a 协议的软件，如g n u c l e u s 、 l i m e w i r e 、b e a r s h a r e 等，国内的o p e n e x t 的文件共享功能也是基于g n u t e l l a 协议的。最初的g n u t e l l a 是分散式、非结构化的文件共享网络。现在，g n m e l l a 已经发布了有超级节点的版本。下面说明的是最初的g n u t e l l a 网络。 对等节点a 在初始化时知道已经在g n u t e l l a 网络中的对等节点b 的i p 地址，当a 和b 连接后，a 可以获得b 所知道的所有系统节点信息，这样a 就可以和它所感兴趣的节点建立直接的t c p i p 连接。每个g n u t e l l a 节点都 定义了本地的共享文件夹，它们可以根据文件名的部分或者完全匹配进行查 找。查找按照简单洪泛( f l o o d i n g ) 方式进行，首先传播到所有相邻节点，然 后再传播到相邻节点的相邻节点，直到达到预先确定的层次为止。每条查找 消息都带有全局以惟一的标识符，防止对同样的查找消息进行多次响应。用 户可以基于查找结果，选择合适的文件进行下载并可以和每个文件所有者节 点建立类似h t t p 的连接。 c h o r d c h o r d 是麻省理工学院开发的分散式、结构化p 2 p 搜索协议。在c h o r d 系统中每个节点都具有虚拟的逻辑地址，并根据地址使所有节点构成一个相 对稳定而紧密的拓扑结构。在此拓扑上构造一个存储文件的分布式哈希表 d h t ，文件根据自身的索引存储到哈希表中。每次检索也是根据文件的索引 在d h t 中搜索相应的文件。 g r 0 0 v e g r o o v e 是由l o t u s n o t e s 设计者r a yo z z i e 开发的主要用在企业工作组间 协同工作的p 2 p 软件，g r o o v e 可建立一个安全的企业级协同工作平台( p 2 p 网络) ，提供供求信息链上的互动信息沟通，帮助使用者进行经销渠道维护、 客户服务和支持。在g r 0 0 v e 网络中没有中心服务器，所有的客户机都是完 全对等的。用户拥有相同的窗口，在这个窗口上罗列出共享的文件，可画图 或进行w 曲浏览，且所有通信都是加密的。 河南大学硕士研究生学位论文第15 页 2 。4 4p 2 p 模式媒体传输的优点 通过对p 2 p 技术的介绍，了解到p 2 p 是一种利用广泛分布的自治资源来 完成特定功能的技术，它能较好地适应面向应用系统的需求。其资源包括计 算、存储、网络带宽等，所完成的特定功能可以是分布计算、数据内容共享、 通信协作】以及流媒体服务等。与传统的c s 模式不同，在p 2 p 中分布的各个 对等节点地位平等，直接交换共享计算、存储、信息等资源和服务，无需依 赖集中式服务器。每个节点在享受服务的同时，还需为其它节点提供服务。 这样，遴过廉价节点的协作就熊产生巨大系统增益。如采利耀p 2 p 的思想来 架构媒体服务，请求节点不仅可以向媒体服务器请求服务，而且可以向先前 己被服务或直接拥有该媒体文件的对等节点请求服务，依靠大量对等节点自 身的麓力来减轻服务器和主干网络的压力。与传统媒体服务技术相比，p 2 p 媒体服务技术具有以下几个方面的优势f 4 3 】： 可扩展性好：采用对等模式提供媒体服务，可以利用对等节点的闲散资 源来增加系统服务能力；而如果能够找到本地节点提供服务，就可以减 轻主干网络的压力。因此，在较优的调度策略下，请求雩导至l 满足的溺户 越多，系统所能支持的用户数越大，并不断正反馈迭代，从而可以支持 大量用户。 健壮性强；由予对等节点可以备份媒体文件的副本，媒体骚务器或服务 节点的故障不会造成服务中断。 性价比高：对于媒体服务的运营商而言，无需配置高成本的服务器便可 以获褥高额回报；对于客户而言，无需交纳比获取传统服务更高的价格 就憩享受服务。 适应性强：能更好地适应p 2 p 环境的异构性，能够根据不同节点的不同 计算能力、存储能力、接入带宽来制定不同的传输策略。而且配置简单， 无需配置路由器，只翥在对等节点安装应用层软彳牛郎可。 2 5ip 组播技术 在网络上，主枧之间的通信可采用三种方式：单播( i e a s t ) 、广播 ( b r o a d e a s t ) 和组播( 魏l t i e a s t ) 。单播方式和广播方式可看作是组播的特 殊情况，单播就是组播的信源和信宿各为一个的情况，而广播则是所有的网 第16 页河南大学硕士研究生学位论文 络成员都是组播信宿的情况。图2 7 表示了在单播与组播两种通信方式下， 对于“一点发送，多点接收”应用的实现方式。从图中可以看到，单播传送发 送数据的多个拷贝，每个拷贝发送到一个接收者，而在i p 组播中，不论组成 员数量的多少，数据源只发送一次数据包，并且组播只向那些需要数据包的 主机和网络发送包，任何一个数据包在组播树的链路上只出现一次，因此能 够很好的控制流量，减轻主机和网络的负担，节省了宝贵的网络带宽。 单播 组播 图2 7 单播与组播传送模式的比较 目前组播的服务模型和协议存在着一些问题，使得组播至今没能在 i n t e r n e t 上得到广泛部署a 一方面，从i s p 的角度来看，目前组播不能很好 的适应商业应用的需求，具体有以下几点【7 】： 1 组播数据包的复制和转发都需要路由器的参与才能完成，这就需要路由