（通信与信息系统专业论文）p2p流媒体系统节点管理与数据分发机制.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 圣壁垒 日期：论文作者签名： 圭丝：翌 日期：沙h 。2 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：碑导师签名： 山东大学硕士学位论文 目录 摘要i a b s t r a c t 3 第一章绪论5 1 1 课题的研究背景及意义5 1 2 流媒体技术及p 2 p 技术的研究现状6 1 3 本论文的研究内容和主要贡献9 1 4 论文的组织结构1 0 第二章p 2 p 流媒体相关技术1 2 2 1p 2 p 技术及原理12 2 1 1p 2 p 技术概述1 2 2 1 2p 2 p 网络结构13 2 2 流媒体技术l5 2 2 1 流媒体技术的概念1 5 2 2 2 流媒体系统的系统组成及实现环节16 2 2 3 流媒体传输技术及协议17 2 3p 2 p 流媒体系统模型18 2 3 1 基于单播树的网络模型18 2 3 2 基于多播树的网络模型2 0 2 3 3 基于网状结构的网络模型2 2 2 4 小结2 3 第三章p 2 p 流媒体系统关键技术2 4 3 1p 2 p 流媒体系统分类2 4 3 2p 2 p 系统网络搜索算法。2 6 3 2 1 集中式p 2 p 网络搜索算法2 6 3 2 2 非结构化p 2 p 网络中的搜索算法2 7 3 2 3 结构化p 2 p 网络中的搜索算法2 8 3 3 缓存技术2 9 3 3 1 缓存技术概述2 9 3 3 2 缓存区设计和缓存方式一3 0 3 3 3 缓存替换策略3 l 3 4 小结3 3 山东大学硕士学位论文 第四章一种改进的p 2 p 节点维护策略3 4 4 1p e e r c a s t 的广播机制3 4 4 2p e e r c a s t 的节点维护算法以及存在的问题3 6 4 2 1p e e r c a s t 的节点维护算法3 6 4 2 2p e e r c a s t 的节点维护算法中存在的问题3 7 4 3p e e r c a s t 的改进3 7 4 4 实验结果3 9 4 5 小结4 1 第五章基于p 2 p 的流媒体数据分发机制4 2 5 1 数据分发机制4 2 5 1 1 “推”数据分发机制4 2 5 1 2 “拉 数据分发机制4 3 5 1 3 推拉结合的数据分发机制4 4 5 1 4 与数据编码相结合的策略4 5 5 2 数据调度策略4 6 5 2 1 典型的数据调度策略4 6 5 2 2p 2 p 流媒体中的最少优先( r f ) 策略分析一4 7 - 5 3 数据调度基本原则4 8 5 4 改进的数据分发机制4 8 5 4 1 缓存机制4 8 5 4 2 推拉结合的数据分发机制5 0 5 4 3r n f 数据调度策略5 2 5 4 4 性能评估。5 3 ， 5 5 本章小结5 5 第六章总结与展望5 6 参考文献5 8 致谢6 3 硕士期间发表的论文和参加的项目6 4 l i 山东大学硕士学位论文 c o n t e n t s a b s t r a c ti nc h i n e s e 1 a b s t r a c ti ne n g l i s h 3 c h a p t e rli n t r o d u c t i o n 5 1 1r e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c eo f t h es u b j e c t 5 1 2c u l l r e n ts i t u a t i o no fs t r e a m i n gm e d i aa n dp 2 pt e c h n o l o g y 6 1 3m a i nr e s e a r c hc o n t e n ta n dc o n t r i b u t i o n s 9 1 4t h eo r g a n i z a t i o n a ls t r u c t u r eo fp a p e r 10 c h a p t e r2p 2 ps t r e a m i n gm e d i at e c h n o l o g y 1 2 2 1t e c h n o l o g ya n dp r i n c i p l e so fp 2 p 12 2 1 1o v e r v i e wo f p 2 pt e c h n o l o g y 1 2 2 1 2n e t w o r kt o p o l o g yo fp 2 p 13 2 2k e yt e c h n o l o g i e so fs t r e a m i n gm e d i a 15 2 2 1s t r e a m i n gm e d i ac o n c e p t s 15 2 2 2c o m p o n e n t sa n dr e a l i z a t i o nl i n k so fs t r e a ；n i n gm e d i as y s t e m 一16 2 2 3s t r e a m i n gm e d i at r a n s m i s s i o nt e c h n o l o g ya n dp r o t o c o l s 17 2 3s y s t e ma p p l i c a t i o n so fp 2 ps t r e a m i n gm e d i a 18 2 3 1n e t w o r km o d e lb a s e do ns i n 掣em u l t i c a s tt r e e 18 2 3 2n e t w o r km o d e lb a s e do nm u l t i p l em u l t i c a s tt r e e 2 0 2 3 3n e t w o r km o d e lb a s e do l lm e s h 2 2 2 4s u m m a r y 2 3 c h a p t e r3k e yt e c h n o l o g i e so fp 2 ps t r e a m i n gm e d i a 2 4 3 1p 2 pc a t e g o r i e so f p 2 ps t r e a m i n gm e d i a 2 4 3 2s e a r c ha l g o r i t h mo fp 2 pn e t w o r k 2 6 3 2 1s e a r c ha l g o r i t h mo f c e n t r a l i z e dn e t w o r k 2 6 3 2 2s e a r c ha l g o r i t h mo f u n s t r u c t u r e dn e t w o r k 2 7 3 2 3s e a r c ha l g o r i t h mo fs t r u c t u r e dn c t w o r k 2 8 3 3b u f f e r 一2 9 3 3 1b u f f e ro v e r v i e w 2 9 3 3 2b u f f e rs t r a t e g y 3 0 3 3 3b u f f e rr e p l a c e m e n ta l g o r i t h m 31 3 4s u m m a r y 3 3 5 5s u m m a r y 5 5 c h a p t e r6c o n c l u s i o n sa n df u t u r ew o r k 5 6 r e f e r e n c e s 5 8 a c k n o w l e d g m e n t 6 3 p u b l i c a t i o n sd u r i n gr e s e a r c ha n dp a r t i c i p a t e dp r o j e c t s 6 4 i v 山东大学硕士学位论文 摘要 随着i n t e r n e t 技术的飞速发展，用户已不再满足于只是在网络上浏览网页、 收发电子邮件等服务，流媒体的应用越来越广泛。然而由于流媒体具有数据量大、 持续时间长、占用带宽高等特点，以及传统c s 模型可扩展性差、网络资源利用 率低、对流媒体服务器要求高等因素，已经严重制约了流媒体服务的进一步发展。 而通过媒体代理服务器发展而来的c d n 技术又不得不面临高昂的成本问题，i p 组播又存在可靠传输、流量控制、拥塞控制等多方面的固有限制使其难以广泛部 署于流媒体系统。 为了改善网络上流媒体的服务，研究人员把对等网络( p e e r - t o p e e r ，p 2 p ) 思想引入流媒体服务，通过让网络中一些普通计算机执行流媒体服务器的部分功 能，将服务器的超额的任务向网络边缘转移，从而有效的减轻服务器的压力和部 分网络带宽的重复的高消耗。因此，基于p 2 p 技术的流媒体服务有其固有的优 势和广阔的发展前景。 本文主要介绍了p 2 p 和流媒体已有的相关技术，并对p 2 p 流媒体技术发展 现状进行深入分析，对p 2 p 流媒体系统的关键技术，诸如网络搜索算法、数据 缓存技术、节点选择策略、数据分发机制等作了深入的研究和分析，在此基础上 提出了一种新的节点维护策略和数据分发c t n ，并对新提出的节点维护策略和数 据分发机制作了性能分析和评价。 本文的研究内容主要包括以下几个方面： 1 分析p 2 p 流媒体技术的原理，流媒体实现的关键技术，研究流媒体协议 r t s p 瓜t p r t c p 的实现机制和它们交互工作的原理。 2 对网络上现有的p 2 p 流媒体应用系统模型作了全面的介绍和分析，并对 其进行对比，总结各种模型的优劣。 3 深入分析和研究了影响p 2 p 流媒体系统性能的几个关键技术，主要有网 络搜索算法、数据缓存技术、节点选择策略、数据分发机制 4 在深入研究已有策略的基础上，针对既有策略存在的问题，提出一种新 的改进的节点维护策略，并与原策略进行了性能评比。 山东大学硕士学位论文 2 在深入研究和分析现有数据分发机制的基础上，提出其存在的问题，并 种新的改进的数据分发机制和一种新的数据调度策略，推拉结合的数据分 和r n f 策略。 键词：流媒体；i 玎s p r t p i 玎c p ；p 2 p ；节点维护策略；数据调度 山东大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e tt e c h n o l o g y , u s e r sa le n ol o n g e rs a t i s f i e d w i t hs i m p l es e r v i c e ss u c ha sb r o w s i n gt h ew e b p a g e ，s e n d i n go rr e c e i v i n ge m a i l s t r e a m i n gm e d i aa p p l i c a t i o n sa r ei n c r e a s i n g l yw i d e s p r e a d s t r e a m i n gm e d i aa l w a y s h a st h ec h a r a c t e r so fl a r g ev o l u m e so fd a t a ，l o n gd u r a t i o n ，h i g hb a n d w i d t h ，a n d t r a d i t i o n a lc l i e n t s e v e rm o d e lh a sp o o rs c a l a b i l i t y , p o o ru t i l i z a t i o no fn e t w o r k r e s o u r c e s ，n e e d sh i g h - p e r f o r m a n c es t r e a m i n gm e d i as e r v e r s t h e s ef a c t o r ss e v e r e l y r e s t r i c tt h ed e v e l o p m e n to fs t r e a m i n gm e d i as e r v i c e c d nt e c h n o l o g yw h i c he v o l v e d b yt h ep r o x ys e r v e rh a st of a c et h eh i g hc o s t ，a n dl i m i t si nr e l i a b l et r a n s m i s s i o n ，f l o w c o n t r o l ，c o n g e s t i o nc o n t r o la n do t h e ra s p e c t so ft h ei n h e r e n tl i m i t a t i o n sm a k ei p m u l t i c a s td i f f i c u l tt ow i d e l yd e p l o y e di nt h es t r e a m i n gm e d i as y s t e m i no r d e rt oi m p r o v et h ep e r f o r m a n c eo fn e t w o r ks t r e a m i n gm e d i as e r v i c e s ， r e s e a r c h e r si n t r o d u c ep 2 p ( p e e r - t o p e e r , p e e rn e t w o r k s ) t os t r e a m i n gm e d i as e r v i c e s b ym a k i n gs o m eg e n e r a lc o m p u t e r si nt h en e t w o r k sc a r r yo u tp a r t so f t h ef u n c t i o n so f s t r e a m i n gm e d i as e r v e r , e x c e s st a s k so ft h es e r v e ra r et r a n s f e r e dt ot h en e t w o r ke d g e , w h i c he f f e c t i v e l yr e d u c e st h ep r e s s u r eo fs e r v e r sa n dh i g hc o n s u m p t i o no fs o m e n e t w o r kb a n d w i d t h t h e r e f o r e ，s t r e a m i n gm e d i as e r v i c e sb a s e do np 2 pt e c h n o l o g y , h a si t si n h e r e n ta d v a n t a g e sa n db r o a dp r o s p e c t sf o rd e v e l o p m e n t t h i sp a p e rd e s c r i b e sr e l a t e dt e c h n o l o g i e sa b o u tp 2 pa n ds t r e a m i n gm e d i a , a n d m a k e si n d e p t ha n a l y s i so fp 2 ps t r e a m i n gm e d i as y s t e m ，a n dr e s e a r c ht h e k e y t e c h n o l o g i e so fp 2 ps t r e a m i n gm e d i as y s t e m ，s u c ha sn e t w o r ks e a r c ha l g o r i t h m s ，d a t a c a c h i n gt e c h n i q u e s ，t h en o d es e l e c t i o ns t r a t e g y , d a t ad i s t r i b u t i o nm e c h a n i s m ，a n d p r o p o s e san e wn o d e sm a i n t e n a n c es t r a t e g ya n dd a t ad i s t r i b u t i o nm e c h a n i s m a tl a s t ， w ee v a l u a t et h en e w l yp r o p o s e dn o d e sm a i n t e n a n c es t r a t e g ya n dd a t ad i s t r i b u t i o n m e c h a n i s m t h i sp a p e rm a i n l yi n c l u d et h ef o l l o w i n ga s p e c t s ： 1 a n a l y s i ss t r e a m i n gm e d i at e c h n o l o g ya n dt h ep r i n c i p l eo fs t r e a m i n gm e d i ap r o t o c o l s t a c k ，s t u d yt h ei m p l e m e n t a t i o na n dt h e i ri n t e r a c t i o n sp r i n c i p l eo fs t r e a m i n gp r o t o c o l 3 4 ， 山东大学硕士学位论文 第一章绪论 1 1 课题的研究背景及意义 随着计算机技术的飞速发展，网络已延伸到我们生活的各个方面，人们在开 始享受网络带给我们各种方便的同时，对网络的要求也越来越高，不再满足于浏 览网页、收发电子邮件、下载静态文件等简单要求。随着互联网技术和计算机技 术的快速发展，在网络上传输的数据已经由原来的文字和图片逐步过渡到声音和 视频等多媒体格式【l 】。随着网络上信息种类的增多，尤其是多媒体文件的增多， 对网络传输技术提出了更高的要求，比如带宽要求、数据同步要求、音视频质量 的要求。流媒体技术就是在这种要求下发展起来的。流媒体技术的实现解决了将 庞大的多媒体数据完整的下载到本地后力能观看的困扰，它只需要用户几秒或十 几秒的等待，便可以边下载边观看，节省了时间和本地空间。 流媒体具有启动延时小、节省用户存储空间等优点，在互联网的各个领域得 到了广泛的应用，如视频点播( v o d ，v i d e oo nd e r n a n d ) 、视频会议、远程教 育、视频监控、i n t e m e t 直播等【2 1 。 伴随流媒体技术的发展，流媒体服务迅速增多。传统的流媒体服务是基于 c s 架构的，一般由一台或多台处理能力强、缓存大、带宽高、速率高的高性能 计算机充当服务器，众多客户机从服务器上边下载边观看。然而由于流媒体文件 具有数据量大、持续时间长、占用带宽高等特点，以及传统c s 模型可扩展性差、 网络资源利用率低等因素，随着用户的增多，基于传统c s 架构的流媒体服务器 的处理能力和带宽等资源被迅速耗尽，这种不可扩展性成为整个流媒体系统发展 的瓶颈。 针对该问题，研究人员做了不同方面的探索，得到了多种解决方案。概略有 以下几种。第一，使用c d n ( c o n t e n td i s t r i b u t i o nn 神叭 r k ) 分发网络【3 1 。c d n 的 核心思想是根据用户的需求内容的不同将多媒体文件的部分或全部内容缓存到 距离用户较近的处于网络“边缘”的代理服务器上，使用户能就近访问所需要的 数据，这样既提高了用户的访问性能，降低了骨干网络带宽资源的消耗，同时又 增加了可支持的用户数量。然而，c d n 分发网络高昂的成本使其成为最大的障 5 山东大学硕士学位论文 碍。第二，使用i p 组播技术【4 1 【5 1 。然而，现有的i n t e r n e t 缺乏对i p 组播技术的支 持，i p 组播在可靠传输、流量控制、拥塞控制等多方面的固有限制使其难以广 泛部署于流媒体系统6 】【7 】。 在传统的网络架构无法满足发展的需求时，将对等网络思想引入流媒体服务 便成为最有效的解决方案。p 2 p 是一种分布式网络，网络的参与者共享他们所拥 有的一部分硬件资源( 处理能力、存储能力、网络连接能力等) ，这些共享资源 需要由网络提供服务和内容，能被其它对等节点( p e e r ) 直接访问而无需经过中 问实体。在此网络中的参与者既是资源提供者( s e r v e r ) ，又是资源获取者( c l i e n t ) 又称s e r v e n t 。p 2 p 的基本思想是将位于网络不同位置的众多的闲置的计算机在 不改变底层网络架构的基础上，按照分布式计算方式组织到一个特有的网络中 来，在享受网络中的服务的同时，也为网络中的其他用户提供自己的服务。p 2 p 网络中没有传统网络中的服务器，摆脱了传统网络中服务器瓶颈问题带来的困 扰。基于p 2 p 的流媒体系统主要利用了网络中闲置的客户资源，分担了服务器 的压力，解决了传统网络过度依赖媒体服务器、可扩展性差的问题，提供了一种 可靠、健壮、可扩展的流媒体网络。 1 2 流媒体技术及p 2 p 技术的研究现状 t 流媒体是指利用流( s t r e a m i n g ) 技术在网络上传输的多媒体文件。流是对在 网络上传输的经过专门编码的数字媒体内容如音频、视频、动画、图形、文本等 到终端用户的一种描述【8 】8 。流媒体经过网络传输的过程是媒体服务器将多媒体文 一 件编码压缩成适合在网络传输的流，并将其发到网络上，用户将流接收下来并通 过解码工具将流还原为适合播放的媒体数据。一个以流方式传输的多媒体文件只 需经过几秒到几十秒的延时，就可以在客户端进行播放。此后，客户端一边从服 务器接收数据包并放到本地的缓冲区中，一边播放接收到的多媒体数据。一般缓 冲区使用环形链表结构，通过不断丢弃已经播放的数据，流可以重新利用空出的 缓冲区空间来存储后续达到的数据。 基于传统c s 架构的流媒体系统如图1 1 所示，系统中的所有用户都直接从 媒体服务器获取数据。随着用户数量的增多，媒体服务器的处理能力、缓存、带 l 6 山东大学硕士学位论文 宽等资源被迅速耗尽这就对媒体服务器的性能提出了很高的要求。然而即使是高 性能的服务器，其能力也是有限的，总会被不断增多的用户需求所耗尽。 j ；l 产用，、辩i 户 用户用， 图1 1 传统c s 架构流媒体系统 针对传统c s 架构流媒体系统的缺陷，主要出现了以下几种解决方案： 第一，采用i p 组播技术。组播技术实现了网络中从一点到多点的传送， 节约了网络带宽，降低了网络负载，如图1 2 所示。然而，现有 的i n t e m e t 缺乏对i p 组播技术的支持，i p 组播在可靠传输、流量 控制、拥塞控制等多方面的固有限制使其难以广泛部署于流媒体 系统。 用产 用产用广用户 图1 2 采用i p 组播技术的流媒体系统 7 山东大学硕士学位论文 8 采用c d n 分发网络。如图1 3 所示。c d n 网络用户的需求内容 的不同将多媒体文件的部分或全部内容缓存到距离用户较近的处 于网络“边缘”的代理服务器上，使用户能就近访问所需要的数 据，这样既提高了用户的访问性能，降低了骨干网络带宽资源的 消耗，同时又增加了可支持的用户数量。然而，c d n 分发网络高 昂的成本使其成为最大的障碍。 图1 3 采用c d n 技术的流媒体系统 采用p 2 p 技术。如图1 4 。p 2 p 技术，与占主流地位的传统的c s 架构的最大区别在于，它没有中心服务器，用户可以避开中心服 务器直接连接其他用户并享受它们提供的服务。 用产用广翔，用产用广i 图1 4 采用p 2 p 技术的流媒体系统 山东大学硕士学位论文 p 2 p 技术于上世纪9 0 年代未提出，它解决了传统c s 架构崮有的严重依赖 服务器和可扩展性差的问题，它充分利用网络上闲置的资源，在健壮性、扩展性、 利用率等方面体现了特有的优势，其非中心化和可扩展性等特点使其得以迅速发 展，并在文件搜索与共享、分布式计算、协同工作等方面得到初步应用。因为 p 2 p 技术潜在的巨大优势，国内外很多国家研究机构和商业公司都致力于在此方 面的研究。其中比较知名的有麻省理工的i r i s ( i n f r a s t r u c t u r ef o rr e s i l i e n ti n t e r n e t s y s t e m s ) 、斯坦福大学的p 2 p 研究、m i c r o s o f t 公司、s u n 公司以及i n t e l 等公司 的研究。斯坦福大学主要是对p 2 p 系统的搜索、资源分配和聚集，以及安全问 题进行了研究探讨，特别总结归纳了仍需要进一步研究的搜索和安全方面的开放 性问题。 国内的流媒体技术也迅速发展，出现了许多基于p 2 p 的流媒体服务，如华中 科技大学的p p l i v e t 9 1 、北京大学的m a z e 10 1 、香港科技大学的c o o l s t r e a m i n g l l l l 等都取得巨大成功。2 0 0 4 年1 2 月，p p l i v e 第一个版本诞生于华中科技人学；2 0 0 5 年1 月，p p l i v e 网站第一版发布：2 0 0 6 年3 月，名列中国互联网协会“中国大陆 t o p l 0 0 网站”之列；2 0 0 7 年0 1 月，p p l i v e 囊括2 0 0 7 年创业投资年会“十佳创业 团队奖”、“十大最具投资潜力项目奖”两大奖项；2 0 0 8 年0 5 月，全球用户数突破 1 亿大关，再次确立网络视频旗舰品牌地位：天网m a z e 是北京大学网络实验室开 发的一款资源和功能非常强大的p i c ( p e r s o n a li n f o r m a t i o nc e n t e r 个人信息中心) 文件系统。截至到2 0 0 5 年l o 月，天网m a z e 已有注册用户2 2 0 万，同时最高在 线用户数超过1 0 万。就目前的趋势来看，我国已成为p 2 p 流媒体发展最快的国 家。 1 3 本论文的研究内容和主要贡献 本课题的主要研究目的是分析p 2 p 流媒体传输的原理和实现模型，深入分析 p 2 p 流媒体的关键技术，主要有节点管理、缓存技术、数据分发和数据调度。在 此基础上，针对既有机制和策略存在的问题和不足，提出了改进的机制和策略。 本文取得的研究成果主要有以下几个方面： 1 研究p 2 p 流媒体技术的原理，p 2 p 流媒体直播技术，对比了几种典型的 p 2 p 流媒体系统模型，深入分析了p 2 p 流媒体实现的几种关键技术，节点管理， 9 山东大学硕士学位论文 第三章：基于p 2 p 的流媒体系统关键技术。着重研究和分析了p 2 p 流媒体系 统的几种关键技术，主要有搜索路由算法、缓存技术、节点管理策略和数据分发 和调度。 第四章：一种改进的p 2 p 节点维护策略。分析了p e e r c a s t 系统的体系结构、 广播机制和节点管理策略，指出其中存在的单点失效问题和父节点离开对系统带 来的扰动问题，提出一种改进的节点管理策略，增加了上游节点向下游节点广播 状态信息的函数，改进了节点的加入和维护策略，有效提高了p e e r c a s t 中节点断 线重连的成功率。 第五章：基于p 2 p 的流媒体数据分发机制。深入分析了p 2 p 流媒体系统的数 据分发机制和数据调度策略的基础上，指出既有的数据分发机制和调度策略的优 点和不足，并提出一种改进的推拉结合的数据分发机制以及r n f 数据调度策略。 第六章：总结与展望。对本论文的工作进行了总结，并展望今后的工作。 山东大学硕士学位论文 第二章p 2 p 流媒体相关技术 本章主要介绍了p 2 p 技术的基本概念和原理，p 2 p 典型的网络结构，p 2 p 的 搜索和路由算法，流媒体的基本概念和原理，流媒体的关键技术以及几种p 2 p 流媒体系统的典型模型。 2 1p 2 p 技术及原理 2 1 1p 2 p 技术概述 p 2 p ( p e e r - t o p e e r ) ，又称对等网络。目前，并没有一个统一的定义。下面是 几个常用的定义【1 2 】【1 3 】： 1 ) p 2 p 是一种i n t e r n e t 网络，它使运行同一程序的多个计算机用户相互连接 从而可直接访问对方硬盘中的文件。 2 ) 点对点对等网络( p 2 p ) 是一种应用程序。它运行在个人电脑，并使用户 和因特网上的其他同类用户共享文件。p 2 p 网络通过将个人电脑直接连接在 一起的方式来共享文件，而不必通过一个中央服务器。 3 ) p 2 p 是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资 源( 处理能力、存储能力、网络连接能力、打印机等) ，这些共享资源需要由 网络提供服务和内容，能被其它对等节点( p e e r ) 直接访问而无需经过中间实 体。在此网络中的参与者既是资源( 服务和内容) 提供者( s e r v e r ) ，又是资源( 服 _ 务和内容) 获取者( c l i e n t ) 。 p 2 p 可以简单的理解为通过端到端的直接交换来获取对方资源和服务。p 2 p 网络不再完全依赖传统c s 架构中的一个或几个专用服务器，系统的每个成员 直接从其他成员而不是从专用服务器中获得服务，系统中每个成员的地位是完 全对等的，它们同时既是服务的享受者又是服务的提供者，或者说既是客户端 ( c l i e n t ) ，又是服务器( s e r v e r ) ，故系统中的每个对等节点又成为 s e r v e n t ( s e r v e r - c l i e n t ) 。因某种服务聚集在一块的众多的这种对等节点便组成的 对等网络，即p 2 p 网络。 p 2 p 网络是构建于现存的底层物理网络基础之上的网络，所以又称为p 2 p 1 2 山东大学硕士学位论文 覆盖网络( o v e r l a yn e t w o r k ) t 1 4 】【1 5 】。 p 2 p 网络之所以能迅速发展起来，是因为它有传统c s 网络所无法比拟的 优越性。p 2 p 网络的优点主要体现在以下几个方面： 第一，匿名性。服务的提供者和服务的请求者都被隐藏起来。在p 2 p 网络 中，由于数据的传输分散在各个节点之间进行而一般不通过某个中心服务器， 隐私信息被窃听和泄露的可能性大大降低，能够为用户提供更好的隐私保护。 第二，分散性。在p 2 p 模型中，网络上的资源和服务都分散在对等节点上， 避免了传统架构的瓶颈问题。在纯p 2 p 网络中，资源和服务完全分散在所有节 点上，节点间的地位完全平等。这种分散性也可成为非中心化。 第三，可扩展性。传统c s 模型受制于服务器的性能，决定了c s 模型不 适合大规模的扩展。而p 2 p 网络中，每个节点索取服务和资源的同时，也为系 统做着自己的贡献。所以当用户和服务需求增加的同时，系统整体的资源和服 务能力也在增加。 第四，网络资源的有效利用。在传统模型中，客户端向服务器索取资源和 服务，对系统没有任何贡献。而在p 2 p 网络中，每个节点既是客户端又是服务 器，普通节点的带宽、存储、计算能力等资源被调动起来。通过利用这些限制 的资源，可以提高系统的计算、存储等能力。 第五，健壮性。p 2 p 架构天生具有耐攻击、高容错的优点。传统模型中， 服务器是所有资源和服务的唯一提供者，服务器出现故障就会导致整个系统的 崩溃。而在p 2 p 模型中，每个节点不直接与服务器相连，而是从其它分散的普 通节点中获得服务，每个节点只与几个节点直接联系，部分结点或网络遭到破 坏对其它部分的影响很小，而且系统会自动适应和调整节点离开带来的影响。 2 1 2p 2 p 网络结构 p 2 p 网络体系结构的划分并没有统一的标准，目前比较主流的划分标准是 按照服务器的集成度即网络中是否存在中央服务器的标准，可将p 2 p 网络划分 为集中式p 2 p 网络、完全分布式p 2 p 网络和混合式p 2 p 网络，如图2 1 所示。 1 3 山东大学硕士学位论文 b 宪全分稚式p 2 p i 叫络c 混合式p 2 p 曛络 图2 1 三种结构的p 2 p 网络 ( 1 ) 集中式p 2 p 网络。该网络通过一个目录服务器记录和索引共享信息并响应 这些信息的查询。与传统c s 模式那样把所有节点的信息都保存在中央目录服务 器上不同，它的服务器只存储每个节点的索引信息，而节点的所有具体信息都保 存在节点本身。集中式拓扑的最大优点是维护简单、查询成功率高。其最大的问 题是服务器故障造成的单点失效问题。集中式p 2 p 网络的典型代表是n a p s t e r t l 6 】。 ( 2 ) 完全分布式p 2 p 网络。与集中式p 2 p 网络的主要区别就是不存在中央目录 服务器，网络中所有节点在功能上是对等的，既是客户端又是服务器，所以完全 分布式网络中的节点称为s e r v e n t ( s e r v e r + c l i e n t ) 。此类网络对网络动态变化有较 好的容错能力，且配置简单，在网络较小时有较好的查询效率。 完全分布式p 2 p 网络又可划分为非结构化p 2 p 网络和结构化p 2 p 网络。 a 非结构化p 2 p 网络。该类网络通过随机图的方式将网络中所有节点组织成 一个松散的网络。这种结构的网络具有很强的动态性，每个节点保存的是自身共 享的文档，节点的命名标识仍然采用i p 地址。非结构p 2 p 网络的典型代表是 g n u t e l l a 17 1 。 b 结构化p 2 p 网络。该网络中的节点连接成规则的拓扑结构，节点的加入 和退出需要遵循一定的原则。每个节点所维护的伙伴能够按照某种全局方式组织 起来。结构化p 2 p 网络采用纯分布式的消息传递机制，以及根据关键字进行查 找的资源定位服务，主流的方法是采用分布式散列表( d i s t r i b u t e dh a s ht a b l e ， d h t ) i s l 资源定位技术。结构化p 2 p 网络在口地址之上添加了新的命名层 n o d e l d ( 由安全散列函数得来) ，节点和文档之间存在一个映射关系，通过查询路 由表可以高效的到达有指定内容的节点。此类网络的典型代表是c h o r d 1 9 1 。 1 4 山东大学硕士学位论文 ( 3 ) 混合式p 2 p 网络。它在完全分布式p 2 p 网络中引入了“超级节点的概念”， 综合了集中式网络快速查询和分布式网络去中心化的优点。首先选择那些具有性 能较高的节点作为“超级节点”，超级节点存储部分节点的数据信息，并成为这 部分节点的中央服务器，这部分网络就相当于集中式p 2 p 网络；这些超级节点 再以完全分布式的方式互相连接构成一个p 2 p 网络，故称为混合式p 2 p 网络。 混合式p 2 p 网络的典型代表是k a z a a t 2 0 1 。 2 2 流媒体技术 2 2 1 流媒体技术的概念 流媒体( s t r e a m i n gm e d i a ) 是指利用流( s t r e a m i n g ) 技术在网络上传输的多 媒体文件。流是对在网络上传输的经过专门编码的数字媒体内容( 如音频、视频、 动画、图形、文本等) 的一种描述。流媒体无需将整个文件完整的下载到本地后 才能观看。它将多媒体文件压缩编码为流，用户只需经过短暂缓冲，就可以解码 这些流式数据并观看，同时接收后续数据。流媒体系统首先在播放端创建一段缓 冲区，并下载数据放入缓冲区，播放器播放缓冲区中的数据，节目结束时，系统 清空缓冲区，用户本地不留下任何数据，缓冲区一般采用链表结构。 流媒体技术是一个综合的技术，它包括信息的采集、编码