（通信与信息系统专业论文）基于dht的内容服务技术研究.pdf

文摘 p 2 p ( p e e r - t o - p e e r ) 是当今最流行的互联网技术之一。在p 2 p 技术的众多应用 中，内容服务应用一直是一个主要的应用领域。通常来讲，内容服务包括内容服务 模型的构造，内容发布，内容存储，内容检索和内容下载等关键技术。如何在规模 巨大，网络环境复杂的p 2 p 系统实现高效的内容服务具有重大的研究意义，同时又 是具有挑战性的研究课题。 本文以p 2 p 网络中的内容服务为研究对象，分析了p 2 p 网络的特性以及内容服务 技术的研究现状，围绕如何在p 2 p 网络以更贴近自然语义的方式提供高效、可扩展 的内容服务，深入研究了p 2 p 网络中提供内容服务的各项关键技术。主要研究工作 包括： 1 ) 提出了一种基于d h t 和资源内容语义的开放式内容服务模型。该模型采用了 o p e n d h t 的网络结构，并以两级发布资源的方式结合了d h t 的冗余、高容 错、可扩展性及自组织能力和基于内容语义的检索算法能从自然语义角度 进行内容筛选的优点，同时具有很好的易用性和对异构网络的利用能力。 2 ) 提出了一种适用于混合型d h t 的内容存储算法。该算法在对通信节点进行验 证和对资源进行分布式存储的基础上，以合理的代价实现了系统对数据完 整性和安全性的要求。 3 ) 提出了对资源索引和原始文档本身进行两级发布的内容发布算法。该算法 使得节点可以根据自身能力和网络情况进行不同方式的内容发布，从而获 得最大限度的便利性；另一方面，索引文件的使用有效地限制了网络的信 息冗余，为获得良好的搜索效率准备了条件。 4 ) 提出了基于d h t 和语义矢量投影计算的内容搜索算法。该算法在对词间关系 进行考察的基础上，改进了传统的关键词提取算法和文章关键词矢量投影 计算方法，使得一方面参与计算的矢量更能体现文章内容语义，另一方面 减小了计算量和网络流量，提高了搜索效率。 5 ) 针对在混合型p 2 p 网络中实现更好的内容服务进行了一些内容下载机制、用 户激励机制和网络安全机制方面的考虑，进一步完善了所提出的系统。 关键词：p 2 p 网络，d h t ，内容服务，内容检索，语义，资源索引，关键词矢量， 扫 序 a b s t r a c t p 2 pi so n eo ft h ef a s t e s tg r o w i n ga n dm o s tp o p u l a ri n t e m e tt e c h n o l o g i e s a m o n gv a r i o u s p 2 p a p p l i c a t i o n s ，c o n t e n ts e r v i c ei sa l w a y sam o s ti m p o r t a n to n e g e n e r a l l ys p e a k i n g ， c o n s t r u c t i o no fc o n t e n ts e r v i c em o d e l ，c o n t e n ts t o r a g e ，c o n t e n tp u b l i c a t i o n ，c o n t e n t s e a r c h i n ga n dc o n t e n td o w n l o a da r et h eb a s eb l o c k so fc o n t e n ts e r v i c e h o wt o i m p l e m e n te f f i c i e n tc o n t e n ts e r v i c ei nac o m p l e xn e t w o r ke n v i r o n m e n t w h i c hc o n t a i n s h u g e a m o u n tn o d e si sac h a l l e n g i n gr e s e a r c ha r e aa n do fg r e a ti m p o r t a n c e t h er e s e a r c hi nt h i st h e s i sf o c u s e so nc o n t e n ts e r v i c ei np 2 pn e t w o r k i ta n a l y z e st h e p a r t i c u l a r i t yo fc o n t e n ts e r v i c ei np 2 p n e t w o r ka n dc u r r e n tr e s e a r c hs t a t u so nc o n t e n t s e r v i c e i no r d e rt op r o v i d ea l le f f i c i e n ta n de x t e n s i b l ec o n t e n ts e r v i c eb a s e do nn a t u r a l s e m a n t i ci np 2 pn e t w o r k , w ed i dm u c hr e s e a r c ho nt h ek e yt e c h n o l o g i e sa n dm a k e c o n t r i b u t i o n st ot h ef o l l o w i n ga r e a s ： 1 ) a no p e nc o n t e n ts e r v i c em o d e li sp r o p o s e db a s e do nd h ta n dt h es e m a n t i co f r e s o u r c ec o n t e n t t h i sm o d e li sa no p e n d h t s t r u c t u r e ，u s i n gt w o - s t e p sc o n t e n t p u b l i c a t i o n w 汕t h i sd e s i g n ，i ti n h e r i t st h er e d u n d a n c y ，f a u l tt o l e r a t i o n ， e x t e n s i b i l i t ya n ds e l fo r g a n i z a t i o nf r o md h t w h i l em a k e sf u l lu s eo f t h e a d v a n t a g e sp r o v i d e db ys e m a n t i c - b a s e ds e a r c h i n ga l g o r i t h m b e s i d e s ，t h i sm o d e l i se a s yf o ru s ea n da d a p t e dt ou n b a l a n c e dn e t w o r k 2 )ac o n t e n ts t o r a g ea l g o r i t h ma d a p t e dt oh y b r i dd h ti sp r o p o s e d 1 1 1 i sa l g o r i t h mi s b a s e do nv e r i f i c a t i o no fc o m m u n i c a t i o nn o d e sa n dd i s t r i b u t e dr e s o u r c es t o r a g e ， w h i c hf u l f i l lt h er e q u i r e m e n to fd a t ai n t e g r a l i t ya n ds y s t e ms e c u r i t yw i t h r e a s o n a b l ec o s t 3 1ac o n t e n tp u b l i c a t i o na l g o r i t h mw h i c hp u b l i s h e si n d e xa n dr e s o u r c ei t s e l fi n t o t w os t e p si sp r o p o s e d w i t ht h i sa l g o r i t h m ，o nt h eo n eh a n d ，n o d ec a nf l e x i b l y m a k ear e s o u r c ep u b l i c a t i o nd e c i s i o nb a s e do ni t so w nc a p a b i l i t ya n dn e t w o r k c o n n e c t i o n ；o nt h eo t h e rh a n d t h eu s i n go fi n d e xe 硒c i e n t l yr e s t r a i nn e t w o r k r e d u n d a n c ya n dp r e p a r ew e l lf o rq u a l i t ys e a r c h i n g 4 ) ac o n t e n ts e a r c h i n ga l g o r i t h mb a s e do nd h ta n ds e m a n t i cv e c t o rp r o j e c t i o n c o m p u t i n gi sp r o p o s e d t h i sa l g o r i t h mt a k e si n t oc o n s i d e r a t i o nr e l a t i o nb e t w e e n w o r d s ，i m p r o v i n gt r a d i t i o n a lk e y w o r d se x t r a c t i o na l g o r i t h ma n dp r o j e c t i o n c o m p u t i n gm e t h o dw i t hk e y w o r dv e c t o r s i nt h a tw a y ，n o to n l yt h ek e y w o r d v e c t o r sc a nb e t t e rp r e s e n tt h ec o n t e n ts e m a n t i co fr e s o u r c e s ，b u ta l s ot h e c o m p u t i n g a n dc o m m u n i c a t i o nl o a dr e d u c e v 5 ) i n o r d e rt op r o v i d eab e t t e rc o n t e n ts e r v i c ei na h y b r i dp 2 pn e t w o r k ，w ea l s ot a k e i n t oc o n s i d e r a t i o nc o n t e n td o w n l o a da l g o r i t h m ，u s e ri n c e n t i v em e c h a n i s ma n d s e c u r i t ym e c h a n i s m ，w h i c hg u a r a n t e et h ei n t e g r a l i t yo f o u rs y s t e m k e y w o r d s ：p 2 pn e t w o r k ，d h t ，c o n t e n ts e r v i c e ，c o n t e n ts e a r c h ，s e m a n t i c ，i n d e x ， k e y w o r dv e c t o r ，r a n k i n g 第一章、绪论： 1 1 研究背景 近年来，随着i n t e r n e t 的广泛使用以及接入i n t e r n e t 的计算机系统性能的持续 增长，p 2 p 计算已经成为新的研究热点。不同于传统的c s 计算模式中以服务器为中 心的网络结构以及数据存储和处理方式，p 2 p 计算中各节点是逻辑对等的，节点之 间无需借助中间服务器即可直接共享和交换资源，这使得高效合理地组织和利用 i n t e r n e t 边缘上大量分布的计算、存储、通信、信息等资源成为可能。 p 2 p 计算模式的产生和发展过程同其它任何一种计算模式的产生和发展的过程 一样，都是顺应了计算机和网络技术的发展趋势，满足了新的应用需求而出现的。 计算机和网络领域的一些基本定律是p 2 p 计算兴起的技术基础： 摩尔定律( m o o r e sl a w ) 指出微处理器速度和磁盘的存储能力每1 8 个月翻一 番。经过多年的发展，目前单台p c 的计算和存储能力己经超过早期的巨型 机，并且大量空闲。 吉尔德定律( g i l d e r sl a w ) 指出网络带宽每6 个月翻一番，迅速增长的网络 带宽为更多p c 的宽带接入提供了可能，宽带接入为许多应用提供了通信的物 理基础支持。目前网络带宽的应用现状是：一方面普通节点存在大量的空闲 带宽，另一方面提供集中服务的服务器的带宽和响应能力不足。 麦特卡夫定律( m e t c a l f e sl a w ) 指出网络的价值与用户数量成平方关系，即 接入网络的用户数和网络的价值成正反馈关系。为了使互联网的价值增值， 需要更有效的能够支持更大规模用户并实现用户之间直接交流的计算模式。 由这些定律所揭示的计算机和网络技术的发展趋势同时也决定了c s 计算模式 中仅关注i n t e r n e t 核心资源的做法将受到越来越大的挑战和冲击。另一方面，c s 模式的性能扩展需要升级或者增加服务器，其代价高昂；而p 2 p 计算能充分利用 i n t e r n e t 边缘的庞大闲置资源，以更低的代价实现同样的服务；这也促进了p 2 p 的 发展。 在这各种原因的驱动下，从1 9 9 9 年最早的p 2 p 软件n a p s t e r 的出现至今，短短的 不到十年的时间里，p 2 p 应用已经成为成长速度最快，最流行的互联网应用之一。 据统计，通过p 2 p 软件进行资源共享所产生的网络流量已经占据了当前网络总体流 量的5 0 以上。 p 2 p 技术应用在诸多领域显示了很好的应用前景，同时其显现出的问题也吸引 了诸多的活跃研究，例如：分布式计算、协同工作、分布式存储、内容共享和发布 等。概括和抽象各种p 2 p 系统，可以发现众多p 2 p 系统中内容服务都是一个基本的功 能模块，内容服务应用也一直是p 2 p 技术主要的应用领域。基于p 2 p 所提供的内容服 务，用户可以抛开应用服务器，通过p 2 p 软件自由、实时而廉价地共享、发布自己 感兴趣的内容，可以按照兴趣构建虚拟社区，可以得到个性化的服务；通过p 2 p 节 点之间的协作，可以低代价实现大规模流媒体的应用层广播，可以实现大尺寸内容 的协作下载。但是，如何在参与节点物理位置广泛分布、数量巨大、行为不可控、 计算存储能力和网络连接不均匀的复杂环境下实现高效的内容服务又是p 2 p 应用面 临的巨大挑战。 1 2p 2 p 的基本分类及o d c s 早期的p 2 p ( 如n a p s t e r ) ，依靠中心服务器实现共享资源的集中登记和搜索， 这一类p 2 p 我们称为中心化拓手i p 2 p 。中心化拓 h p 2 p 的节点虽然已拥有了一定的自 制性，相互之间可以进行资源访问，但是中心服务器和别的节点并不对等，而且可 能成为系统的性能瓶颈和单一故障点，因此在本文的讨论中暂不考虑这一类结构的 p 2 p ，而只考虑与之相对的分布式拓于i p 2 p 。分布式拓手i p 2 p 又可以更进一步地分为 三类： 非结构化p 2 p 结构化p 2 p 混合型p 2 p 其中，非结构化p 2 p 网络没有固定的逻辑拓扑，节点之间的连接表现出随机 性，因而其资源定位算法通常也具有不确定性的。另一方面，我1 f i n n 道，自然语言 的表达方式通常也是不精确的。二者之间不确定性的契合使得在非结构化p 2 p 网络 上容易实现较灵活的资源查询方式，也有众多的机构和学者做出了卓有成效的研 究。例如，改进的b f s 们，有b f s l 2 1 ，迭代加深技术【2 】，索引缓存【2 】以及内容缓存【3 l 等技术通过改进路由机制或者引入缓存在一定程度上减少了通信量，提高了搜索效 率；n e u r og r i d h i ，a p p n i s 及s r v n 6 1 等技术则进一步利