（计算机应用技术专业论文）集成pyramid激励机制的p2p节点管理体系架构研究——构建安全、自组织、低成本和高参与度的p2p系统.pdf

l l n ， 集成p y r a m i d 激励机制的p 2 p 节点管理体系架构研究中文摘要 中文摘要 在p 2 p 系统的实际运行中，用户的不合作行为一直是威胁p 2 p 应用系统十分 显著的问题，并且成为近几年p 2 p 计算研究的热点之一。在基于节点合作所构建 起来的p 2 p 应用系统中，用户认为无私的合作和贡献将会额外消耗自身节点所有 的资源( 计算能力、存储空间和网络带宽等) 并降低自身节点的性能，从而自然 地拥有对于“无偿合作”的不合作行为。虽然这种现象不能简单的归结为“恶意 行为”，但是这种行为的结果却会对p 2 p 系统整体运转产生不利影响，甚至最终导 致网络群体的崩溃瓦解。因此激励网络群体用户的合作并同时限制不合作行为是 保护p 2 p 应用系统的重要课题之一。 本文以新颖、有效的p y r a m i d 傲励机制为中心，以保障p 2 p 网络安全、稳定、 高效运行为主要内容，借鉴了现实社会经验，从人类意识和技术相结合的角度提 出了一个集成了激励机制的节点管理体系架构，为构造安全、自组织、低成本和 高参与度的p 2 p 应用系统提供了必要的基础。 本文研究的主要价值在于：为当前p 2 p 应用系统提供了一个集成激励机制的 节点管理体系架构，这个体系架构能够有效提高系统用户参与程度，限制用户的 不合作行为f r ( f r e e - r i d i n g ) 以及w w ( w h i t e w a s h i n g ) 、合谋( c o l l u s i o n ) 、变 节者( t r a i t o r ) 等用户恶意行为，为p 2 p 应用系统提供更加稳定、高效的网络运行 环境。本课题价值还在于： 体系架构设计基于扩展的g n u t e l l a 协议之上，便于在现有的系统上进行快速扩 展应用； 采用了基于交易的量化的信誉方案，既可以解决传统的基于名誉的信任方案所 难以处理的非对称兴趣问题和合谋问题；同时采用了接近现实世界货币体系的 量化方案，以便于今后商业化p 2 p 应用系统部署的平稳过渡； 体系架构将节点根据拓扑信息划分成不同区域的候补群体c c ( c a n d i d a t e c o m m u n i t y ) ，并在实际运行中在c c 的基础上形成不同兴趣的i b c ( i n t e r e s t - b a s e dc o m m u m t y ) 群体。并通过优化的搜索策略来降低网络关键链 路上的通信流量，从而更大程度上避免网络关键链路堵塞、改善通讯质量、降 低网络通讯的整体成本本文中一系列群体管理方案为进一步有效管理p 2 p 中文摘要集成p y r a m i d 激励机制的f 2 p 节点管理体系架构研究 网络中的节点提供了基础： 体系架构中对于i b c 、c c 和基于交易的信用系统( t r a d e b a s e dc r e d i ts c h e m e ) 的联合设计具有抵御w w 、合谋、变节者的能力。 在本文课题开展过程中，作者对于一些关键问题和技术采用了与已有方案不 同的设计和实现。主要创新之处总结如下： 不同于已有的大量的纯技术方案，本文作者借鉴现实经验，提供了一种将个人 意识和认知与技术相结合的激励方案，以试图解决纯粹技术方案所无法完全解 决的问题； 在处理节点分组时考虑了具体的物理拓扑信息，使用口地址所包含的信息来 指导p 2 p 网络节点的分组，较有效地解决了覆盖网络与底层物理拓扑网络的不 匹配问题； 在群体的设计中，通过设置i b c 的形成条件，为m c 形成了一个类似“隔离 空间”的功能。新加入节点必须为网络中其他节点提供一定程度的服务后才能 享受更好的服务，这种功能有效的限制了恶意用户通过w w 方式滥用网络共 享资源，很大程度上保障了网络的良好运行； 基于缓存的捷径技术( c a c h e b a s e ds h o r t c u t ，c b s ) 将小容量的成功搜索信息 缓存在查询沿途的节点上，而不像传统方案中将结果仅缓存于查询节点上或将 所有资源信息缓存于邻居节点上的方法，为p 2 p 应用系统提供了另一种高效的 轻量级缓存搜索优化方案； 体系架构中的i b c 群体支持群体层次的表决机制，可以对于关乎群体成员的设 置进行表决和通告，使得自组织的单体节点组成了自组织的群体，将自组织性 从节点层次提升到了群体层次，从而为更大粒度的自组织性管理提供基础； p y r a m i d 激励机制与体系架构的群体设计相结合，不但能够有效限制恶意用户 的f r 行为，同时考虑到相关研究中的结论，设计对于f r 行为也能提供定 程度的容忍能力。 关键词：对等网络，激励机制，恶意行为，物力拓扑匹配，自组织性 i i 作者：赵佳 指导老师：陆建德 ， # 一 l r e s e a r c ho np y r a m i di n c e n t i v ee m b e d d e dp e e r m a n a g e m e n t a r c h i t e c t u r ef o rp 2 pn e t w o r k b l l i l d i i l gs e c u r e ，s e l f - o r g a n i z i n g ，l o w - c o s t , a n dh i g hc o o p e r a t i o np 2 ps y s t e m s a b s t r a e t d u r i n gt h ey e a r so fp 2 pa p p l i c a t i o n , n o n - c o o p e r a t i o nb e h a v i o ri so n eo ft h em a j o r p r o b l e m st h a tt h r e a t e nt h ep 2 pa p p l i c a t i o ns y s t e m s a n di th a sb e c o m eo n eo f t h eh o t t e s t t o p i c sa m o n gp 2 pr e s e a r c h i n t h ep 2 pa p p l i c a t i o ns y s t e m st h a tb a s eo np e e r c o o p e r a t i o n , p e e ru s e rm a yt h i n ka l t r u i s t i cc o o p e r a t i o na n dc o 删b 嘶o nt ot h en e t w o r k w i l lc o s th i sr e s o u r c e s ( c o m p u t i n gp o w e r , s t o r a g ec a p a c i t ya n dn e t w o r kb a n d 谢d t h ) a n d w i l la u t o m a t i c a l l yd e c r e a s et h ep e r f o r m a n c e h e n c ec o m et h en o n - c o o p e r a t i o n b e h a v i o r sa g a i n s tt h e f r e ec o o p e r a t i o n a l t h o u g ht h i sk i n do f b e h a v i o r sc o u l dn o tb e s i m p l yr e g a r d e da s m a l i c i o u sb e h a v i o r ，i td o e si n f l u e n c et h et o t a lp e r f o r m a n c eo ft h e p 2 ps y s t e m sa n dm a ye v e n t u a l l yc a t l t h ec o l l a p s eo f t h ew h o l ep 2 ps y s t e m t h e r e f o r e ， m o t i v a t i n gc o o p e r a t i o na m o n gu s e r sa n dr e s t r i c t i n gn o n - c o o p o r a t i o nb e h a v i o r si so n eo f t h ek e yt o p i c st op r o t e c tp 2 pa p p l i c a t i o ns y s t e m s b yb r i n g i n gi ns o m es o c i a le x p e r i e n c e si n t op 2 pr e s e a r c h , t h i sp a p e rp r o p o s e sa c o m p l e t ep e e rm a n a g e m e n ta r c h i t e c t u r e ，w i t h an o v e la n de f f e c t i v ei n c e n t i v e m e c h a n i s me m b e d d e d t og u a r a n t e et h es e c u r i t y , s t a b i l i t ya n de f f i c i e n e yo ft h ep 2 p s y s t e m t h ei m p o r t a n c eo ft h i sw o r km a i n l yr e s t s 谢mp r o v i d i n ga l li n c e n t i v ee m b e d d e d p e e rm a n a g e m e n ta r c h i t e c t u r ef o rp 2 pa p p l i c a t i o ns y s t e m s ，w i t c hc o u l dn o to n l y e f f e c t i v e l yi n c r e a s et h ed e g r e eo fu s e rc o o p e r a t i o na m o n gt h ew h o l en e t w o r k , b u ta l s o r e s t r i c tf r e e r i d i n ga sw e l la sm a l i c i o u sb e h a v i o r ss u c ha sw h i t e w a s h i n g , c o l l u s i o n a n dt r a i t o r 0 t h e rv a l u eo f t h ew o r ki sa sf o l l o w s ： t h ep r o p o s e da r c h i t e c t u r eb a s e so nt h ee x t e n d e dg n u t e l l ap r o t o c o l sa n dc o u l db e e a s i l ya p p l i e dt ot h ep r a c t i c a ls y s t e m s t h ea r c h i t e c t u r ea p p l i e sq u a n t i l i z e dt r a d e - b a s e dc r e d i ts c h e m e , w h i c he a s i l ys o l v e t h ep r o b l e m sl i k ea s y m m e t r yo fi n t e r e s ta n dc o l l u s i o nt h a ta r ed i f f i c u l t i e sf o r r e p u t a t i o n - b a s e ds c h e m e s m o r e o v e r , t h em o n e t a r y h k et r u s ts c h e m em a ys m o o t h t h ed e p l o y m e n to f t h ef u t u r ec o m m e r c i a lp 2 p a p p l i c a t i o n s t h ea r c h i t e c t u r ef i r s t g r o u p s t h ep e e r s a c c o r d i n gt ot h eu n d e r l y i n gt o p o l o g y i n f o r m a t i o n , i n t oc c ( c a n d i d a t ec o m m u n i t y ) a n dt h e ng r o u p st h ep e e r st h a ta l e w i t h i nt h es a m ec ci n t ot h ei b c ( i n t e r e s t - b a s e dc o m m u n i t y ) m o r e o v e r , o p t i m i z e ds e a r c hs t r a t e g i e sa r eu s e dt od e c r e a s et r a f f i cl o a do f c r i t i c a ll i n k so ft h e 1 1 i a b s t r a c tr e e e l r e ho np y r a m i di n e e n u v ee m b “l d e dp e e rm a n a g e m e n t a r c h i t e c t u r ef o rp 2 pn e t w o r k n e t w o r k , w h i c hi m p r o v e st h eq u a l i t yo fc o m m u n i c a t i o na n db r i n g sd o w nt h et o t a l c o s to ft h ec o m m u n i c a t i o n t h ep e e rm a n a g e m e n ts o l u t i o n a l s op r o v i d e st h e f o u n d a t i o n o ff u r t h e re f f e c t i v em a n a g e m e n t 1 1 1 ec o m b i n a t i o nd e s i g no fi b c c ca n dt b c se n a b l e st h es y s t e mw i t ha b i l i t yt o d e f e n dt h ew h i t e w a s h i n g , c o l l u s i o na n dt r a i t o r d u r i n gt h er e s e a r c ho ft h i sw o r k , t h ea u t h o rd e s i g n sa n da p p l i e ss e v e r a ln o v e l m e c h a n i s m sa n dt e c h n i q u e st h a ta r ed i f f e r e n tf r o mt h ee x i s t i n gs o l u t i o n s n em a j o r i n n o v a t i o no f t h i sp a p e ri sl i s t e da sf o l l o w s ： d i f f e r e n tf r o mt h ee x i s t i n gm e c h a n i s m s t h i sp a p e rp r o v i d e sa na l t e r n a t ei n c e n t i v e m e c h a n i s m d e s i g nt h r o u g h t h ec o m b i n a t i o no fh u m a nc o n s c i o u s n e s sa n d t e c h n i q u e si no r d e rt os o l v et h ep r o b l e m st h a ta r ed i 丘i c u l tt os o l v e dt h r o u g hp u r e t e c h n i c a la p p r o a c h b yu s i n gi pa d d r e s so f t h ep e e r sw h e ng r o u p m g t h ea r c h i t e c t u r ee f f e c t i v e l ys o l v e s t h em i s m a t c h i n gp r o b l e mb e t w e e nt h eo v e r l a yn e t w o r ka n dt h eu n d e r l y i n gp h y s i c a l t o p o l o g y b ya p p l y i n g r u l e sf o ri b cc o n s t r u c t i o n , t h ea r c h i t e c t u r e p r o v i d e s a q u a r a n t i n e - l i k e f u n c t i o nf o ri b c a l ln e wc o m e r sc o u l do n l ye n j o yt h eb e t t e r s e r v i c ew h e nt h e ys e r v et h eo t h e r st os o m ee x t e n t , w h i c he f f e c t i v e l yr e s t r i c t st h e w w p r o b l e m sc a u s e db ym a l i c i o u su 螂a n dp r o t e c t st h en e t w o r k c a c h e b a s e ds h o r t c u ti sa p p l i e dt ot h es e a r c hs 乜 a t e g yo f t h ea r c h i t e c t u r e i tc a c h e s s u c c e s s f u lq u e r yi n f o r m a t i o no na l lt h ep a s s - b yp e e r si n s t e a do fo nj u s tt h er e q u e s t p e e ro rs t o r i n ga 1 1r e s o u l p 圯i n f o r m a t i o no nn e i g h b o rp e e r s w h i c hp r o v i d e sa d i f f e r e n tl i g h t w e i g h ts e a r c ho p t i m i z a t i o nm e t h o d c o m m u n i t yp o l l i n gm e c h a n i s mi sd 髓i g n e df o rc o m m u n i t ym e m b e r st oa d j u s t c o m m u n i t yb e h a v i o r s ，w h i c hi m p r o v e st h es e l f - o r g a n i z a t i o nf r o mt h ep e e rl e v e lt o t h ec o m m u n i t yl e v e la n de n a b l e st h eg r e a t e rg r a n u l a rs e l f - o r g a n i z a t i o nm a n a g e m e n t f o rt h ep 2 ps y s t e m s t h ec o m b i n a t i o nd e s i g no fp y r a m i di n c e n t i v em e c h a n i s ma n dc o m m u n i t y m a n a g e m e n t , n o to n l ye f f e c t i v e l yr e s t r i c t sf r e e r i d i n gp r o b l e m , b u ta l s op r o v i d e s t h et o l e r a n c et os o m ee x t e n t k e yw o r d ：p e e r - t o - p e e rn e t w o r k , i n c e n t i v em e c h a n i s m , m a l i c i o u sb e h a v i o r , p h y s i c a lt o p o l o g ym a t c h i n g ，s e l f - o r g a n i z a t i o n w r i t t e nb y ：j i az h a o s u p e r v i s e db y ：j i a n - d el u ，r0 & ， 图表目录 图1 1 ( a ) n a p s t e r 体系结构图4 图1 - 1 ( b ) g n u t e l l a 消息传递过程4 图1 - 1 ( c ) p a s t r y 路由示例4 图2 - 1 集成激励机制的节点群体管理体系架构示意图1 5 图3 一l 基础结构中i b c 和c c 的组织示意图2 0 图3 2 ( a ) 外层树结构2 l 图3 - 2 ( b ) 内层树结构( b s d y 2 1 图3 3 成员邀请和接受：a 邀请b 3 l 图3 4 节点状态变化图3 i 图3 - 5 ( a ) 测试节点分布图3 4 图3 5 ( b ) 使用c t a g 方案后的连接结果3 4 图3 5 ( c ) 使用默认启动方案后的连接结果3 4 图3 5 ( d ) 加入新节点后的结果3 4 图3 5 ( e ) 动态修正1 次后结果3 4 图3 5 ( f ) 动态修正2 次后结果3 4 图3 - 5 ( g ) 动态修正3 次后结果3 4 图3 5 ( h ) 动态修正6 次后结果3 4 图3 - 5 ( i ) 动态修正1 1 次后结果3 4 图4 - 1 情景描述3 6 图4 2 查询缓存示例3 7 图4 3s h o r t c u tl i s t 结构和操作3 7 图4 4i b c 成员节点搜索示意图3 9 图4 5 ( a ) c b s 比例随时间渐进图1 4 5 图4 5 ( b ) c b s 比例随时问渐进图2 4 5 图4 - 6 查询数量对比图4 5 图5 - l ( a ) 单个节点上的负载变化完整过程图：t p ，t 部分5 6 图5 - l ( b ) 单个节点上的负载变化完整过程图：i ，p 部分5 6 图5 2 节点平均c u r r e n t p e e r l o a d 对比图( 启用c b s 技术) 5 6 图6 1i b c 成员节点离线时群体关系处置过程6 1 图7 1h i v e 主要通讯消息格式6 9 图7 2h e 参数设置及调试面板7 1 图7 3h w e 启动节点示意图7 1 图7 - 4h e 结果浏览示意图7 1 表1 - 1p 2 p 计算技术分类5 表1 2p 2 p 计算技术典型应用领域6 表1 3 典型基于d h t 搜索技术的计算复杂度8 表1 4 四种典型p 2 p 存储系统所使用的搜索技术9 表3 - 1 节点配置表主要项目2 2 表3 2 协议扩展参数表2 4 表3 3p 分区表设置2 6 表3 4 五个节点之间的a m 值计算示例2 7 表3 - 5c t a g 技术测试参数设置表3 2 表4 1i b c 成员节点搜索策略3 8 表4 2c c 节点搜索策略4 1 表4 3c b s 技术测试参数设置表4 4 表5 1 信用点计算示例5 0 表5 - 2d p m 技术测试参数设置表5 5 表6 - 1 包括额外信用点支付过程后的信用点计算示例5 9 表7 1h i v e 实验系统主要参数表6 9 titi，ij t lj j9 5 7 0 1 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所 取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或集体已经发表或 撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学位证书而使用过的材 料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承 担本声明的法律责任。 研究生签名 基辔 学位论文使用授权声明 日期：! ! 鱼! _ 皇宫 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、中国 社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档，可以采 用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论 文的全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名 导师签名： 参髫 日期： 隧丝日 2 一石4l 2g 集成p y r a m i d 激励机制的p 2 p 节点管理体系架构研究第一章绪论 第一章绪论 本章归纳了p e e r - t o p e e r 计算的概念和特点，概括介绍了p 2 p 计算的发展历程、 分类，应用领域，研究难点和国内外研究进展等课题背景，使读者对p 2 p 计算有较 为清晰的认识，并为本文的课题研究提供所需的技术背景 1 1p 2 p ( p e e r - t o - p e e r ) 计算不同的理解 作为影响i n t e m e t 未来的四项科技之一，p e e r - t o p e e r ( v 2 p ) 计算技术自1 9 9 9 年 开始吸引了学术界、工业界甚至商业界的注意力。时至今日的研究发展，p 2 p 计算 已经不再是一个简单的概念，而成为一个渗透入多个领域的混合体，因此学术界 和工业界对p 2 p 计算很难达成一个统一的定义，甚至在学术界的不同研究领域， 对p 2 p 计算的定性也有不同的侧重。作者认为如果从不同的角色角度来理解p 2 p 计算的概念将会更清晰地理解其不同层面的内涵。以下将从不同角度归纳对p 2 p 计算的认识。 ( 1 ) p 2 p 普通用户：p 2 p 是一种应用软件。这种应用软件通过连接i n t e m e t 网络中的大量主机将网络用户的各种共 ( 2 ) 享资源聚合在一起，用户既可以共享自己特有的资源，也可以获取其它 用户共享的资源。这种应用软件通常对用户是免费的，并且可以匿名使用，避免 用户被追究责任。 ( 3 ) p 2 p 应用开发者：p 2 p 是一种技术和协议。通过实现特定的p 2 p 协议， 开发者可以将p 2 p 技术应用于各种可能的领域，以调整目前应用的运行方式，降 低应用的管理成本，提高应用的性能，甚至为用户提供全新的应用体验。 ( 4 ) 分布式系统研究人员：p 2 p 是一种分布式系统，代表了一种创建分布式 系统和应用的范型。在此范型中，i n t e m e t 上参与的各个节点通过统一的服务为整 个系统提供数据和计算资源【“，从而可以构成一个完整的分布式的计算环境。 ( 5 ) 网络研究人员：p 2 p 是一种分布式的对等网络，运用了不同于传统 c l i e n t s e r v e r 结构的网络范型。p 2 p 网络无需使用特定的中央服务器，网络中的节 点都是对等实体，它们既是客户端( c l i e n t ) ，又是服务器端( s e r v e r ) 。网络节点 基于相同的目标共享自身所拥有的一部分资源( 计算能力、存储能力、网络连接 第一章绪论集成p y r a m i d 激励机制的p 2 p 节点管理体系架构研究 能力等软硬件资源) 。 ( 6 ) 网络安全研究人员：p 2 p 是安全研究的矛盾结合体。一方面，研究人员 倡导p 2 p 自由精神，需要为p 2 p 计算提供匿名能力以反监控、反侦查，避免因为 p 2 p 用户发布强权势力禁止的信息而破迫害；为便于应用普及和用户使用，需要为 p 2 p 系统提供有效的穿越防火墙的能力；为保护p 2 p 应用环境，需要提供各种机 制和规则，防止应用被恶意攻击和破坏。而另一方面，研究人员需要协助网络运 营商限制p 2 p 应用所产生的庞大网络流量，对各种应用进行限制甚至封堵；为政 府管理部门提供内容监控、过滤，阻止色情暴力等有害内容的传播；为不同企业 提供保护知识产权的技术，防止侵犯版权和利益。 由于人们在接触p 2 p 计算时往往具有以上一个或者多个角色，因此对于p 2 p 计算的具体内涵往往会持有不同层面的认识，这就导致了不同身份的人员对p 2 p 计算持有不同的理解。将以上主要概念联系到一起后便可以得出：p 2 p 应用软件属 于一种p 2 p 应用系统，这种系统采用了p 2 p 技术，借鉴了p 2 p 分布式系统的范型， 并且整个系统基于p 2 p 协议所构成的p 2 p 网络。 不同角色对于p 2 p 计算的理解虽然有所不同，但是其具有的共同点是：不同 于传统c l i e n t s e r v e r 模型，p 2 p 计算强调的是平等的理念，采用了平等的交互模式1 。 这种模式使得基于p 2 p 网络范型的应用具有以下特性： 分散性( d e c e n t r a l i z a t i o n ) ：网络中的资源和服务分散在众多节点之上，信息 的传输和服务的实现都直接在节点之间进行，不需要依靠第三方或者中央服务器， 这是p 2 p 计算的本质特点。p 2 p 计算的分散性决定了其扩展性、健壮性和负载平 衡的特点，并在这三个方面形成了对传统网络范型的优势。 可扩展性( s c a l a b i l i t y ) ：在p 2 p 网络中，随着用户的增加，虽然服务的需求增 加了，但网络整体的资源数量和服务能力也在同时增加，始终能够满足用户的需 要。并且整个系统是完全分布式的，理论上不存在传统结构的瓶颈，其可扩展性 可以认为能够达到整个i n t e m e t 网络的范围。 健壮性( r o b u s t ) ：p 2 p 网络的分布式结构使其自然的具有耐攻击、高容错的优 点。由于服务分散在各个节点上，少部分节点服务遭到破坏对整体网络的影响很 小。并且p 2 p 网络在部分节点失效时一般能够自动调整覆盖网络层次的拓扑，保 持其它服务的可用性。 考虑到节点资源的实际情况时。结论未必如此请见下文论述 2 集成p y r a m i d 激励机制的p 2 p 节点管理体系架构研究第一章绪论 负载平衡( l o a db a l a n c i n g ) ：p 2 p 网络环境下由于每个节点既是服务器又是 客户机，因此不但降低了对传统c l i e n v s e r v e r 结构中服务器计算、存储以及网络带 宽等资源的要求，同时因为资源和服务分布在多个节点上，更好的实现了整个网 络的负载平衡。 1 2p 2 p 计算的简史旧概念新技术的结合 从1 9 9 9 年至今，p 2 p 计算技术大致经历了三代的变化。第一代由n a p s t e r 音 乐交换服务开始【2 】。n a p s t e r 的体系结构包含集中的索引服务器，客户端存放所有 其他客户端访问的音乐文件。n a p s t e r 的执行过程如图1 1 ( a ) 所示。n a p s t e r 的服 务提供商最后由于侵犯版权的法律诉讼而被迫停止了该项服务。但是由于复杂的 系统路由过程使得第三方从n a p s t e r 的大量用户中辨认非法资源提供者和获取者极 为困难，因此客户端的责任被分散而无法追究。n a p s t e r 的成功之处在于汇聚了跨 越i n t e r n e t 网络的一个大型的、广泛分布的数字音乐文件集合，普通用户可以方便 地访问这个巨大的文件集合，开启了p 2 p 应用的新时代。n a p s t e r 的经验和教训促 使了用户对于隐私和安全的新需求，于是相继出现了一些强调匿名共享的p 2 p 系 统，较知名的有f r e e n e t d l 和f t 它e h a v e n l 4 1 等。 第二代p 2 p 文件共享应用以g n u t e l l a l 5 1 、k a z a a 【6 】和b i t t o r r e n t f f l 等为代表，发 展出了更好的扩展性、匿名能力和容错能力c m u t e l l a 采用了完全分布式( f u l l y d e c e n t r a l i z e d ) 系统结构2 ，去除了n a p s t e r 所使用的中央索引服务器，网络中的每 个用户身份完全对等，既是客户又是服务器。c m u t e l l a 使用泛洪查询( f l o o d i n g ) 和随机转发( r a n d o mw a l k i n g ) 的方式来为客户搜索资源( 图1 - l b ) 。k a z a n 采用 了被称为混合型( h y b r i d ) 系统结构，使用性能( 计算、存储、网络连接) 较好的 节点作为超级节点( s u p e r n o d e ) ，为邻近范围内的其他节点承担n a p s t c r 中央索引 服务器的角色，形成一个快速转发查询的层次，一定程度上提高了查询的效率。 b t t t o r r e n t 作为具有代表性的第二代p 2 p 计算技术应用之一，其p 2 p 的特性主要体 现于文件传输方式上，而非其资源搜索或者独特的系统结构上。b t t t o r r e n t 采用传 统的方式在i n t c m e t 上分发包含资源信息的t o r r e n t 文件，用户通常从w e b 上获取 指导传输的信息文件。传输时，b i t t o r r e n t 充分利用了网络带宽资源，使客户端之 间同时上传和下载，极大的增加了文件传输速度。 第三代p 2 p 计算技术主要以中间件软件层的形式出现，这种中间件独立于特 2 新版奉也包括混合结构的概念 3 第一章绪论 集成p y r a m i d 激励机制的p 2 p 节点管理体系架构研究 壤 誊萃炒 妙澎 图1 1 ( a ) n a p s t e r 体系结构图 图l l ( b ) g n u e l l aj 自息传递图l - l ( c ) p a s t r y 路由示例节 过程 节点l 首先向其邻居节点6 5 a 1 f c 向d 4 6 a i c 发送消 点2 、3 发送标号为1 的省息，息的传递过程 随后消息以“泛洪”方式传播 定的应用，着重于管理全球范围规模的分布式资源。目前，很多研究组已经完成 了一系列中间件平台的设计开发、性能评估和改进。其中较为知名的有：p 嬲时【引、 t a p e s t r y 9 1 、c a n e l o 】、c h o r d 1 1 】和k a d e m l i a 1 2 1 。此类中间件平台以分布式散列表 ( d i s t r i b u t e d h a s h l a b l e ，d h t ) 为基础( 图1 - l c ) ，设计目标为将各种资源分散的 存放在跨越i n t e m e t 网络的一系列计算机之上，并代替客户端路由各种消息，使得 客户端无须为存放资源和获取资源位置信息处理额外工作。并且，不同于第二代 的p 2 p 技术，第三代技术可以在有限的网络跳数内保障消息的传递。 p 2 p 技术虽然在短短几年时间内经历了数代，但是其并非是一个全新的概念， 而是一个旧概念和新技术结合的新延伸。早在2 0 年前，m o e k a p e t r i s 等人设计了域 名系统d n s ( d o m a i nn a m es y s t e m ) t 3 1 ，并作为r f c l 0 3 4 代替了原有的i n t e m e t 命名机制。d n s 采用的便是一种基于多服务器的易于扩展和容错的体系结构。此 外，l a m p o r t 用于分布式协调的p a r t - t u n ep a r l i a m e n t 算法【1 4 l 以及域内i p 路由算法 都可以被认为是p 2 p 系统的先例。 1 3p 2 p 计算的分类不息的争论 学术界对于p 2 p 计算技术如何分类始终有各种不同意见和争论。以下列举几 种分类方式： 4 集成p y r a m i d 激励机制的p 2 p 节点管理体系架构研究第一章绪论 表1 - 1p 2 p 计算技术分类 划分方式分类说明 系统运行依赖于特定的集中服务器的，例如 集中式( c e n t r a l i z e d ) n a p s t e r 。 按节点分散度划分 纯分散式( p u r e l y 系统节点完全分布，不依赖于集中服务器， d e c e n t r a h z e d )例如g n u t e l l a ，c h o r d 。c a n 。 ( 体系结构角度) 混合式或半分散式 系统利用超级节点( s u p e rn o d e ) 来处理一 ( h y b r i d p a r t i a l l y 些额外事务，体现集中服务器功能，例如 d e c e n t r a h z e d )k a z z a 和f a s t t r a e k 。 无组织拓扑( 或称非结 构化拓扑，u n s t r u c t u r e d系统网络由节点自由组成，例如g n u t e l l a 。 t o p o l o g y ) 按拓扑耦合程度划分 有组织拓扑( 或称结构 化拓扑，s t r u c t u r e d 网络组成和数据存放地点由特定算法精确 ( 网络拓扑结构角度) 构成，例如c h o r d , c a n 。p a s t r y 。 t o p o l o g y ) 松散组织拓扑( l o o s e l y 网络由节点自由组成，但是数据的存放由算 法确定，这种拓扑介于结构化和非结构化之 s t r u c t u r e dt o p o l o g y ) 间。例如f r e e n e t 。 通讯与协作运用p 2 p 计算技术，用以改善网络协同工作 ( c o m m u n i e a t i o n 和基于网络的通讯体验的应用技术，例如 c o i l a b o r a t i o n ) g r o o v e 和s k y p e 。 按应用领域划分 分布式计算( d 1 s m b u t c d基于p 2 p 计算技术，以构建全球范围分布式 ( p 2 p 技术应用角度) c o m p u t a t i o n ) 计算环境的基础技术，例如x e n o s e r v e r 。 内容分发( c o n t e n t 基