（通信与信息系统专业论文）p2p协议融合技术与实现.pdf

参 - 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校 攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或 机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。 本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期： 日期： w 口j 卜 r ，r j _ j 自己喜 的网络 络研究 其几乎 取代了传统的客户端朋艮务器模式的下载软件。然而当前网络中，还 是存在着大量的客户端服务器模式。如果我们可以将两种下载模式 融合起来，一方面可以提高我们下载文件的速度，另一方面，我们对 网络中资源的利用率也将得到提高。 本文针对当前网络中p 2 p 下载模式的不足，提出一种全新的高速 下载思想，使其融合c s 下载模式实现一款p 2 p 协议融合下载软件。 文章从p 2 p 和客户端朋艮务器的网络结构出发，首先介绍了p 2 p 技术 与传统的客户端j j l 务器网络。之后介绍了应用广泛的b t 协议与 h t t p 协议。在了解这些基本概念后，我们选定一款开源的b t 协议 下载软件r t o r r e n t 及其支撑函数库l i b t o r r e n t 作为改进的基础，在函数 库l i b t o r r e n t 中添加协议融合通用接口类，并使用函数库l i b c u r l 实现 h t t p 下载进程。通过修改r t o r r e n t 的主程序及文字界面，最终实现 了b t 协议与h t t p 协议融合的下载软件。经过测试，该协议融合下 载软件在不同网络环境下的下载速度与p 2 p 下载软件相比均有提高。 未来几年，网络中的各种资源将会愈发丰富，而人们利用网络来 下载各种所需的资源也会越来越重要。协议融合下载软件将会更好的 满足用户的下载需求，节省用户的下载时间。协议融合思想必将得到 广泛的应用。 关键词：b t 协议；h t t p 协议；r t o r r e n tl i b t o r r e n t ；协议融合 一 j 一 j no fp 2 pp r o t o c o l o g y w i t ht h es p r e a d i n gd e v e l o p m e n to ft h ei n t e m e t ，m o r ea n dm o r e p e o p l e f i n da n dd o w n l o a dr e s o u r c et h a t t h e y l o v e t h ec o n t e n t t r a n s m i t t e do ni n t e r n e th a sc h a n g e df r o mt e x tt om u l t i m e d i ad a t a ，t h e s e f i l e sa l w a y sv e r yh u g e ，i nt h ec u r r e n tn e t w o r ke n v i r o n m e n tu s e r s d o w n l o a ds p e e dv e r ys o l w h o wt od e v e l o pd o w n l o a ds p e e db e c o m e st h e f o c u s b e c a u s eo ft h eh i g l le 伍e c t i v ea n ds u f j f i c i e n tr e s o u r c e so nt h ep 2 p n e t w o r k ，p 2 pd o w n l o a ds o f t w a r e a l m o s tr e p l a c e st h es e r v e r c l i e n t n e t w o r k b u tt h e r ea r es t i l lm a n ys e r v e r c l i e n tn e t w o r k s i fw ec a nu s e b o t ho ft h et e c h n o l o g yf o rd o w n l o a d i n g ，w ec a ni m p r o v eo u rd o w n l o a d s p e e da n do nt h eo t h e rh a n dw e nc a ni m p r o v e t h eu s a g eo ft h er e s o u r c e s o ni n t e m e t t h i sp a p e rp r o p o s e san e wm i n do fh i g hd o w n l o a ds p e e df o r t h el a c k o ft h ep 2 pd o w n l o a dm o d e i n t e g r a t ec sm o d ew i t hp 2 pm o d et o i m p l e m e n tap r o t o c o lf u s i o nd o w n l o a ds o f t w a r e t h ep a p e rb e g i n sw i t h t h es t m c to ft h ep 2 pn e t w o r ka n dc l i e n t s e r v e rn e r w o r k ，f i r s ti n t r o d u c e p 2 pt e c h n o l o g ya n dc l i e n t s e r v e rn e t w o r k s e c o n di n t r o d u c et h ew i d e l y u s e db tp r o t o c o la n dh t t pp r o t o c 0 1 a f t e ru n d e r s t a n d i n gt h e s eb a s i c c o n c e p t s w es e l e c t e db tp r o t o c 0 1d o w n l o a ds o f t w a r er t o r r e n ta n di t s s u p p o r t i n gl i b r a r yl i b t o r r e n ta sab a s i sf o ri m p r o v e m e n t si n tt h el i b t o r r e n t l i b r a r yt oa d dc o m m o ni n t e r f a c eo fp r o t o c o li n t e g r a t i o nc l a s s ，a n du s et h e l i b c u f ll i b r a r yt oa c h i e v et h eh t t pd o w n l o a dp r o c e s s m o d i f yt h em a i n p r o g u a na n dt e x ti n t e r f a c ef o rn o n e n t ，a n du l t i m a t e l ut h eb tp r o t o c o la n d h t t pp r o t o c o ld o w n l o a ds o f t w a r eh a sb e e ni m p l e m e n t e d a f t e rt e s t i n g ， t h i sp 2 pp r o t o c 0 1f u s i o nd o w n l o a ds o f t w a r e d o w n l o a ds p e e di sh i g h e r t h a np 2 pd o w n l o a ds o f t w a r e si na n yn e t w o r ke n v i r o n m e n t t h en e x tf e wy e a r s av a r i e t yo fn e t w o r kr e s o u r c e sw i l lb e c o m e m o r ea b u n d a n t ，a n dp e o p l eu s et h ei n t e m a e tt od o w n l o a dt h en e c e s s a r y r e s o u r c ew i l lb ei n c r e a s i n g l yi m p o r t a n t p r o t o c o lf u s i o nd o w n l o a d s o f t w a r ew i l lb e t t e rs a t i s f yt h ed e m a n do fu s e r s r e q u i r e m e n t p r o t o c o l f u s i o nm i n di sb o u n dt ob ew i d e l yu s e d 1 ；h t t pp r o t o c o l ；r t o r r e n t ；l i b t o r r e n t ； s l o n - ： j 第二章b t 协议与h t t p 协议介绍 1 ：! 4 ! ； 7 2 1p 2 p 网络及p 2 p 技术简介7 2 1 1p 2 p 网络简介7 2 1 2p 2 p 技术的应用及其研究现状9 2 1 2 1 文件交换9 2 1 2 2 对等计算9 2 1 2 3 搜索引擎9 2 1 2 4 协同- t 作1 0 2 1 2 。5 即时通信1 0 2 1 2 6 开发平台的研究1 0 2 2b t 协议介绍l o 2 2 1b t 网络架构1 1 2 2 2b t 协议的工作过程1 l 2 2 2 1 t o r r e n t 文件格式1 2 2 2 2 2t r a c k e rh 1 t p h t l p s 协议。13 2 2 2 3p e e rw i r e 协议1 5 2 2 2 4 结j 沧。1 6 2 3c s 模式与h t t p 协议介绍1 7 2 3 1c s 模式简介1 7 2 3 2h t t p 协议简介1 7 2 4p 2 p 模式与c s 模式的比较1 9 2 5 本章小结2 1 第三章b t 下载软件r t o r r e n t 及其协议库l i b t o r r e n t 分析。2 3 3 1b t 下载软件的选择2 3 3 2r t o r r e n t 介绍及使用说明2 3 3 2 1l i b t o r r e n t 和r t o r r e n t 软件环境的搭建过程2 3 3 2 2r t o r r e n t 命令使用发法。2 5 3 2 3r t o r r e n t 的界面使用发法2 5 3 3r t o r r e n t 源代码分析3 4 3 3 1 全局文件3 4 3 3 2 屏幕显示3 5 3 3 3 输入处理3 6 3 3 4 底层操作3 6 3 3 5 用户接口3 6 3 3 6 远程控制3 7 3 3 7 进程核心3 7 3 4 协议库l i b t o r r e n t 源代码分析3 8 3 4 1l i b t o r r e n t 的源码结构3 8 3 4 2l i b t o r r e n t 中的重要机制3 9 3 4 3l i b t o r r e n t 重点类的解析4 l 3 4 3 1 下载核心相关类解析4 2 3 4 3 2 底层网络架构相关类解析4 3 3 。5 本章小结4 4 第四章b t 协议与h t t p 协议融合的实现 4 1l i b t o r r e n t 中协议融合通用接口的实现。4 5 4 1 1 选择接口实现的位置4 5 4 1 1 1p e e r 列表4 5 4 1 1 2 片断列表4 6 4 1 1 3 选定协议融合通用接口的实现位置4 8 4 1 2 协议融合通用接口的实现一4 8 4 1 2 1 协议融合通用接口的需求4 8 4 1 2 2 下载文件块管理方式4 9 4 1 2 3 协议融合通用接口的实现5 0 4 2h t t p 下载进程的实现5 2 4 2 1h 1 1 甲下载进程实现的原理5 2 4 2 2h t t p 下载进程的实现5 3 4 3b t 协议与h t t p 协议融合软件的实现5 4 4 3 1r t o r r e n t 中对h t r p 协议下载进程的控制5 4 4 3 2r t o r r e n t 文字界面的修改。5 5 4 4 本章小结。5 8 第五章协议融合下载软件的测试与改进 5 1 对协议融合下载软件测试环境的搭建6 1 5 2 对协议融合下载软件的测试结果6 3 5 2 1 来自北邮人b t 的种子文件6 3 5 2 2 来自公网的b t 种子文件一6 5 5 3 测试结果的分析6 6 5 4 对协议融合下载软件的改进6 6 5 5 本章小结6 9 第六章总结与展望 参考文献 j 改谢 攻读硕士学位期间发表的学术论文目录 i i 7 4 北京邮电大学硕士学位论文 第一章绪论 1 1 课题研究的背景与意义 计算机对等互联网p 2 p ( p e e r - t o - p e e r ) 技术【l 】是目前流行于国际计算机网络 技术研究领域的一个热点。p 2 p 技术可以被应用于广泛的网络互联技术领域中， 并极大地提高对因特网中信息、带宽和计算资源的利用率。p 2 p 对等网络打破了 传统的客户机朋艮务器模式( c l i e n t s e r v e r ) ，对等网络中每个节点的地位都是相同 的，每个节点既充当服务器，为其他节点提供服务，同时也充当客户机，享用其 他节点提供的服务。 自1 9 9 9 年以来，对等到对等( p 2 p ) 重叠网络模式正逐渐成为研究和应用 的热点，p 2 p 网络应用模式的兴起得益于i n t e r n e t 的广泛普及、网络带宽的大幅 增加和基于i n t e r n e t 的端系统计算能力迅速增强。上述因素促使原先在其他网络 计算模式中通常被忽视且广泛存在的用户端设备成为一种宝贵的计算资源，与之 形成对比的是，在客户机服务器模式中，通常只有服务器节点的资源得到利用。 因此，“充分利用网络边缘资源”成为当前新的研究和应用目标之一，其中“网 络边缘资源 是指那些在传统应用模式中作为客户端而往往被忽略的计算设备。 到目前为止，p 2 p 技术研究的涉及面非常广，主要包括网络拓扑构造、安全与可 靠性、分布式数据存储和大规模并行计算等。p 2 p 的应用更是涵盖诸多领域，例 如商业和民用领域的文件与数据共享和存储、科研领域的协同和并行计算、军事 领域的士兵协作和战场网络构造等。 从网络模型来看，p 2 p ( p e e rt op e e r ) 并不是新概念，它可以说是互联网整体 架构的基础。互联网最基本的协议t c p i p 2 】并没有客户机和服务器的概念，所有 的设备都是通讯的平等的一端。由于受早期计算机性能、资源等因素的限制，随 着互联网规模的迅速扩大，大多数连接到互联网上的普通用户并没有能力提供网 络服务，从而逐步形成了以少数服务器为中心的客户机服务器( c l i e n t s e r v e r ) 架 构。随着互联网对人们生活的联系日益紧密和深入，人们需要更直接、更广泛的 信息交流，而计算机和网络性能的提升也使其具有现实的可能性。在此背景下， p 2 p 再一次受到了广泛的关注。目前，大多数人接触p 2 p 网络是从一些即时通讯 软件和文件共享系统开始的，但p 2 p 技术的应用不仅限于此，还包括p 2 p 计算 或基于p 2 p 的信息安全等很多方面。有研究人员认为，p 2 p 技术的应用将使网络 上的资源得到充分利用和最大化的共享。p 2 p 技术在实时通信、协同工作、内容 分发以及分布式计算等多个领域得到了应用。甚至有人认为，p 2 p 与其说是一种 技术，更不如说是一种思想，有着改变整个因特网模式的思想。它的一个重要特 北京邮电大学硕士学位论文 点就是改变因特网现在的以大网站为中心的状态，重返“非中心化”，并把资源 共享的权力交还给用户。 p 2 p 最根本的思想是网络中没有特殊的中央服务器，所有的节点( p e e r ) 都既 可以获取其它节点提供的资源或服务，同时自身又是资源或服务的提供者，兼具 客户端和服务器的双重身份【3 】。一般p 2 p 网络中每一个节点所拥有的权利和义务 都是对等的，包括通讯、服务和资源消费，地位相同，不存在等级差异，所以称 为对等体( p e e r ) 。信息资源共享本身就是一个交互过程，奉行“人人为我，我为 人人”的宗旨，也就是说它不是一个单向的下载流程，下载的同时也在为别人提 供上传服务。因此p 2 p 下载的说法不太准确，将这个过程定义为p 2 p 共享更为 恰当，具体的实现就是p 2 p 共享软件。由于p 2 p 共享软件在资源获取上比传统 下载软件有明显的速度优势，它很快为广大使用者所接受，并且占据了主流地位。 现今p 2 p 共享软件种类众多，而且发展很快，不断采用新技术完善自身，呈现 一种百花齐放的态势。目前关于p 2 p 研究已达到细致入微的程度。甚至有文章 考虑负载转移时节点间距离的影响和节点性能的差异性，针对基于分布式哈希表 ( d h t ) 【4 】的p 2 p 系统提出一种方案试图保持系统的高效性，可见其针对性之强。 实际上，这也反映了近年对p 2 p 研究的广泛和深入。 随着网络技术的不断发展，互联网的客户机j j a 务器通信模式统治的局面被 逐渐打破，出现了越来越多的对等网络的通信模式。但终究p 2 p 技术还没有也不 能完全取代客户机服务器模式，客户机服务器模式在数据接收、数据安全性、 数据质量、数据覆盖率、数据管理的方便性等方面都要优于p 2 p 技术。如果能 在现今的网络环境下将p 2 p 技术和其他技术融合起来，将会对网络技术的优化 与提高网络资源的利用率大有好处。 本文主要利用协议融合技术实现一款下载软件，该软件即可兼顾对等网络模 型和客户机服务器模型，其中心思想是使用两个具体的下载协议来实现两种网 络模式的融合，在融合的过程中取两种网络模型的优点，在当前p 2 p 网络模型 和客户机 a 务器模型共存的网络环境下充分利用资源，使软件得到很高的性能 和优秀的下载能力。 1 2 课题研究的思路 为了实现协议融合下载软件，我们首先对现在流行的一些下载软件做了一些 试验，我们选择的下载软件有迅雷【5 1 ，比特精灵6 1 ，r t o r r e n t 7 1 。测试的网络环境 为教育网，速度为1 0 0 0 m b p s 。测试的方法为两种：下载同一资源并观察下载速 度；使用网络抓包工具w i r e s h a r k 抓包并分析数据包。 其中，迅雷和比特精灵是w i n 3 2 操作系统下的下载软件，r t o r r e n t 为l i n u x 2 北京邮电大学硕士学位论文 操作系统下的下载软件，我们首先选择一个在网络中共享率相当高的资源作为测 试使用的下载资源，我们选择的是当前非常流行的一部电影作为下载资源。三款 软件在同一时间开始下载，取下载十五分钟的平均速度作为参考，测试的结果如 下表所示。 表1 - 1 不同下载软件对同一资源的下载速度 下载软件下载1 5 分钟的平均速度 迅雷 3 8 9 k b s 比特精灵 2 3k b s r t o r r e n t 3 4 k b s 如上表所示，我们看到比特精灵和r t o r r c n t 两款下载软件的下载速度在同一 个水平，而迅雷的下载速度则远远高于其它两款下载软件。为了究其原因，我们 采用网络抓包工具w i r e s h a r k 在三款下载软件工作的同时进行抓包分析，抓包分 析的结果如下表所示。 表1 - 2 不同下载软件的数据包分析结果 下载软件数据包分析结果 迅雷包括公网资源( t c p ) 、教育网资源( i j l ”) 比特精灵只有公网资源( t c p ) r t o r r c n t 只有公网资源( t c p ) 如上表所示，我们看到比特精灵和r t o r r e n t 两款下载软件的资源中只有公网 资源，这也说明为什么这两款下载软件的下载速度在同一个水平。而迅雷的数据 包中不仅包括公网资源，也包括教育网资源。本测试的网络环境为教育网，这也 说明为什么迅雷的下载速度远远高于其它两款下载软件。 为什么迅雷能够和教育网内的资源建立连接并下载数据呢? 我们仅针对迅 雷又做了一些测试，第一个测试为使用迅雷下载两个资源，一个为在网络中资源 丰富的流行电影，一个为在网络中比较不常见的某课程视频。测试结果如下表所 示。 表1 - 3 使用迅雷下载不同的资源 测试项目 流行电影课程视频 1 5 分钟平均速度 3 8 9 k b s3 6 6 k b s p e e r 列表 2 1 个p e e r0 个p e e r 数据包分析 公网资源( t c p ) 、教教育网资源( u d p ) 育网资源( u d p ) 如上表所示，我们看到迅雷在对两种不同的资源的下载过程中，迅雷软件内 的p e e r 列表显示也是有区别的，虽然在对这两种资源的下载速度相差不多，但 3 北京邮电大学硕士学位论文 p e e r 列表却相差很大，经过对数据包的分析，我们发现，公网资源，使用t c p 连接的，是属于标准b t 协议的部分，是网络中的p e e r 节点，所以它们会出现在 p e e r 列表中。实际上，在流行电影3 8 9 k b s 的速度中，p e e r 所提供的下载速度实 际上只有3 3 k b s ，这跟比特精灵和r t o r r e n t 两款下载软件相比在同一水平，也就 是说，b t 下载的部分，速度大致相同。为什么迅雷的速度会快那么多呢? 就在 于数据包中出现的那些u d p 数据包，是教育网内资源，这和实验环境所处的网 络相同。从这里我们看出，迅雷下载过程中不管是在p 2 p 网络中使用标准的b t 协议来寻找p e e r ，它还有它自己的一套方法来发现同一个网络内部的资源( 如实 验中，教育网中使用迅雷，它便找到一些教育网内的资源) 。 我们从此得到提示，如果某一资源既存在于p 2 p 网络中，也存在h t t p 链 接，那么我们是否可以既从p 2 p 网络中下载该资源，也从h t t p 中同时下载该 资源呢? 这就是本文所要做的协议融合下载软件。 该软件的制作思路是以一款p 2 p 下载软件为主体，在该软件中编写可供协 议融合的接口，使用该接口可以同时下载存在于h t t p 链接中的资源。对于下载 文件的管理由p 2 p 下载软件完成，h t t p 下载进程需要和p 2 p 下载软件进行通信， 在p 2 p 软件那里获得需要下载的文件块，到用户提供的h t t p 链接去下载资源， 下载完成后把下载好的文件块交给p 2 p 进程，p 2 p 进程把资源并入所管理的下载 文件中去，当其它p e e r 连接本机时即可告知连接的p e e r 已经有了这部分资源， 可以提供下载。这样可以更利于p 2 p 网络中资源分布的平衡性，增加资源的健 壮性。 1 3 本文的主要工作 本文的主要工作包括： ( 1 ) 简要介绍p 2 p 网络的基本概念并将p 2 p 模式与传统的客户端朋艮务器模 式的优缺点进行了对比。重点介绍了目前较为流行的p 2 p 协议- - b i t t o r r e n t 协议 的网络架构以及其对d h t 网络的支持。 ( 2 ) 选择p 2 p 下载软件r t o r r e n t ，并对该软件及其协议库l i b t o r r e n t 的源代码 和程序结构进行分析，根据分析情况制定协议融合通用接口的编写方案并编写接 口。 ( 3 ) 利用协议融合通用接口融合h t t p 下载，并做好h t t p 下载进程与p 2 p 下载软件间的通信，做好下载文件的管理。最终实现协议融合下载软件。 ( 4 ) 搭建实验环境测试该下载软件的性能，得出结论并发现存在的不足并 提出改进方案。 4 北京邮电大学硕士学位论文 1 4 本文的章节安排 本文共分为六章，本文的主要内容组织如下： 第一章：绪论本章首先介绍了协议融合下载软件的研究背景及意义，论文 工作内容和章节安排。 第二章：b t 协议与h t t p 协议的介绍本章简要介绍了p 2 p 即对等互联网 技术的起源、基本概念、目前的应用前景。重点介绍目前较流行的p 2 p 协议一 b t 协议，传统的b t 网络由t o r r e n t 文件、种子提供站点、目录服务器和内容 发布者下载者四个部分组成。最新的b t 网络还支持k a d 协议( d h t 网络) 以 实现无t r a c k e r 服务器的网络。之后简要介绍传统的客户端服务器模式和h t t p 协议并将p 2 p 模式与传统的客户端服务器模式的优缺点进行了对比。 第三章：b t 下载软件r t o r r e n t 及其协议库l i b t o r r e n t 分析本章对b t 下载软 件和协议库l i b t o r r e n t 进行了较为深入的剖析。首先根据开源、开发语言为c c + + 和l i n u x 平台的选择依据，本论文选择了r t o r r e n t 和l i b t o r r e n t 的软件组合。在对 b t 协议客户端r t o r r e n t 的使用、l i b t o r r e n t 与r t o r r e n t 软件环境的详细搭建过程、 r t o r r e n t 的命令与文字界面的操作进行了介绍之后，本章深入r t o r r e n t 源码内部， 对各源码文件夹的规划进行了简要的介绍。对其协议库l i b t o r r e n t ，先介绍其源码 包的目录结构之后，对协议库中的事件队列、函数映射等重要机制进行了归纳， 同时对协议库的底层网络、文件分块、i o 复用、下载核心等重点相关类进行了 解析。 第四章：b t 协议与h t t p 协议融合的实现本章首先介绍在l i b t o r r e n t 中实 现协议融合通用接口，之后说明了h t t p 下载进程的实现。融合b t 协议和h t t p 两种协议后，实现两个进程间的通信以管理下载文件，至此，协议融合下载软件 基本成型，最后介绍了软件最终的实现。 第五章：协议融合下载软件的测试与改进本章首先介绍测试环境的搭建， 然后对下载软件的性能进行测试，分析测试结果得到协议融合下载软件的优点与 缺点，对缺点提出改进建议。 第六章：结束语对本文的工作进行总结，同时提出了今后协议融合下载软 件的发展趋势。并展望协议融合下载软件的应用前景。 北京邮电大学硕士学位论文 6 产 北京邮电大学硕士学位论文 第二章b t 协议与h t t p 协议介绍 为了实现b t 协谢8 1 与h r r p 协议【9 1 下载方式的融合，我们首先需要了解这 两种协议的原理，b t 协议的实现是基于p 2 p 网络的，h t t p 协议的实现则是基 于传统的c s 模型。本章将介绍p 2 p 的网络模型、c s 模型和两种协议的原理， 并对两种网络模型做简单比较，说明相互的优缺点，在协议融合的实现过程中尽 量发挥两种网络模型的优势，使融合软件得到更好的性能更强的实用性。 2 1p 2 p 网络及p 2 p 技术简介 本节将首先介绍p 2 p 网络模型，然后对p 2 p 技术的应用和研究现状做简单 介绍。 2 1 1p 2 p 网络简介 p 2 p 即对等互联网络技术( 点对点网络技术) p e e r - t o p e e r 的缩写，它是一种 网络模型，在这种网络中所有的节点都是对等的( 称为对等点) ，各节点具有相 同的责任与能力并协同完成任务。对等点之间通过直接互联共享信息资源、处理 器资源、存储资源甚至高速缓存资源等，无须依赖集中式服务器或资源就可完成。 它让用户可以直接连接到其他用户的计算机，进行文件共享与交换，另外p 2 p 在深度搜索、分布计算、协同工作等方面也大有用途。其实p 2 p 并不是互联网 出现之后才被引申出来的一项全新网络技术，早在互联网出现的时候p 2 p 就已 经应运而生，但是由于当时互联网的发展并不像今天这样普及，而且在网络建设 ( 如带宽、处理能力) 和相关的硬件器材上并不能满足p 2 p 的需求，因此在几 年的互联网发展过程中也衍生出来了许多中间产物。 限于p c 机的性能，并基于易管理性和安全性考虑，后来发展的那些架构在 t c p i p 之上的软件大多采用了c s ( 客户端服务器) 的结构，比如浏览器和w e b 服务器，邮件客户端和邮件服务器等。随着w e b 服务需求的增长，人们感到有 必要直接控制、改变和共享资源。2 0 世纪9 0 年代后期，p c 机的性能在速度和 处理能力上突飞猛进，人们开始意识到可以将服务器软件放在单独的p c 上而且 可以在p c 机之间初始化全双工的信息流，这就导致了p 2 p 技术的复兴。 如果回顾一下，就会发现在w w w ( w o r l dw i d ew e b ) 【lo j 刚刚出现时，p 2 p 就是互联网的本质特征之一。人们各自建立网页、相互做链接，而上网是沿着链 接冲浪。那时的w e b 是真正的“网 。但是当y a h o o 建立了搜索引擎和门户站点 7 北京邮电大学硕士学位论文 后，人们上网的方式被改变了，从此到一个地方去获取所有信息。这些站点控制 了信息的流动、充斥了过时的信息、阻碍了真正的交流，或者对于很多人来说， 另外还有太多的广告。而p 2 p 就是把控制权重新还到用户手中去。他们通过p 2 p 可以共享硬盘上的文件、目录甚至整个硬盘。这将使互联网上信息的价值得到极 大的提升。 实际上，p 2 p 模式并不一定是完全无中心的，它可分为纯分布式p 2 p 和混合 式p 2 p 两种，分别见图2 - 1 、图2 2 。纯分布式p 2 p 是指所有参与的客户端计算 机都是对等点，各对等点之间直接通信，中心服务器自始至终都不对对等点的信 息交换进行控制、协调或处理；混合式p 2 p 则须依赖中心服务器来实现某些功 能。 图2 - 1 纯分布式p 2 p 图2 - 2 混合式p 2 p 8 北京邮电大学硕士学位论文 2 1 2p 2 p 技术的应用及其研究现状 由于p 2 p 模式所具有的技术特点，许多计算机公司和研究部门都认为该技术 蕴含巨大的商业和技术潜在价值，并从不同的角度应用和研究该技术。目前主要 的研究包括文件交换、对等计算、搜索引擎、协同工作和即时通信等。此外，还 有对p 2 p 开发平台及安全问题等的研究。 2 1 2 1 文件交换 在传统的w e b 方式中，实现文件交换需要服务器大力参与，通过把文件上传 到某个特定网站，用户再到该网站搜索需要的文件，然后下载，这种方式的繁琐 不言而喻。在这种情况下，n a p s t e r 抓住人们希望通过互联网共享m p 3 音乐文件的 需求，以p 2 p 模式实现文件的自由交换体系，从而引发了网络p 2 p 技术革命。p 2 p 方式与传统方式相比，最大的区别在于用户不是从其他网站的服务器搜索和下载 资源，而是从任何一个在线网友的计算机中直接下载，当然，其他网站的服务器 也可看做是一个对等点，真正实现个人计算机与服务器平起平坐。文件交换的需 求很自然地延伸到信息交换，例如在线拍卖被赋予新的形式，人们不必到拍卖网 站登记要卖的商品，在个人计算机的硬盘上建个商店就可以了。由此还可以延伸， 就是一切中介网站都可被替代。 2 1 2 2 对等计算 人们一直在尝试通过并行技术、分布式技术把多个网络节点联合起来，利用 闲散计算资源来完成大规模计算任务，p 2 p 网络结构的组织方式为这种计算任务 提供了契机。p 2 p 用于对等计算的优势在于，每个对等点不再只是单纯地接受计 算任务，它还可以根据自身的情况( 比如分到的任务太多) ，再搜索其他空闲节 点，把接受的任务分发下去，中间结果层层上传，最后到达任务分发节点。对等 点之间还可 以直接交换中间结果，协作计算。利用这种方式，可以合理整合闲散的计算能 力和资源，使总体计算能力大规模提升，获得非常可观的计算性能价格比。这 样的灵活性和有效性，基于客户机朋艮务器模式的分布式计算技术是无法达到的。 2 1 2 3 搜索引擎 p 2 p 技术使用户能深度搜索文档，无须通过w e b 服务器，也不受文档格式和 宿主设备的限制，就可达到传统目录式搜索( 只能搜索至1 2 0 - 3 0 的资源) 无 9 北京邮电大学硕士学位论文 可比拟的深度( 理论上包括网上所有开放的资源) 。应用实例有g n u t e l l a 、 i n f r a s e a r c h 等。 2 1 2 4 协同工作 p 2 p 技术的运用使互联网上任意两台计算机都可建立实时联系。这样，多个 用户之间就可通过网络中的协同计算平台，共同完成某项任务或共享信息资源 等。英特尔公司的n e t h e t c h 软件能很好地实现这一功能。 2 1 2 5 即时通信 所谓即时通信，是指诸女 i o l c q 、i c q 等称为“在线聊天 的软件。p 2 p 的即 时通信软件不仅可以随时知晓对方是否在线，而且双方交流完全基于点对点通 信，不依赖服务器的性能和网络带宽。尽管目前的即时通信技术一般都具有中心 服务器，但只是用来控制用户的鉴权、认证等基本信息，并帮助节点之间完成初 始连接。 2 1 2 6 开发平台的研究 随着p 2 p 技术日益显示强大的应用潜力，p 2 p 应用开发平台的研究得以发展。 s u n 公司的j x t a 开发小组宣布j x t ap 2 p 发布，这项开放源代码工程的目的是实 现一套底层的实用应用程序，用于构建跨平台、跨操作系统和跨编程语言的各种 p 2 p 应用。 同时，安全问题也引起p 2 p 研究开发机构的重视，有些已得到解决，但不同 公司有不同的解决方案。例如，英特尔公司开发了一个用于开发安全p 2 p ( 应用 软件的框架p t p t l ( p e e rt op e e rt r u s tl i b r a r y ) ，它不仅是一个安全框架，还试 图成为p 2 p 应用的安全标准，使各种不同的p 2 p 应用程序之间可互相通信。p t p t l 建造在o p e n s s l i 具包上，提供对数字证书、对等节点认证、安全存储、公私钥 加密、对称加密和数字签名等的技术支持。 2 2b t 协议介绍 b t 协议即b i t t o r r e n t 协议的缩写，本部分先介绍b t 协议的实现网络架构， 再深入分析b t 通信协议及其交互过程。 1 0 北京邮电大学硕士学位论文 2 2 1b t 网络架构 b t 网络由如下几部分组成：t o r r e n t 文件【l 、种子提供站点、目录服务器和 内容发布者下载者。 ( 1 ) t o r r e n t 文件( 又称种子文件) 是一个文本文件，包含了t r a c k e r 信息和 文件信息两部分。t r a c k e r 信息主要是b t 下载中需要用到的t r a c k e r 服务器的地址 和针对t r a c k e r 服务器的设置；文件信息是指将目标文件计算处理后再根据b t 协议的b 编码规则编码后得到的信息。b t 的主要原理是把提供下载的文件虚拟 分成大小相等的块，块大小必须为2k b y t e 的整数次方，并把每个块的索引信息 和h a s h 验证码写入t o r r e n t 文件中，所以t o r r e n t 文件就是被下载文件的“索引”。 ( 2 ) 种子提供站点也就是t o r r e n t 文件的提供站点，为下载者提供t o r r e n t 文 件下载服务。 ( 3 ) 目录服务器记录被下载的文件的索引信息及下载该文件的用户的信息 ( 主要信息是i p 地址及端口号) 。 ( 4 ) 早期的b t 协议只支持t r a c k e r 服务烈眨】，这种目录服务器是集中式目 录与分布式查询的混合型；在b t 协议的升级版本中，增加了对d h t ( 分布式h a s h 表) 网络的支持，该网络中目录服务器是分布式的。内容发布者下载者是b t 网 络的主体，最终的下载由它们完成。 构成b t 网络的这几部分的相互关系图2 3 所示。 2 2 2b t 协议的工作过程 图2 3b t 网络架构图 b t 协议主要包括3 个部分：t o r r e n t 文件的格式、t r a c k e rh t t p h t t p s 协议 和p e e rw i r e 协议( 使用t c p ) 。其中t r a c k e rh t t p h t t p s 协议是b t 客户机与 北京邮电大学硕士学位论文 t r a c k e r 服务器之间的通信协议，p e e r w i r e 协议是b t 客户机之间的通信协议。 在介绍b t 协议的三个部分之前，引出b t 协议中的一种常用编码形式一b 编码，它是一种简洁的数据组织方式，支持4 种数据类型：b y t es t r i n g s 、i n t e g e r s 、 l i s t s 和d i c t i o n a r i e s 。 b y t es t r i n g s ( 字节字符串) 的编码格式： ： i n t e g e r s ( 整数) 的编码格式：i e l i s