P2P系统原理教学课程

1、第五章 P2P系统原理 学生：孙亮5.5.3P2P流流量的管管理手段段5.5.4P2P流流量综合合管理方方案5.6P2P系统的的信誉机机制5.7结结论与与进一步步的研究究工作5.5.3P2P流流量管理理手段 传统统的流量量管理手手段传统的流流量管理理手段有有以下几几种：（1）严严格的封封禁手段段：对于禁禁止的P2P应应用的流流量进行行直接的的过滤。（2）不不同的服服务等级级：这类方方法给各各种不同同应用不不同的服服务等级级，通过过控制服服务质量量以及转转发优先先级来对对P2P应用给给予相对对较低的的服务等等级，从从而保证证传统应应用的服服务质量量不受到到太大的的影响。 （3）带宽

2、限制制：通过设设定流量量的允许许宽带，限制超超过一定定的流量量宽带，并在网网络空闲闲的时候候适当地地放宽之之一限制制。（4）按时间或或者流量量计费：由于传传统业务务在夜间间的流量量远远小小于在白白天繁忙忙期的流流量，所所以可以以按照对对不同时时段采用用不同费费用的方方法进行行收费。此外，由于P2P应应用产生生大量流流量，也也可以按按照流量量收费来来对P2P流量量进行控控制。5.5.3P2P流流量管理理手段 P2P流量量的限制制管理方方法针对特定定的P2P应用用，有一一些行之之有效的的限制方方法，主主要有：限制种种子文件件的下载载，限制制浏览P2P资资源网站站，禁止止访问P2P服服

3、务器，封闭P2P端端口，限限制用户户宽带，限制对对大连接接数，使使用HTTP代代理对应应用层协协议过滤滤阻断P2P应应用等7种方法法。（1）限制种子子文件的的下载。很多文文件下载载类的P2P应应用通过过在网上上发布种种子文件件的方式式共享资资源，如如BitTorrent。可可以通过过在HTTP中中限制种种子的扩扩展名来来禁止BitTorrent下载。对于修修改扩展展名，或或者使用用非80端口提提供Web服务务的情况况，这种种方法就就需要解解析HTTP协协议，并并解析种种子格式式才能做做到，在在实际实实现中就就较难奏奏效。5.5.3P2P流流量管理理手段（2）禁禁止访问问P2P服务器器。很多P2

4、P应用用需要客客户端接接入P2P网络络前先连连接某个个特定的的服务器器。例如如Bittorent对应的的是Tracker服服务器。Tracker是是指运行行于服务务器上的的一个程程序，这这个程序序能够追追踪到底底有多少少人同时时下载一一个文件件。客户户端连上上Tracker服务务器，就就会得到到一个下下载人员员名单，据此BitTorrent会自动动连接其其他Peer的的机器进进行下载载。（3）限制浏览览P2P的资源源网站。P2P应用，如BitTorrent和和EMule之之类的往往往通过过一些资资源网站站发布种种子文件件。对一一些比较较热门的的P2P的资源源网站，在安全全网关配配置过滤滤规则，

5、并且在在出接口口上启用用过滤HTTP功能，禁止对对它们的的访问也也可以抑抑制P2P应用用。但是是，一方方面P2P资源源网站很很多，无无法进行行全面的的屏蔽；另一方方面，屏屏蔽网站站可能造造成一些些误判，导致一一些合法法的站点点无法访访问。（4）封闭P2P端口口。有些P2P应应用有默默认的服服务端口口，网络络管理员员可以根根据网站站流量的的变化进进行判断断，在网网关中封封掉特定定的P2P流量量的端口口。但是是现在很很多P2P软件件可以动动态分配配端口号号，从而而使得管管理员无无法真正正掌握目目前使用用的所有有P2P应用端端口。另另一方面面，过多多的屏蔽蔽端口可可能使得得一些正正常的网网络访问问无

6、法进进行，从从而造成成一定程程度上的的负面影影响。5.5.3P2P流流量管理理手段 （5）限限制用户户带宽。P2P应应用对网网络的影影响来自自于它占占用了大大量网络络。因此此，限制制每个用用户使用用的网络络带宽，可以再再一定程程度上缓缓解P2P应用用对网络络的危害害。但是是对于运运营性网网络，对对网络带带宽的限限制是一一种因噎噎废食的的措施。它一方方面不能能完全禁禁止某些些用户的的P2P应用，另一方方面也使使得那些些非P2P的传传统应用用受到影影响模式式的用户户无法高高效，合合理的利利用网络络资源。5.5.3P2P流流量管理理手段（6）限限制最大大连接数数。P2P应应用本质质上是让让某个P2P

7、终终端和众众多其他他P2P节点之之间一起起共享资资源，所所以在下下载的时时候会保保持与很很多节点点的连接接，尝试试从他们们那获取取数据。网络管管理员可可以针对对这一特特点，对对TCP最大连连接数进进行控制制，从而而达到控控制P2P应用用对网络络带宽的的占用。但是这这个方法法只能抑抑制，并并不能达达到很好好的控制制效果，而且对对TCP最大连连接数目目进行控控制同样样也会损损害用户户正常使使用网络络。（7）过滤流量量。当前国国内主要要的监控控软件厂厂商以及及一些硬硬件防火火墙厂商商，可以以对每个个用户或或者针对对某些特特殊应用用限制流流量。另另一些产产品可以以通过深深层扫描描，也就就是利用用特征字

8、字符串的的方法进进行P2P应用用识别，然后对对P2P应用进进行限制制，这是是一种较较为理想想的方法法。P2P流流量的优优化管理理方法(1)缓缓存。如如同Web流量量的缓存存服务器器一样，也可以以使用针针对P2P流量量的缓存存服务器器。P2P流量量的缓存存服务器器能够在在实际部部署中获获得成功功主要归归功于如如下几个个原因：a.只有少数数文件需需要被缓缓存，即即使缓存存所有在在下载的的文件，数量其其实也不不多。b.所有被下下载的文文件中只只有极少少的一部部分就造造成了超超过50%甚至至更多的的下载流流量，这这进一步步减少了了需要缓缓存的数数量。c.因为P2P下载载总是很很多新用用户

9、，即即使是短短暂热点点的文件件被缓存存起来，也能够够在缓存存期间服服务很多多用户。d.P2P的的文件往往往是静静态的文文件，一一旦缓存存下来不不需要去去定时更更新.P2P流流量的优优化管理理方法e.多个用户户同时在在下载的的文件总总数并不不是非常常多。所存在的的问题，例如合合法性问问题，法法律可能能不允许许运营商商在服务务器上保保存侵犯犯版权的的内容。（2）P2P流量重定定向。P2P流量重定定向需要要控制管管理网络络内的所所有P2P应用的流流量都经经过一个个重定向向服务器器。这个个服务器器会检查查经过流流量，决决定这个个请求是是通过发发送到运运营商之之外的网网络还是是可以从从本地

10、的的P2P客户端处处得到满满足，如如果能够够本地满满足就通通过本地地传输，从而减减少骨干干网络的的流量。由于重定定向服务务器需要要参与并并且解释释所有的的客户端端的请求求，它必必须满足足以下两两个条件件：a.必须被部部署在出出口链路路上。b.能够支持持与大多多数的P2P协议交互互的能力力。c. P2P重定向是是一项正正在研究究中且并并没有完完全成熟熟的技术术，它的的潜在的的优势是是可以再再减少互互联带宽宽的同时时增加用用户的满满意度。不过，存在困困难的就就是这种种方式需需要掌握握大多数数P2P协议的细细节，而而很多P2P协议时私私有非公公开的，需要使使用时间间开销相相对较大大的反向向工程手手段

11、。P2P流流量的优优化管理理方法(3)控控制超级级节点。控制超级级节点的的思想类类似于重重定向服服务器。由于很很多P2P协议议都是通通过超级级节点来来定位资资源完成成下载的的，甚至至通过超超级节点点传输数数据。所所以，运运营商可可以开发发并部署署一些自自己控制制的节点点，并通通过控制制自己网网络中的的P2P客户尽尽量地连连接这些些超级节节点，来来使P2P流量量尽量发发生在本本地网络络范围内内。P2P流流量的优优化管理理方法然而，控控制超级级节点的的方法也也有自己己的问题题。用户户可能并并不信任任运营商商提供的的超级节节点，因因为运营营商的利利益和用用户的利利益完全全

12、不一致致。或者者用户并并不愿意意运营商商控制的的超级节节点看到到他们正正在下载载的文件件。5.5.4P2P流量量综合管管理方案案本节从逻逻辑功能能结构出出发，以以针对P2P流流量的缓缓存与优优化方案案为研究究重点，结合理理论模型型讨论在在网络中中针对P2P流流量的综综合管理理方案。 流量量监测与与控制方方法P2P流流量的监监测与控控制虽然然是P2P流量量优化管管理综合合管理中中的辅助助手段，但是有有效的检检测方式式总是能能够为数数据缓存存提供更更多准确确数据。并且，在P2P流量量已经直直接影响响到传统统应用如如HTTP服务务质量的的情况下下使用流流控方式式对P2P应用用加以限限制

13、，仍仍然是一一种最为为有效的的手段。由于网网络中非非对称流流量的存存在，传传统的在在一些关关键链路路上部署署相互独独立的流流量分析析设备的的方法将将在很大大程度上上阻碍对对网络中中P2P流量的的有效控控制。同同时，流流量阻断断与控制制设备的的部署方方式也将将在很大大程度上上直接影影响设备备对网络络中P2P流量量的控制制能力。结合P2P流量优化化管理方方案的目目标以及及所面临临的技术术问题，本节提提出了一一种基于于逻辑功功能结构构的建立立在协同同工作基基础上的的半分布布式监测测与流控控方案。在该方方案中，流量监监测与流流量控制制将作为为两个不不同的逻逻辑功能能实体进进行讨论论。 流

14、量量监测与与控制方方法C1P2C2P1C11C10C9P3C3C4C5C6C7L1L2C8L 流量量监测与与控制方方法如图所示示，在网网络中，流量控控制单元元按照多多个流量量监测单单元的覆覆盖范围围被划分分为若干干个逻辑辑区域。其中，多个流流量监测测单元将将通过相相互通信信来对网网络中的的P2P流量进进行更加加准确的的分析与与识别。也就是是说，某某个流量量分析单单元通过过把本地地分析信信息的摘摘要以控控制报文文的形式式发送给给其他的的流量分分析单元元，而收收到这一一信息的的流量分分析单元元将通过过将该摘摘要信息息与本地地数据进进行比较较，作为为P2P流量识识别的额额外参考考。当

15、某某个流量量监测单单元完成成P2P流量识识别以后后，将直直接把这这一信息息发往相相连的流流量控制制单元。流量控控制单元元将在检检测单元元得出的的P2P流量识识别结果果的基础础上对P2P流流量进行行满足特特定决策策条件的的操作。 流量量监测与与控制方方法以图中的的拓扑为为例，假假设某P2P应应用的出出流量经经过P2所负责责的区域域，而入入流量经经过P1所负责责的区域域。在网网络中，流量检检测单元元P1，P2将将通过相相互之间间的控制制信号判判定该流流量是否否为P2P流量量，并分分别将这这一信息息发往自自己区域域内的所所有控制制单元。最终，接收到到这一消消息的控控制单元元C1和和C2

16、将将分别对对链路L1，L2上的的P2P流进行行控制或或阻断。 流量量监测与与控制方方法这种基于于半分布布式的流流量检测测与控制制方案一一方面增增强了网网络中P2P流流量的识识别效率率，减少少了漏查查或者误误报的可可能性。另一方方面，也也在网络络中部署署广泛的的流控设设备的策策略变更更以及管管理提供供了一种种低开销销的策略略分配思思路。该该方法作作为P2P流量量缓存与与优化的的辅助手手段，能能够在为为P2P流量优优化提供供良好的的功能支支持的基基础上保保证其持持续，高高效，稳稳定的运运行。 流量量缓存与与优化近年来，互联网网中缓存存服务器器是被广广泛应用用的web服务

17、务和视频频流的服服务优化化手段之之一。最近P2P流量量缓存也也逐渐成成了研究究的热点点。由于于P2P应用在在资源共共享方式式从网络络角度出出发显得得并不高高效，相相同热点点资源在在大量客客户端中中共享导导致链路路上存在在大量冗冗余的P2P流流量。这这种流量量特征使使得P2P缓存存成为优优化P2P服务务，减少少链路压压力的有有效手段段。 流量量缓存与与优化P2P缓缓存和传传统Web缓存存的区别别在于，传统Web缓缓存的优优化的目目标是减减少用户户访问网网页的延延迟，而而P2P缓存则则是从运运营商的的角度出出发，用用于减少少P2P流量消消耗的大大量带宽宽。在一条链链路上部部署缓存存设

18、备，除了影影响部署署链路的的流量，还会影影响其他他链路上上的流量量，所以以选择最最拥塞的的链路部部署并总总是最优优策略。以下图图为例，图中链链路容量量均为1Gbit/s，节点点1从节节点2的的P2P下载流流量为800Mbit/s，节点3从节点点2的P2P下下载流量量是100Mbit/s，没没有其他他流量。因此，链路1的流量量为800Mbit/s,链链路2上上的流量量是100Mbit/s，链链路3上上流量是是900Mbit/s.为了了方便说说明，假假设在链链路上部部署缓存存可以使使得50%的P2P下下载直接接来自该该缓存，不需要要从远处处的P2P节点点下载。 流量量缓存与与优化节点

19、1节点4链路1节点2节点3链路2链路3800900100 流量量缓存与与优化 流量量缓存与与优化部署点 V1/(Mbit/s) V2/(Mbit/s) V3/(Mbit/s) 链路14000400链路205050链路300450为了计算算最优的的策略，我们首首先需要要定义优优化的目目标。为为了寻找找最优的的缓存部部署策略略，首先先需要对对缓存部部署收益益量化。把网络络堪称一一个有向向图，有有n个节节点，用用Ni表表示，m条有向向边,用用 Li表示. 流量量缓存与与优化 流量量缓存与与优化 流量量缓存与与优化 流

20、量量缓存与与优化研究发现现，缓存存服务器器能够达达到的效效果和P2P系系统中对对象访问问的频率率模型相相关，如如果该模模型拟合合的Mandelbrot-Zipf分布布公式中中的q越越大，则则效果越越差；q越小，则效果果越好。如果P2P中中的对象象在较长长周期内内的访问问频率都都符合Mandelbrot分布，那么缓缓存空间间有限的的缓存服服务器能能起到的的效果实实际上与与公式中中的q相相关。对于P2P聊天天或者语语音应用用，他们们中间并并没有重重复数据据的传输输，所以以缓存并并没有作作用。由于属于于实时的的应用，每个用用户最多多缓存几几分钟内内的视频频片段，超出时时间的视视频则不不再会被被缓存，

21、在系统统中不存存在。而而短时间间内一个个视频片片段在链链路上可可能传输输多次，这就为缓缓存P2P视频频数据片片段提供供了理论论依据。对于文文件 流量量缓存与与优化下载来说说，缓存存服务器器可能要要保存某某个热点点文件一一周甚至至一个月月，直到到它变得得不再热热门。由由于缓存存空间有有限，所所以大量量不算热热点但是是也有多多次冗余余传输的的数据就就没有得得到缓存存。同时时，对于于视频应应用来说说，一个个视频片片段只会会在几分分钟内在在系统中中大规模模传输，然后很很快的下下降，其其他视频频片段又又会变得得热门。所以只只需要抓抓住其热热门的周周期较短短，相对对文件共共享，缓缓存的替替换

22、更加加频繁的的特点，就可以以使得缓缓存服务务器的大大提高，实现较较好的命命中率。缓存服务务器在实实际中面面对的另另一个问问题是服服务器需需要能够够和各种种不同的的P2P协议交交互。现现在流行行的P2P视频频的客户户端的源源代码都都不是开开源的，所以如如何缓存存P2P视频应应用还需需要进一一步研究究。此外外，由于于需要缓缓存的数数据较大大，缓存存服务器器使用硬硬盘提供供服务，硬盘相相对可靠靠性较低低，所以以缓存服服务器本本身的可可靠性也也是需要要解决的的问题。 P2P流量量优化管管理综合合解决方方案RRRRRRRRRCRPP P2P流量量优化管管理综合合解决方方案PR

23、DBRASDASLAMPRDBRAS P2P流量量优化管管理综合合解决方方案为了减少少设备开开销，流流量监测测单元被被部署在在出口路路由器和和核心网网边界路路由器之之间，用用来识别别所有出出入该连连接入网网的P2P流量；数数据缓存存单元则则使用旁旁路介入入方式连连接在出出口路由由器与流流量监监测单元元间，用用来控制制P2P应用产生生的互联联流量；数据控控制单元元被部署署在BRAS（宽带远远程接入入服务器器）与DSLAM(数字用户户线接入入服务器器)之间，起起到以用用户为最最小粒度度的控制制上下行行流量带带宽的作作用。此此外，在在互联链链路上部部署的流流控设备备将在缓缓存设备备的部

24、署署效果不不明显的的情况下下控制链链路的流流量。 P2P流量量优化管管理综合合解决方方案按照可能能的数据据流量，当DSLAM内的某一一用户发发出上行行P2P请求时们们首先将将通过数数据控制制单元的的带宽控控制，这这种控制制是一种种灵活的的，避免免链路过过载的方方式，而而不是一一味的对对流量进进行阻断断，其目目的是以以用户为为单位限限制DSLAM内的用户户向其他他网络内内的用户户提供P2P数据的带带宽占用用。当流流量经过过控制单单元以后后，边界界路由器器将把这这一部分分报文转转发给数数据缓存存单元进进行处理理。数据据缓存单单元将根根据该P2P报文的具具体内容容，代替替用户对对目标文

25、文件进行行下载操操作，并并最终将将数据通通过边界界路由器器将数据据转发给给用户。 P2P流量量优化管管理综合合解决方方案当有下行行P2P数据经过过流量控控制单元元时，虽虽然该流流量在很很大程度度上可能能是由缓缓存设备备出发的的，但是是流量控控制单元元仍然要要根据P2P流量的带带宽使用用策略对对其进行行控制。最后，在整个个数据传传输过程程中，对对P2P流量的识识别与决决策工作作，将由由部署在在出口省省的P2P流量监控控单元完完成。5.6P2P系统中的的信誉机机制在人类社社会中，当不熟熟悉的双双方希望望进行某某种交易易行为时时，常常常会通过过向朋友友打听等等方式了了解对方方的一些些基

26、本情情况，根根据自己己对朋友友的了解解以及朋朋友提供供的这些些情况，就可以以在交易易前对对对方有个个大概的的了解。在对等等网络中中的信誉誉系统于于此类似似，通过过交易前前有关信信息的搜搜集，可可以了解解对对方方借点的的大致情情况，安安全系数数自然提提高了。5.6.1对等网络络中信誉誉机制的的基础有效的信信誉系统统必须包包括3方面的属属性：实体对象象长期有有效信誉信息息的获取取和发布布信誉信息息做出决决策也就是说说，一个个对等网网络的信信任机制制要能正正常工作作，至少少应包括括3方面的要要求。采用某种种机制确确定一个个节点的的身份对这个身身份历史史行为的的信息的的收集根据这些些信息对对该节点点可

27、靠程程度进行行判定5.6.1对对等网络络中信誉誉机制的的基础有了这三三方面的的保障，在对等等网络中中，一个个恶意节节约点在在交易中中的表现现与其身身份对应应，以某某种方式式记录下下来，今今后其他他节点在在与之交交易前可可以查询询这些信信息，以以判定其其是否可可靠。5.6.2信信誉机制制的目标标和基本本研究方方向作为令人人满意的的信誉机机制，其其目标至至少包括括有效性性和实用用性两个个方面。有效性是指信誉誉机制在在功能上上正确有有效。实用性是指信誉誉机制在在使用上上具备良良好的可可扩展性性，健壮壮性，简简洁性等等。5.6.2信信誉机制制的目标标和基本本研究方方向围绕着信信誉机制制的以个个几点目目

28、标，目目前对信信誉机制制的研究究主要包包括以下下几个方方面：a.设计一个个新颖有有效的信信誉系统统或模型型。b.研究现有有信誉系系统的复复杂性c.对现有的的系统进进行分析析，测试试和改进进。5.6.3典典型型的信誉誉机制可靠性：是指与与之交易易到达期期望目标标的可能能性。可信性：表示查查询节点点对从被被查询节节点处收收集来的的信誉信信息是真真实准确确的信心心指标。5.6.3基基本信信任模型型框架RepFrame(j,50%,50%,.)(w1,50%,80%,.)(y,10%,20%,.)(w2,30%,50%,.).节点i希望交易易节点j节点w1查询Req(i,j)查询Req(i,j)查询R

29、eq(i,j)节点w2节点y节点w35.6.3基基本信信任模型型框架RepFrame节点i希望交易易节点j查询Req(i,j)应答Info(w3,j)查询Req(i,j)查询Req(i,j)应答Info(w2,j)应答Info(w1,j)查询Req(i,j)节点w1节点w2节点y节点w35.6.3基基本信信任模型型框架RepFrame(j,60%,50%,.)(w1,90%,85%,.)(y,10%,20%,.)(w2,30%,45%,.).节点i希望交易易节点j节点w1认可j可可信认可j不不可信节点w2节点y节点w 信誉誉系统的的设计探探讨(1)信誉信息息的存储储方式。它是信

30、信誉系统统的最核核心问题题之一，它直接接关系到到信息的的收集，信息的的安全，甚至信信息的表表现形式式。根据信誉誉信息的的存储方方式，可可以把信信誉系统统分为两两类，一一类是请请求应答答式，每每个节点点保留自自己直接接经验所所获得的的信誉数数据，节节点间通通过请求求和回答答交流共共享信息息，代表表系统如如P2PRep；另一类类是系统统查询式式，信誉誉数据通通过一个个信誉管理理器按某种方方式统一一管理，节点只只需存储储在网络络某处的的信息查查询出来来，代表表系统如如EigenTrust。(2)信誉系统统的体系系结构根据信誉誉系统是是否引入入集中式式服务节节点，同同样可以以把信誉誉系统分分为两类类。在对对等网络络中引入入集中式式服务节节点，可可以给信信誉系统统带