系统原理教学课程

第五章P2P系统原理学生：孙亮5.5.3P2P流量的管理手段5.5.4P2P流量综合管理方案5.6P2P系统的信誉机制5.7结论与进一步的研究工作5.5.3P2P流量管理手段传统的流量管理手段传统的流量管理手段有以下几种：

（1）严格的封禁手段：对于禁止的P2P应用的流量进行直接的过滤。

（2）不同的服务等级：这类方法给各种不同应用不同的服务等级，通过控制服务质量以及转发优先级来对P2P应用给予相对较低的服务等级，从而保证传统应用的服务质量不受到太大的影响。

（3）带宽限制：通过设定流量的允许宽带，限制超过一定的流量宽带，并在网络空闲的时候适当地放宽之一限制。（4）按时间或者流量计费：由于传统业务在夜间的流量远远小于在白天繁忙期的流量，所以可以按照对不同时段采用不同费用的方法进行收费。此外，由于P2P应用产生大量流量，也可以按照流量收费来对P2P流量进行控制。5.5.3P2P流量管理手段P2P流量的限制管理方法针对特定的P2P应用，有一些行之有效的限制方法，主要有：限制种子文件的下载，限制浏览P2P资源网站，禁止访问P2P服务器，封闭P2P端口，限制用户宽带，限制对大连接数，使用HTTP代理对应用层协议过滤阻断P2P应用等7种方法。

（1）限制种子文件的下载。很多文件下载类的P2P应用通过在网上发布种子文件的方式共享资源，如BitTorrent。可以通过在HTTP中限制种子的扩展名来禁止BitTorrent下载。对于修改扩展名，或者使用非80端口提供Web服务的情况，这种方法就需要解析HTTP协议，并解析种子格式才能做到，在实际实现中就较难奏效。5.5.3P2P流量管理手段

（2）禁止访问P2P服务器。很多P2P应用需要客户端接入P2P网络前先连接某个特定的服务器。例如Bittorent对应的是Tracker服务器。Tracker是指运行于服务器上的一个程序，这个程序能够追踪到底有多少人同时下载一个文件。客户端连上Tracker服务器，就会得到一个下载人员名单，据此BitTorrent会自动连接其他Peer的机器进行下载。

（3）限制浏览P2P的资源网站。P2P应用，如BitTorrent和EMule之类的往往通过一些资源网站发布种子文件。对一些比较热门的P2P的资源网站，在安全网关配置过滤规则，并且在出接口上启用过滤HTTP功能，禁止对它们的访问也可以抑制P2P应用。但是，一方面P2P资源网站很多，无法进行全面的屏蔽；另一方面，屏蔽网站可能造成一些误判，导致一些合法的站点无法访问。（4）封闭P2P端口。有些P2P应用有默认的服务端口，网络管理员可以根据网站流量的变化进行判断，在网关中封掉特定的P2P流量的端口。但是现在很多P2P软件可以动态分配端口号，从而使得管理员无法真正掌握目前使用的所有P2P应用端口。另一方面，过多的屏蔽端口可能使得一些正常的网络访问无法进行，从而造成一定程度上的负面影响。5.5.3P2P流量管理手段

（5）限制用户带宽。P2P应用对网络的影响来自于它占用了大量网络。因此，限制每个用户使用的网络带宽，可以再一定程度上缓解P2P应用对网络的危害。但是对于运营性网络，对网络带宽的限制是一种因噎废食的措施。它一方面不能完全禁止某些用户的P2P应用，另一方面也使得那些非P2P的传统应用受到影响模式的用户无法高效，合理的利用网络资源。5.5.3P2P流量量管理理手段段（6））限制制最大大连接接数。。P2P应用用本质质上是是让某某个P2P终端端和众众多其其他P2P节点点之间间一起起共享享资源源，所所以在在下载载的时时候会会保持持与很很多节节点的的连接接，尝尝试从从他们们那获获取数数据。。网络络管理理员可可以针针对这这一特特点，，对TCP最大大连接接数进进行控控制，，从而而达到到控制制P2P应应用对对网络络带宽宽的占占用。。但是是这个个方法法只能能抑制制，并并不能能达到到很好好的控控制效效果，，而且且对TCP最大大连接接数目目进行行控制制同样样也会会损害害用户户正常常使用用网络络。（7））过滤流流量。当前前国内内主要要的监监控软软件厂厂商以以及一一些硬硬件防防火墙墙厂商商，可可以对对每个个用户户或者者针对对某些些特殊殊应用用限制制流量量。另另一些些产品品可以以通过过深层层扫描描，也也就是是利用用特征征字符符串的的方法法进行行P2P应应用识识别，，然后后对P2P应用用进行行限制制，这这是一一种较较为理理想的的方法法。P2P流流量的的优化化管理理方法法(1)缓存存。如同Web流量量的缓存服服务器一样样，也可以以使用针对对P2P流流量的缓存存服务器。。P2P流流量的缓存存服务器能能够在实际际部署中获获得成功主主要归功于于如下几个个原因：a.只有少数文文件需要被被缓存，即即使缓存所所有在下载载的文件，，数量其实实也不多。。b.所有被下载载的文件中中只有极少少的一部分分就造成了了超过50%甚至更更多的下载载流量，这这进一步减减少了需要要缓存的数数量。c.因为P2P下载总是是很多新用用户，即使使是短暂热热点的文件件被缓存起起来，也能能够在缓存存期间服务务很多用户户。d.P2P的文文件往往是是静态的文文件，一旦旦缓存下来来不需要去去定时更新新.P2P流流量的优化化管理方法法e.多个用户同同时在下载载的文件总总数并不是是非常多。。所存在的问问题，例如如合法性问问题，法律律可能不允允许运营商商在服务器器上保存侵侵犯版权的的内容。（2）P2P流量重定向向。P2P流量重定向向需要控制制管理网络络内的所有有P2P应用的流量量都经过一一个重定向向服务器。。这个服务务器会检查查经过流量量，决定这这个请求是是通过发送送到运营商商之外的网网络还是可可以从本地地的P2P客户端处得得到满足，，如果能够够本地满足足就通过本本地传输，，从而减少少骨干网络络的流量。。由于重定定向服务务器需要要参与并并且解释释所有的的客户端端的请求求，它必必须满足足以下两两个条件件：a.必须被部部署在出出口链路路上。b.能够支持持与大多多数的P2P协议交互互的能力力。c.P2P重定向是是一项正正在研究究中且并并没有完完全成熟熟的技术术，它的的潜在的的优势是是可以再再减少互互联带宽宽的同时时增加用用户的满满意度。。不过，，存在困困难的就就是这种种方式需需要掌握握大多数数P2P协议的细节，，而很多P2P协议时私有非非公开的，需需要使用时间间开销相对较较大的反向工工程手段。P2P流量的优优化管理方法法(3)控制超超级节点。控制超级节点点的思想类似似于重定向服服务器。由于于很多P2P协议都是通通过超级节点点来定位资源源完成下载的的，甚至通过过超级节点传传输数据。所所以，运营商商可以开发并并部署一些自自己控制的节节点，并通过过控制自己网网络中的P2P客户尽量量地连接这些些超级节点，，来使P2P流量尽量发发生在本地网网络范围内。。P2P流量的优优化管理方法法然而，控制超超级节点的方方法也有自己己的问题。用用户可能并不不信任运营商商提供的超级级节点，因为为运营商的利利益和用户的的利益完全不不一致。或者者用户并不愿愿意运营商控控制的超级节节点看到他们们正在下载的的文件。5.5.4P2P流量综合管管理方案本节从逻辑功功能结构出发发，以针对P2P流量的的缓存与优化化方案为研究究重点，结合合理论模型讨讨论在网络中中针对P2P流量的综合合管理方案。。流量监监测与控制方方法P2P流量的的监测与控制制虽然是P2P流量优化化管理综合管管理中的辅助助手段，但是是有效的检测测方式总是能能够为数据缓缓存提供更多多准确数据。。并且，在P2P流量已已经直接影响响到传统应用用如HTTP服务质量的的情况下使用用流控方式对对P2P应用用加以限制，，仍然是一种种最为有效的的手段。由于于网络中非对对称流量的存存在，传统的的在一些关键键链路上部署署相互独立的的流量分析设设备的方法将将在很大程度度上阻碍对网网络中P2P流量的有效效控制。同时时，流量阻断断与控制设备备的部署方式式也将在很大大程度上直接接影响设备对对网络中P2P流量的控控制能力。结合P2P流量优优化管管理方方案的的目标标以及及所面面临的的技术术问题题，本本节提提出了了一种种基于于逻辑辑功能能结构构的建建立在在协同同工作作基础础上的的半分分布式式监测测与流流控方方案。。在该该方案案中，，流量量监测测与流流量控控制将将作为为两个个不同同的逻逻辑功功能实实体进进行讨讨论。。流量量监测与与控制方方法C1P2C2P1C11C10C9P3C3C4C5C6C7L1L2C8L8流量量监测与与控制方方法如图所示示，在网网络中，，流量控控制单元元按照多多个流量量监测单单元的覆覆盖范围围被划分分为若干干个逻辑辑区域。。其中，，多个流流量监测测单元将将通过相相互通信信来对网网络中的的P2P流量进进行更加加准确的的分析与与识别。。也就是是说，某某个流量量分析单单元通过过把本地地分析信信息的摘摘要以控控制报文文的形式式发送给给其他的的流量分分析单元元，而收收到这一一信息的的流量分分析单元元将通过过将该摘摘要信息息与本地地数据进进行比较较，作为为P2P流量识识别的额额外参考考。当某某个流量量监测单单元完成成P2P流量识识别以后后，将直直接把这这一信息息发往相相连的流流量控制制单元。。流量控控制单元元将在检检测单元元得出的的P2P流量识识别结果果的基础础上对P2P流流量进行行满足特特定决策策条件的的操作。。流量监监测与控制方方法以图中的拓扑扑为例，假设设某P2P应应用的出流量量经过P2所所负责的区域域，而入流量量经过P1所所负责的区域域。在网络中中，流量检测测单元P1，，P2将通过过相互之间的的控制信号判判定该流量是是否为P2P流量，并分分别将这一信信息发往自己己区域内的所所有控制单元元。最终，接接收到这一消消息的控制单单元C1和C2将分别对对链路L1，，L2上的P2P流进行行控制或阻断断。流量监监测与控制方方法这种基于半分分布式的流量量检测与控制制方案一方面面增强了网络络中P2P流流量的识别效效率，减少了了漏查或者误误报的可能性性。另一方面面，也在网络络中部署广泛泛的流控设备备的策略变更更以及管理提提供了一种低低开销的策略略分配思路。。该方法作为为P2P流量量缓存与优化化的辅助手段段，能够在为为P2P流量量优化提供良良好的功能支支持的基础上上保证其持续续，高效，稳稳定的运行。。流流量量缓缓存存与与优优化化近年年来来，，互互联联网网中中缓缓存存服服务务器器是是被被广广泛泛应应用用的的web服服务务和和视视频频流流的的服服务务优优化化手手段段之之一一。。最近近P2P流流量量缓缓存存也也逐逐渐渐成成了了研研究究的的热热点点。。由由于于P2P应应用用在在资资源源共共享享方方式式从从网网络络角角度度出出发发显显得得并并不不高高效效，，相相同同热热点点资资源源在在大大量量客客户户端端中中共共享享导导致致链链路路上上存存在在大大量量冗冗余余的的P2P流流量量。。这这种种流流量量特特征征使使得得P2P缓缓存存成成为为优优化化P2P服服务务，，减减少少链链路路压压力力的的有有效效手手段段。。流量量缓存与与优化P2P缓缓存和传传统Web缓存存的区别别在于，，传统Web缓缓存的优优化的目目标是减减少用户户访问网网页的延延迟，而而P2P缓存则则是从运运营商的的角度出出发，用用于减少少P2P流量消消耗的大大量带宽宽。在一条链链路上部部署缓存存设备，，除了影影响部署署链路的的流量，，还会影影响其他他链路上上的流量量，所以以选择最最拥塞的的链路部部署并总总是最优优策略。。以下图图为例，，图中链链路容量量均为1Gbit/s，节点点1从节节点2的的P2P下载流流量为800Mbit/s，，节点3从节点点2的P2P下下载流量量是100Mbit/s，没没有其他他流量。。因此，，链路1的流量量为800Mbit/s,链链路2上上的流量量是100Mbit/s，链链路3上上流量是是900Mbit/s.为了了方便说说明，假假设在链链路上部部署缓存存可以使使得50%的P2P下下载直接接来自该该缓存，，不需要要从远处处的P2P节点点下载。。流量量缓存与与优化节点1节点4链路1节点2节点3链路2链路3800900100流量量缓存与与优化流流量缓缓存与与优化化部署点V1/(Mbit/s)V2/(Mbit/s)V3/(Mbit/s)链路14000400链路205050链路300450为了计计算最最优的的策略略，我我们首首先需需要定定义优优化的的目标标。为为了寻寻找最最优的的缓存存部署署策略略，首首先需需要对对缓存存部署署收益益量化化。把把网络络堪称称一个个有向向图，，有n个节节点，，用Ni表表示，，m条条有向向边,用Li表示示.流流量缓缓存与与优化化流流量缓缓存与与优化化流流量缓缓存与与优化化流流量缓缓存与与优化化研究发发现，，缓存存服务务器能能够达达到的的效果果和P2P系统统中对对象访访问的的频率率模型型相关关，如如果该该模型型拟合合的Mandelbrot-Zipf分布布公式式中的的q越越大，，则效效果越越差；；q越越小，，则效效果越越好。。如果果P2P中中的对对象在在较长长周期期内的的访问问频率率都符符合Mandelbrot分分布，，那么么缓存存空间间有限限的缓缓存服服务器器能起起到的的效果果实际际上与与公式式中的的q相相关。。对于P2P聊天天或者者语音音应用用，他他们中中间并并没有有重复复数据据的传传输，，所以以缓存存并没没有作作用。。由于属属于实实时的的应用用，每每个用用户最最多缓缓存几几分钟钟内的的视频频片段段，超超出时时间的的视频频则不不再会会被缓缓存，，在系系统中中不存存在。。而短短时间间内一一个视视频片片段在在链路路上可可能传传输多多次，，这就为为缓存存P2P视视频数数据片片段提提供了了理论论依据据。对对于文文件流流量缓缓存与与优化化下载来来说，，缓存存服务务器可可能要要保存存某个个热点点文件件一周周甚至至一个个月，，直到到它变变得不不再热热门。。由于于缓存存空间间有限限，所所以大大量不不算热热点但但是也也有多多次冗冗余传传输的的数据据就没没有得得到缓缓存。。同时时，对对于视视频应应用来来说，，一个个视频频片段段只会会在几几分钟钟内在在系统统中大大规模模传输输，然然后很很快的的下降降，其其他视视频片片段又又会变变得热热门。。所以以只需需要抓抓住其其热门门的周周期较较短，，相对对文件件共享享，缓缓存的的替换换更加加频繁繁的特特点，，就可可以使使得缓缓存服服务器器的大大提高高，实实现较较好的的命中中率。。缓存服务务器在实实际中面面对的另另一个问问题是服服务器需需要能够够和各种种不同的的P2P协议交交互。现现在流行行的P2P视频频的客户户端的源源代码都都不是开开源的，，所以如如何缓存存P2P视频应应用还需需要进一一步研究究。此外外，由于于需要缓缓存的数数据较大大，缓存存服务器器使用硬硬盘提供供服务，，硬盘相相对可靠靠性较低低，所以以缓存服服务器本本身的可可靠性也也是需要要解决的的问题。。P2P流量量优化管管理综合合解决方方案RRRRRRRRRCRPPP2P流量量优化管管理综合合解决方方案PRDBRASDASLAMPRDBRASP2P流量量优化管管理综合合解决方方案为了减少少设备开开销，流流量监测测单元被被部署在在出口路路由器和和核心网网边界路路由器之之间，用用来识别别所有出出入该连连接入网网的P2P流量；数数据缓存存单元则则使用旁旁路介入入方式连连接在出出口路由由器与流流量监监测单元元间，用用来控制制P2P应用产生生的互联联流量；；数据控控制单元元被部署署在BRAS（宽带远远程接入入服务器器）与DSLAM(数字用户户线接入入服务器器)之间，起起到以用用户为最最小粒度度的控制制上下行行流量带带宽的作作用。此此外，在在互联链链路上部部署的流流控设备备将在缓缓存设备备的部署署效果不不明显的的情况下下控制链链路的流流量。P2P流量量优化管管理综合合解决方方案按照可能能的数据据流量，，当DSLAM内的某一用户户发出上行P2P请求时们首先先将通过数据据控制单元的的带宽控制，，这种控制是是一种灵活的的，避免链路路过载的方式式，而不是一一味的对流量量进行阻断，，其目的是以以用户为单位位限制DSLAM内的用户向其其他网络内的的用户提供P2P数据的带宽占占用。当流量量经过控制单单元以后，边边界路由器将将把这一部分分报文转发给给数据缓存单单元进行处理理。数据缓存存单元将根据据该P2P报文的具体内内容，代替用用户对目标文文件进行下载载操作，并最最终将数据通通过边界路由由器将数据转转发给用户。。P2P流量优化管管理综合解决决方案当有下行P2P数据经过流量量控制单元时时，虽然该流流量在很大程程度上可能是是由缓存设备备出发的，但但是流量控制制单元仍然要要根据P2P流量的带宽使使用策略对其其进行控制。。最后，在整整个数据传输输过程中，对对P2P流量的识别与与决策工作，，将由部署在在出口省的P2P流量监控单元元完成。5.6P2P系统中的信誉誉机制在人类社会中中，当不熟悉悉的双方希望望进行某种交交易行为时，，常常会通过过向朋友打听听等方式了解解对方的一些些基本情况，，根据自己对对朋友的了解解以及朋友提提供的这些情情况，就可以以在交易前对对对方有个大大概的了解。。在对等网络络中的信誉系系统于此类似似，通过交易易前有关信息息的搜集，可可以了解对对对方借点的大大致情况，安安全系数自然然提高了。5.6.1对等网网络中中信誉誉机制制的基基础有效的的信誉誉系统统必须须包括括3方面的的属性性：实体对对象长长期有有效信誉信信息的的获取取和发发布信誉信信息做做出决决策也就是是说，，一个个对等等网络络的信信任机机制要要能正正常工工作，，至少少应包包括3方面的的要求求。采用某某种机机制确确定一一个节节点的的身份份对这个个身份份历史史行为为的信信息的的收集集根据这这些信信息对对该节节点可可靠程程度进进行判判定5.6.1对对等网网络中中信誉誉机制制的基基础有了这这三方方面的的保障障，在在对等等网络络中，，一个个恶意意节约约点在在交易易中的的表现现与其其身份份对应应，以以某种种方式式记录录下来来，今今后其其他节节点在在与之之交易易前可可以查查询这这些信信息，，以判判定其其是否否可靠靠。5.6.2信信誉机机制的的目标标和基基本研研究方方向作为令令人满满意的的信誉誉机制制，其其目标标至少少包括括有效效性和和实用用性两两个方方面。。有效性性是指信信誉机机制在在功能能上正正确有有效。。实用性性是指信信誉机机制在在使用用上具具备良良好的的可扩扩展性性，健健壮性性，简简洁性性等。。5.6.2信信誉机机制的的目标标和基基本研研究方方向围绕着着信誉誉机制制的以以个几几点目目标，，目前前对信信誉机机制的的研究究主要要包括括以下下几个个方面面：a.设计一一个新新颖有有效的的信誉誉系统统或模模型。。b.研究现现有信信誉系系统的的复杂杂性c.对现有有的系系统进进行分分析，，测试试和改改进。。5.6.3典典型的的信誉誉机制制可靠性性：是指指与之之交易易到达达期望望目标标的可可能性性。可信性性：表示示查询询节点点对从从被查查询节节点处处收集集来的的信誉誉信息息是真真实准准确的的信心心指标标。5.6.3基基本本信信任任模模型型框框架架RepFrame(j,50%,50%,......)(w1,50%,80%,......)(y,10%,20%,......)(w2,30%,50%,......)........节点点i希望望交交易易节点点j节点点w1查询询Req(i,j)查询询Req(i,j)查询询Req(i,j)节点点w2节点点y节点点w35.6.3基基本本信信任任模模型型框框架架RepFrame节点点i希望望交交易易节点点j查询询Req(i,j)应答答Info(w3,j)查询询Req(i,j)查询询Req(i,j)应答答Info(w2,j)应答答Info(w1,j)查询询Req(i,j)节点点w1节点点w2节点点y节点点w35.6.3基基本本信信任任模模型型框框架架RepFrame(j,60%,50%,......)(w1,90%,85%,......)(y,10%,20%,......)(w2,30%,45%,......)........节点点i希望望交交易易节点点j节点点w1认可可j可可信信认可可j不不可可信信节点点w2节点点y节点点w3信信誉誉系系统统的的设设计计探探讨讨(1)信誉誉信信息息的的存存储储方方式式。。它它是是信信誉誉系系统统的的最最核核心心问问题题之之一一，，它它直直接接关关系系到到信信息息的的收收集集，，信信息息的的安安全全，，甚甚至至信信息息的的表表现现形形式式。。根据信誉誉信息的的存储方方式，可可以把信信誉系统统分为两两类，一一类是请请求应答答式，每每个节点点保留自自己直接接经验所所获得的的信誉数数据，节节点间通通过请求求和回答答交流共共享信息息，代表表系统如如P2PRep；另一类是系系统查询式，，信誉数据通通过一个"信誉管理器"按某种方式统统一管理，节节点只需存储储在网络某处处的信息查询询出来，代表表系统如EigenTrust。(2)信誉系统的体体系结构根据信誉系统统是否引入集集中式服务节节点，同样可可以把信誉系系统分为两类类。在对等网网络中引入集集中式服务节节点，可以给给信誉系统带带来很多好处处，包括集中中管理和存放放。然而集中中式服务节点点打破了对等等网络的平衡衡状态，因此此大多数研究究者一般不考考虑此类节点点的引入。(3)信誉信息的内内涵属性。它它是指信誉信信息是够表达达了节点的多多个特征。例例如信誉信息息是否既能反反映节点提供供文件的正确确性，又能反反映延时，传传输速度等因因素。信誉系系统的设计探探讨(4)信誉信息的表表达形式。表表示信誉信息息的精确性。。例如信誉信信息是采用简简单的“满满意”和“不不满意”这样样的二进制表表示，还是表表示为从*到到*****这样的等级级制，或者更更精确地表达达为80%这样的连续