多信源园区网流媒体流量均衡系统的研究ok

1、.PAGE . 多信源园区网流媒体流量均衡系统的研究亚军震伦詹增荣(番禺职业技术学院信息工程学院， 511483)摘要：针对中小型园区网有多个视频点播信源的实际情况，提出了集中分布式流媒体流量均衡的方案。探讨了基于网络探测的多信源流量均衡策略，研究了网络探测、节目重定向等关键技术，介绍了节目流行度的计算与应用的方法。实验证明系统可提高网络的可用性。关键词：流媒体;分布式系统;网络探测；拥塞控制中图:TP393 文献标识码: AMulti-source Streaming Media Network Load BalancingSystemJiang Yajun Yang zhenlun Zha

2、n ZengrongSchool of Information Engineering, Panyu Polytechnic College, Guangzhou 511483, ChinaAbstract:Taking into account the campus network with multiple video-on-demand source.this paper put forward a hierarchical method for network load balancing,abalanced strategy of network traffic is introdu

3、ced,also many key issues are studied deeply,for e*ample,network probe,changingservers andcalculation of popularity etc.E*perimental results show the system can improve the network availability.Key words: streamingmedia;distributed system;network detection;congestion control0 引言随着园区网中流媒体技术的推广应用，网络拥塞C

4、ongestion十分严重，防止网络拥塞最直接的方法是不断增加网络资源，但因费用巨大，不具现实意义。目前解决流媒体流量拥塞的方法一是研发高效媒体流的播发技术13 ，减轻和流媒体效劳器的负载；二是优化流媒体效劳器的节目部署7，提高其存储容量与总的并发数；三是研发流媒体信源的分布式存储技术CDN，在客户群近端加装代理效劳器5612，改善Internet的访问速度和效劳质量；四是实现客户端之间的资源共享24，提升网络的可用性。分布式存储技术是当前解决流媒体流量拥塞问题的研究热点，方法是将流媒体节目分布复制(Replicating)到客户近端的代理效劳器上，通过就近点播到达均衡流量的目的。分布复制技术

5、有两种，一是采用基于阈值的复制10，二是基于预测8的复制。前者的问题是复制常在网络繁忙时段中进展，节目响应滞后会影响播放的效果；忙时占用网络带宽，可能会导致网络崩溃Congestion collapse。后者通过对区域节目流行度的统计，预测可能的应用，而将热门节目在闲时预先存放。由于预测控制为开环控制，要求流量特征可准确规定，性能要求可事先获得才能取得满意的效果，这对于现在的园区网而言是很难做到的，因此这些系统的均衡效果有限。目前能大规模商用的园区网流媒体均衡系统很少，究其原因主要存在几个方面问题：1 研究仅限于理想的网络环境。毕竟单一流媒体信源且封闭的园区网数量很少，大多数的源区网都接入了I

6、nternet，而接入了Internet的园区网的流媒体用户不可能只点播网的节目，流媒体流量的均衡存在多个信源流量均衡的问题。2 流媒体流量在网络中占用的网络资源比拟大，是网络拥塞的主要原因，却不是唯一原因。事实上除了媒体流可能造成网络拥塞外，网络攻击可能导致网络拥塞，网络资源如收稿日期：2010-6-18. 基金工程：*市科技攻关工程2008-Z-54-1.第一作者简介: 蒋亚军(1962),男,硕士研究生,高级工程师,主要研究领域为网络多媒体技术，模式识别. :.源端设备的负载能力的缺乏也可导致网络拥塞，因此，一个好的均衡系统应具有网络资源状态信息的收集能力

7、。3由于园区网的流量特征是很难准确规定的，性能要求也难以事先获得，这就决定了开环控制难以保证均衡的效果，系统必须实现闭环的流量控制。系统需要配置网络检测环节，用于测量网络流量、统计外网的区域节目流行度和计算QoS，提供即时的反应信息。4流行度作为流量均衡的重要指标需要重新定义。首先流行度是一个相对值，大小与时间周期有关，是时间的函数；其次，流行度与计算的节点位置有关，是区域或节点的函数，离开具体的物理位置去比拟流行度都没有意义；第三，流行度对网络流量的影响与所处位置的I/O或信道的宽窄有关，节目的流行度高，并不一定会造成网络拥塞，只有当节目占用网络带宽到达一定的程度时，节目的流行度对于均衡网络

8、流量才有参考意义。针对上述问题，本文提出了一种基于网络探测的多信源园区网的流媒体流量的均衡方法，目的是实现其商业应用。思路是构建一园区网的主资源存储与中央流量控制中心，负责媒体资源的编辑、存储和点播效劳，收集各端源设备的运行信息，管理资源的分布配置；在边缘节点上安装多个区域代理，缓存区域热门节目，进展区域客户端资源的二级管理，包括客户端登录、资源信息收集与共享；在客户端上安装共享点播软件，利用客户端的上行信道实现区域客户端之间的资源共享。另外，在网络边缘节点上加装了网络探测器，检测区域网络流量，统计、外网信源的区域或节点的流行度。研究多层次流媒体信源的分布式存储、均衡与管理策略，构建一个多信源

9、的园区网流媒体流量均衡系统。仿真实验说明，该系统可较好地挖掘网络潜能，有效地提升网络的效劳性能。本文将介绍均衡系统的架构设计、各局部层次的定位与所采用的均衡策略，以及系统涉及的局部关键技术。1系统设计设计多信源的流媒体流量均衡系统要考虑几个方面的问题：一是外网信源的点播节目的流行度的统计问题。流行度有效劳器点播的流行度、区域或节点节目流行度与客户端点播节目的流行度等。网效劳器的点播流行度是比拟容易统计的，而对于、外网的区域的节目流行度统计，要增加网络探针来完成。效劳器点播的流行度已有定义，而对于区域节目的流行度要重新定义。二是要建立网络端源设备与网络资源情况的传送机制。园区网的全局流量的均衡实

10、现不能只依据节目点播的流行度，要综合考虑到网络各局部可用的资源及裕度，甚至要考虑网络各局部区域QoS的影响。三是要建立良好的节目复制策略，防止复制引起网络环境恶化。1.1多信源流量均衡系统架构均衡架构如下列图一所示，系统采用集中多层次分布式架构，由中心流媒体效劳器、具网络探测功能的流媒体代理效劳器、客户端与网络设备组成，构成有流量均衡能力的多信源VOD系统。图1 多信源流量均衡系统架构Fig.1 The structure of multi-source load balancing system中心流媒体效劳器负责流媒体主资源信息的存储、检索、点播效劳和整个网络的管理与流量的均衡控制，它由三

11、个模块组成：一是流媒体节目制作与效劳模块，负责节目的制作、存储与点播响应；二是信息统计模块，负责记录代理效劳器与客户端的登录、节点资源信息、区域流量与设备状态信息的收集与统计，三是全局资源管理模块，负责管理 全网媒体资源与网络资源，依据管理策略发布调度控制命令，实现点播的重定向，进展流量控制。代理效劳器安装在边缘节点上，它是一双网卡的流媒体效劳器，考虑移动方便也可以采用嵌入式效劳器6。代理效劳器可依据区域节目的流行度，自适应缓存流行节目的容，接替外网信源提供点播效劳。本系统的特点是安装的代理效劳器除了具备根本的节目代理的功能外，还增加了网络探针，用于监测网络节点的数据报，测量区域节点的流量，统

12、计区域节目的流行度。客户端具有点播信息缓存与流媒体资源共享能力。边缘代理效劳器负责发现和管理客户端的资源，系统透过专门设计的客户端点播软件实现区域客户端之间的资源共享。1.2层次关系系统采用的是主从分布式管理架构。中心流媒体效劳器具有较高的管理权限，对园区网信源与设备资源进展统一调度、配置与管理，是媒体信息、网络资源、各节点信息会聚与管理的中心。系统的主从关系是指流媒体中心流媒体效劳器端、边缘代理效劳器与客户端的三层次的管理地位。分布式是指各个边缘节点代理效劳器自成系统，可管理各自不同区域的网络资源，没有中心效劳器的管理与控制，代理效劳器也能够独立地正常工作，它本身就具有节目自适应存储与节目的

13、重定向功能，可单独为客户端提供点播效劳。代理效劳器之间具有一样的地位，彼此可以互相发现，节目容可以共享；边缘节点的流媒体效劳器还可以管理区域的客户端资源，实现客户端之间的资源共享。1.3 均衡策略系统均衡策略是指系统依据各区域网络流量与节目的流行度、流媒体与网络资源分布情况、代理效劳器与客户端工作状态而设计的处理方法，它包括节目的存储、节目的重定向、自适应缓存策略等。本文重点讨论中心效劳器的均衡策略、边缘代理的控制策略与客户端的支援策略。1.3.1 中心效劳器均衡策略假设保证QoS的中心效劳器允许的最大I/O流量为L，最大允许并发点播数为M，中心流媒体效劳器的实际流量为l，实际并发点播数为m，

14、中心效劳器采用如下的均衡策略：1 不介入策略假设中心效劳器的I/O流量l与实际点播数m满足如下关系： and 1则中心流媒体效劳器采用不介入策略。管理模块只作正常的信息收集，统计和计算节目的流行度，中心流媒体节目效劳模块为客户端提供效劳。区域代理效劳器与客户端均不介入效劳，区域代理只统计区域网络流量与节目的流行度，实时缓存区域流行度高的节目容。 2一般介入策略假设中心流媒体效劳器的I/O流量l与节目实际点播数m同时满足如下关系： or and or 2为保证中心流媒体效劳器的流量慢增长，采用一般介入策略。中心效劳器依据统计的各区域节目流行度分布，综合考虑各流媒体节目效劳器的CPU、存、I/O的

15、利用率，区域节点的流量状况与区域流量裕度，命令区域代理效劳器参与效劳，并设置点播节目的重定向。3大并发控制策略假设中心效劳器I/O流量与实际的节目点播数m满足如下关系： or 3系统采用大并发控制策略。此时制止对中心效劳器的调用，只允许区域代理或客户端提供共享效劳。对预知的突发流量，如体育比赛与公共教育节目，系统可通过中心效劳器管理端对节目预先配置，规定节目重定向策略，最大限度地防止网络拥塞的发生。由于边缘节点具有自适应节目存储功能，可同步存储热门节目，可以减缓网络的拥塞。4 流量预处理策略中心流媒体效劳器的I/O带宽是有限的，实验说明，一台部门级效劳器大约能够保证100个左右的并发点播每个占

16、1Mbps带宽，过多的会导致QoS显著下降。事实证明，忙时才分布存储热门节目，是不可能缓解网络拥塞的，最好的方法是闲时复制，可在闲时如凌晨2:00-4:00依据节目流行度的统计特性或者是其他预知信息预先配置媒体资源，防止可预知的突发网络流量造成的拥塞。1.3.2 边缘代理效劳控制策略边缘效劳代理效劳器的作用有二，一是缓存区域热门节目为近端客户提供代理效劳；二是检测区域节点流量与统计节目的流行度，给中心效劳器提供适时信息，保证系统管理的细粒度。该设备采用的管理策略有不介入策略、自适应存储策略、动态加盟策略与资源预配置策略等。由于代理效劳器采用的不介入策略与中心效劳器一样，故不作累述。自适应存储策

17、略当代理效劳器检测到区域流量大于交换设备端口允许流量的1/2时，代理效劳器进入代理效劳状态。区域代理统计节点的节目流行度，并根据预先设定的阈值进展节目的缓存。当客户端提出点播申请时，自动接替中心效劳器或网外流媒体效劳器为客户端提供点播效劳。资源共享策略当代理效劳器检测到区域流量大于交换设备I/O端口允许流量的1/2，且小于允许流量的0.95倍时，边缘代理效劳器检测区域网络节点流量，同时监测客户端工作状况，适时获取区域客户端缓存的节目清单，对于区域的点播，设置节目的重定向表。如果点播节点代理中缓存了所需的节目，则提供代理效劳；如点播的节目是区域客户端曾点播过的节目，而该客户端又处于激活状态，则实

18、现客户端之间的资源共享。另外，各边缘代理之间也可实现资源的共享。中心效劳器有一边缘代理效劳的资源配置表，定长时间更新如5秒，可利用重定向技术，实现区域代理效劳器间的资源共享。动态加盟边缘代理在系统资源短缺的情况下也可动态加盟。代理动态加盟有两个途径，一是系统配置的代理效劳器具有即插即用功能，代理与网络联通时会向中心效劳器发送报文，申请加盟，承受申请之后会向中心效劳器传送资源配置信息报文完成参加；二是中心管理端也可以通过轮询的方法与新增代理效劳器建立联系。1.3.3 客户端的支援策略本客户端软件是在开源的点播客户端Mplayer上修改而成。利用Web界面实现对远程的流媒体节目的检索、点播、快退与

19、快进功能。客户端在原来的根底上新增了一些新的功能，如：开辟了专用的存储空间供已播节目缓存之用，在定长时间给区域代理上传节目清单和客户端运行状况信息，利用上行信道为区域客户端提供共享效劳。客户端的支援策略如下：客户端不主动向其他客户端提供效劳，其共享效劳受区域代理控制。区域代理在资源容许的情况下优先为客户端提供效劳，只有当其效劳能力缺乏时才容许客户端之间实现资源的共享。客户端定时向区域代理上传缓存节目清单，汇报客户端的资源利用情况，区域代理确定客户端提供资源支援的顺序，并为区域客户端之间的资源共享效劳提供备份。1.4 关键技术的研究 系统关键技术有区域节点的流媒体数据的探测技术，流媒体节目流行度

20、与系统流媒体节目的重定向技术等。1.4.1 网络探测网络探测的容是网络的流量特征、拓扑状况、端到端时延、丢包率、带宽利用率等，本系统主要探测的是区域或节点的流量和流媒体节目的数据报。网络探测有主动探测与被动探测之分，前者要发送数据报文，会增加网络的流量；后者被动接收网络的信息，对网络没有影响。数据库探针Web Server效劳端节点Web Server客户端请求响应数据库图2 网络探针构造图Fig.2 The structure of network probe中心效劳器代理效劳器本系统是将双网卡代理效劳器的一个网卡旁接在网络的边缘节点上，通过对交换机端口的镜像配置，被动捕获区域网络的报文信息

21、的。将网络探测器安装在边缘节点上是为防止检测的盲点和误检。当然，可使用光分路器改善数据捕获的效果，将探测器安装在骨干节点上，获得更大的信息捕获空间，但会增加本钱。本系统的网络探测包括流量测量和流媒体节目信息的检测两局部容。流量测量采用被动式IP流量探测技术，而节目的数据报则可以通过协议包的分析工具来解决。网络探针的构造如图2所示。探测网络流量有开源流量监控软件如PRTG与MRTG。由于PRTG安装比拟简单，MRTG的指令基于命令行，比拟复杂；PRTG可以轻松用一台计算机监控多台效劳器，而MRTG需要反复设置修改默认模板配置；PRTG的监控容较MRTG为多，而且PRTG还可记录CPU使用，存资源

22、，缓存信息等；最关键的是PRTG集成了页面发布工具，在监控完毕后不需要任何设置就可以通过网页的形式访问结果，而MRTG自己不带页面发布工具，需要安装IIS或Apache才能将生成的报表在页面发布。因此，本系统用PRTG定时收集区域流量信息与效劳器的运行状态信息，为中心效劳器提供适时的效劳。流媒体节目信息的检测使用数据报分析工具。典型数据报监控的软件有Sniffer pro和Ethereal。两款软件都可捕获网络中流动的几乎所有数据报文信息，分析数据包中的源地址、目的地址以及端口号，解析数据包中的容。由于Ethereal置了的一些网络数据包分析工具，相比sniffer pro功能更强一些，本系统

23、采用了Ethereal。 当然，无论是使用PRTG还是Ethereal都要整合才能融入本系统。 1.4.2 节目流行度节目流行度是基于流媒体流量均衡的重要参数，它是一个相对变量。信道的节目流行度是指一段时间，单向点播节目信息量占信道单向总信息量的比值。假设设在单位时间t的点播的总信息量为C，总点播的流媒体节目片段数为M；第i个节目片段的信息量为Li，有N个客户端点播，第k次点播的完整率为；则节目的流行度定义为： (5)其中t可取值为：时，日，周和月等，由5式可生成不同周期的流行度表。从5式也还可看出，流行度高，是指单位时间的节目出现的频度高，点播节目占的时间相对较长。T的取值不能太小，否则Ct

24、不稳定，P就不稳定，t取值一般最少为一天。按点播信源的不同，可分网与外网的节目流行度，按统计对象的不同又可分中心效劳器流行度CP、代理流行度SP、区域节点流行度LP与全局节目的流行度AP。中心效劳器与代理效劳器的节目流行度可按5式直接计算。而区域节目流行度则要用网络探针获取网络区域节点的节目数据报文，统计流量才能得到。用Ethereal工具可获得区域节点的数据报信息，如表1所示，解析报文可完成节目点播信息量的统计。用PRTG可统计单位时间区域节目的总信息流量，由获得的区域节目信息流量与区域的总流量，从而可计算出区域的节目流行度。这里要注意的是效劳器点播的总信息流量与区域信息流量是有差异的。 表

25、 1 点播的RTSP数据报信息Tab.1 The information of RTSP packets in VOD procedureMov2.mov 8.3315031 5 554 32808 1309Stream1.mov 10.431213 35 00 554 4316 1140Mov1.mov 7.990158 554 32808 1205媒体名称 时间 源IP 目标IP 源端口 目标端口 长度1.4.3节目点播的重定向 图3 点播的重定向Fig.3 The redirection procedure of VOD节目点播的重定向是指点播信源物理位置的定向

26、迁移。流媒体流量均衡实质上是将面向中心或者外网信源的集中点播改为面向网分布代理点播的过程。重定向的目的是使边缘代理或资源支援的客户端的资源实现共享。重定向的条件是点播节目存在于区域代理或者相邻的客户机上，且中心效劳器或者园区网入口I/O流量超过阈值。点播重定向的过程是点播客户端发送点播的协商数据包到中心流媒体效劳器端的过程。中心效劳器检查点播节目的分布情况，假设本身I/O流量与效劳器负荷超过预定值，则将信源指定为缓存该节目的代理效劳器，使客户端与效劳代理建立联系，并为之提供效劳。下面是网信源点播的重定向举例，以主流协议RTSP协议族为例说明。如图3所示，首先点播客户端发起点播请求1，效劳器回复

27、并提供SDPSession Description protocol数据报2，接着客户端发送SETUP包(3)请求并建立数据传输通道如视频流、音频流传输端口等，中心流媒体效劳器将该数据报转发至代理效劳器(4)，代理效劳器提供建立数据通道的信息(5)，中心效劳器再将该信息转发至点播的客户端(6)，最后当客户端请求播放节目时(7)，中心效劳器将该请求转发至代理效劳器(8)，代理效劳器提供包含节目容的RTP/RTCP数据报为客户端提供点播效劳(9)。由于点播协商的数据包信息量较少，不会过多消耗网络资源，恰当地设置中心效劳器负荷与I/O带宽的阈值可以保证不过快趋于满负载。对于外网信源的节目点播，需要依

28、靠区域网络探测来发现。当网络出口流量接近其设定的阈值门限时，有能力的代理效劳器会自动与客户端建立联系，适时接替外网信源的工作为之提供效劳。2 仿真实验与评价网络拓扑构造如图一。用一台中心流媒体效劳器，三台流媒体代理效劳器均采用Dell Power Edge 2850与300台普通PC建立仿真实验环境。在企业效劳器上安装流媒体资源库与中心效劳器流媒体系统软件，三台部门级效劳器上安装自适应存储代理、网络探测软件与流量检测软件，300台PC上安装客户端点播软件。中心效劳器上安装300套流媒体节目，网络带宽限制在30Mbps，外网带宽设置为10Mbps。邀请学生根据自己的喜好利用三组PC每组100台点

29、播节目，比照一般流媒体点播系统、CDN流媒体点播系统与本点播系统的点播情况，如图四和图五所示，发现可以允许的最大并发点播数有明显的差异。图4 内网点播极限用户数比照图Fig.4 conparison result of peak users number图5 外网点播极限用户数比照图Fig.5 The parison result of peak users number in e*tranete*tranet在中心流媒体效劳器上安装一般点播系统Apple Darwin Streaming Server，客户端点播软件安装Mplayer，发现其并发点播的极限用户数受效劳器I/O带宽与网络带宽的

30、限制，实际可点播的用户大约为56个左右配置文件选择500Kbps；点播外网的节目极限用户数则受网络入口带宽与外网的点播环境限制为30个左右每个流量大约在300Kbps；安装具有CDN功能的流媒体点播系统对网的点播用户数有所提高，为130个左右，但是对于外网的点播改善不明显；安装本系统对于网的并发点播用户数有更加明显的提高，到达280个，而且性能稳定，对于外网的点播也有改善，对于突发性的网络流量无论是源自网还是外网如体育赛事的可点播用户数的增长也很明显。3完毕语介绍了一种中小型园区网的流媒体技术应用的系统优化和改造方案，引入了网络探测技术，提出了一种将CDN技术与P2P技术融合的流媒体流量全局均衡的方法，重新定义了节目的流行度，实验证明了本流媒体流量均衡系统具有较高的可用性。 参考文献：1 王铮，永昊，云，霍晓宇。覆盖网络组播与 Patching算法在VOD 系统中的应用，交通大学学报J，2005，295：19-23。2 唐瑞春，青磊，斌。一种基于P2P协作的代理缓存流媒体调度算法，电子与信息学报J，2009，3111：2756-2761。3 磊，王彬彬，家谋。VOD播送协议分析和建模。宽带网络与传输M，2005，275(5)：46-49。4 史厚兵，朱怡安，王云岚，年福丰。基于负载均衡的多源流