基于p2p网格的网络自适应视频点播机制研究

基于p2p网格的网络自适应视频点播机制研究

1基于p2p网格的gridvid系统现在，随着带宽网络的普及，视频点服务的使用越来越受到重视。然而，要建立有效、实用的视频点采集系统，还需要进行进一步的研究。传统的视频点采集机制将大量视频记录数据存储在一组集中的视频服务器上。视频服务器服务客户端服务器执行所有操作。当状况良好时，视频服务器服务客户端服务器将执行所有操作。当状况良好的下载用户增加时，视频服务器服务服务器最终会达到及其操作的限制。为了提高系统的实用性，需要提高更多的视频服务器。要提高系统服务器处理能力，还需要相应提高网络带宽。基于此模式的系统需要具有高成本、有限的视频服务器数量和网络带宽的限制，以满分利用系统中不同元素的强大合作功能。为了充分利用系统中各元素的强大合作功能，有必要将原始集中控制策略转变为智能分布控制方案，并充分发挥客户端在系统中的作用。在当前的视频点播系统中,大多数终端设备的计算和存储能力都具有很大冗余.如现在很多用户都是用高性能PC机点播节目,新式的机顶盒也必将拥有高性能的计算能力和大的存储空间.此时,点播用户作为一个最终使用者具备了向他人主动提供服务的能力,从而能够将这些点播端结点通过P2P(peer-to-peer)技术实现视频共享和计算力共享.由于P2P技术主要致力于资源查找和资源共享,其在系统组织和QoS保证方面则比较欠缺,而网格技术的运用则能够较好地解决该问题.通过关联结点间的协同运作和基于网络环境的自适应调节,本文提出了一个基于P2P网格的GridVOD系统.GridVOD综合了网格计算和P2P两方面的优势,具有良好的灵活性、可扩展性及安全性.在该系统中,点播端结点在享受服务的同时还作为非专有视频服务器向其他端结点提供服务.随着这种端结点数量的不断增多,整个系统的能力也随之不断得以增强.所有点播端结点按照其点播用户的兴趣划分为各个自治组,通过各个自治组合理地均衡点播负载.初始状态下,所有视频数据存放在专有视频服务器上.系统经过一段时间的运转后,许多视频数据将分配在各个用户端结点上.这些端结点上的非专有视频服务器将满足大量本地的点播请求,有效地减少了远距离通信量.GridVOD利用基于网格环境的系统监测服务进行网络自适应视频组播,从而提高了系统的服务质量.2基于p2p的流播方式近来,随着Napster,Gnutella等P2P项目取得的极大成功,利用P2P技术提供视频服务的尝试也倍受人们的关注.Xu等人讨论了基于P2P提供媒体流需要解决的问题,它通过OTSp2p数据指派算法实现多个结点共同为一个用户提供服务,其DACp2p接纳控制协议则提高了系统总的流播送能力.Lee等人则提出了一个基于P2P全分布式的视频点播系统架构,系统中不采用任何服务器(server-less),所有的视频数据都被配置到各个用户结点上.Loeser等人提出了一个基于P2P的分布式视频点播网络体系,它基于JXTA来实现对等结点的查询、成员组织、视频分发等,通过JXTA虚拟网实现一定的QoS保证.这些方案大多强调客户端的数据能力,而较少关注视频流与环境、各点播客户间的动态协调关系.3glod品牌系统的视频监控服务本文提出的GridVOD系统由少量专有视频服务器(dedicatedserver)、大量运行于端结点上的非专有小视频服务器(mini-server)和一些仅用于视频播放的消费结点(only-viewer)组成,系统各部件通过网络连接为一个有机的整体(如图1所示).按照网格计算的安全策略及资源控制规范,系统各组成部分被有效地组织为一个协同体,点播用户按照虚拟组织(VO)的模式组织为不同的用户群.根据整个系统的架构需要,所有专有的视频服务器被组织为一个典型的分布式视频点播子系统.当采用部分专有视频服务器作为整个系统的监管者时,其高端的硬件配置及高度的安全环境能够以较少的复杂度获得较高的系统可靠性及安全性保障.由于当前客户端大容量的存储空间足以缓存整部(或者部分)视频节目,当点播用户完成一次视频服务时,其对应的视频节目将缓存在客户端结点中.同时,该端结点从专有服务器(或者邻近的对等结点)处下载到小视频服务器软件.当新的点播请求被该端结点接受时,该端结点将使用mini-server软件来向其他结点提供视频服务.获得mini-server软件及提供视频服务过程中的安全保证通过GSI(gridsecurityinfrastructure)协议来实现.各消费结点是一个只能够接受及解码视频流的简单设备.该类型的终端结点包括低端的机顶盒(STB)及手持移动设备,如手机、PDA等.消费结点常常需要通过代理结点来获得服务.3.1系统监测在视频流的播送过程中,网络环境的恶化及服务器过载等情况将极大地影响点播的服务质量.利用基于网格环境的系统监测服务,GridVOD力求做到网络感知及视频流对象的感知,以实现自适应调节.作为Globus网格计算工具集的一部分,GloPerf主要用于网络延迟和网络带宽的动态监测及其信息发布.通过对GloPerf加以改进,本系统设计了一种基于移动Agent的网络监测方法.监测程序作为一个移动Agent运行于各个活动的视频结点上,并从监测数据中抽取有用的结果信息上传到一个LDAP数据库中.在处理一个视频流通道时,基于随机时间或者通过事件触发的方式,相应结点从LDAP数据库中获得监测信息.为了简化系统,结点的组织查询信息和视频索引信息也被存放在该LDAP数据库中,在各个结点上仅缓存对应该结点偏好的部分信息.新版本的Globustoolkit已经使用NWS来监测和预知网格资源,基于NWS改进GridVOD系统的监测服务将是下一阶段的努力方向.4基于流合并的组播算法大量的实践证明,用户经常点播的视频节目集中于少数热门节目上,系统可用性主要受网络及磁盘I/O带宽利用率的影响.当不同用户点播相同节目时,可以采用组播(multicast)通信让这些用户共用同一个视频播送流.在基于流合并的组播算法中,最先点播该节目的用户创建初始视频流,初始流通道播放整个节目.当节目播送ti时间间隔后,到达一个对该节目的新的点播用户.该点播请求加入到该节目的组播组当中,并且系统为该点播用户分配一个新的通信通道来传输遗失的前ti时间的节目片断流.此时,客户端至少需要处理两路视频流,即:组播视频流及遗失的节目片断流.在客户端缓存并且合并这些视频流,使得点播用户能够进行及时播放.5视频服务器传输能力每个点播请求根据相关视频服务器能力及网络状态来判定其是否可以被接受.当一个新的点播请求到达一个视频服务器时,该视频服务器需要判断是由它自己来接受该请求还是将该请求转到别的视频服务器上处理.在稳态运行过程当中,视频服务器为n个点播用户保持有k路视频流,它根据客户端和网络传输情况为k路视频流尽力读取并传送视频数据.此时到达一个新的点播请求,系统原有的平衡将被打破,在视频服务器中将可能出现k+1路视频流.根据以下的条件判定式,当所有这些条件都可以被满足时,该视频服务器接受该新的点播请求.否则,需要选择其他视频服务器来处理该请求.vk+1＞rk+1,(1)∑n=1k+1rn＜rs,(2)∑n=1k+1rn＜ds,(3)∑n=1k+1Bvn＜Bs.(4)vk+1＞rk+1,(1)∑n=1k+1rn＜rs,(2)∑n=1k+1rn＜ds,(3)∑n=1k+1Bvn＜Bs.(4)在这些条件判定式中,vi标识第i路视频流的网络传输速度,ri代表保证第i路视频流实时播放的数据传输速率,rs给出了该视频服务器端总的网络传输带宽,ds给出了该视频服务器总的磁盘I/O带宽,Bvi代表保证第i路视频流实时播放的基本缓冲区大小,Bs给出了该视频服务器中总的缓冲区大小.6gridvid自适应调节机制在利用系统监测服务、结点间协调、基于兴趣相似度的自治组管理及智能视频索引的基础上,GridVOD采用了一种自适应调节机制来改善视频播送质量及提高系统效率.6.1基于自治组模型的flooding信号模型在实际应用中,各点播用户的行为表现出很大的相互关联性.当一些点播用户表现出相似的兴趣时,其相互之间将以很高的概率保持一种稳定的连接关系.此时,这些具有相似兴趣的对等结点将自发形成一个自治组.GridVOD系统采用了一种简单的自治组模型.当两个端结点能够相互为对方提供视频服务时,则认为两者具有相似的兴趣.端结点通过视频索引信息的交换来了解其对等结点的兴趣,兴趣相似度将按照视频节目的分类、相似节目的数量、该对等结点提供服务的质量(QoS)等方面进行评价.基于该简单自治组模型,具有相似兴趣的对等结点被组织在一个虚拟子网中(如图2所示).本方案能够有效避免服务定位中的大量Flooding消息.每个视频点播的请求消息都带有一个时间邮戳来标识请求消息发送超时.一个点播请求首先被限定在该虚拟子网中进行处理.当该虚拟子网中的端结点不能满足该点播请求时,该请求被发送给这些端结点的具有稍低相似度的对等结点.依此类推,直至该点播请求超时.此时,该点播请求将直接发送给专有服务器进行处理.6.2组播视频流的获得基于该自治组模型,本文设计了一个网络自适应组播策略,如图3所示:在该原理示意图中,各结点可用作视频服务器.起初,结点a存放有视频节目Filmv,为了响应一个从b发出对Filmv的点播请求,需要为该初始视频流分配一个从a到b的通信通道.经过t1时间间隔后,从e发来一个对该相同节目Filmv的新的点播请求.此时,结点b上mini-server的服务能力和由b到e的网络带宽都相当充足.将该点播请求加入到该节目的组播组当中,通过组播通道获得正在播送的视频流.该节目0～t1时间的遗失节目片断流则由结点b提供.经过t2时间间隔后,从j发来一个对该相同节目Filmv的新的点播请求.此时,结点a处于忙状态,由b到j的网络带宽不足.结点h缓存有该节目Filmv,结点h上mini-server的服务能力、由h到j和由a到j的网络带宽都相当充足.将该点播请求加入到由a发出的该节目的组播组当中,通过组播通道获得正在播送的视频流.该节目0～t2时间的遗失节目片断流则由结点h提供.利用获得的监测信息,GridVOD网络自适应组播策略合理均衡了服务器能力和网络带宽资源,整个视频点播系统达到了最佳的运行效率.本适应性方法也适用于负载均衡及故障恢复.6.3视频节目存储及运行过程当各结点使用独立缓存管理策略时,在这些端结点上将出现许多重复的视频节目,端结点只能缓存少量的瞬间热门节目.而当缓存大的视频节目时,缓存资源利用率不高,并且有些很大的视频节目也不能被缓存在单个结点上.这时,需要将整个视频节目缓存到多个端结点上,每个结点上缓存的是部分节目数据.GridVOD采用P2P协同缓存来实现该部分缓存机制,通过强关联结点间的协同运作实现多个结点间缓存空间的统一管理,其性能取决于系统的网络环境感知能力和对流媒体对象的感知能力,并且需要对视频节目进行动态(或者静态)分段处理.当点播用户从初始服务器获得一个视频节目时,点播用户根据网络状态、对应该节目的兴趣组、结点的缓存状况等因素选择最佳对等结点集合来缓存该节目.当这些结点在向其他结点提供服务时,该虚拟缓存根据新状态下的关联度自动进行动态调整,将部分结点上长时间未被访问的分段转移到流行度高的结点上去.其替换策略采用改进的LRU算法,当该节目的所有分段都经过长时间未被访问时,换出所有这些分段.7性能研究7.1实验环境分析为了对我们提出的GridVOD系统进行评估,我们建立了一个模拟实验环境.通过4个交换机将所有机器连接在一个分布式网络环境中,其中主交换机的端口速度为1000Mbps,其余3个交换机的端口速度为100Mbps.初始状态下,所有视频数据存放在一台专有视频服务器上.专有服务器接在主交换机上,服务器配置为:PentiumⅣ1.8GHz,512MB内存,120GB硬盘.当一台计算机被用作mini-server时,在该计算机硬盘中保留5GB空间作为Cache空间用.为了方便测试,我们简化了部分实验参数,如表1所示:实验中采用GISMO工具集来进行负载合成,使得模拟实验环境更具现实意义.视频数据为MPEG-I编码格式.单次模拟实验由30000个点播请求组成.用户对所有N=300个视频节目的请求遵从Zipf分布,点播请求的到达符合泊松分布,其到达率为每分钟λ个点播请求.实验中,以用户请求撤消率来表示所有撤消的用户点播数占总用户点播数的比例.用户请求撤消率越小,则系统的吞吐量越大.为了简化分析,我们以缓存命中率来反映点播服务在本地失败而需要由专有服务器提供的情况,它表示由端结点提供的视频数据量占点播视频总数据量的比例.实验采用的另一个评价指标是平均延时,它反映了系统的视频服务质量.现有VOD系统一般采用的是基于批处理的集中式视频点播方法,作为对照,我们对它也进行了模拟实验.常用的批处理算法为FCFS批处理算法,它在每个间隔周期内收集到足够多的点播请求,然后将其中点播相同节目的用户放在一个组中进行组播处理.7.2用户请求撤开系数对存储频率的影响首先,设定点播用户中只有9个结点兼作mini-server,在不同用户请求强度下,用户请求撤消率如图4所示,而平均延时的变化则如图5所示.由实验结果看出,基于网络自适应组播的系统能力比基于批处理集中式的现有VOD系统能力要大了很多,而平均延时则少了很多.当设定用户请求强度为每分钟到达120个点播请求时,对应于点播用户中兼作mini-server的端结点数的不同,用户请求撤消率如图6所示,而平均延时的变化则如图7所示.由图6看出,当兼作mini-server的端结点达到一定数量时,影响用户请求撤消率的主要因素已经变为该P2P网格下的资源定位及