基于随机序列的频率数据驱动的视频网络优化方法

基于随机序列的频率数据驱动的视频网络优化方法

0基于网络的节目访问模型人们对信息的兴趣往往是集中的，这就是所谓的“热点”信息。通过在网络边缘存储“热点”信息，可以减少网络中心冗余数据的重复传输，降低服务时间，提高可靠性。对于媒体内容、安全要求的内容或动态内容，简单的网络存储技术不适用于使用，需要引入内容分发网络（https）技术。例如，网络中的节点服务器是基于现有网络建立的智能虚拟网络。根据每个节点的连接状态、负载状态、响应时间和距离，可以实时基于每个节点的连接状态、负载状态、响应时间和距离等综合因素来动态地引导用户的请求，并从最接近的服务节点中定位服务节点。分布式存储、负载管理、业务请求重定向和内容管理是构建https的主要技术。在业务要求重定向和内容管理方面，参照互联网工程任务小组（iedt）的相关标准，以及关于下一代网络上基于itu-t的基础设施网络模型的信息文件。在这项工作中，我们分析了运营商的业务统计数据，并研究了用户对节目的兴趣的分布以及制作节目访问模式。然后，我们建立了一个典型的p2pi系统模型，并提供基于节目访问模型的模拟算法。这些算法可以模拟和研究当地缓冲区的内容形成规律以及处理核心节点的能力以及影响边缘节点缓冲系统服务质量的影响。1多兴趣点合成方法统计一段时间内(如一天)所有节目的访问次数,将节目按访问次数从多到少排列,并依次从小到大编号,置于横轴上.用纵轴表示节目被访问的次数,所得曲线称为节目访问频次曲线,代表特定节目集合中节目受欢迎程度(“热度”)的分布,为了便于观察,通常采用对数坐标.图1给出对数坐标下的节目访问频次曲线,其中横坐标表示节目的编号,纵坐标表示节目被访问的次数.曲线D1给出时代华纳有线2007年5月中一天的统计数据.该系统中5939个节目当日总计被访问622842次,访问量最大的前20%的节目被访问次数占总访问量的81.5%,近似遵从20/80定律.图1中曲线D2给出了利用节目编号λ=2970的泊松分布产生的一条节目访问频次曲线.从图中可以看出,如果用泊松分布拟合用户对节目的兴趣集中度,需要分多个兴趣点.很多研究CDN的文献在研究内容输入时,一般将内容分为不同等级,内容选择先以Zipf-like分布选中不同的等级,再随机选取同一等级内的内容,这种方法通常是对互联网上内容访问规律研究的一种近似.在对数坐标下,该模型给出的节目访问频次曲线接近线性下降曲线,和实际统计数据有一定偏差.针对商用的IPTV网络,采取多兴趣点合成方法仿真节目访问规律,得出的节目访问模型和实际运营采集的数据更加接近.类似将节目分成不同的级别,将节目分成不同的兴趣子集,如战争片、纪实片、动画片等.用户在访问特定节目时先按一定的概率选中兴趣子集,之后再选中具体内容.由于同一子集中不同节目对用户的吸引力不一样,因此在同一子集中选择具体内容的概率采用泊松分布.设节目集合兴趣点数为M,则节目集合可以表示为F=∪i=1MFi,FiF=∪i=1ΜFi,Fi互不相交.(1)用户访问节目子集Fi中节目编号为k的节目的概率为:Ρ(ξ=kξ∈Fi)=λkk!e−λλ>0,k=0,1,2,⋯ξ∈Fi)=λkk!e-λλ>0,k=0,1,2,⋯其中λ>0,k=0,1,2,….虽然泊松分布随机变量的取值是无限的,但是由于变量取值相对于期望λ比较集中,因此并不妨碍利用其产生相应的随机序列.针对每个Fi,产生一个随机序列,利用所有的非0值组成一个随机正整数序列NLii,i=1,2…,M,Li表示NLiiiLi中所含随机正整数个数.Di为NLiiiLi对应的编号偏移量,定义如下将NLiiiLi中的所有元素n逐一作如下运算:令N=∪i=1MNLiiΝ=∪i=1ΜΝiLi,将N中的元素排列随机化,便得到节目集合F的节目访问编号随机序列:式(4)中ni表示第i次访问的节目编号,N称为F的节目访问模型.令M=63,仿真产生623799次节目访问请求,涉及节目编号从1到5830,节目编号小的在随机序列N中出现的次数多.对N中节目编号次数统计获得的节目访问频次曲线如图2中D1曲线所示,可以看出和实际统计数据(图2中曲线D2)比较接近.同图1,图2采用对数坐标,横坐标表示节目的编号,纵坐标表示节目被访问的次数.N中节目编号分布如图3所示,横坐标表示在访问模型中节目出现的次序,纵坐标表示被访问节目的编号.在N中节目编号小的出现频次较多,访问量最大的前20%的节目,发生的访问次数占总访问量的82.1%.按N中节目编号的出现次序,将节目请求输入IPTV系统,从统计特性上来讲比较接近参考运营商实际业务请求选中节目编号的分布,可以用于仿真研究实际系统的内容访问规律.2p2p内容分发系统的模型2.1节目访问模型IPTV产业链由内容供应商、服务供应商、网络供应商和终端用户组成,网络包括内容供应、业务控制、内容分发、系统与安全管理和终端.重点研究业务控制和内容分发.节目模型定义如下:其中n∈F,为节目的名称,不失一般性可以定义为节目的编号;tn代表节目时长,单位为min,5≤tn≤120且tn为5的均匀分布随机整数倍,均值为62.5;St为占用该节目流中剩余时长最大的流,St=0表示该节目没有被流占用,t为该流剩余时长,t=0表示流资源空闲.节目访问模型:每次节目访问的节目编号由图3所示的随机序列N顺序给出,访问次数大于623799后,从1重新开始.即用户对整个系统的第i次访问要点播的节目名称Ti为结合式(5)得对应节目为f?tTiTiΤitΤi(St).(7)网络模型:网络系统由通过IP网络连接在一起的1个核心节点、10个边缘节点和一个集中业务管理系统构成.核心节点用CS(S,T)表示,S表示节目存储容量为多少个时长为平均时长的节目,T为最大并发流数;边缘节点表示为RS(C,T),C表示缓存比例,T为最大并发流数.业务管理系统(门户)是用户业务接入的入口,同时负责负载均衡,负载均衡采用距离最近原则.业务规则:(1)用户浏览业务管理系统获得想要点播的节目,发起点播.业务管理系统将携带节目标识的业务请求重定向到用户所属边缘节点;(2)边缘节点如果已经缓存该节目,并且有足够的流处理能力,则占用相应的流处理资源为用户提供服务,否则拒绝为用户提供服务;(3)边缘节点如果没有缓存该节目,则将业务请求重定向到核心节点.如果核心节点和边缘节点有足够的流处理能力,则联合为用户提供服务,都消耗同样的流处理能力.在提供服务同时,边缘节点缓存该节目,否则拒绝为用户提供服务;(4)缓存该节目时,如果本地缓存空间已满,则选择丢弃一些本地缓存的节目.2.2业务处理规则每ΔT时间,做如下系统仿真:(1)查询各个流的状态,剩余时长减ΔT,如果等于0,则释放流资源;(2)查询节目f?tnn(St)状态,t=t-ΔT,如果t=0,则St=0,释放流占用标记;(3)逐一给每个边缘节点输入业务请求,业务请求到达次数遵从泊松分布.忙时λ=18次/min,非忙时λ=4次/min;(4)业务处理规则如节2.2所述,节目丢弃算法为丢弃边缘节点本身统计的没有正在被流占用的节目中点播次数最少的节目;(5)分时间段计算各个节点用户访问次数x和服务拒绝次数y,计算y/x得服务拒绝率(servicerequestrefusedratio,SRRR).3核心节点srrr仿真系统中核心节点为CS(5830,1000),10个边缘节点为RS(20%,1000),ΔT=0.5min,统计计算周期为120min.忙时平均每小时服务到达1080次,10个边缘节点平均访问核心节点的次数为10×1080×(1-82.1%)=1933次/h.如果节目时长恒定为1h,则边缘节点流处理能力不够导致的SRRR理论值为0.08,核心节点SRRR为0.48,整个系统的SRRR为0.16.由于边缘节点缓存内容是逐步自学习得到的,随着系统访问次数增加,区域缓存的内容逐步接近本地用户的访问规律,访问核心节点的比例减少,整个系统的SRRR逐渐降低并接近0.16.图4和图5给出不同情况下系统的SRRR指标,其中横坐标表示仿真时间,单位为统计周期,每统计周期为120min,纵坐标表示SRRR.图4给出由一个核心节点为CS(5830,1000)和10个边缘节点RS(20%,1000)构成的仿真系统连续200h忙时仿真结果.可以看出:随着区域缓存节目逐渐接近本地用户点播的20/80定律,核心节点的服务拒绝率(如图4中D2所示)逐渐降低,系统的服务拒绝率(如图4中D1所示)降低接近理论值,揭示了内容缓存形成过程及其作用.很明显提高边缘缓存能力或核心节点处理能力,可以减少对核心节点的访问次数,提高系统服务质量.图5中曲线D1、D2、D3和D4给出其它参数保持不变时缓存比例分别改变为20%、30%、40%和100%时系统的SRRR,曲线D5给出其它参数保持不变时核心节点流处理能力增加到2000时系统的SRRR.可以看出当本地缓存到达一定的程度之后,进一步增加边缘节点的缓存能力对系统服务质量的提高没有更多的益处.增加核心节点的处理能力和增加边缘节点的缓存能力有同样的效果.值得注意的是核心节点流处理能力加倍并没有使系统的SRRR达到理论值的0.08,主要原因在于节目时长分布和用户点播节目的随机性.4边缘存待率和核心节点并发流处理能力的确定通过分析运营商节目点播统计数据,模拟产生了一个典型的节目访问模型.之后建立了一个由业务门户、核心节点和边缘节点构成的典型IPTV仿真系统,并利用节目访问模型作为系统输入进行系统仿真,研究了边缘节点内容缓存的形成规律,直观地说明了边缘缓存主要作用.进一步研究了不同边缘缓存能力和不同核心节点并发流处理能力对系统服务质量的影响,从而说明在系统建设过程中两者之间的互换关系.通过对不同边缘缓存能力配置下和不同核心节点并发流处理能力配置下系统SRRR指标的研究,可以看出当上述两个参数综合满足节目访问规律时,进一步增加投资无助于系统服务质量的提高.因此