一种多媒体服务器集群系统能耗最优控制方法

一种多媒体服务器集群系统能耗最优控制方法

1系统动态调整随着网络融合的深化，多媒体企业的业务也有所增加。根据第29条，中国互联网信息中心（cnic）的数据，到2009年底，中国网络上的视频用户规模达到2.4亿。动态电源管理文[17]指出,多媒体用户访问行为存在明显的周期性和波动性.基于此访问特性,本文根据用户实际需求,动态调节服务器数量,通过提高整个集群的利用率,实现系统节能.首先对系统进行建模,在固定服务器数量时,我们称系统处于某一个能量级,通过马尔可夫过程来描述系统状态的变化;当系统转移到某些特定状态(低负载或者高负载),按照控制策略动态增加或者减少一些服务器,将系统从一个能量级切换到另外一个能量级,实现能量级和负载的动态匹配,整个系统的运行通过一个马尔可夫切换状态空间控制过程来描述.在此模型基础上,提出了一种策略迭代算法,并通过仿真验证算法的有效性.2系统模型系统模型2.1用户请求调度图1为具有能耗控制功能的时移电视集群系统,系统由请求调度器、媒体服务器和存储子系统组成.存储子系统存储录制的时移电视节目,所有的媒体服务器共享存储子系统.媒体服务器有三种状态:工作状态、待机状态和关闭状态.当请求调度器接受用户请求后,按照负载均衡策略,将请求分发给处于工作状态的媒体服务器,媒体服务器随即从存储子系统中获取被请求的节目对外提供服务.当用户请求增加,系统出现重载状况(所有工作的服务器提供的总出口带宽不够),请求调度器中的能耗控制模块将待机状态服务器唤醒,变为工作状态,增加系统服务能力.当用户请求减少,系统处于轻载时,请求调度器中的能耗控制模块将部分工作的服务器变为待机状态(调整时需要用到服务迁移功能).处于待机状态的服务器维持在固定的数量,当超过或不足时,需要进行对应调整.本文假定当系统出口带宽没有达到上限时,系统始终能够对外提供服务.2.2马尔可夫切换空间控制模型某个时刻系统中处于工作状态的媒体服务器数为k,k∈S文[17]提出:多媒体用户的到达近似服从泊松分布,而且服务时间服从指数分布.当服务器台数固定时,根据排队论的相关结论该嵌入马尔可夫链的一步转移概率矩阵的第(n,n)个元素为其中该马尔可夫过程的无穷小矩阵的第(n,n)个元素为对于时延电视集群系统,当系统处于高负载或者低负载状态时,假定系统不会拒绝用户,系统的控制手段为增加或者减少服务器来适应网络负载变动,切换控制行动记为d.为了保持系统稳定性,每次只增加一台媒体服务器或者减少一台媒体服务器,行动集合为用s=(k,n)表示系统状态,其中k表示服务器数量.定义ψ(s)=nnrr其中设t其中d该马尔可夫切换状态空间控制过程的无穷小矩阵用对于集群系统而言,系统能耗很大部分集中在服务器能耗,而服务器能耗与工作服务器数量相关,因此控制工作服务器台数能够实现系统能耗控制.定义代价函数为上式中E表示对随机变量f当系统总的出口带宽不足时,会出现丢包或者阻塞.定义系统QoS函数为则f式中E表示对随机变量f对于时移电视集群系统,希望在满足一定丢包率b,b∈[0,1)的前提下,最小化系统能耗.则上述马尔可夫切换状态空间控制过程的优化目标为,寻找最优切换控制策略3在线优化策略icy在线本文利用性能势理论3.1性能差分公式该马尔可夫切换状态空间过程的无穷小矩阵则平均能耗测度拉格朗日平均性能测度为定义状态s的性能势状态s的性能势g(s)表示状态s对系统长期平均报酬的“潜在”贡献.由文[19],性能势可通过泊松方程AAgg=-f(α,β)+ηe来确定,其中g=[g(s)]是由每个状态s的性能势组成的性能势向量.性能差分公式为定理1当且仅当对于所有的L,都有:策略上述定理的证明见文[19].基于该定理,策略迭代算法每次迭代时只要寻找新的策略使得A3.2性能势的在线估计{X如果存在1kh如果X(s)=1,定义:考虑J个再生周期,在第j个再生周期内,如果其中由大数定律令g(s其中定理2当再生周期的数量J→∞时,式(18)中基于样本轨道的性能势估计证明:首先令则有:将上式代入式(18)有:由大数定律同时:因为3.3不带约束的马尔可夫决策过程的最优策略对于某个确定的β,利用上节估计得到的性能势,可以通过策略迭代算法(算法1)求解无约束条件下的马尔可夫切换状态空间控制过程的最优策略.算法1的主要流程如下:Step1:令j=0,选择初始策略Step2:在策略Step3:对每个状态s,选择策略Step4:如果将上述算法求解出来的最优策略用当受约束的马尔可夫决策过程通过拉格朗日乘子转化为不带约束的马尔可夫决策过程,系统原来的约束和拉格朗日乘子之间存在相互关系.对于某个β,首先通过算法1可以得到使拉格朗日性能测度η最小的策略,同时可以得到相应的平均阻塞概率ηStep1:令n=1,βStep2:根据算法1求解βStep3:根据策略Step4:根据下式更新拉格朗日乘子Step5:如果可以证明这样受约束的马尔可夫决策过程的最优策略可以通过将两个策略随机混合而得:系统运行时,在每个决策时刻,以概率q选择策略4仿真实验与结果分析为了说明算法性能,本文和文[10]中的基于阈值的启发式算法进行比较.启发式算法中阈值为系统带宽消耗的百分比,记为T.启发式算法的性能取决于阈值的选择,不同负载特性情况下阈值的选择不同,目前并没有专门的算法来确定最优阈值.为了充分说明启发式算法的特性,仿真时,将T从小到大依次设定为0.5、0.6、0.7、0.8和0.9,通过不同阈值下的算法性能,说明启发式算法的缺陷,同时和本文算法进行比较.当T=0.5时,表示当系统带宽利用率超过或者低于0.5时,增加或者减少一台服务器,为方便起见将此时的算法简记为T=0.5,阈值为其它值时,类似简记.本文假定总的请求到达率λ=6,并且服从泊松分布,每个频道的流行度服从参数为θ=0.271的齐普夫分布,这样通过总的到达率和齐普夫分布可以得到每个频道的到达率.系统总共有15台服务器,每台服务器的出口带宽为W=5,功率为P=100,每类节目的服务率为u=(0.7,0.5,0.3,0.2,0.6),每个连接的带宽消耗为r=(1,1.5,2,2.5,1.8).系统阻塞概率上限b=0.05.每次估计性能势时,产生样本周期数J=10000.为方便起见,本文算法记为MSCP(Markovswitch-statecontrolprocess).为了消除随机性,算法的仿真结果为50次独立实验运行结果取平均值.实验从平均工作服务器总功率、系统阻塞概率(丢包概率)和系统的带宽利用率三个方面5qos模型的改进本文针对