基于虚拟机迁移的负载均衡实现云计算节能(共10页)

1、基于服务器集群负载均衡的云计算(j sun)节能摘要：为降低大规模云数据中心的能量消耗，需要在一定程度上实现资源负载均衡。目前常用的负载均衡算法按照任务的分配方式可以分为两类：静态负载均衡算法和动态负载均衡算法。任务分配之后导致的负载不均衡问题，可以通过虚拟机迁移技术来解决，其中一种基于虚拟机迁移的面向能耗降低的负载均衡方法LBES(Load Balancing and Energy Saving)效果较好。该方法综合(zngh)考虑多种资源负载情况以及群聚冲突等问题，对虚拟机迁移过程的3个关键步骤进行分析优化，并给出相应的策略。关健词：云数据中心；负载均衡算法；虚拟机迁移(qiny)；能耗降

2、低；1、概述近年来，在商业和科学应用对计算能力需求的驱动下，云计算1诞生了。然而，云计算在不断发展的同时，云计算模式下数据中心的能耗问题也越来越引人关注。在云计算环境下，由于用户代理选择物理节点的不确定性和物理节点处理能力的差异性导致云计算环境中物理节点的负载失衡，经过证明：在总频率不变的前提下，当数据中心的主机处理器频率分布更均匀时，功耗更低2。因此，如何有效均衡云计算环境中各个物理节点中的各种资源负载、减少云数据中心的能耗成为一个需要迫切解决的问题。目前常用的负载均衡算法按照任务的分配方式可以分为两类：静态负载均衡算法和动态负载均衡算法。静态负载均衡算法如轮转法、散列法。动态负载均衡算法根

3、据服务器当前负载的状况，动态地将用户请求分配给每台服务，主要有：最少连接法、最低缺失法、最快响应法。上述算法均无法完全保证任务分配之后服务器集群负载均衡，而这时可以通过虚拟机迁移来实现整个服务集群负载的动态平衡。然而，在云数据中心环境下由于被迁移对象的粒度太大，迁移时所需的带宽、时间等条件也更苛刻，因此迁移开销是一个需要考虑的问题。文献4阐述了云环境下虚拟机迁移技术的应用背景，并对虚拟机实时迁移技术进行了介绍：为了解决云计算环境中的能耗问题与负载均衡问题，文献5根据物理节点的CPU利用率，提出了一种双阈值迁移策略，在保证SLA的基础上实现节能，但该研究忽略了虚拟机运行所需资源的多样性与虚拟机迁

4、移过程的复杂性。一种基于虚拟机迁移的面向能耗降低的负载均衡方法LBES(Load Balancing and Energy Saving)较好地解决了这个问题。2、分配任务时采取的负载(fzi)均衡算法 均衡算法设计直接决定了集群在负载均衡上的表现。一般的均衡算法主要任务(rn wu)是决定如何选择下一个集群节点,然后将新的服务请求转发给他。好的负载均衡(jnhng)算法可以取得更好的效果，但也并不是万能的,它一般只在某些特殊的应用环境下才能发挥最大效用，可在部署的时候根据集群自身特点进行综合考虑,把不同的算法和技术结合起来使用。2.1 负载均衡算法1 ：轮转法轮转算法是所有调度算法中最简单也

5、最容易实现的一种方法。在一个任务队列里,队列的每个成员(节点)都具有相同的地位,轮转法简单的在这组成员中顺序轮转选择。在负载均衡环境中,均衡器将新的请求轮流发给节点队列中的下一节点,如此连续周而复始,每个集群的节点都在相等的地位下被轮流选择，这个算法在DNSHYPERLINK /keyword/ t _blank 域名轮询中被广泛使用。轮转法的活动是可预知的,每个节点被选择的机会是1/N,因此很容易计算出节点的负载分布。轮转法典型的适用于集群中所有节点的处理能力和性能均相同的情况,在实际应用中,一般将他与其他简单方法联合使用时比较有效。2.2 负载均衡算法2： 散列法散列法也叫哈希法(HASH

6、),通过单射不可逆的HASH函数,按照某种规则将网络请求发往集群节点。哈希法在其他几类均衡算法不是很有效时会显示出特别的威力，例如在 UDP会话的情况下,由于轮转法和其他几类基于连接信息的算法,无法识别出会话的起止标记,会引起应用混乱。而采取基于数据包源地址的哈希映射可以在一定程度上解决这个问题:将具有相同源地址的数据包发给同一HYPERLINK / t _blank 服务器节点,这使得基于高层会话的事务可以以适当的方式运行。相对称的是,基于目的地址的哈希调度算法可以用在Web Cache集群中,指向同一个目标站点的访问请求都被负载均衡器发送到同一个Cache服务节点上,以避免页面缺失而带来的

7、更新Cache问题。2.3 负载均衡(jnhng)算法3 ：最少连接法在最少连接法中,均衡器纪录目前所有活跃连接,把下一个新的请求发给当前含有最少连接数的节点。这种算法针对TCP连接进行,但由于(yuy)不同应用对系统资源的消耗可能差异很大,而连接数无法反映出真实的应用负载,因此在使用重型HYPERLINK /keyword/web/ t _blank Web服务器作为集群节点服务时(例如Apache服务器),该算法在均衡负载的效果上要打个折扣。为了减少这个不利的影响,可以对每个节点设置(shzh)最大的连接数上限(通过阈值设定体现)。2.4 负载均衡算法4： 最低缺失法在最低缺失法中,均衡器

8、长期纪录到各节点的请求情况,把下个请求发给历史上处理请求最少的节点。与最少连接法不同的是,最低缺失记录过去的连接数而不是当前的连接数。2.5 负载均衡算法5 ：最快响应法均衡器记录自身到每一个集群节点的网络响应时间,并将下一个到达的连接请求分配给响应时间最短的节点,这种方法要求使用ICMP包或基于UDP包的专用技术来主动探测各节点。在大多数基于LAN的集群中,最快响应算法工作的并不是很好,因为LAN中的ICMP包基本上都在10 ms内完成回应,体现不出节点之间的差异;如果在WAN上进行均衡的话,响应时间对于用户就近选择服务器而言还是具有现实意义的;而且集群的拓扑越分散,这种方法越能体现出效果来

9、。这种方法是高级均衡基于拓扑结构重定向用到的主要方法。2.6 负载均衡算法6 ：加权法加权方法只能与其他方法合用,是它们的一个很好的补充。加权算法根据节点的优先级或当前的负载状况(即权值)来构成负载均衡的多优先级队列,队列中的每个等待处理的连接都具有相同处理等级,这样在同一个队列里可以按照前面的轮转法或者最少连接法进行均衡,而队列之间按照优先级的先后顺序进行均衡处理。在这里权值是基于各节点能力的一个估计值。静态(jngti)均衡算法没有考虑负载(fzi)节点的动态变化，简单容易实现，但在实际应用中存在许多缺陷，不能有效保证各服务器负载均衡。动态负载均衡算法对于小型服务器集群系统效果较好，对于大

10、型服务器集群系统则不太理想(lxing)。基于遗传算法的服务器集群负载均衡算法，利用实时监控和综合分析：CPU利用率、内存利用率、磁盘FO访问率和请求执行的时间等参数，通过这种模拟自然界生物进化机制的遗传算法，相比于现有的这些算法，取得了更好的负载均衡效果3。3、任务分配结束后基于虚拟机迁移的负载均衡方法云环境下的虚拟机迁移过程有3个关键步骤：(1)物理节点何时迁移最佳，即迁移时机的确定；(2)在一个被触发迁移的物理节点中可能有多个虚拟机，选择哪些虚拟机进行迁移能够使得迁移开销更小、释放的资源能力更多，即被迁移虚拟机的选择；(3)在一个云数据中心中，可能有成千上万个物理节点，将虚拟机迁移到哪个

11、物理节点效果最好，即目标节点的定位。为了能够实现更有效率的虚拟机迁移，本文对这3个关键步骤分别提出了相应的策略。31 迁移时机的确定由于CPU利用率的不稳定，为避免一个瞬时负载峰值或谷值触发无谓的迁移造成的系统开销浪费，只有当CPU利用率超过设定的阈值且持续一段时间才触发迁移，一种基于预测机制的双阈值触发策略。为了预测t+l时刻的负载情况，本文采用基于历史数据的加权预测机制。在t时刻，该预测机制使用t个过去的、按时间序列排列的历史记录值对未来做出预测。例如观测的负载值序列：Zl，Z2，Zf，对于这个给定的历史记录序列，t+l时刻的预测值Zf+1可利用下式计算：Zf+1=其中，Ai是时间序列i时

12、刻的加权参数；Zi是i时刻观测到的CPU利用率，如果观测值与预测值在时间上越靠近，则该观测值的加权参数Ai值越大。当预测值Zt+l小于较小的阈值Zmin，或大于较大的阈值Zmax 时，迁移被触发执行。32 被迁移虚拟机的选择一旦某个物理节点被触发迁移，必须选择该物理节点上的哪个虚拟机进行迁移，以达到迁移开销较小、释放资源较多等目的。目前虚拟机的在线迁移主要是通过迭代拷贝虚拟机的内存镜像，同时追踪哪些页面被修改、需要重新被发送，或者是拷贝一次虚拟机的内存镜像，再将之后修改内存页面的日志文件迭代拷贝到目标节点，目标节点再做相关的处理操作。这不仅要消耗相当大的带宽资源，还将影响虚拟机中应用程序的性能

13、。以往关于云计算中的虚拟机迁移(qiny)的研究通常只考虑物理节点中的CPU资源，而不关心它的内存资源6。事实上，如果(rgu)虚拟机在物理节点中的内存占用不足，即便有足够的CPU计算能力，它也无法正常工作。所以，在选择迁移对象时，须综合考虑该虚拟机对CPU的使用率和内存的占用情况。虚拟机对内存的占用量越大，迁移所需拷贝的内存镜像就越大，迁移的系统消耗也越大，但同时，迁移也释放了原节点中更多的内存空间。鉴于以上情况，本文决定当触发迁移节点的内存使用率过高时，选择迁移内存使用率和CPU使用率都较高的虚拟机，反之，则迁移内存使用率较低而CPU使用率较高的虚拟机。图1给出了本文被迁移(qiny)虚拟

14、机的选择流程。在图1中，Zt+l为被检测物理节点在t+l时刻的CPU使用率预测值，Zmin是该物理节点CPU使用率迁移触发较小阈值，Zmax是该物理节点CPU使用率迁移触发较大阈值，该物理节点的内存使用率阈值为Mthreshold ， 当前内存使用率为Mnow，该物理节点中的虚拟机i的CPU利用率为Ci ，内存使用率为Mi ，则 ：Ri=CiMi ，URi= Ci/Mi。33 目标(mbio)节点的定位虚拟机被选择迁移后，需要考虑选择合适的目标节点接受被迁移的虚拟机。在云环境中，如果多个物理节点同时(tngsh)选择在当前环境下性能最好的节点作为目标节点进行迁移，就会导致被选中节点的负载在短时

15、间内急剧增加，造成群聚效应。为了避免群聚效应的发生，使得节点负载更均衡，本文的定位策略并不以固定的方式将虚拟机迁移到当前数据中心性能最高的宿主机，而是基于概率机制选择目标节点，定位时要综合考虑节点的CPU计算能力、内存容量2个性能指标。此外，当一个物理节点出现内存不足、但CPU计算能力过剩，或者内存过剩、但CPU利用率不足的情况，该节点中的虚拟机都不能正常运行，造成资源浪费。为了(wi le)能够均衡物理节点中内存资源与CPU计算资源的使用，本文在选择目标节点的过程中，须考虑待迁移虚拟机与目标节点的(CPU 消耗内存消耗)的匹配程度。为了便于分析和描述，表1给出了相关符号及其含义说明。33节点

16、定位过程节点的定位过程主要由3个步骤构成：(1)根据目标节点的URavailable 和虚拟机的URcost值匹配度，以及目标节点的性能，从云数据中心中选择出n个符合要求的目标节点。(2)根据这n个目标(mbio)节点的Ravailable值所组成的概率模型进行定位，设节点的当前可利用(lyng)资源能力为（Ri）available，则该节点接受被迁移(qiny)虚拟机的概率 Pi为：设目标节点的集合V：V1，V2，V3，V4，其可利用资源能力Ravailable =4.0，3.0，2.0，1.0，则根据上式得定位概率P=40，30，2O，l0 。(3)用一个随机函数生成一个O，1之间的数，然

17、后根据该数落在由哪个目标节点的概率空间中，最后确定迁移到哪个目标节点。34实验结果与分析为了验证本文方法的性能，设计了一个仿真实验，该实验基于云计算环境模拟器cloudsim7进行实现，在实验中模拟了一个云数据中心，比较云数据中心的任务在各种方法下的执行情况和耗能情况，并对ST(Single Threshold)算法、DT(Double Thresholds)算法、LBES方法通过赋予不同的阈值进行多次模拟。341 环境配置表2给出了模拟数据中心中实现的参数设置。342 结果分析表3表明了本文方法和NPA(Non Power Aware policy)方法、DVFS 8(Dynamic Vol

18、tage and Frequency Scaling)方法、ST方法、DT 方法、LBES方法的比较结果，由于NPA与DVFS方法不进行虚拟机迁移，实验结果只对其能量消耗结果进行了记录。可以看出(kn ch)：在节能效果上，DVFS方法、ST方法与NPA方法相比，有了明显的提高。DT通过在ST的基础上多设立一个阈值，在实现了负载均衡的基础上，同时降低了能量的消耗。在触发策略阈值相同的情况下，LBES与DT相比，能量消耗、虚拟机迁移数量、SLA违反率均有减少，这是由于LBES在DT基础上，对迁移时机的决定、被迁移虚拟机的选择和目标节点的定位3个关键步骤进行了优化，使得虚拟机的迁移变得更有效率。S

19、T、DT、LBES 3种方法随着阈值的增加，云数据中心中的能量消耗减少，而SLA的违反率增加，这说明在一定条件下，为了实现节能，要以降低用户的QoS为代价。4、结束语在云数据中心环境下，可以通过(tnggu)虚拟机的迁移实现虚拟机的动态重分配也即负载的动态重分配，这种基于虚拟机迁移的方法LBES，在双阈值触发策略的基础上，对迁移时机的决定、被迁移虚拟机的选择和目标节点的定位3个关键步骤进行了优化。通过实验证明，该方法可以在实现负载均衡、保证SLA的基础上，更好地实现节能降耗。由于虚拟机迁移要消耗很多资源(zyun)，最好是结合一个效率更高的任务分配算法，尽可能减少虚拟机迁移次数。下一步工作是进

20、一步改进任务分配时的遗传算法，基于二者使用的很多参数相同，可以将两种算法相结合以形成更好的负载均衡性能。参考文献1 陈康，郑纬民云计算：系统实例与研究现状J软件学报，2009，20(5)：133713482易星宇，翁楚良：面向云计算中心(j sun zhn xn)效能优化的负载平衡方法J计算机科学与探索，2012，6(4)：3303 许海成傅锦伟：服务器集群负载(fzi)均衡的建模与仿真研究 J计算机仿真， 2012， 3 (01)： 1801834Schmidt E SCSI总线和IDE接口(ji ku)：协议、应用和编程M精英科技，译北京：中国电力出版社，20015 陈宇龙，温东新，张展，

21、等基于SCSI的故I牵注入工具设计与实现J计算机工程，2011，37(22)：2222244 Clark C， Fraser KHand S，et a1Live Migration of Virtual Machinesc/Proc of the 3rd ChinaGrid Annual Conference. Dunhuan ，China：sn.2008：89955 Be1oglazov A，Buyya REnergy Efficient Allocation of Virtual Machines in Cloud Data centers。C/Proc. Of the 10th IEEE/ACM IEEEACM International Conference on Cluster,Cloud and Grid ComputingMelbourne，Australia：sn，2010：5775786 Be1oglazov A，Buyya REnergy Efficient Allocati