云计算环境下动态资源管理关键技术研究

1、    云计算环境下动态资源管理关键技术研究    陈董摘 要：本文从云计算资源管理的基本概念入手，分析负载均衡原理及常用算法，以基于粒子群双向拍卖为例的探讨动态资源竞价调度策略。关键词：云计算；动态；资源管理；技术自云计算诞生以来，已悄然改变了网络世界的格局，改变了用户的网络习惯。迄今为止，如、阿里巴巴等商业巨头纷纷将大规模的数据存储在云上并参与云计算领域的竞争。随着云计算的逐渐成熟和广泛应用，价格和性能将是决定这场角逐的决定性因素，通过合理的资源管理，最大效率地利用系统资源，在保证服务质量的同时降低成本是当前云计算领域最热门的研究话题。1云计算资源管

2、理的基本概念在计算机科学中，我们所说的“资源”通常指内存、硬盘、等硬件资源以及系统文件等软件资源，由于软件资源是事先部署在系统上的，更改难度较大，所以我们平时所讲的“资源管理”即是对硬件资源的管理。在处理特定事件时对资源的消耗将是我们衡量系统性能的重要标准，我们将资源泛性的分为“计算资源”、“存储资源”和“网络资源”。2负载均衡原理及常用算法云计算是采用虚拟化技术将众多分散资源抽象成资源池，将底层的物理设备进行资源整合，并作为一个整体向用户提供服务。因此云技术首先面临的问题就是如何将共享资源合理的分配和调度，其中平均响应时间和资源利用率是衡量均衡调度算法的重要标准。负载均衡就是通过对服务结点性

3、能以及负载情况的分析，得出合理的分配策略，将数据和请求有效的分配到服务结点，达到服务器的最理想效果。负载均衡主要分为静态调度和动态调度，其主要算法为轮转调度算法、加权最少连接算法以及动态反馈控制算法。1、轮转调度算法轮转调度算法是最简单的负载均衡算法，其原理采用轮转方法按顺序依次调度不同的结点，对系统结点无区别对待，也就不存在硬件配置和当前结点连接数的差异。轮转调度算法开销非常小、简单易行，在云计算的初始阶段发挥了重要的作用，但是其有效性差、并行性低，无法适应现在的大规模异构集群系统。2、加权最少连接算法最少连接算法顾名思义，是将请求优先分配给连接数较少的结点，但是仅仅根据连接数量不能很好的反

4、映出结点的真实负载，所以根据结点处理能力的不同，对其分配不同的权值，将连接数量和权值大小相结合，更加合理的反映负载大小。但是随着动态资源的规模激增，如何合理的设定权值并在动态资源调度中调整权值是该算法面临的主要问题。3、动态反馈控制算法由于静态算法的适应能力较差、应用范围较窄，动态负载均衡算法逐渐成为研究热门。近年来基于反馈的负载均衡算法取得非常理想的成果，基本原理为当节点负载变化时，通过反馈机制将其负载信息进行收集并反馈，根据反馈得到的实际负载情况对请求进行迁移或重分配，以期提高负载均衡度。通过对现有负载均衡算法的分析，动态负载算法明显优于静态算法，但是当前许多算法主要采用对资源指标使用率进

5、行加权的方式，如果权值选取不当，效果反而适得其反。3基于虚拟机部署的资源提供和双向竞拍竞价机制1、基于虚拟机部署的资源提供云计算中的资源提供主要是虚拟机在接收到任务后，根据任务对物理资源的需求，采用具体的资源选择策略为虚拟机选择合适的物理计算资源。虚拟机与主机之间有、内存、带宽等多种限制，随着虚拟机和主机数量的增多，问题的解决难度也成指数增长，很难在多项式时间内得到最优解。2、双向竞拍竞价机制经济效用是资源分配中常用的目标函数，目前已有大量的研究把经济模型引入云计算的资源管理和任务调度优化问题中。随着云计算商业步伐的加快，必须引入经济机制以更好地吸引资源的提供。在经济机制下，用户和资源提供者可

6、以根据市场价格和自身爱好进行自主决策，而市场价格也反映了供需关系，有助于实现资源的优化分配。现有的定价模型主要包括：市场模型、标价模型、议价模型、招投标模型以及拍卖模型。拍卖作为重要的市场机制，根据市场的参与者竞价来决定资源的分配结果，并且在市场不明朗的前提下，根据博弈理论得到最优解，从而符合云环境中变化无常的用户需求，这逐渐成为定价模型的热点。针对传统拍卖模型中资源提供者处于主导地位，往往会发生垄断现象，许多研究人员提出了双向拍卖的概念，即用户和资源提供者为多对多的关系，在拍卖过程中地位均等，有效的避免了垄断现象的出现。4以基于粒子群双向拍卖为例的探讨动态资源竞价调度策略。基于云存储的资源调

7、度存在着两个非常大的挑战，首先，如何将用户请求映射到云处理器中，并且很好的满足参与者的服务质量需求；其次资源调度是一个在多项式时间内难以解决的复杂问题。一个优秀的资源调度算法，不仅仅需要考虑到计算能力（cpu 处理能力）、存储和带宽能力，更要满足用户和资源提供者的服务要求。目前，传统的云环境资源竞价策略主要考虑资源提供者的收益，不但导致了服务响应时间过长，而且用户与资源提供者没有实现双向选择，也导致了云资源市场的不均衡交易，最终用户的服务质量无法得到保障。1、云环境下的动态调度问题云平台提供了一种“超市”模式的云资源共享平台，根据用户需求，将资源打包成服務提供给用户，如果用户不满足云资源提供者

8、的服务，完全可以选择其他资源提供者。为了让云资源提供者获得更大的交易量和收益，并且让用户获得更满意的服务，引入经济学中双向拍卖理论，其基本过程如下：（1） 确定获胜者，这个过程主要通过求“竞胜标确定问题（winner determination problem， wdp）”的最优解完成；（2） 资源分配，针对获胜的卖家找到一个或多个购买其资源的买家；针对获胜的买家找到一个或多个提供资源的卖家；（3） 资源定价，针对每个竞拍者确定其实际的交易价格。如何满足资源提供者和用户的需求，并使云平台的整体交易量达到最佳是本章的研究方向和目的。2、粒子群双向拍卖机制的竞价机制粒子群双向拍卖机制将资源的竞价和

9、资源的分配分为两个独立的步骤完成，也可以针对特殊需求的用户施行一对一资源匹配同时完成资源定价，其整个竞价过程具有一定的合理性，粒子群优化双向拍卖机制力求最大化总的收益，保障市场交易量和参与者的收益，其在双向拍卖中的目标函数和约束限制如图所示：收益最大化：约束限制：其中m为资源提供者的总数量；n为用户的总数量；资源提供者i和用户j间的项目交易价格；qi，j，a为资源提供者i和用户j间的项目交易量；s为资源提供者的集合，s=m个资源提供者；b为用户的集合， b=n个用户。5结语随着云计算的普及和应用，动态的资源调度成为研究热点，传统的双向拍卖机制以最大化市场价值作为目标，强调资源提供者在云环境中的利益，忽略了用户体验的重要性，从另一个角度上可以看成集中式的分配系统。本文在此基础上提出了一种粒子群优化双向拍卖策略，力求为所有参与者提供满意的服务。实验结果验证，粒子群优化双向拍卖策略不但总交易量和收益量优于传统双向拍卖策略，并随着用户的增加，其优势越来越明显，从而