云计算环境下的资源调度模型研究

云计算环境下的资源调度模型研究

1云计算数据中心资源调度问题云计算是一种商业模式和服务模式。计算任务分布在大多数计算机组成的数据处理中心，因此不同的应用程序系统可以根据用户的需要获得存储存储和信息服务的生产能力、内存和信息服务。学术界将云计算列为水、电、气、油之外的第五种公用资源,云计算是技术和社会需求发展的必然结果,云计算集成了计算机领域大规模数据中心、虚拟化技术、软件即服务等先进技术。随着云计算应用的开展,产生了大量的数据中心聚集现象,如何利用虚拟管理技术提高云计算数据中心利用效率,是当前研究的重点。云计算资源调度是将虚拟机按用户需求动态地、自动化地分配给用户。由于用户需求规格和云计算环境中资源池数据中心所有的物理服务器的规格配置不一致,如果采用简单的分配调度算法,例如常用的轮转法、加权轮转法、最小负载优先等,很难达到物理服务器负载均衡。目前,学术界在云计算环境下资源调度方面已经进行了大量研究工作,文献提出云计算中基于NSGAⅡ的虚拟资源调度算法研究;文献提出基于粒子群优化策略研究;文献提出云计算环境下的DPSO资源负载均衡算法;文献根据云计算的弹性化和虚拟化等新特性,提出了云计算下负载均衡的多维QoS约束任务调度机制,用户作业能按时完成。但是,云计算系统价值最优化达不到期望的效果,有关云计算资源调度的优化问题值得进一步深入研究探讨。2云计算资源池云计算是一种建立在互联网上的新型信息基础架构,云计算是从计算机集群到并行计算模式,进而抽象到云虚拟机,最后得到云计算资源池的概念。云计算资源池如图1所示,可以分为以下三部分:边缘部分为云计算资源池的连接服务,连接服务符合SOA的访问、发布、发现工作方式;方格是计算机集群组成的资源池模块(R1,R2,R3,…,Rn),其资源描述为接口、绑定、服务;部分资源Ri组成域的概念。云计算资源池边界不定,可以自由伸缩。云计算资源池处于资源虚拟化层,屏蔽了物理资源层的发布细节,为上层管理中间件提供支持。云计算资源池是云环境的有机组成部分,其概念是从云计算中延伸发展出来的,它将真实的物理资源通过虚拟化的方式进行统一管理和分配,是向用户提供透明计算服务和数据存储功能的大规模分布式系统。用户只需关注最终结果,而无需了解这一结果产生的内部具体细节。3云计算资源规划模型3.1云计算环境下物理服务器集群从构成数据中心的基础构件向上层应用的角度分析云计算环境中的资源,包括物理服务器(集群)、虚拟服务器(集群)、安全组、中间件/应用服务、调度域、数据中心等。数据中心资源之间包含相互关系,如图2所示。云计算环境下的物理服务器集群由网络、硬盘、内存、CPU等组成。虚拟服务器集群可以把用户服务请求透明地分配到合理的服务器上,当用户访问的服务器出现异常时,智能集群系统就会把用户的任务请求转移到正常工作的服务器上。3.2任务中心实现云计算工作环境下用户任务调度管理工作流程如图3所示,主要由三部分组成:用户模块、管理节点模块、计算/存储节点模块。用户提交任务到资源管理中心,判断用户任务类型和属性,选择适合任务特性的调度算法;然后把相关信息发送给任务管理中心,任务管理中心向计算节点提交任务,当计算节点处理结束后把执行结果反馈给任务管理中心;任务管理中心再把计算结果返回给用户。在云计算环境下,节点状态监控中心动态监控计算/存储节点信息和任务调度中心,在发生异常时及时采取相关处理措施。3.3调度域内负载均衡及任务部署资源池是云计算的最关键技术之一,高效地调度云计算资源池中的资源有其重要的现实意义。云计算数据中心分为多个调度域,一个调度域内包含有多台物理机,一台物理机含有多个CPU。(1)假定每一个物理服务器的负载属性为Ai(CPU、内存、网络),物理服务器综合负载均值为v,物理服务器综合负载报警值为δ,当一台物理服务器在时间t内的平均负载率不高于δ=c+v(其中c为相对较小的常数)时,我们认为物理服务器工作正常。(2)假定一个CPU的利用率为此CPU在时间t内的平均利用率;一台物理机上所有CPU的利用率的平均值为这台物理机CPU利用率pc;一个调度域内所有物理机的CPU利用率为调度域内的CPU负载均值dc。依据物理机的CPU计算能力进行加权(wei)平均,得到CPU负载均值负载报警值δc=c+Vc。(3)假定一台物理机内存在时间t内的平均利用率为mm,一个调度域内所有物理机的内存利用率为dm,物理机各自的内存大小为mi,则得到内存的负载平均值;负载报警值δm=c+Vm。(4)假定一台物理机网络在时间t内的平均利用率为nn,一个调度域内的物理机网络利用率为dn,物理机各自的网络带宽为ni,则得到网络的负载平均值;负载报警值δn=c+Vn。调度算法的主要思想是:根据事先设置的报警阈值判断物理服务器状态是否良好,如若存在异常则调整服务器;然后找出CPU(个数加权)、内存、网络相对这三个属性的负载均值的方差最小的一个,如下所示:算法1云计算资源池调度管理输出任务部署集群状态(VM,IDi,PM)。(1)初始化:令MQ为报警队列,AQ为人工优化队列,NQ为新任务队列,VM为虚拟机集合,IDi为物理机号,PM为物理机集群,SVM为单VM任务。(2)ifMQ不为空(4)Endif(5)ifAQ不为空(6)将需要优化的物理机IDi迁下VM,利用min(vi-优化目标值)找出可以移除的虚拟机,将调度域内的n个物理机列成n*(m+2)矩阵,利用公式(1)计算出负载均值方差最小的物理机,将移除的虚拟机部署在此物理机上。(7)Endif(8)ifNQ不为空(9)If任务类型为SVM(10)将调度域内的n个物理机列成n*(m+2)矩阵,利用公式(1)计算出负载均值方差最小的物理机,输出给执行模块,任务部署在此物理机上。(11)Else(12)将调度域内的n个物理机集群列成n*(m+2)矩阵,以集群为单位利用公式(1)计算出负载均值方差最小的物理机集群,任务部署到此集群上。(13)Endif4资源池负载均衡度实验结果本文实验使用CloudSim平台模拟云计算环境,我们约定云计算资源池中有100台物理主机,用户任务请求工作数量在300到1000之间,任务请求使用资源池按泊松流到达,又各作业使用云计算资源池的时间符合负指数分布。云计算资源综合利用率乘积法是目前任务负载较好的算法之一,实验中用资源池调度管理算法和综合利用率乘积法作比较,设定报警物理机负载阈值为80%,手动优化物理机综合负载目标值设为50%,对比两种算法在云计算环境下资源池负载的均衡度。如图4所示,本文设计的云计算资源池模型在不同任务数量的情况下,其资源池负载均衡度均比利用率乘积法负载均衡度高。为了进一步测试作业排队使用资源池策略的性能,图5分别为综合负载资源调度算法和综合利用率乘积算法完成相同数量的任务所使用的时间分布情况。由图5可见,综合负载资源调度法与综合利用率乘积法相比,执行时相同数量的用户任务所需的执行时间更少,时间波动范围更小,更具有时间可控性。仿真结果表明,本文的综合负载资源调度更能有效地解决云计算环境下资源负载问题,使得云计算节点在高效完成任务的情况下,云计算资源负载均衡效果更好,有利于整个云计算环境正常工作。5利用主机的主机进行负载均衡的仿真本文介绍了云计算下资源池模型,分析了云计算资源调度流程和云计算环境下实体之间的关系。建立了一种云计算环境中资源调度算法,综合考虑了云计算资源池中各种资源的综合负载情况,采用人工加自动的虚拟机迁移技术实现云计算中物理服务器的负载均衡。仿真实验表明云计算资源调度模型具有很好的效果。下一步我们将对云计算环境下任务的动态并