云计算资源管理浅析

1、云计算资源管理浅析摘要：云计算是基于互联网的相关效劳地增加、使用和交付形式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。而云计算资源管理作为云计算效劳的根本条件，近些年更是引起了业界广泛的研究。本文就云计算的资源管理做了简要分析，其内容包括云计算的资源分类、云计算资源管理的目的、云计算资源管理的关键技术三方面。通过本文的分析，希望对云计算资源管理的研究者提供一个明晰的研究思路，加深对这一领域的理解。关键词：云计算；虚拟化技术；资源管理；调度策略中图分类号：TP391 文献标识码：A DOI：10.3969/j.issn.1003-6970.2021.02.0210 引言云计算其核心

2、是将某一或某几个数据中心的计算资源虚拟化之后，向用户提供以租用计算资源为形式的效劳。简单地讲，就是将很多位于同一地点或不同地点的计算机集合起来为企业或个人用户提供各种效劳。云计算的概念一经提出，便因其低费用和高资源使用效率方面的突出优点，而备受各大IT企业的推崇。云计算的高可靠性需要完善的平安管理机制和资源监控机制；云计算的高扩展性需要资源管理系统支持各种异构资源；云计算效劳的低本钱需要资源管理系统有效的组织起大量廉价的PC，并且需要高效的资源调度分配策略来进步系统的使用效率。所以云计算的资源管理在很大程度上决定了云计算要提供的效劳质量，是云计算需要解决的核心问题之一。1 云计算资源管理概述通

3、常情况下，计算机科学中的“资源包括硬盘存储器、内存、各类接口控制器以及网络连接等硬件设备资源，还包括程序、数据文件、系统组件等软件资源。由于软件通常在设计好并被部署在设备上之后更改的难度较大。因此通常在“资源管理中的“资源为系统的硬件资源。通过对这些资源在实际应用中起到的作用，可以将其抽象为“计算资源、“存储资源和“网络资源。“计算资源，即在特定计算模型之下，解决特定问题所要消耗的资源。常见的衡量指标包括计算时间，即解决特定问题所需要花费的步骤数目；及内存空间，即解决该问题所需要的最小内存空间。其中前者最为常见。通常决定“计算资源的因素主要是和等具有运算才能的处理器。“存储资源通常指存储数据文

4、件的才能，即存储空间的大小。决定“存储资源的因素主要是磁带、硬盘和内存等存储设备。“网络资源通常包含两种意义。一是指多个计算机系统通过通信设备与软件所形成连接；二是保存在互联网或者各种局域网上的数据资源。决定“网络资源大小的因素通常包括交换机、路由器、光纤、网络软件等等。常见的指标包括带宽、误码率等等。云计算资源包含两大类，一类是指物理计算机、物理效劳器以及前两项与必要的网路设备和存储设备形成的物理集群。另一类是通过虚拟化技术在物理计算实体上生成的虚拟机以及由多个虚拟机组合形成的虚拟机群。作为一种大规模分布式环境，云计算拥有的资源类型和数量都是极为宏大的，为了尽可能地在供需不平衡的市场中以有限

5、资源来满足更多用户的需求，通常会要求通过资源管理来实现。2 云计算的资源管理目的在云计算中心集群规模日益庞大的今天，假设不能提升整个系统的管理才能，就无法充分利用系统资源，云计算的各项优势也就无从谈起。只有采用优秀的系统管理策略、方法与工具，才能令云计算中心的性能上一个台阶。云计算资源管理主要有如下几个目的：1自动化：自动化就是指整个系统在尽量少甚至完全不需要人工干预的情况下，自动完成各项效劳功能，以及资源调度、故障检测与处理等等功能；2资源优化：云计算中心需要通过多种资源调度策略来对系统资源进展统筹安排。资源的优化通常有三种目的：通信资源调优、热平衡、负载平衡；3简洁管理：由于云计算中心需要

6、维护的集群设备成百上千，而各种虚拟资源更是数不胜数，为了进步运维效率，降低人力劳动强度，因此需要以一种简洁的方式对所有系统资源进展管理；4虚拟资源与物理资源的整合：虚拟资源是在物理资源上施行虚拟化技术后产生的。虚拟化技术可以令一台效劳器主机同时运行假设干操作系统即其承载的应用而不互相干扰。因此动态地对虚拟资源进展管理显得尤为重要。3 云计算资源管理关键技术云计算系统资源管理可以分为资源监控和资源调度两部分。1系统资源监控资源监控指的是对系统的运行状况的记录，按照时间可以分为实时和非实时两种，按照监控方式可以划分为主动监控和被动监控两种。系统资源的实时监控是指系统需要记录每时每刻的运行状态；而非

7、实时监控那么是指每过一个时间间隔对系统运行状况进展记录或者由某个事件触发记录行为。主动监控是指中心节点主动向各个节点发送消息询问当时的系统运行参数；而被动监控那么是指各个节点向中心节点发送消息主动汇报当时的系统状况。考虑到监控给系统带来的负载，云计算环境多采用非实时被动监控方式，即各个节点每过一个时间间隔向中心节点发送消息汇报相关系统参数。Hadoop提供了一个名为chukwa的系统资源监控解决方案，该方案由Yahoo开发。是一个开源的应用于监控大型分布式系统的数据搜集系统，其构建在Hadoop的HDFS和MapReduce框架之上。chukwa可以展示用户的作业运行时间、占用资源情况、剩余资

8、源情况、系统性能瓶颈、整体作业执行情况、硬件错误以及某个作业的失败原因。chukwa提供了采集数据的Agent，由Agent采集数据通过 发送给Cluster的Collector，而Collector将数据存入Hadoop中，并定期运行MapReduce来分析数据，将结果呈现给用户。chukwa架构如图1所示。Nagios是一款高效的开源的网络监视工具，能有效监控windows、Linux和Unix主机的状态、网络效劳等等。Nagios支持自动日志回滚功能，并可以实现对主机的冗余监控，同时还可以预先定义一些处理程序，使之可以在发生相应故障的时候进展及时处理。 Ganglia是一个高性能计算环境

9、中的可扩展分布式监控系统。在Ganglia中，XML作为数据描绘方式、XDR用于数据传输以及RPDtool用于数据展示。Ganglia被设计用于检测数以千计的节点性能，如CPU、内存和硬盘的利用率，以及I/O负载和网络流量。2系统资源调度所谓资源调度指的是在一个特定的环境中根据一定的资源使用规那么，对以分布式方式存在的各种不同资源进展组合以满足不同资源使用者需求的过程。调度策略是资源管理的最上层技术，主要是确定调度资源的目的以及当资源供需发生冲突的时候如何满足所有立即需求时的处理策略。调度资源的目的有几种分类：最大化满足用户恳求、最大化资源利用、最低本钱和最大化利润率等。根据这些目的，云计算负

10、载平衡调度策略与算法可以分为性能优先和经济优先两类。云计算采用虚拟化技术和大规模的数据中心技术，将分散的资源抽象为“资源池为用户提供根底设施租赁和各种平台效劳。数据中心需要对分散的物理设备进展资源整合，以一种屏蔽底层细节的方式向用户提供效劳。因此云计算数据中心面临的首要问题就是共享资源与动态分配管理虚拟资源。系统性能是一种衡量动态资源管理结果的天然指标。优秀的动态资源管理策略与算法可以以最小的开销使得分散的各种资源像一台物理主机一样进展协同工作。通常系统性能指标包括平均响应时间、资源利用率、任务的吞吐率等等。在云计算中性能优先主要包括如下三种策略：先到先效劳first-come-first-s

11、ervice：该策略可以最大限度地满足单台虚拟机的资源需求。Hadoop默认采用先到先效劳的策略进展任务调度。先到先效劳的优点是简单和低开销。所有来自不同用户的任务恳求都提交到唯一的一个队列中。它们将根据优先级和提交时间的顺序被扫描。具有最高优先级的第一个任务，将被选中进展处理。但是先到先效劳策略的缺点是公平性差。在有大量高优先级的任务的情况下，那些低优先级的任务很少有时机得到处理。负载平衡：负载平衡策略是指使所有物理效劳器CPU、内存、网络带宽等的平均资源利用率到达平衡。Chris Hyser等人通过对系统资源进展监控并计算当前利用率，将用户分配到资源利用率最低的资源上。该策略可以为用户提供

12、一个较好的效劳质量，但是降低系统资源的利用率。张栋梁、谭永杰也对云计算中负载平衡优化模型做了详细的阐述。进步可靠性：该策略保证各资源的可靠性到达指定的详细要求。业务可靠性与物理设备的可靠性平均故障时间、平均维修时间等直接相关，还包括停电、停机、动态迁移等造成的业务中断将影响业务的可靠性。在一定前提下，尽量减少虚拟机迁移次数，还需要统计虚拟机迁移对可靠性造成的量化影响。由于云计算系统诞生的初衷就是降低本钱，而且公有云及混合云将在一个开放市场中进展商业运营，因此经济模型在资源调度问题中是一种解决方法。资源提供者即资源提供商，可以通过提供资源并得到相应的收益。在这种情况下，越来越多的分布式资源就会会

13、聚到云计算资源市场中来，可供选择的各类资源就越多。这样，云效劳使用者就能获得性价比更高的效劳，并且云资源提供商们亦可以获取最大的收益。通过阅读文献得到一下几种策略，以下是对各种机制及算法的描绘：1基于智能优化算法：Mario Macias和Jordi Guitart等人主要关注了云计算效劳提供商供给竞争性价格的问题，提出了一个基于遗传算法的价格模型。基于遗传算法的价格模型包含三个元素：定义染色体、评估染色体和染色体的选择与繁殖。但此价格模型也存在缺陷：遗传算法的运行效率较低、收敛速度慢、遗传稳定性不太好。2基于经济学定价：Ishai Menache Asuman Ozdaglar Nahum

14、Shimkin着重于最大化长期社会收益目的，该收益等于被执行任务的资源利用率和减去依赖于负载的操作本钱。其系统模型可以共享计算才能，并且个人用户的任务恳求将会被连续提交。当来自不同用户的任务到达后，每个任务会分得一定的效劳资源。根据一些资源分配协议，到来的任务必须被处理并完成。否那么，系统模型将会回绝承受一些即将到达的任务，这些任务将会分开而得不到任何效劳。而Dusit Niyato和Athanasio V.Vasilakos等研究了多个云资源提供者的协作行为，提出了异构协作博弈模型。首先，给出一组云提供者和一个资源和收益共享的资源池。并且开发了随机线性编程博弃模型可以处理不确定用户的随机恳求

15、，随机线性编程模型是合作的核心；其次，分析了云资源提供者协作形式的稳定性。但是此模型并未充分考虑公共云用户的效劳质量QoS，忽略了公共用户的效劳体验。3基于指标调度策略：Tim Pueschel等人引入了一个可以在随机需求的情况下预测收益和获得的利用率模型。基于策略的决策模型的目的是让效劳提供者的收益最大化，必须的信息包括即将到来的效劳恳求和效劳价格，每一个任务的真实恳求和可用才能。收益最大化问题可以归纳为整数规划问题，也是个优化问题。第一类：先来先效劳策略FCFS被用于基准，任何即将到来的任务被承受，假设那里有足够的可用才能，这是一个简单类型的系统；第二类：基于价格的策略。任务接入详细化为云

16、提供者的最大化收益活动，他们引入一个基于策略的方法，可以自治决策过程。他们的随机恳求成功的新机制控制模型可以帮助云提供者最大化收益，但是此模型并未充分考虑价格分布和各种资源恳求。4基于博弃论的双向拍卖：Wei-Yu Lin等人通过使用一个二次价格机制实现动态拍卖来解决云计算资源的分配问题。基于该算法云效劳提供商Cloud Computing Service Provider，CCSP可以确保合理的收益以及高效的资源分配。云效劳提供商有两个任务：运行时间监测和向用户分配相应的资源。在决定多少资源分配给任务后，CCSP会出售剩余的资源给云用户。提出的机制基于密封报价拍卖，阶段开始时，用户提交他们的报价给CCSP，CCSP随后搜集所有的报价并决定价