异地多中心间资源调度算法研究

1、龙源期刊网 http:/ 异地多中心间资源调度算法研究 作者：杨晨凯 来源：学习与科普 2019 年第 08 期 摘 要：为适应当前海量的信息处理能力需求和与日俱增的计算能力要求，云计算的规模 不断扩大，数据中心作为云计算的基础设施也随之迅速发展。大规模的数据中心将产生巨大的 能耗，然而当前数据中心的资源调度算法却无法满足新形势下对异地多中心应用和资源的批量 管理、实时管理、自动管理的要求。因此，资源调度算法成为了当前的研究热点和难点。本文 重點研究了异地多中心间资源调度需求，并提出了相应的调度算法，最大程度的满足用户需 求。 关键词：云计算，多中心，资源调度 Research on Reso

2、urce Scheduling Algorithms among Multi-Centers in Different Places Abstract ： In order to adapt to the current massive information processing capacity requirements and increasing computing power requirements ， the scale of cloud computing continues to expand ， and the data center as a cloud computin

3、g infrastructure has also developed rapidly. Large-scale data centers will generate huge energy consumption. However ， the resource scheduling algorithms of current data centers cannot meet the requirements of batch management， real-time management ， and automatic management of multi-center applicat

4、ions and resources in different places under the new situation. Therefore ， resource scheduling algorithms have become the current research hotspots and difficulties. This paper focuses on the resource scheduling requirements of multi-center between different places ， and proposes a corresponding sc

5、heduling algorithm to meet the needs of users to the greatest extent. Keywords ： Cloud Computing ， Multicenter ， Resource Scheduling 1. 引言 异地多中心云平台包含大量异构云计算节点，具有规模大、异构性强、可用性高等特点， 且云服务资源类型多种多样，各个云服务资源的计算能力、存储能力、传输能力也存在很大的 差异，针对异构云应用动态调度高性能的服务资源需求，需要研究资源调度问题 1 2 。 目前建设的异地多中心主要采用了华为云、阿里云、浪潮云、 openstack

6、 等平台，这些云 平台服务资源各种各样，云资源管理接口不同，加大了资源调度的难度，已建的统一云管理平 台没有关于异构多中心资源调度的功能，无法满足新形势下对异地多中心应用和资源的批量管 理、实时管理、自动管理的要求 3 。龙源期刊网 http:/ 综上，开展面向异地多中心间资源调度算法研究，构建自动化编排模型，实现敏捷高效、 可视化、高性能的资源调度是异地多中心架构中急需解决的关键问题 4 。 2. 异地多中心资源调度需求分析 2.1 基于全生命周期管理的异地多中心资源调度策略 异地多中心调度面向的资源来自多粒度、多维度和多平台，这种变化对资源的高效识别和 调度提出了挑战。另外，以集群应用为典

7、型代表的应用需要各种资源之间通过组合和协作的方 式共同完成，也给异地多中心环境下的应用部署带来了难题。同时，异地多中心应用运行以 后，其广泛分布的特征使得现有的调度策略和资源管理策略难以适应。因此，需要研究异地多 中心资源的整个生命周期管理方法，实现资源的高效管理、调度任务的正确执行以及调度目标 的顺利实现。主要包括： （1）异地多中心应用的自动化部署：支持异地多中心的分布式多级调度算法，提高大规 模调度场景下的性能；基于系统效能评价的异地多中心平台资源自动化分配技术，确保应用获 取匹配最高系统效能的资源；通过异地多中心服务调度的异步和批处理机制，提高异地多中心 服务调度系统的性能；基于异地多

8、中心服务调度的容错方法，提高调度系统的健壮性；基于异 地多中心的资源弹性伸缩技术，结合异地多中心的运维监控技术，支持异地多中心应用按照多 个维度性能指标进行资源的自动扩缩容。 （2）异地多中心应用运行周期调度策略：基于面向异地多中心应用运行阶段的应用弹性 负载调度策略，通过小云扩展到大云的方式快速满足业务调峰的需求；基于异地多中心的应用 灾难恢复调度策略，通过主备应用分开的方式快速实现数据灾难恢复，保证应用的服务连续 性；基于面向异地多中心应用的应用更新技术，支持异地多中心应用的维护和灰度发布模式； 研究异地多中心资源回收跟踪技术，解决异地多中心应用消亡带来的资源浪费问题。 2.2 异地多中心

9、的服务接入和管理 由于其异构性和动态性，高层次服务元素对底层次服务元素存在嵌套调用关系，已编排服 务也可成为服务元素，因此，需要研究一种灵活的服务服务接入和管理方法。主要包括： （1）服务元素接入与管理技术：基于异地多中心服务的状态跟踪监控技术，解决服务目 录动态变化导致的调度失败问题；基于服务元素的注册机制，支持服务元素的增删； （2）多中心异构服务接入技术：基于面向多平台多层次云服务的快速适配框架，提供灵 活定制的云服务接入机制；基于多中心异构服务的接入版本管理机制，提高调度系统的成功 率。 3. 异地多中心调度算法研究 3.1 基于资源域的异地多中心分级调度技术 调度作业按计算量和通讯量

10、的大小，分成计算密集型、通讯密集型、计算秘密 -通讯密集 龙源期刊网 http:/ 型和一般型 4 大类。多中心的资源也按计算能力和通讯能力的大小不同组成不同的资源域，同 一域中的资源类型相同。调度的原则是尽量使提交作业的作业类型与资源类型相匹配调度模型 的结构。 调度模型的结构由 4 个主要组件组成： Server ：是用户与系统交互的唯一接口。负责接收用户提交的作业，将作业入队，给提交 的作业分配一个作业号返回给用户。作业号可以唯一标识每个作业，以备提交者用来查询作业 的运行情况。然后计算作业优先级，根据作业类型查找资源域列表，找到最佳匹配的资源域， 将其发送给局部调度器。 Server

11、还负责接收运行结果并将结果返回给用户。 局部调度器 Local-Scheduler ：每个资源域有一个 Local-Scheduler ，负责在本资源域范围内 的资源分配。 Local-Scheduler 接收 Server 传送过来的作业，查看域内云平台的负载情况，并调 度作业运行。 Local-Scheduler 还要监听 Scheduler 发送的资源负载传送请求，将本域内的资源 负载情况发送给 Scheduler。 全局调度器 Scheduler:当用户递交的作业请求的资源超过最大可用情况时， Server 将该任 务交由全局调度器调度执行。 Scheduler 根据各 Local-S

12、cheduler 传送的资源负载信息在全局范 围内选择合适的云平台运行作业。 云平台:代表每个运行作业的云平台资源，节点接收从调度器传送过来的作业，驱动其运 行。作业运行完成后，云平台将完成的作业号通知给调度器，并将运行结果传送给 Server。云 平台还要定时将负载情况发送给资源调度器。 异地多中心应用的自动化部署技术 异地多中心应用的自动化部署技术主要由统一的部署管理插件调用各云平台的接口并结合 安装在各计算资源（虚拟机、容器、裸金属服务器）的代理软件配合完成，流程如下: 1、 用户发布在统一云管理门户中发起应用部署请求， 请求经过调度后分配到特定的云平 台的 API 适配网关； 2、 API 适配网关调用异地多中心的弹性计算服务适配接口创建计算资源，调用异地多中 心的网络适配接口构建虚拟网络； 3、 API 适配网关针对每个计算资源建立一个长任务，代理软件首先给计算资源获取应用 软件，然后通过调用计算资源的命令执行脚本进行部署； 4 、代理软件定时查询应用在计算资源中的部署进度，并把进度反馈到 API 适配网关。 5、 API 适配网关把进度汇总到统一云管理门户。 龙源期刊网 http:/ 4. 结束语 本文深入研究了异地多中心间资源调度算法，提出了基于基于资源域的异地多中心分级调 度技术和自动化部署技术，最大程度满足了异地多中心