云计算中服务资源调度与管理

1、1云 服务资源调度与管理服务资源调度与管理2022年年3月月21日日2目目 录录 IDC IDC发展面临的挑战发展面临的挑战 云计算解决方案云计算解决方案 调度与管理调度与管理 总结总结服务资源整合服务资源整合服务资源调度服务资源调度资源分配策略资源分配策略服务资源管理服务资源管理3IT成本高，机房设备利用率低数据中心体系很复杂， 系统的维护和管理难度大资源占用多，缺乏统一化，配置峰值资源需求等于浪费资源系统稳定性、可靠性低。人工服务为主，高成本、低满意度IT传统模式不能适应业务部署速度的需求 （至少2个月）Supply and Demand Not Aligned地理上分布的用户地理上分布的

2、用户根据应用静态分配根据应用静态分配IT资源资源WebeCommerceIntranetERPCRMBIDev/QAEmailIDC发展面临的挑战发展面临的挑战4目目 录录 IDC IDC发展面临的挑战发展面临的挑战 云计算解决方案云计算解决方案 调度与管理调度与管理 总结总结服务资源整合服务资源整合服务资源调度服务资源调度资源分配策略资源分配策略服务资源管理服务资源管理5云计算体系架构云计算体系架构服务调度和管理引擎服务调度和管理引擎云计算平台云计算平台VM中间构建中间构建 IAAS 调度分配引擎调度分配引擎资源池资源池IAAS服务管理服务管理SAASPAAS服务系统服务系统IAAS 服务平

3、台服务平台服务应用系统服务应用系统云计算门户云计算门户IDC 服务服务6管理服务器管理服务器管理服务器管理服务器用户用户在线服务在线服务存储存储离线计算离线计算云计算节点云计算节点在线服务器在线服务器VMware, KVM, XEN支撑平台体系架构支撑平台体系架构7资源整合资源分配调度引擎用户自服务对应用系统的支持Hadoop, Websphere, 客户化的应用云平台计算资源虚拟化系统 / 物理机操作系统运营管理工作流 & 审批流程报表 & 计费云管理方案端到端的云管理软件： 根据负载均衡和资源均衡的策略，从共享的物理和虚拟资源中为上层的应用系统创建和提供运行环境Ticket

4、ingSystemCRMEntitlementSystemAuthentication & Security 整合了云资源 通过丰富的策略匹配和供给资源 提供了最终用户直接请求资源的自助服务平台 时刻跟踪资源的使用情况，以生成报告、帐单和审核计算资源计算资源8Oracle DBSMP Oracle DB3. 分布式计算方案分布式计算方案2. 同步方案同步方案1. 话单分布话单分布4. 话单合并话单合并示例：示例：BOSS云的架构云的架构9目目 录录 IDC IDC发展面临的挑战发展面临的挑战 云计算解决方案云计算解决方案 调度与管理调度与管理 总结总结服务资源整合服务资源整合服务资源调

5、度服务资源调度资源分配策略资源分配策略服务资源管理服务资源管理10Manual资源分配引擎资源分配引擎资源预约和按需分配的调度策略基于资源使用情况的分配策略资源使用规划服务的交付服务的交付提供服务服务合同管理自助的服务门户和开发接口(API)统计分析报表计费系统资源管理工具资源管理工具资源整合资源整合虚拟化系统管理插件物理机部署工具的插件系统管理插件不同类型的应用程序集成不同类型的应用程序集成HPCJ2EEothersTest/Dev根据系统当前负载、系统资源的使用情况，有序地运行应用程序。整合物理机和虚拟机计算环境，创建一个共享的计算架构 。服务资源整合服务资源整合11DEMANDSUPPL

6、YHPC ClustersLSF, Symphony, 3rd PartyTest & DevJ2EE / AnalyticsSiloSiloSiloResource-awareWorkload-awareSupply and Demand Alignedv 在不同的应用部门共享物理资源在不同的应用部门共享物理资源服务资源整合服务资源整合12虚拟资源池虚拟资源池安全和集成安全和集成数据保护数据保护资源管理资源管理可用性可用性系统架构服务系统架构服务服务资源整合服务资源整合13服务资源整合服务资源整合14目目 录录 IDC IDC发展面临的挑战发展面临的挑战 云计算解决方案云计算解决方案

7、 调度与管理调度与管理 总结总结服务资源整合服务资源整合服务资源调度服务资源调度资源分配策略资源分配策略服务资源管理服务资源管理15调度引擎3) Network Access Cost Matrix (Available Bandwidth / Dynamic Utilization) DC1DC2DC3DC1DC2DC3Rack1Rack2Rack3R2R2R3Output:- Initial Placement- Run-Time Management- Defragmentations& MigrationOffering 1300Offering 2200Offering 34

8、00JanDecContract #123Contract #444Contract #677Contract #677Contract #888Contract # 888#999Contract # 78934Contract # 768689Contract #55Contract # 8892) ResourceHierarchyDCRackGroupRackGroupRackGroupRackRackRackRackRackRackDC/1) Application TopologyDBAppServerAppServerAppServerWebServerWebServerTier

9、 1Tier 2Tier 34) Previous reservations committed & Account Quotas5) C-language plug-in placement policy:vem_policy_init()vem_policy_fin()vem_policy_distribute()vem_policy_place()vem_policy_housekeep()vem_policy_status()vem_policy_info()服务资源调度服务资源调度16资源分配之前资源分配之前资源分配之后资源分配之后服务资源调度服务资源调度17目目 录录 ID

10、C IDC发展面临的挑战发展面临的挑战 云计算解决方案云计算解决方案 云计算核心技术云计算核心技术 总结总结服务资源整合服务资源整合服务资源调度服务资源调度资源分配策略资源分配策略服务资源管理服务资源管理18Packing（填满） 应用程序在尽量少的物理服务器上运行 每个被使用的服务器利用率最大化，减少资源碎片，减少能源消耗。Striping（分散） 应用程序分散在尽可能多的物理服务器上运行 减少机器故障带来的影响，提高应用程序的运行效率Load-Aware（基于负载） 新的应用程序总是运行在负载最轻的物理服务器上 获得更高的应用程序运行效率HA-Aware（基于高可靠性配置） 将支持高可靠性

11、（HA）的服务器资源分配给关键业务 提供更高的资源可用性Energy-Aware（节能） 根据节能指数和数据中心热点运行应用程序 减少能源消耗Affinity-Aware（基于关联程度） 将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上 保证应用程序运行效率Server Model-Aware（基于服务器类型） 根据服务器类型分配资源 尽可能利用性能好的、昂贵的资源，是投资回报最大化Topology-Aware（基于网络拓扑） 尽量使用连接到同一个交换机、背板、刀片中心的服务器运行用户任务 提高应用程序运行效率资源分配策略资源分配策略19AppA VMApp

12、A VM AppA VMAppB VMAppB VMAppB VMAppC VMAppC VMAppB VMAppA VMAppD VMAppD VMAppD VMAppE VMApp A VMAppA VMAppC VM1234444BottomLeftBottomLeftv 每个被使用的服务器利用率最大化，减少资源碎片每个被使用的服务器利用率最大化，减少资源碎片v 节能节能根据需求动态启动和关闭服务器根据需求动态启动和关闭服务器Bottom-Left Decreasing Bin-Packing Heuristic策略策略1：Packing（填满）策略（填满）策略20策略策略2：Strip

13、ing （分散）策略（分散）策略AppB VMAppB VMAppC VMAppC VMAppA VMAppA VMAppE VMAppC VMAppA VMv 将应用程序或虚拟机启动在使用最少的将应用程序或虚拟机启动在使用最少的物理服务器上。物理服务器上。v 每台物理服务器运行的应用程序或虚拟每台物理服务器运行的应用程序或虚拟机最小化机最小化v 降低物理服务器故障的影响降低物理服务器故障的影响v 提高应用程序、虚拟机运行效率提高应用程序、虚拟机运行效率21策略策略3： Topology Aware ( (基于网络拓扑）策略基于网络拓扑）策略机架二机架一刀片中心一刀片中心二刀片中心三刀片中心四

14、可用的节点被占用的节点v 尽量保证为应用程序分配的服务器资源之间的网络路径最小尽量保证为应用程序分配的服务器资源之间的网络路径最小v 仅在万不得已的情况下才跨刀片中心、机架、交换机分配服务器资源仅在万不得已的情况下才跨刀片中心、机架、交换机分配服务器资源v 提高应用程序运行效率提高应用程序运行效率22策略策略4： Affinity-based ( (基于关联程度基于关联程度) )策略策略 v 将任务分配到与关键资源关联度最高的将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系服务器上，例如将任务分配到与存储系统直连的服务器上统直连的服务器上v 保证应用程序运行效率保证应用程序

15、运行效率应用A应用B23策略策略5：HA-enabled （支持（支持HA）策略）策略v 将关键应用分配到支持将关键应用分配到支持HA的服务器上。的服务器上。v 根据业务类型和费用，提供不同级别的可用性。根据业务类型和费用，提供不同级别的可用性。HA 服务器非关键应用 - $0.15/hour关键应用 A$2/hour关键应用 B$1/hour24策略策略6：节能优化策略：节能优化策略 实现实现“绿色绿色”策略策略:v 让系统分配能源效率最高的机器让系统分配能源效率最高的机器v 让系统分配温度最低的机器，以避免系统出现让系统分配温度最低的机器，以避免系统出现“热点热点”v 指定任务在晚上时段运

16、行，此时的电费最便宜指定任务在晚上时段运行，此时的电费最便宜计算机设备传感器任务分发EngineUPS需求, 合同,资源供给 空调25目目 录录 IDC IDC发展面临的挑战发展面临的挑战 云计算解决方案云计算解决方案 调度与管理调度与管理 总结总结服务资源整合服务资源整合服务资源调度服务资源调度资源分配策略资源分配策略服务资源管理服务资源管理26云计算平台云计算平台云系统管理员云系统管理员部门经理开发经理应用程序所有者最终用户最终用户应用经理应用经理云的客户负责合同签署资源使用的规划选择服务提供给最终用户定义优先级与资源的分配策略成本管理发布可用的服务将资源转变为服务管理和维护资源的清单请求

17、并使用特定应用的虚拟机或物理机按照应用经理规定的优先级和资源分配策略使用计算机资源开发人员应用程序用户服务资源管理服务资源管理27资源池资源池业务需求业务需求多种虚拟机管理器和操作系统多种虚拟机管理器和操作系统同步运行同步运行服务能在各计算机之间服务能在各计算机之间“浮浮动动”，即使整个网络都瘫痪，即使整个网络都瘫痪，任务数据也不会丢失。任务数据也不会丢失。所有事件记录在指定文件系统所有事件记录在指定文件系统中，零停机时间、零数据损失。中，零停机时间、零数据损失。当第一台机器恢复正常时，机当第一台机器恢复正常时，机群服务就可恢复并继续运行。群服务就可恢复并继续运行。整个过程对用户来说是透明的，

18、整个过程对用户来说是透明的，感觉不到远程集群的存在感觉不到远程集群的存在。X服务异常处理管理服务异常处理管理28集群集群1集群集群1集群集群2集群集群3集群集群4u无缝扩展无缝扩展u负载平衡负载平衡资源扩展管理资源扩展管理29目目 录录 IDC IDC发展面临的挑战发展面临的挑战 云计算解决方案云计算解决方案 调度与管理调度与管理 总结总结服务资源整合服务资源整合服务资源调度服务资源调度资源分配策略资源分配策略服务资源管理服务资源管理30带来的价值带来的价值管理员手工创建虚拟机、手工部署应用，周期长？管理员手工管理所有资源，复杂？缺乏部署与调度策略，自动化程度低？商用虚拟化软件，价格昂贵？固化的管理平台，无法扩展？希望提供用户自助服务？希望提供智能的资源预约、自动的应用部署功能？系统自动部署虚拟机，自动部署应用，周期短管理平台统一监控、管理资源，异常事件告警、迁移策略，简洁智能丰富的部署与调度策略，根据应用情况分配资源，减少人工干预根据应用系统特点合理选择虚拟化软件，提高性价比管理平台可扩展，开源与商用的虚拟化软件可共存，并可管理其他资源提供便捷的用户自助服务，资源申请、资源审批、对虚拟机的控制等资源预约为关键业务提供保障，自动的应用部署减少人工操作、缩短周期更多31App 1App 2