云计算中服务资源调度与管理

1、云 计 算效力资源调度与管理北京科技大学 曾明2022年8月25日.目 录 IDC开展面临的挑战 云计算处理方案 调度与管理 总结效力资源整合效力资源调度资源分配战略效力资源管理.IT本钱高，机房设备利用率低数据中心体系很复杂， 系统的维护和管理难度大资源占用多，缺乏一致化，配置峰值资源需求等于浪费资源系统稳定性、可靠性低。人工效力为主，高本钱、低称心度IT传统方式不能顺应业务部署速度的需求 至少2个月Supply and Demand Not Aligned地理上分布的用户根据运用静态分配IT资源WebeCommerceIntranetERPCRMBIDev/QAIDC开展面临的挑战.目 录

2、 IDC开展面临的挑战 云计算处理方案 调度与管理 总结效力资源整合效力资源调度资源分配战略效力资源管理.云计算体系架构效力调度和管理引擎云计算平台VM中间构建 IAAS 调度分配引擎资源池IAAS效力管理SAASPAAS效力系统IAAS 效力平台效力运用系统云计算门户IDC 效力.管理效力器管理效力器用户在线效力存储离线计算云计算节点在线效力器VMware, KVM, XEN支撑平台体系架构.资源整合资源分配调度引擎用户自效力对运用系统的支持Hadoop, Websphere, 客户化的运用云平台计算资源虚拟化系统 / 物理机操作系统运营管理任务流 & 审批流程报表 & 计费云管理方案端到端

3、的云管理软件： 根据负载平衡和资源平衡的战略，从共享的物理和虚拟资源中为上层的运用系统创建和提供运转环境TicketingSystemCRMEntitlementSystemAuthentication & Security 整合了云资源 经过丰富的战略匹配和供应资源 提供了最终用户直接恳求资源的自助效力平台 时辰跟踪资源的运用情况，以生成报告、帐单和审核计算资源计算资源.Oracle DBSMP Oracle DB3. 分布式计算方案2. 同步方案1. 话单分布4. 话单合并例如：BOSS云的架构.目 录 IDC开展面临的挑战 云计算处理方案 调度与管理 总结效力资源整合效力资源调度资源分配

4、战略效力资源管理.Manual资源分配引擎资源约定和按需分配的调度战略基于资源运用情况的分配战略资源运用规划效力的交付提供效力效力合同管理自助的效力门户和开发接口(API)统计分析报表计费系统资源管理工具资源整合虚拟化系统管理插件物理机部署工具的插件系统管理插件不同类型的运用程序集成HPCJ2EEothersTest/Dev根据系统当前负载、系统资源的运用情况，有序地运转运用程序。整合物理机和虚拟机计算环境，创建一个共享的计算架构 。效力资源整合.DEMANDSUPPLYHPC ClustersLSF, Symphony, 3rd PartyTest & DevJ2EE / Analytics

5、SiloSiloSiloResource-awareWorkload-awareSupply and Demand Aligned在不同的运用部门共享物理资源效力资源整合.虚拟资源池平安和集成数据维护资源管理可用性系统架构效力效力资源整合.效力资源整合.目 录 IDC开展面临的挑战 云计算处理方案 调度与管理 总结效力资源整合效力资源调度资源分配战略效力资源管理.调度引擎3) Network Access Cost Matrix (Available Bandwidth / Dynamic Utilization) DC1DC2DC3DC1DC2DC3Rack1Rack2Rack3R2R2R3

6、Output: Initial Placement- Run-Time Management- Defragmentations& MigrationOffering 1300Offering 2200Offering 3400JanDecContract #123Contract #444Contract #677Contract #677Contract #888Contract # 888#999Contract # 78934Contract # 768689Contract #55Contract # 8892) ResourceHierarchyDCRackGroupRackGro

7、upRackGroupRackRackRackRackRackRackDC/1) Application TopologyDBAppServerAppServerAppServerWebServerWebServerTier 1Tier 2Tier 34) Previous reservations committed & Account Quotas5) C-language plug-in placement policy:vem_policy_init()vem_policy_fin()vem_policy_distribute()vem_policy_place()vem_policy

8、_housekeep()vem_policy_status()vem_policy_info()效力资源调度.资源分配之前资源分配之后效力资源调度.目 录 IDC开展面临的挑战 云计算处理方案 云计算中心技术 总结效力资源整合效力资源调度资源分配战略效力资源管理.Packing（填满）应用程序在尽量少的物理服务器上运行每个被使用的服务器利用率最大化，减少资源碎片，减少能源消耗。Striping（分散）应用程序分散在尽可能多的物理服务器上运行减少机器故障带来的影响，提高应用程序的运行效率Load-Aware（基于负载）新的应用程序总是运行在负载最轻的物理服务器上获得更高的应用程序运行效率HA-A

9、ware（基于高可靠性配置）将支持高可靠性（HA）的服务器资源分配给关键业务提供更高的资源可用性Energy-Aware（节能）根据节能指数和数据中心热点运行应用程序减少能源消耗Affinity-Aware（基于关联程度）将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上保证应用程序运行效率Server Model-Aware（基于服务器类型）根据服务器类型分配资源尽可能利用性能好的、昂贵的资源，是投资回报最大化Topology-Aware（基于网络拓扑）尽量使用连接到同一个交换机、背板、刀片中心的服务器运行用户任务提高应用程序运行效率资源分配战略.AppA

10、VMAppA VMAppA VMAppB VMAppB VMAppB VMAppC VMAppC VMAppB VMAppA VMAppD VMAppD VMAppD VMAppE VMApp A VMAppA VMAppC VM1234444BottomLeftBottomLeft每个被运用的效力器利用率最大化，减少资源碎片节能根据需求动态启动和封锁效力器Bottom-Left Decreasing Bin-Packing Heuristic战略1：Packing填满战略.战略2：Striping 分散战略AppB VMAppB VMAppC VMAppC VMAppA VMAppA VMA

11、ppE VMAppC VMAppA VM将运用程序或虚拟机启动在运用最少的物理效力器上。每台物理效力器运转的运用程序或虚拟机最小化降低物理效力器缺点的影响提高运用程序、虚拟机运转效率.战略3： Topology Aware (基于网络拓扑战略机架二机架一刀片中心一刀片中心二刀片中心三刀片中心四可用的节点被占用的节点尽量保证为运用程序分配的效力器资源之间的网络途径最小仅在万不得已的情况下才跨刀片中心、机架、交换机分配效力器资源提高运用程序运转效率.战略4： Affinity-based (基于关联程度)战略 将义务分配到与关键资源关联度最高的效力器上，例如将义务分配到与存储系统直连的效力器上保证

12、运用程序运转效率运用A运用B.战略5：HA-enabled 支持HA战略将关键运用分配到支持HA的效力器上。根据业务类型和费用，提供不同级别的可用性。HA 效力器非关键运用 - $0.15/hour关键运用 A$2/hour关键运用 B$1/hour.战略6：节能优化战略实现“绿色战略:让系统分配能源效率最高的机器让系统分配温度最低的机器，以防止系统出现“热点 指定义务在晚上时段运转，此时的电费最廉价计算机设备传感器义务分发EngineUPS需求, 合同,资源供应 空调.目 录 IDC开展面临的挑战 云计算处理方案 调度与管理 总结效力资源整合效力资源调度资源分配战略效力资源管理.云计算平台云

13、系统管理员部门经理开发经理运用程序一切者最终用户运用经理云的客户担任合同签署资源运用的规划选择效力提供应最终用户定义优先级与资源的分配战略本钱管理发布可用的效力将资源转变为效力管理和维护资源的清单恳求并运用特定运用的虚拟机或物理机按照运用经理规定的优先级和资源分配战略运用计算机资源开发人员运用程序用户效力资源管理.AppApp资源池业务需求多种虚拟机管理器和操作系统同步运转效力能在各计算机之间“浮动，即使整个网络都瘫痪，义务数据也不会丧失。一切事件记录在指定文件系统中，零停机时间、零数据损失。当第一台机器恢复正常时，机群效力就可恢复并继续运转。整个过程对用户来说是透明的，觉得不到远程集群的存在

14、。X效力异常处置管理AppAppAppAppAppAppApp.集群1集群1集群2集群3集群4无缝扩展负载平衡资源扩展管理AppAppAppAppAppAppAppAppAppAppApp.目 录 IDC开展面临的挑战 云计算处理方案 调度与管理 总结效力资源整合效力资源调度资源分配战略效力资源管理.带来的价值管理员手工创建虚拟机、手工部署运用，周期长？管理员手工管理一切资源，复杂？缺乏部署与调度战略，自动化程度低？商用虚拟化软件，价钱昂贵？固化的管理平台，无法扩展？希望提供用户自助效力？希望提供智能的资源约定、自动的运用部署功能？系统自动部署虚拟机，自动部署运用，周期短管理平台一致监控、管理

15、资源，异常事件告警、迁移战略，简约智能丰富的部署与调度战略，根据运用情况分配资源，减少人工干涉根据运用系统特点合理选择虚拟化软件，提高性价比管理平台可扩展，开源与商用的虚拟化软件可共存，并可管理其他资源提供便利的用户自助效力，资源恳求、资源审批、对虚拟机的控制等资源约定为关键业务提供保证，自动的运用部署减少人工操作、缩短周期更多.App ServerApp 1App ServerApp 2App ServerApp NApp ServerSource poolVirtual ServersSelf-Service PortalApp 1App 2App N系统部署的时间从几天缩短到几分钟，没有双机备份，低本钱节省投资.User AUser BHigh Performance ComputingSource PoolUser BWorkloadManagerWorkloadManagerUser A在固有的资源上， 开发了更多的效力工程降低本