云计算中服务资源调度与管理课件

云

计算——服务资源调度与管理北京科技大学曾明2022年12月24日云计算——服务资源调度与管理北京科技大学曾明20目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合IT成本高，机房设备利用率低数据中心体系很复杂，系统的维护和管理难度大资源占用多，缺乏统一化，配置峰值资源需求等于浪费资源系统稳定性、可靠性低。人工服务为主，高成本、低满意度IT传统模式不能适应业务部署速度的需求（至少2个月）SupplyandDemandNotAligned地理上分布的用户根据应用静态分配IT资源WebeCommerceIntranetERPCRMBIDev/QAEmailIDC发展面临的挑战SupplyandDemandNotAligned地目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合云计算体系架构服务调度和管理引擎云计算平台VM中间构建IAAS调度分配引擎资源池IAAS服务管理SAASPAAS服务系统IAAS服务平台服务应用系统云计算门户IDC服务云计算体系架构服务调度和管理引擎云计算平台VM中间构建I管理服务器管理服务器用户在线服务存储离线计算云计算节点在线服务器VMware,KVM,XEN支撑平台体系架构管理服务器管理服务器用户在线服务存储离线计算云计算节点在线服资源整合资源分配调度引擎用户自服务对应用系统的支持Hadoop,Websphere,客户化的应用……云平台计算资源虚拟化系统/物理机操作系统运营管理工作流&审批流程报表&计费云管理方案端到端的云管理软件：根据负载均衡和资源均衡的策略，从共享的物理和虚拟资源中为上层的应用系统创建和提供运行环境TicketingSystemCRMEntitlementSystemAuthentication&Security

整合了云资源通过丰富的策略匹配和供给资源提供了最终用户直接请求资源的自助服务平台时刻跟踪资源的使用情况，以生成报告、帐单和审核计算资源计算资源资源整合资源分配调度引擎用户自服务对应用系统的支持云平台计算OracleDBSMPOracleDB3.分布式计算方案2.同步方案1.话单分布4.话单合并示例：BOSS云的架构OracleDBSMPOracleDB3.分布式计算目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合Manual资源分配引擎资源预约和按需分配的调度策略基于资源使用情况的分配策略资源使用规划服务的交付提供服务服务合同管理自助的服务门户和开发接口(API)统计分析报表计费系统资源管理工具资源整合虚拟化系统管理插件物理机部署工具的插件系统管理插件不同类型的应用程序集成HPCJ2EEothersTest/Dev根据系统当前负载、系统资源的使用情况，有序地运行应用程序。整合物理机和虚拟机计算环境，创建一个共享的计算架构。服务资源整合Manual资源分配引擎资源预约和按需基于资源使用资源使用规DEMANDSUPPLYHPCClustersLSF,Symphony,3rdPartyTest&DevJ2EE/AnalyticsSiloSiloSiloResource-awareWorkload-awareSupplyandDemandAligned在不同的应用部门共享物理资源服务资源整合DEMANDSUPPLYHPCClustersTest&虚拟资源池安全和集成数据保护资源管理可用性系统架构服务服务资源整合虚拟资源池安全和集成数据保护资源管理可用性系统架构服务服务资服务资源整合服务资源整合目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合调度引擎3)NetworkAccessCostMatrix(AvailableBandwidth/DynamicUtilization)DC1DC2DC3DC1DC2DC3Rack1Rack2Rack3R2R2R3Output:InitialPlacement-Run-TimeManagement-Defragmentations&MigrationOffering1300Offering2200Offering3400JanDecContract#123Contract#444Contract#677Contract#677Contract#888Contract#888#999Contract#78934Contract#768689Contract#55Contract#8892)ResourceHierarchyDCRackGroupRackGroupRackGroupRackRackRackRackRackRackDC/1)ApplicationTopologyDBAppServerAppServerAppServerWebServerWebServerTier1Tier2Tier34)Previousreservationscommitted&AccountQuotas5)C-languageplug-inplacementpolicy:vem_policy_init()vem_policy_fin()vem_policy_distribute()vem_policy_place()vem_policy_housekeep()vem_policy_status()vem_policy_info()服务资源调度调度引擎3)NetworkAccessCostMat资源分配之前资源分配之后服务资源调度资源分配之前资源分配之后服务资源调度目录IDC发展面临的挑战云计算解决方案云计算核心技术总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合Packing（填满）应用程序在尽量少的物理服务器上运行每个被使用的服务器利用率最大化，减少资源碎片，减少能源消耗。Striping（分散）应用程序分散在尽可能多的物理服务器上运行减少机器故障带来的影响，提高应用程序的运行效率Load-Aware（基于负载）新的应用程序总是运行在负载最轻的物理服务器上获得更高的应用程序运行效率HA-Aware（基于高可靠性配置）将支持高可靠性（HA）的服务器资源分配给关键业务提供更高的资源可用性Energy-Aware（节能）根据节能指数和数据中心热点运行应用程序减少能源消耗Affinity-Aware（基于关联程度）将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上保证应用程序运行效率ServerModel-Aware（基于服务器类型）根据服务器类型分配资源尽可能利用性能好的、昂贵的资源，是投资回报最大化Topology-Aware（基于网络拓扑）尽量使用连接到同一个交换机、背板、刀片中心的服务器运行用户任务提高应用程序运行效率资源分配策略Packing（填满）应用程序在尽量少的物理服务器上运行StAppAVMAppAVMAppAVMAppBVMAppBVMAppBVMAppCVMAppCVMAppBVMAppAVMAppDVMAppDVMAppDVMAppEVMAppAVMAppAVMAppCVM1234444BottomLeftBottomLeft每个被使用的服务器利用率最大化，减少资源碎片节能——根据需求动态启动和关闭服务器Bottom-LeftDecreasingBin-PackingHeuristic策略1：Packing（填满）策略AppAVMAppAVMAppAVMAppBVMAp策略2：Striping（分散）策略AppBVMAppBVMAppCVMAppCVMAppAVMAppAVMAppEVMAppCVMAppAVM将应用程序或虚拟机启动在使用最少的物理服务器上。每台物理服务器运行的应用程序或虚拟机最小化降低物理服务器故障的影响提高应用程序、虚拟机运行效率策略2：Striping（分散）策略AppBVMAppB策略3：

TopologyAware(基于网络拓扑）策略机架二机架一刀片中心一刀片中心二刀片中心三刀片中心四可用的节点被占用的节点尽量保证为应用程序分配的服务器资源之间的网络路径最小仅在万不得已的情况下才跨刀片中心、机架、交换机分配服务器资源提高应用程序运行效率策略3：TopologyAware(基于网络拓扑）策略策略4：

Affinity-based(基于关联程度)策略

将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上保证应用程序运行效率应用A应用B策略4：Affinity-based(基于关联程度)策略策略5：HA-enabled（支持HA）策略将关键应用分配到支持HA的服务器上。根据业务类型和费用，提供不同级别的可用性。HA服务器非关键应用-$0.15/hour关键应用A$2/hour关键应用B$1/hour策略5：HA-enabled（支持HA）策略将关键应用分配策略6：节能优化策略实现“绿色”策略:让系统分配能源效率最高的机器让系统分配温度最低的机器，以避免系统出现“热点”指定任务在晚上时段运行，此时的电费最便宜计算机设备传感器任务分发EngineUPS需求,合同,资源供给…空调策略6：节能优化策略实现“绿色”策略:让系统分配能源效率最高目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合云计算平台云系统管理员部门经理开发经理应用程序所有者最终用户应用经理云的客户负责合同签署资源使用的规划选择服务提供给最终用户定义优先级与资源的分配策略成本管理发布可用的服务将资源转变为服务管理和维护资源的清单请求并使用特定应用的虚拟机或物理机按照应用经理规定的优先级和资源分配策略使用计算机资源开发人员应用程序用户

服务资源管理云计算平台云系统管理员部门经理最终用户应用经理云的客户成本管AppApp资源池业务需求多种虚拟机管理器和操作系统同步运行服务能在各计算机之间“浮动”，即使整个网络都瘫痪，任务数据也不会丢失。所有事件记录在指定文件系统中，零停机时间、零数据损失。当第一台机器恢复正常时，机群服务就可恢复并继续运行。整个过程对用户来说是透明的，感觉不到远程集群的存在。X服务异常处理管理AppAppAppAppAppAppAppAppApp资源池业务需求多种虚拟机管理器和操作系统同步运行集群1集群1集群2集群3集群4无缝扩展负载平衡资源扩展管理AppAppAppAppAppAppAppAppAppAppApp集群1集群1集群2集群3集群4无缝扩展资源扩展管理AppAp目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合带来的价值管理员手工创建虚拟机、手工部署应用，周期长？管理员手工管理所有资源，复杂？缺乏部署与调度策略，自动化程度低？商用虚拟化软件，价格昂贵？固化的管理平台，无法扩展？希望提供用户自助服务？希望提供智能的资源预约、自动的应用部署功能？……系统自动部署虚拟机，自动部署应用，周期短管理平台统一监控、管理资源，异常事件告警、迁移策略，简洁智能丰富的部署与调度策略，根据应用情况分配资源，减少人工干预根据应用系统特点合理选择虚拟化软件，提高性价比管理平台可扩展，开源与商用的虚拟化软件可共存，并可管理其他资源提供便捷的用户自助服务，资源申请、资源审批、对虚拟机的控制等资源预约为关键业务提供保障，自动的应用部署减少人工操作、缩短周期更多……带来的价值管理员手工创建虚拟机、手工部署应用，周期长？系统自AppServerApp1AppServerApp2AppServerAppNAppServerSourcepoolVirtualServersSelf-ServicePortalApp1App2AppN系统部署的时间从几天缩短到几分钟，没有双机备份，低成本节省投资AppServerApp1AppServerApp2UserAUserBHighPerformanceComputingSourcePoolUserBWorkloadManagerWorkloadManagerUserA在固有的资源上，开发了更多的服务项目降低成本，提高资源利用率

通过自动化管理，降低了维护费用提高业务支撑能力UserAUserBHighPerformanceC云平台CUSTACUSTBCUSTCCUSTX…提高运维效率系统不再进行手动部署业务系统，可以满足日益增长的业务需求用户系统配置的改变，需要时间更短满足了客户业务扩张的需求减少了认为的中间环节，提高了工作效率实现了ServiceonDemand云平台CUSTACUSTBCUSTCCUSTX…提高云计算中服务资源调度与管理课件系统登陆云平台门户界面云应用系统登陆云平台门户界面云应用云平台门户界面数据管理任务管理数据管理云平台门户界面数据管理任务管理数据管理云平台门户界面Web上进行图形化交互云平台门户界面Web上进行图形化交互云平台门户界面Web上进行图形化交互云平台门户界面Web上进行图形化交互

谢谢！谢谢！云

计算——服务资源调度与管理北京科技大学曾明2022年12月24日云计算——服务资源调度与管理北京科技大学曾明20目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合IT成本高，机房设备利用率低数据中心体系很复杂，系统的维护和管理难度大资源占用多，缺乏统一化，配置峰值资源需求等于浪费资源系统稳定性、可靠性低。人工服务为主，高成本、低满意度IT传统模式不能适应业务部署速度的需求（至少2个月）SupplyandDemandNotAligned地理上分布的用户根据应用静态分配IT资源WebeCommerceIntranetERPCRMBIDev/QAEmailIDC发展面临的挑战SupplyandDemandNotAligned地目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合云计算体系架构服务调度和管理引擎云计算平台VM中间构建IAAS调度分配引擎资源池IAAS服务管理SAASPAAS服务系统IAAS服务平台服务应用系统云计算门户IDC服务云计算体系架构服务调度和管理引擎云计算平台VM中间构建I管理服务器管理服务器用户在线服务存储离线计算云计算节点在线服务器VMware,KVM,XEN支撑平台体系架构管理服务器管理服务器用户在线服务存储离线计算云计算节点在线服资源整合资源分配调度引擎用户自服务对应用系统的支持Hadoop,Websphere,客户化的应用……云平台计算资源虚拟化系统/物理机操作系统运营管理工作流&审批流程报表&计费云管理方案端到端的云管理软件：根据负载均衡和资源均衡的策略，从共享的物理和虚拟资源中为上层的应用系统创建和提供运行环境TicketingSystemCRMEntitlementSystemAuthentication&Security

整合了云资源通过丰富的策略匹配和供给资源提供了最终用户直接请求资源的自助服务平台时刻跟踪资源的使用情况，以生成报告、帐单和审核计算资源计算资源资源整合资源分配调度引擎用户自服务对应用系统的支持云平台计算OracleDBSMPOracleDB3.分布式计算方案2.同步方案1.话单分布4.话单合并示例：BOSS云的架构OracleDBSMPOracleDB3.分布式计算目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合Manual资源分配引擎资源预约和按需分配的调度策略基于资源使用情况的分配策略资源使用规划服务的交付提供服务服务合同管理自助的服务门户和开发接口(API)统计分析报表计费系统资源管理工具资源整合虚拟化系统管理插件物理机部署工具的插件系统管理插件不同类型的应用程序集成HPCJ2EEothersTest/Dev根据系统当前负载、系统资源的使用情况，有序地运行应用程序。整合物理机和虚拟机计算环境，创建一个共享的计算架构。服务资源整合Manual资源分配引擎资源预约和按需基于资源使用资源使用规DEMANDSUPPLYHPCClustersLSF,Symphony,3rdPartyTest&DevJ2EE/AnalyticsSiloSiloSiloResource-awareWorkload-awareSupplyandDemandAligned在不同的应用部门共享物理资源服务资源整合DEMANDSUPPLYHPCClustersTest&虚拟资源池安全和集成数据保护资源管理可用性系统架构服务服务资源整合虚拟资源池安全和集成数据保护资源管理可用性系统架构服务服务资服务资源整合服务资源整合目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合调度引擎3)NetworkAccessCostMatrix(AvailableBandwidth/DynamicUtilization)DC1DC2DC3DC1DC2DC3Rack1Rack2Rack3R2R2R3Output:InitialPlacement-Run-TimeManagement-Defragmentations&MigrationOffering1300Offering2200Offering3400JanDecContract#123Contract#444Contract#677Contract#677Contract#888Contract#888#999Contract#78934Contract#768689Contract#55Contract#8892)ResourceHierarchyDCRackGroupRackGroupRackGroupRackRackRackRackRackRackDC/1)ApplicationTopologyDBAppServerAppServerAppServerWebServerWebServerTier1Tier2Tier34)Previousreservationscommitted&AccountQuotas5)C-languageplug-inplacementpolicy:vem_policy_init()vem_policy_fin()vem_policy_distribute()vem_policy_place()vem_policy_housekeep()vem_policy_status()vem_policy_info()服务资源调度调度引擎3)NetworkAccessCostMat资源分配之前资源分配之后服务资源调度资源分配之前资源分配之后服务资源调度目录IDC发展面临的挑战云计算解决方案云计算核心技术总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合Packing（填满）应用程序在尽量少的物理服务器上运行每个被使用的服务器利用率最大化，减少资源碎片，减少能源消耗。Striping（分散）应用程序分散在尽可能多的物理服务器上运行减少机器故障带来的影响，提高应用程序的运行效率Load-Aware（基于负载）新的应用程序总是运行在负载最轻的物理服务器上获得更高的应用程序运行效率HA-Aware（基于高可靠性配置）将支持高可靠性（HA）的服务器资源分配给关键业务提供更高的资源可用性Energy-Aware（节能）根据节能指数和数据中心热点运行应用程序减少能源消耗Affinity-Aware（基于关联程度）将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上保证应用程序运行效率ServerModel-Aware（基于服务器类型）根据服务器类型分配资源尽可能利用性能好的、昂贵的资源，是投资回报最大化Topology-Aware（基于网络拓扑）尽量使用连接到同一个交换机、背板、刀片中心的服务器运行用户任务提高应用程序运行效率资源分配策略Packing（填满）应用程序在尽量少的物理服务器上运行StAppAVMAppAVMAppAVMAppBVMAppBVMAppBVMAppCVMAppCVMAppBVMAppAVMAppDVMAppDVMAppDVMAppEVMAppAVMAppAVMAppCVM1234444BottomLeftBottomLeft每个被使用的服务器利用率最大化，减少资源碎片节能——根据需求动态启动和关闭服务器Bottom-LeftDecreasingBin-PackingHeuristic策略1：Packing（填满）策略AppAVMAppAVMAppAVMAppBVMAp策略2：Striping（分散）策略AppBVMAppBVMAppCVMAppCVMAppAVMAppAVMAppEVMAppCVMAppAVM将应用程序或虚拟机启动在使用最少的物理服务器上。每台物理服务器运行的应用程序或虚拟机最小化降低物理服务器故障的影响提高应用程序、虚拟机运行效率策略2：Striping（分散）策略AppBVMAppB策略3：

TopologyAware(基于网络拓扑）策略机架二机架一刀片中心一刀片中心二刀片中心三刀片中心四可用的节点被占用的节点尽量保证为应用程序分配的服务器资源之间的网络路径最小仅在万不得已的情况下才跨刀片中心、机架、交换机分配服务器资源提高应用程序运行效率策略3：TopologyAware(基于网络拓扑）策略策略4：

Affinity-based(基于关联程度)策略

将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上保证应用程序运行效率应用A应用B策略4：Affinity-based(基于关联程度)策略策略5：HA-enabled（支持HA）策略将关键应用分配到支持HA的服务器上。根据业务类型和费用，提供不同级别的可用性。HA服务器非关键应用-$0.15/hour关键应用A$2/hour关键应用B$1/hour策略5：HA-enabled（支持HA）策略将关键应用分配策略6：节能优化策略实现“绿色”策略:让系统分配能源效率最高的机器让系统分配温度最低的机器，以避免系统出现“热点”指定任务在晚上时段运行，此时的电费最便宜计算机设备传感器任务分发EngineUPS需求,合同,资源供给…空调策略6：节能优化策略实现“绿色”策略:让系统分配能源效率最高目录IDC发展面临的挑战云计算解决方案调度与管理总结服务资源整合服务资源调度资源分配策略服务资源管理目录IDC发展面临的挑战服务资源整合云计算平台云系统管理员部门经理开发经理应用程序所有者最终用户应用经理云的客户负责合同签署资源使用的规划选择服务提供给最终用户定义优先级与资源的分配策略成本管理发布可用的服务将资源转变为服务管理和维护资源的清单请求并使用特定应用的虚拟机或物理机按照应用经理规定的优先级和资源分配策略使用计算机资源开发人员应用程序用户

服务资源管理云计算平台云系统管理员部门经理最终用户应用经理云的客户成本管AppApp资源池业务需求多种虚拟机管理器和操作系统同步运行服务能在各计算机之间“浮动”，即使整个网络都瘫痪，任务数据也不会丢失。所有事件记录在指定文件系统中，零停机时间、零数据损失。当第一台机器恢复正常时，机群服务就可恢复并继续运行。整个过程对用户来说是透明的，感觉不到远程集群的存在。X服务异常处理管理AppAppAppAppAppAppAppAppApp资源池业务需求多种虚拟机管理器和操作系统同步运行集群1集群1集群2集群3