云计算中效劳资源调度和管理

1、云计算中效劳资源调度和管理目 录 IDC发展面临的挑战 云计算解决方案 调度与管理 总结服务资源整合服务资源调度资源分配策略服务资源管理IT成本高，机房设备利用率低数据中心体系很复杂， 系统的维护和管理难度大资源占用多，缺乏统一化，配置峰值资源需求等于浪费资源系统稳定性、可靠性低。人工服务为主，高成本、低满意度IT传统模式不能适应业务部署速度的需求 （至少2个月）Supply and Demand Not Aligned地理上分布的用户根据应用静态分配IT资源WebeCommerceIntranetERPCRMBIDev/QAEmailIDC发展面临的挑战目 录 IDC发展面临的挑战 云计算解

2、决方案 调度与管理 总结服务资源整合服务资源调度资源分配策略服务资源管理云计算体系架构服务调度和管理引擎云计算平台VM中间构建 IAAS 调度分配引擎资源池IAAS服务管理SAASPAAS服务系统IAAS 服务平台服务应用系统云计算门户IDC 服务管理服务器管理服务器用户在线服务存储离线计算云计算节点在线服务器VMware, KVM, XEN支撑平台体系架构资源整合资源分配调度引擎用户自服务对应用系统的支持Hadoop, Websphere, 客户化的应用云平台计算资源虚拟化系统 / 物理机操作系统运营管理工作流 & 审批流程报表 & 计费云管理方案端到端的云管理软件： 根据负载均衡和资源均衡

3、的策略，从共享的物理和虚拟资源中为上层的应用系统创建和提供运行环境TicketingSystemCRMEntitlementSystemAuthentication & Security 整合了云资源 通过丰富的策略匹配和供给资源 提供了最终用户直接请求资源的自助服务平台 时刻跟踪资源的使用情况，以生成报告、帐单和审核计算资源计算资源Oracle DBSMP Oracle DB3. 分布式计算方案2. 同步方案1. 话单分布4. 话单合并示例：BOSS云的架构目 录 IDC发展面临的挑战 云计算解决方案 调度与管理 总结服务资源整合服务资源调度资源分配策略服务资源管理Manual资源分配引擎资

4、源预约和按需分配的调度策略基于资源使用情况的分配策略资源使用规划服务的交付提供服务服务合同管理自助的服务门户和开发接口(API)统计分析报表计费系统资源管理工具资源整合虚拟化系统管理插件物理机部署工具的插件系统管理插件不同类型的应用程序集成HPCJ2EEothersTest/Dev根据系统当前负载、系统资源的使用情况，有序地运行应用程序。整合物理机和虚拟机计算环境，创建一个共享的计算架构 。服务资源整合DEMANDSUPPLYHPC ClustersLSF, Symphony, 3rd PartyTest & DevJ2EE / AnalyticsSiloSiloSiloResource-aw

5、areWorkload-awareSupply and Demand Aligned在不同的应用部门共享物理资源服务资源整合虚拟资源池安全和集成数据保护资源管理可用性系统架构服务服务资源整合服务资源整合目 录 IDC发展面临的挑战 云计算解决方案 调度与管理 总结服务资源整合服务资源调度资源分配策略服务资源管理调度引擎3) Network Access Cost Matrix (Available Bandwidth / Dynamic Utilization) DC1DC2DC3DC1DC2DC3Rack1Rack2Rack3R2R2R3Output: Initial Placement-

6、Run-Time Management- Defragmentations& MigrationOffering 1300Offering 2200Offering 3400JanDecContract #123Contract #444Contract #677Contract #677Contract #888Contract # 888#999Contract # 78934Contract # 768689Contract #55Contract # 8892) ResourceHierarchyDCRackGroupRackGroupRackGroupRackRackRackRack

7、RackRackDC/1) Application TopologyDBAppServerAppServerAppServerWebServerWebServerTier 1Tier 2Tier 34) Previous reservations committed & Account Quotas5) C-language plug-in placement policy:vem_policy_init()vem_policy_fin()vem_policy_distribute()vem_policy_place()vem_policy_housekeep()vem_policy_stat

8、us()vem_policy_info()服务资源调度资源分配之前资源分配之后服务资源调度目 录 IDC发展面临的挑战 云计算解决方案 云计算核心技术 总结服务资源整合服务资源调度资源分配策略服务资源管理Packing（填满）应用程序在尽量少的物理服务器上运行每个被使用的服务器利用率最大化，减少资源碎片，减少能源消耗。Striping（分散）应用程序分散在尽可能多的物理服务器上运行减少机器故障带来的影响，提高应用程序的运行效率Load-Aware（基于负载）新的应用程序总是运行在负载最轻的物理服务器上获得更高的应用程序运行效率HA-Aware（基于高可靠性配置）将支持高可靠性（HA）的服务器资

9、源分配给关键业务提供更高的资源可用性Energy-Aware（节能）根据节能指数和数据中心热点运行应用程序减少能源消耗Affinity-Aware（基于关联程度）将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上保证应用程序运行效率Server Model-Aware（基于服务器类型）根据服务器类型分配资源尽可能利用性能好的、昂贵的资源，是投资回报最大化Topology-Aware（基于网络拓扑）尽量使用连接到同一个交换机、背板、刀片中心的服务器运行用户任务提高应用程序运行效率资源分配策略AppA VMAppA VMAppA VMAppB VMAppB VMA

10、ppB VMAppC VMAppC VMAppB VMAppA VMAppD VMAppD VMAppD VMAppE VMApp A VMAppA VMAppC VM1234444BottomLeftBottomLeft每个被使用的服务器利用率最大化，减少资源碎片节能根据需求动态启动和关闭服务器Bottom-Left Decreasing Bin-Packing Heuristic策略1：Packing（填满）策略策略2：Striping （分散）策略AppB VMAppB VMAppC VMAppC VMAppA VMAppA VMAppE VMAppC VMAppA VM将应用程序或虚拟

11、机启动在使用最少的物理服务器上。每台物理服务器运行的应用程序或虚拟机最小化降低物理服务器故障的影响提高应用程序、虚拟机运行效率策略3： Topology Aware (基于网络拓扑）策略机架二机架一刀片中心一刀片中心二刀片中心三刀片中心四可用的节点被占用的节点尽量保证为应用程序分配的服务器资源之间的网络路径最小仅在万不得已的情况下才跨刀片中心、机架、交换机分配服务器资源提高应用程序运行效率策略4： Affinity-based (基于关联程度)策略 将任务分配到与关键资源关联度最高的服务器上，例如将任务分配到与存储系统直连的服务器上保证应用程序运行效率应用A应用B策略5：HA-enabled

12、（支持HA）策略将关键应用分配到支持HA的服务器上。根据业务类型和费用，提供不同级别的可用性。HA 服务器非关键应用 - $0.15/hour关键应用 A$2/hour关键应用 B$1/hour策略6：节能优化策略实现“绿色”策略:让系统分配能源效率最高的机器让系统分配温度最低的机器，以避免系统出现“热点” 指定任务在晚上时段运行，此时的电费最便宜计算机设备传感器任务分发EngineUPS需求, 合同,资源供给 空调目 录 IDC发展面临的挑战 云计算解决方案 调度与管理 总结服务资源整合服务资源调度资源分配策略服务资源管理云计算平台云系统管理员部门经理开发经理应用程序所有者最终用户应用经理云

13、的客户负责合同签署资源使用的规划选择服务提供给最终用户定义优先级与资源的分配策略成本管理发布可用的服务将资源转变为服务管理和维护资源的清单请求并使用特定应用的虚拟机或物理机按照应用经理规定的优先级和资源分配策略使用计算机资源开发人员应用程序用户服务资源管理AppApp资源池业务需求多种虚拟机管理器和操作系统同步运行服务能在各计算机之间“浮动”，即使整个网络都瘫痪，任务数据也不会丢失。所有事件记录在指定文件系统中，零停机时间、零数据损失。当第一台机器恢复正常时，机群服务就可恢复并继续运行。整个过程对用户来说是透明的，感觉不到远程集群的存在。X服务异常处理管理AppAppAppAppAppAppA

14、pp集群1集群1集群2集群3集群4无缝扩展负载平衡资源扩展管理AppAppAppAppAppAppAppAppAppAppApp目 录 IDC发展面临的挑战 云计算解决方案 调度与管理 总结服务资源整合服务资源调度资源分配策略服务资源管理带来的价值管理员手工创建虚拟机、手工部署应用，周期长？管理员手工管理所有资源，复杂？缺乏部署与调度策略，自动化程度低？商用虚拟化软件，价格昂贵？固化的管理平台，无法扩展？希望提供用户自助服务？希望提供智能的资源预约、自动的应用部署功能？系统自动部署虚拟机，自动部署应用，周期短管理平台统一监控、管理资源，异常事件告警、迁移策略，简洁智能丰富的部署与调度策略，根据

15、应用情况分配资源，减少人工干预根据应用系统特点合理选择虚拟化软件，提高性价比管理平台可扩展，开源与商用的虚拟化软件可共存，并可管理其他资源提供便捷的用户自助服务，资源申请、资源审批、对虚拟机的控制等资源预约为关键业务提供保障，自动的应用部署减少人工操作、缩短周期更多App ServerApp 1App ServerApp 2App ServerApp NApp ServerSource poolVirtual ServersSelf-Service PortalApp 1App 2App N系统部署的时间从几天缩短到几分钟，没有双机备份，低成本节省投资User AUser BHigh Performance ComputingSource PoolUser BWorkloadManagerWorkloadManagerUser A在固有的资源上， 开发了更多的服务