基于云计算的异构资源整合及资源管理平台的构建

基于云计算的异构资源整合及资源管理平台的构建

针对上海总部信息灾难信息服务局硬件和硬件需求以及中国数据服务公司面临的实际问题，构建了云计算资源整件的框架。该项目的实施展示了云计算和资源管理的平台。通过应用服务器、存储虚拟化等技术,实现了数据资源按需分配、在线动态调配以及应用的动态迁移;结合虚拟机镜像技术,构建“灾备中心资源云”,解决了当前灾备中心存在的一些问题。目前,云计算平台在灾备中心已经上线,为灾备中心带来了明显的经济和管理效益。1it基础架构及基础设施随着数字信息化工作的不断推进,大量信息系统的投行,在信息化基础设施和软硬件的快速扩充下,带来了一系列问题。例如:现有应用系统均按照各自的业务需求配置软硬件资源,分散“竖井”部署方式,无法实现资源共享与调配,无法有效保证业务系统连续性;各网省IT基础架构标准化程度有较大差异,网省间及网省内部的IT基础架构不统一;服务器的资源使用率较低,只有少量服务器的CPU平均使用率超过30%,资源闲置和浪费现象严重。从服务器的架构来看,基本上是以应用为单位进行独立部署的孤岛式架构,不同应用的服务器之间没有实现资源共享,各系统的软硬件产品不统一,缺乏规范性;各应用系统在非功能性需求满足方面做了详细的估算和分析,但是由于各实施单位采用的分析方法和估算模型不同,造成在资源使用率方面很大的差异。IT基础设施不能根据实际需要和业务变化动态调整资源和快速扩展,以致系统的灵活性和扩展性较差;信息系统运行维护工作量加大,软硬件资源利用率低,采购的软硬件资源之间不能有效共享和综合利用,硬件重复投资间接增加了机房、动力环境与空调系统的建设或运行成本。为了解决以上问题,国家电网公司信息部开展了灾备中心建设、软硬件资源整合和应用一级部署等信息化建设工作,并通过SG-ERP规划了未来国网信息化建设的方式。2支持结构的异构资源目前,通过目标架构、管控架构、监控架构来指导灾备中心的建设。1数据中心建设明确要求灾备中心的建设,要立足数据级灾备,面向应用级灾备,展望数据中心;数据中心建设应该实现标准化和集约化;要加强IT基础架构的可靠性、灵活性、可扩性以便更好地支撑业务系统;要实现统一、集中化的管理,管控流程化、规范化、自动化、可测量和可持续改进。21控制结构提出了灾备中心应具备标准资源目录和资源选型原则,业务系统的部署模式和资源选型,应该满足服务水平要求。3云计算资源整合平台除了对传统的物理资源监控外,还要实现对虚拟化环境的监控。可见,灾备中心的建设,要求IT基础设施服务具有整合异构资源、统一运维管理、统一资源接入规范、动态资源调配以及流程管理等功能,其中异构资源的整合最为基础和关键。软硬件资源整合的目标是实现系统管理与维护标准化,提高现有软硬件资源的使用效率,提高应用系统开发部署效率及维护效率,构建一个统一的IT支撑平台,最终与应用系统形成合力,对业务进行“强而优”的支持。云计算是一种基于互联网大众参与的计算模式,其计算资源(包括计算能力、存储能力和交付能力)都是动态的、可伸缩的、被虚拟化的,而且以服务的方式提供。与其他的计算模式相比,云计算能够整合大规模异构计算资源、易于动态扩展、虚拟化等特点,使其成为解决上述问题的一个有效手段。针对灾备中心的异构系统存在不同厂家、不同型号的主机和存储设备的现状,提出针对灾难数据备份的云计算资源整合方案,在此基础上设计并实现具备对异构设备进行整合管理功能的云计算资源管理平台。通过在灾备中心构建云计算环境,将IT基础设施的能力进行聚合,实现异构资源的整合管理并形成资源的统一接入标准。3整合层架构设计资源的整合是大型企业云计算资源管理的核心问题,因此在云资源管理平台中,专门设计了整合层满足资源整合的要求。在资源整合层的架构中,主要关注点是多种异构资源的整合使用以及与运维系统的深度整合。考虑到未来资源的扩展,整合层采用可扩展的架构,为此制定了统一的资源接入和输出规范。以架构为技术手段,以规范为管理手段,用以综合解决异构资源整合问题。整合层架构图如图1所示。在整合层中将控制和监控组件分离,对每一种资源分别设计控制和监控组件,同时监控和控制组件都采用基于开放式服务规范的可扩展架构方式,如图2所示。由于将整合层独立部署,所以还为整个整合层设计了安全访问组件,同时根据标准应用接口输出的需要,设计了标准数据输出组件。整个平台与运维的接口,通过标准应用接口输出组件获得云中资源的相关数据,并提供一定的控制能力。3.1云计算资源池设置的规范原则云计算资源整合来自不同云计算供应商的多种异构资源,每个云计算供应商决定了各自使用的管理程序、存储模型、网络模型、管理工具和流程。为此,必须为虚拟化资源和实体资源制定接入云计算资源池的规范,该规范旨在规定资源的管理系统提供的资源管理、控制、监视的能力。各资源的系统需要提供规范所提供的能力,以达到云计算资源池统一管理,统一监控的目的。资源接入规范的制定,可以使国家电网公司内部各个云底层资源以及资源管理系统之间互联互通,并且以标准为准要求厂商的云相关设施接口,以此避免厂商锁定。3.2与webson河流的呈式管理与运维系统的整合是云计算资源管理平台很重要部分,云资源管理平台部署在数据中心,而数据中心已经安装运维管理系统,那么必须将云中的资源向数据中心的运维管理系统推送,除模型的一致之外还需要有良好的架构。云计算资源管理平台通过基于Java平台面向消息中间件的技术规范的方式向运维管理系统推送。图3为与WebService整合层的异步通信方式。资源整合层提供两种模式的异步通信方式:当客户端执行一条命令后,使用应用接口订阅所关心的事件的主题,然后等待JAVA消息提供者产生消息后推给客户端。当客户端执行一个命令后,使用WebService提供的API定期的主动检查指定命令的执行结果。云计算资源管理平台需要与运维管理系统有同样的虚拟和物理资产模型,并定期推送。物理资产信息共享,需要保证资产信息模型一致,信息监控系统定时向云计算资源管理平台推送物理资产信息,云计算资源管理平台解析IMS物理资产信息后,存入资源管理平台的模型库中,如图4所示。虚拟资产需要云计算资源管理平台向IMS推送,云计算资源资源管理平台定时推送虚拟资产信息,IMS根据其运维模型的特点,解析使用云计算资源管理平台推送的虚拟资产信息。如图5所示。4资源模型的构建依据国家电网信息灾备中心目前拥有的IBM、HP小型机、X86服务器资源,将IBM小型机及其PowerVM虚拟化平台、HP小型机及其vPar资源分区技术、以VMware为代表的X86服务器虚拟化技术、以及来自不同厂商的异构存储设备抽象为统一的资源模型。针对灾难备份的云计算资源整合方案,设计并构建云计算资源管理平台,在灾备中心部署后纳管灾备中心拥有的IBM、HP小型机、X86服务器以及存储设备。4.1初始化与服务器配置目前云计算资源管理平台部署在PC服务器上,共使用多台IBMX3850X5服务器,安装ESXi4.1,并在其中一台物理服务器上分别建立vCenter、vCloud、vShieldManager、云计算资源管理平台和数据库虚拟服务器,进行初始化与服务器纳管配置。目前已经完成自生和其余X3850X5服务器的纳管,把X86服务器计算资源虚拟化成一个池,通过云计算资源管理平台实现了申请单管理服务、虚拟资源组服务、模板管理服务、IP管理服务、物理机管理服务、任务管理服务、日志管理服务、性能管理服务,可针对用户虚拟资源组进行虚拟服务器的创建、管理、配置、删除、备份等操作。4.2平台部署方案国家电网信息灾备中心目前拥有的IBM、HP小型机、X86三类服务器资源,针对不同的服务器采用不同的虚拟化策略来进行整合,有以下3种平台各自的部署方案。1创建抗病器社区Server)为验证区每台物理机安装ESXServer;创建1个虚拟机安装vCenterServer(所有ESXServer只需1个vCenterServer),然后将所有ESXServer注册到vCenter中。2创建台小机平台为IBM小机激活PowerVM环境,每台小机都需要激活;为IBM小机创建VIOServer,每台小机都需要创建;创建1个微分区安装NIMServer(所有IBM小机只需要1个NIMServer);创建一个微分区安装SystemDirector(所有IBM小机只需要1个SystemDirector),并安装VMControl插件;将所有IBM小机注册到VMControl中。3动态管理策略由于灾备中心的HP小型机是HPRX8640,支持vPar虚拟化技术,可以纳入云计算资源管理平台进行动态管理。全面收集nPar资源信息,对每个nPar都要收集;划分vPar(每个nPar都要划分),并为vPar分配初始资源(最小化分配);在一个vPar上安装IgniteServer,并将其他vPar注册到IgniteServer中。5统一平台,整合资源通过在灾备中心构建云环境,将IT基础设施的能力进行聚合,实现异构资源的整合管理,使得IT基础设施资源可以按需分配和动态调度,并形成资源的统一接入标准;在云计算环境中,通过对业务应用负载峰谷的计算,得出错峰利用资源的方式,使资源在不同应用之间来回流动,将资源利用率保持在一个较高的水平上,提升IT基础设施的整体承载能力。通过对现有系统的应用和资源的优化整合,可以疏理并空出许多资源,节省未来的设备投资;使用统一的界面和流程提供自动化的资源安装、部署、运维能力,减少运维人员的手工操作,减少资源运维和管理成本。云计算资源的优化整合,对数据级灾备中心能够起到重要的支撑作用。在数据级灾备中心,利用基于该技术的云计算资源管理平台,可以集中纳管验证区和管控区设备,向各网省和运维系统提供统一的虚拟化数据验证环境和管理软件运行环境。使用基于云计算资源整合技术的云计算管理平台,纳管数据级灾备中心验证区的好处:一是形成统一的服务器资源池,最大化利用资源,可以增多同时验证的省公司数量;二是通过云计算资源管理平台提供的管理功能,运维人员可以方便的管理和控