云系统中的资源池构建

云系统中的资源池构建

云计算是一种基于互联网的新计算方法。它通过不同的网络架构和独立服务为个人和潜在用户提供可靠的计算和费用。由于资源是在互联网上,而在计算机流程图中,互联网常以一个云状图案来表示,因此可以形象地类比为云,‘云’同时也是对底层基础设施的一种抽象概念<维基百科>。云计算是一种基于网络的支持异构设施和资源流转的服务供给模型,它提供给客户可自定义的服务,实现资源的按需分配、按量计费。云计算导致资源规模化,促进分工的专业化,使得资源供应商和用户都更加关注于自己的业务,有利于降低单位资源成本,促进网络业务创新。云计算包括两个层次的含义:资源层次和应用层次,它具有基于网络、支持异构的基础资源、支持资源的动态伸缩和流转、支持异构的多业务体系、支持海量信息处理、按需分配按量计费的特征。云操作系统,是负责云计算数据中心基础软件、硬件资源管理监控的系统软件。通过基础软硬件监控、分布式文件系统和虚拟计算,云操作系统实现了云基础设施即服务层,通过安全管理中心实现资源多用户共享的数据和信息安全,通过节能管理中心,有效实现基础资源的绿色、低碳运维。而通过业务与资源调度中心,则实现了云平台即服务层的部分内容。云操作系统主要包括大规模基础软硬件管理、分布式文件系统、虚拟计算管理、安全控制管理、节能管理和业务/资源调度管理。基础软硬件管理,主要负责大规模基础软件、硬件资源的监控和管理,为云操作系统的资源调度等高级应用提供了决策信息,是云操作系统的资源管理的基础。基础软件资源,包括单机操作系统、中间件、数据库等。基础硬件资源,则包括网络环境下的三大主要设备,即:计算(服务器)、存储(存储设备)和网络(交换机、路由器等设备)。基础软硬件管理中心,可以对基础软件、硬件资源进行资产管理;可以实现基础硬件的状态监控和性能监控;能够对异常情况触发报警,提醒用户及时维护问题设备;能够对基础软硬件资源进行长期的统计分析,为高层次的资源调度提供决策依据。虚拟化的本质在于从逻辑角度而不是物理角度来对资源进行分配和使用,即从单一的逻辑角度来看待不同的物理资源。虚拟化技术有三种主要应用形态,即虚拟分拆、虚拟整合和虚拟迁移。虚拟分拆是最常见的虚拟化技术,其可将一台物理机分拆为多台虚拟机,从而提高物理资源的利用率,如VMware的VSphere、XEN和微软的Hyper-V等。虚拟整合则是将众多性能一般的计算机整合为一台性能出众的计算机,常见的有高性能计算系统等。虚拟迁移,可以使用户像使用本地资源一样使用异地物理资源,如远程桌面、网络共享目录等。云计算数据中心较为普遍的应用了虚拟化技术的三种应用模式,其中尤以虚拟分拆技术应用最为广泛。云计算数据中心即需要兼容同一时期不同厂商的不同软件、硬件资源,还需要兼容不同时期采购的异构软件、硬件资源,因而需要着重解决异构软硬件资源的同构化问题。异构资源同构化,可以将异构的资源转换为相同颗粒度的可度量的同构资源节点,是按需分配和按量计费的基础。而资源节点同构化,也为分布式和并行性计算提供了良好的运行环境。在云操作系统中,大规模基础资源的监控(包括硬件资源和虚拟化资源),物力资源及虚拟资源的自动化调度,是云OS的核心所在。而这两个重要功能的实现,都离不开相关信息的准确、及时、安全的采集,这就势必要求建立一个高效安全的云OS资源池。本文将从资源池的信息采集、资源映射和信息同步三个方面,阐述资源池的构建、管理、维护。1资源池建设1.1资源的获取过程资源池的信息采集单元是资源池的基础模块,负责采集、保存资源信息。资源池的信息包括物理资源和虚拟资源。物理资源具体分为计算资源、存储资源、网络资源,计算资源是指运行计算资源的服务,例如运行虚拟化的服务器;存储资源是指用于共享或者分布式存储的存储服务器;网络资源是指路由器、交换机等网络设备的信息、实时状态等。虚拟资源具体分为虚拟计算资源、虚拟存储资源、虚拟网络资源。信息的采集过程大致如下:资源池初始化时从数据库读取各种资源的基本静态信息,并动态从监控代理程序中获取各种资源的动态信息。采集后的信息进行归类汇总,并对一些组的综合信息进行计算,从而为资源映射到内存对象做好准备。详细的资源信息包括:计算资源(1)节点消息·组名称·组位置·CPU利用率·内存利用率·网络利用率·磁盘利用率·虚拟机个数等。(2)节点信息·节点名称·节点IP·节点状态·节点OS·节点备注·节点MAC·访问权·CPU利用率·内存利用率·网络利用率·磁盘利用率等。(2)储备资源存储资源也分为组信息与存储节点信息,基本内容与计算资源相仿,存储资源还包括存储组和存储节点的利用率、未使用、总容量等。(3)动态信息定义网络资源同样分为组信息与网络节点信息,基本静态信息类似于计算节点,动态信息包括网络设备状态、厂商、流量、丢包率等信息。虚拟资源的信息大致与物理资源信息相同,只是获取方式可能有所不同。1.2资源池相关对象的确定在云操作系统中,对于资源的监控需要快速或者实时获取资源的有关信息,这就要求能够快速或者实时从资源池中获取相关信息。本文所架构和设计的资源池的信息是直接存放在内存对象中,这样就可以迅速实现资源池的读写操作。当资源池完成各类信息的定时采集后,会直接映射到内存对象中并在内存中长期驻存,从而实现信息的快速读取。对于资源池中相关对象生命周期的控制,本文采用了“心跳机制”进行控制。每一条资源对象都有固定的生命值,资源池会定时去获取每一条资源对象的状态。当资源池获取不到对应资源的状态时,生命值减少1,反之则生命值增加1(固定值封顶)。当生命值小于0时,则将此条资源对象从资源池中删除。以此机制实现资源池中信息生命周期的控制。1.3资源池同步处理资源池为整个数据中心所有资源信息在内存中实时准确的映射,故资源池中信息与实际资源信息的同步就显得异常重要。在本文中,资源池的同步主要是从两个方面进行。一方面,资源池定时与数据库中静态信息进行对比更新,而后对双方不一致的信息进行处理(动态信息完善、资源池信息对象增加、删除);另一方面,资源池利用自身的生命周期控制机制,对无生命状态的资源对象进行及时删除,从而保持资源池信息的实时性和准确性。2测试多个节点同时冲刷资源池所耗时间本文所设计的云操作系统资源池的最主要目的就是为了能够快速实时获取到系统所需要的资源信息,从而实现云操作系统的大规模资源监控、资源自动流转与节能等核心功能,故本文主要从资源池的效率方面列出实验数据。资源池可以支持多少物理节点同时刷新负载数据,模拟测试多个节点并发刷新资源池所用的时间。运行资源池的服务器配置为windowsserver2008,64位操作系统、Intel(R)Xeon(R)CPU、4G内存、MySql5.1.42数据库。实验步骤如下:(1)在数据库中准备不同数量的静态数据;(2)初始化资源池;(3)运行模拟程序,模拟多个节点并发刷新资源池节点的负载数据;(4)记录刷新1000~6000节点所耗的时间。实验数据如下表。从实验数据可以看出,本文所设计的云操作系统资源池在6000节点时,一分钟左右就可以将数据刷新一遍,表明可以合理高效的