云计算资源池的设计与实现

云计算资源池的设计与实现

0云计算基础设施应用的发展历程最近，云计算的概念已经普及，并且给信息技术行业带来了新的影响。然而，如何在企业的个人云环境中实施云计算是公司信息的共同面临的挑战。前两年开始兴起“资源池”的概念,经过两年的发展和演进,已经成为云计算基础设施级应用层第一个能够真正完整落地的基础架构新型应用方式。电力企业以建设和运营电网为核心业务,承担着保障更安全、更经济、更清洁、可持续的电力供应的基本使命,呈现出产业化、标准化和集团化的发展趋势。集团化运作对成员企业在生产、销售、管理、售后等环节协同运作均提出较高要求。因此,对数据的及时分析、存储和辅助决策等需求日益强烈。1paas和软件级服务根据提供的服务类型,云计算服务分为三类:基础设施级服务(IaaS),平台级服务(PaaS)和软件级服务(SaaS)。对于大型企业的信息化支撑系统来说,云计算在基础设施层面的体现,主要就是采用虚拟化技术,构建基础设施资源池,以资源池的形式支撑各个业务系统的资源需求,具备根据需要分配资源和弹性扩展的能力,有效提高资源利用率。2电能企业云计算资源池建设2.1资源池的异构性在电力企业建设资源池的初期,也参考了互联网企业的资源池。但随着工程的建设,发现大型电力企业的资源池与互联网企业的资源池还是有很大的差别。互联网企业的特点是规模大,但环境单一。大型电力企业的特点是IT基础设施环境复杂,必然需要考虑异构问题。所以大型电力企业的资源池不是一个单一的X86虚拟化池的概念,而是一个综合的异构环境的概念。这也决定了大型电力企业的资源池建设绝不是可以一蹴而就的,而是需要经历一个漫长的过程。2.2单一指标分析电力企业中的资源池是一个复杂的体系,其优劣很难用单一的指标来进行衡量。通过每个组成部分的能力成熟度情况,可以对资源池的整体成熟度进行综合分析。2.2.1在网络、存储方面的应用提出了以程序维护为以VMware为代表的X86虚拟化技术,实现了X86物理机向虚拟机的转变,虚拟化平台使业务应用的软件部分(包括操作系统、平台软件和业务应用代码本身)与硬件不再具有直接的绑定关系,同时由于虚拟机可以更加方便地被创建、变更、销毁和迁移,X86虚拟化技术确实在一定程度上实现了X86架构的柔性。但实施X86虚拟化绝非资源池建设的全部内容。X86虚拟化技术只是建设资源池的第一步。在实际建设过程中,建设者往往会遇到不同硬件不能兼容同一版本的虚拟化软件、存储设备成为新的单点故障风险、业务应用在X86虚拟化环境中运行的性能表现不佳等一系列的问题。从技术的角度来讲,主流的X86虚拟化技术一般都是通过共享存储来实现虚拟机高可用,其计算资源效率的提高是以存储资源开销增加为基础的,虚拟化平台的引入使整个IT基础设施架构变得更为复杂,因此统筹考虑服务器、存储、网络、软件、应用之间的依赖关系变得尤为重要。从资源运营的角度来讲,X86虚拟化技术并不能直接解决业务应用的“竖井”问题,很多企业实施了X86虚拟化以后,业务应用由原来的独占物理主机,变为了独占虚拟主机,资源并没有得到有效的流转。同时,由于X86虚拟化对物理主机的要求较高,一般建设单位都会采用新采购服务器的方式来进行建设,遗留的软/硬件资产得不到有效的利用,这样的问题在大型企业中尤为突出。处于本阶段的资源池,由于资源环境单一,资源池管理系统的功能也比较单一。在规模较小的资源池中,甚至没有独立的资源池管理系统,直接使用VMwarevCenter等虚拟化平台自带的工具来实现资源池的管理。因此,X86虚拟化阶段是资源池成熟度模型中最为基础的阶段,同时也应当是电力企业资源池建设的初级阶段。2.2.2资源池和物理服务器的集成X86虚拟化实现了X86服务器的池化。对于电力企业来讲,由于其业务的复杂性和系统负载压力,将全部业务迁移到X86虚拟化环境上的时机尚不成熟,且由于历史建设中的大量遗留资产物理服务器、小型机等设备在企业中还将长期存在。因此,在电力企业硬件资源池建设中,不但需要考虑X86虚拟化,还需要考虑物理机环境和小型机环境的池化问题。资源池成熟度模型第二阶段相比于第一阶段,主要的提升在于实现了硬件设备的全面柔性。这当中包括了各种硬件的标准化、柔性、弹性设计以及服务器、存储和网络的关联设计。在基于网络的安装、主机自动化等技术的支持下,X86物理服务器也可以实现按用户需求的安装与交付,从而达到类似于虚拟机池的管理效果;而小型机则可以利用自身的虚拟化技术实现动态分配和弹性调度(例如,IBMPowerVM技术)。当然,由于X86物理服务器自动化能力的局限性和小型机技术体系的封闭性,这两种类型的硬件池无法达到X86虚拟化池的灵活程度。但在大型企业中,X86物理机池和小型机池都是不可缺少的组成部分。服务器、存储、网络的关联设计主要考虑各种资源的配比关系,以避免在某个资源类型上出现瓶颈。服务器池化给资源池中的存储和网络带来了新的挑战。例如,在大规模X86虚拟化环境下,由于存储的开销变大,需要格外注意计算资源与存储资源的配比关系。在实际案例中,一台集中式存储设备最多支撑150台物理机做虚拟化,由于存储性能而导致整个虚拟化环境性能低下的例子比比皆是。又如,资源池中的虚拟机会由一台物理主机迁移到另外一台物理主机,为了保证虚拟机的网络通信不中断,就需要网络环境具备动态适应的能力。为了大规模资源池的建设,一定需要同时考虑服务器、存储、网络的池化和关联设计。处在本阶段中的资源池,由于硬件环境变得异构而复杂,一个统一的资源池管理系统就变为了必需品。该阶段的资源池管理系统需具备管理混合环境的能力,能够做硬件的装配交付。例如,业务应用A需要2台VMware虚拟机预装Linux操作系统,需要2个IBM小型机分区预装AIX操作系统,它们需要都处于一个VLAN中,且两个小型机需要挂载存储卷,这样一套复杂环境可以由资源池管理系统自动装配并创建出来。同时,资源池管理系统需具备基于策略的资源弹性调度能力,以保证资源在运行态下的健壮性和最大化利用。同时,本阶段资源池的基础环境(机房、风、火、水、电等设施)也需要实现标准化,以便支撑标准化的硬件架构。站上第二个台阶的资源池,实现了全方面的硬件基础设施架构标准化、柔性和弹性,并在此基础上具备了交付各种各样硬件服务的能力。2.2.3平台软件的标准化阶段资源池成熟度模型第三阶段在第二阶段的基础上,增加了资源池管理系统对平台软件的安装与交付能力。这使得资源池管理系统能够做面向特定应用的软/硬件装配交付。援引上一节的例子,现在资源池管理系统可以为业务应用A交付2台VMware虚拟机预装Linux操作系统和WebLogic中间件,并将两个WebLogic配置为集群,同时交付2个IBM小型机分区预装AIX操作系统和Oracle数据库,并将Oracle数据库配置为RAC模式。软/硬件装配交付在硬件装配交付的基础上,进一步丰富了资源池能够提供的服务类型。本阶段的提升点虽然比较少,却是建立在企业级平台软件实现标准化的基础之上。平台软件的自动安装交付一般是基于脚本实现的,如果企业中的平台软件不标准(例如版本混乱),则很容易出现脚本泛滥以致最终无法管理的问题。可以说平台软件的标准化是迈向平台软件服务化的前提。本阶段是目前技术条件下,电力企业资源池大规模工程建设能够达到的最高级别。2.2.4软件池的可调度性资源池成熟度模型第四阶段在第三阶段的基础上,实现软件资源池化,增加了平台软件的柔性。在第三阶段中对于软件的交付基本还是基于自动化的安装脚本,软件池的核心则在于实现平台软件本身的可调度性。例如,一个数据库池可以为多个业务应用提供数据库服务,同时可以根据不同业务应用的负载情况和优先级自动再调整数据库资源在不同业务应用之间的配比,实现软件资源的“流动”。在软件池中,平台软件彻底实现了服务化,用户亦不再需要关心平台软件的安装配置、配置参数、调优、维护等细节问题,只需按需申请和使用平台软件服务即可。在本阶段,资源池已达到同时提供IaaS级服务和PaaS级服务的能力。2.2.5资源池和业务应用的标准化是资源调度的意识体现资源池成熟度模型第五阶段在第四阶段的基础上,通过业务应用标准化和丰富多样的调度策略的实现,真正实现软/硬件架构的弹性。资源弹性是一个容易理解但难以实现的概念。在大型资源池工程建设过程中,需要很长时间的资源池运行数据积累和大量的调优经验,才能真正实现有意义的资源弹性调度策略并应用于生产环境。同时,业务应用的标准化是实现资源在不同应用之间“流动”的重要前提,但大型企业中业务应用的标准化绝非一个简单的过程,通常在业务成熟度和技术成熟度都很高的行业案例中才能出现。在本阶段,资源池已经完全成熟,实现了全面的IT基础设施资源集约化管理,经济回报达到最大化;数据中心可基本做到“无人值守”,显著降低运行维护成本;IT基础设施架构可以快速适应业务的需求,推动业务加速创新,增强企业的核心竞争力。2.2.6源池架构的发展从资源池成熟度模型可知,资源池的概念既不等同于虚拟化也不等同于云计算。资源池以虚拟化技术为基础,但更重要的是实现基础架构、平台软件的全面柔性,是IT基础设施架构与使用模式的转型;资源池是云计算基础设施级服务(IaaS)、平台级服务(PaaS)的重要组成部分,但并不是云计算的全部。3性能测试结果云计算资源池为电力企业提供了灵活、高效的IT资源供给能力,其最终目标是为电力企业业务应用提供服务。因此,业务应用部署到云计算资源池(后简称应用入池)必须充分结合业务应用的特点,并考虑应用迁移可能带来的变更风险,对应用入池做充分的测试。测试针对二级部署的一体化缴费接入管理平台IPAPV1.047进行环境搭建,验证系统入池的可行性,测试系统在资源池中运行性能表现和稳定性。一体化缴费接入管理平台IPAPV1.047在VMware和华为虚拟化平台中环境搭建,性能测试选取异常查询和终端接入进行并发测试,稳定性选取终端接入进行测试。经测试,系统在VMware和华为虚拟化平台中,异常查询和终端接入并发测试事务平均响应时间均小于3s,成功率均为100%;终端接入稳定性测试,事务平均响应时间均小于3s,成功率均为100%。整个测试过程中,服务器CPU平均利用率小于60%,且连续30s不超过80%,服务器内存平均利用率小于75%,且连续60s内不超过80%,均满足性能技术指标要求,详见表1、表2