云计算的服务类型

云计算的服务类型

1面向云计算的网络化平台2007年10月，ibm发布了《云计算》这一系统的介绍。云计算技术的研究越来越成为学术界的研究热点。目前的云计算技术研究的现状呈现如下特点:(1)云计算中间层平台型服务的研究和实现相对较少。云计算包含三个层次的服务:由底层硬件或虚拟机资源构建的基础设施即服务(IaaS)、构建在云基础设施上,主要用来开发各种云计算应用软件平台即服务(PaaS)和基于云平台开发的各类应用服务的软件即服务(SaaS)。最有代表性的云系统中,AmazonEC2/S3主要提供IaaS,GoogleApps和LIVEMESH等则主要提供SaaS。(2)高性能计算机HPC(HighPerformanceComputer,简称HPC)是云计算基础设施的主要组成部分。当前很多云部署,都依靠由HPC组成的数据中心。系统级云计算研究开源测试平台OpenCirrus的基础设施就由多个分布在不同地理位置HPC数据中心构成。目前云系统很多以HPC为基础设施,但传统HPC使用方式下云向用户提供PaaS存在以下问题:①共享服务可能导致的低可用性。传统HPC采用共享服务模式,用户环境边界模糊,所有用户登录服务阵列后共享同一个配置和运行环境。不同用户的系统环境需求和操作之间可能存在冲突,从而降低服务阵列以致整个HPC系统的可用性。②缺乏友好、高效的应用开发环境。传统HPC用户通常使用命令行环境进行程序开发(如程序编辑、编译、调试等)。非Unix用户(尤其是Windows用户)不习惯使用命令行环境进行程序开发。③传统HPC虽然可以通过网络互联实现网格环境下的协同作业,但这种形式的协同主要是基础设施层计算、存储等资源的协同,缺乏对基于基础设施开发的不同功能独立平台以服务形式提供给用户的支持。针对上述问题,本文提出了面向云计算的网络化平台NPCC(NetworkingPlatformoverCloudComputing,简称NPCC)。NPCC的目标是为云用户更好地提供PaaS型服务,同时解决以HPC为基础设施的云计算用户运行环境模糊问题,支持不同云用户运行环境的安全隔离;解决用云户开发环境受限问题,向非Unix用户提供图形化云应用开发环境等。2云计算2.1云计算网格计算文献认为云计算用来同时描述一个系统平台或者一种类型的应用程序,一个云计算的平台按需进行动态地部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。文献对“云”的定义:并行和分布式系统的一种,包含一些互联的和虚拟化的计算机,这些计算机动态供应并被呈现为一个或多个统一的基于服务提供者和消费者之间协商的服务层协议的计算资源。云计算的特点主要体现在:按需采用“即用即付费”的方式分配计算、存储和带宽资源;动态扩展功能和部署新服务的高可扩展性;各类资源的高利用率等。同时云计算集成了多种计算范例的特性:分布式计算中任务分解、分别执行、结果汇总的计算模式;网格计算中将地理上分布、系统异构的多种计算资源互连协同解决大型应用问题的作业模式;对等计算中计算资源的组织和发现方式;公用计算中将聚合计算资源封装成公共服务的资源高用率使用模式;虚拟计算环境iVCE下用户将富余资源按需聚合和自主协同的思想。2.2云计算的实现基础云计算中比较有代表性的三种体系结构,分别是面向市场的云体系、Eucalyptus和云本体五层体系。面向市场的云体系下云用户向云服务提供方提出各种不同服务质量(QoS)的服务需求,云服务提供方在与用户进行SLA协商后向用户提供满足QoS需求的服务。面向市场的云体系在资源分配中引入了用户服务请求检测、价格审计、虚拟机监控和任务执行情况监控等加强机制。Eucalyptus是一个在集群上实现云计算的开源软件基础设施,其接口与Amazon的EC2接口兼容并支持多客户端。从体系结构来看,Eucalyptus的运行主要依靠三个控制器:(1)云控制器,负责调度集群中物理结点的计算资源、存储资源和带宽资源满足用户需求;(2)集群控制器,负责收集所有结点控制器的状态信息,调度结点控制器满足计算对虚拟机实例请求;(3)结点控制器是运行在物理资源上的构件,负责物理资源上的虚拟机实例的启动,管理和清理等。文献提出了云计算领域的云本体,并将其分为相互依赖的五层:硬件层、软件内核、云软件基础设施、云软件环境和云应用。其五层体系如图1所示。云应用层是用户访问云付费服务的WEB入口。云软件环境层(软件平台层)是云应用服务提供方在云中部署或开发软件的环境。云软件基础设施层为云软件环境层和云用户层提供基础性资源,这些资源可用于构建新的云软件环境或云应用。从云计算概念和典型体系结构可以看出,通过HPC构建基础设施的云计算,有如下两个特性使高性能计算环境有了向NPCC演化的需求:(1)云计算有提供PaaS的需求,而传统HPC使用方式对PaaS支持不足。(2)云计算提高了计算结点的利用率,而过去受需求的限制总利用率并不高。然而随着传统HPC在云计算环境中的大量应用,传统的高性能计算环境成了HPC实现提供平台型服务和提高计算结点利用率的制约。这在一定程度上决定了高性能计算环境的演化方向:具有适合云计算开发各类应用的高通用性网络化平台环境。3云计算的hpc平台架构我们将面向云计算的HPC体系分为四层:HPC云硬件层、HPC抽象虚拟机器层、基于HPC的NPCC和基于HPC的云应用。如图2所示,在面向云计算的HPC体系中,NPCC基于HPC的云应用层之下,对应于云计算三层体系中的平台即服务(PaaS)层。NPCC是部署在HPC后端物理服务器簇或通过虚拟化技术抽象封装的统一虚拟机网络之上,符合WEB2.0规范(B/S模式)的网络化平台环境。目的是为应用服务提供者提供应用服务开发平台;提供高效的远程在线程序开发环境(编程、编译、调试和性能分析等),并通过高性能虚拟化域技术为用户提供可定制的独立运行环境等。3.1产品体系NPCC体系结构可划分为基础设施层、平台环境层和应用环境层。NPCC的结构如图3所示。下面将分别介绍NPCC体系中各层的构成和功能。3.2云计算和hpc基础设施的组成NPCC基础设施包括构建在硬件或虚拟机资源之上的操作系统,高性能虚拟域HPVZ(HighPerformanceVirtualZone,简称HPVZ)和并行工作负载调度三个部分。硬件、虚拟化资源和操作系统是云计算基础设施和HPC基础设施中共性的部分也是最基础性的部分。我们重点介绍高性能虚拟域和并行工作负载调度系统。(1)虚拟计算域的使用传统HPC使用共享服务模式,无法适应网络化云计算环境的需求。HPVZ是基于低开销的操作系统层虚拟化技术实现的可定制虚拟用户运行环境。如图4所示,HPVZ由服务结点虚拟计算域、计算结点高性能计算域和面向虚拟化的作业管理三个部分组成。服务结点的虚拟计算域向用户提供了可定制的独立登录环境,用户可以根据自己的需求配置虚拟计算域,完成编程、编译和调试和提交作业的功能。面向虚拟域的作业管理系统负责管理系统资源,它根据用户提交任务的规模和服务质量需求分配计算资源和动态构建高性能计算域。计算结点的高性能计算域具有同前端服务结点的虚拟计算域相同的文件目录视图,并提供了服务质量保证和文件隔离等功能,支持高性能计算服务。HPVZ向用户提供可定制虚拟运行环境,支持用户对HPC计算环境的分区化使用,改变了传统HPC的共享使用方式,实现了信息安全、环境隔离等功能。(2)资源调度和业务运营并行工作负载调度系统由资源管理系统扩展而来,提供了多种模式的系统资源分配和调度,能够根据用户应用的特点、计算资源需求和当前系统的可用资源灵活地分配和调度任务。网络化云计算环境中用户的使用方式和应用模式复杂多样,每个作业要求的资源和服务需求也互不相同,传统的调度策略已不能适应快速增长的多种类型应用需求。为了提高资源管理的有效性和高效性,系统采用多目标协同的并行工作负载调度策略。调度系统设定由诸多可配置因素组成的多目标综合优先级规则,并基于不同目标因素的综合权重动态计算出队列中各作业的优先级。3.3服务代理层如图3所示,NPCC平台环境由应用服务层和服务代理层组成。NPCC平台将被作为平台型服务提供给用户,即将HPC应用和系统软件以服务的方式提供给用户,支持基于NPCC平台的各种远程应用的开发。支持远程开发的应用服务主要包括远程系统探测服务、编译服务、调试服务以及程序加载服务等。其中远程探测服务为交互式发现、操作、分析远程系统和开发更高级的操作提供了上下文环境。它在当前用户环境中创建子系统,在子系统下整合所有远程异构的资源。基本的工具包括远程文件系统,过程子系统和轻量级终端等。用户在进行远程存储,搜索,连接远程资源管理器,提交作业等操作时离不开远程探测系统所提供的连接等各类服务。对于程序加载服务,用户开发的应用程序通过程序加载服务,将所要运行的任务提交给远程的计算结点。在提交的时候用户声明自己对计算能力的需求,如果当前监控下的计算资源能满足所加载程序的需求,则按需分配计算资源给用户;否则,挂起等待计算资源。服务代理层通过对HPC各类应用服务的抽象,向用户提供了统一的与NPCC平台环境交互的抽象接口。同时服务代理还为NPCC应用服务层提供了同HPC并行工作负载调度的交互和连接接口,为实现系统资源的最优化利用提供了动态和多目标协同调度。3.4强调配置应用,提供远程虚拟终端NPCC的目标是为网络化云计算环境的用户提供操作方便、易用性好图形化云应用开发平台。作为访问NPCC应用环境主要组成的远程虚拟终端给用户提供了一个图形化集成开发环境。它借助服务代理调用远程HPC的应用服务(编译、调试等),在统一图形用户界面下支持程序编辑、编译、调试和作业加载全过程。远程虚拟终端提供丰富的用户界面,包括支持程序源级可视化调试的调试视图,查看系统资源、作业状态的监控视图等,有助于提高用户的程序开发效率。图5从NPCC终端用户使用远程虚拟终端进行各种云应用程序开发的角度,侧面显示了NPCC系统实现的部分效果。下面以“远程开发云应用程序流程”为实例说明云用户使用NPCC重要环节的操作。(1)合理配置置石机设备,单采单次使用,2.图5a是NPCC为用户提供远程探测服务的配置。用户通过远程虚拟终端定制基于HPVZ独立运行环境的远程探测服务,这是远程开发、编译和程序加载等的基础。(2)计算机病件运行动态图5b是基于远程探测提供的ssh连接服务监控远程计算资源的视图,资源分几种状态:Unkown、Up、Down、Allocated。图5b中显示的是4个Allocated状态的计算结点。同时还提供了对所加载程序(作业)运行情况的监控。图5b中包括两个运行态作业job;三个取消状态作业job;超时态作业job1160、等待状态作业job1167和运行终止状态作业job1159各一个。(3)应用程序代码图5c是云应用程序开发的基本配置图,此处指定应用程序的类型,存储位置等并在此基础上编写应用程序代码。目前NPCC主要支持对C/C++/Fortran语言类应用程序的开发。(4)数据分析服务在图5d中,首先指定NPCC应用程序的编译服务和程序分析服务等。然后根据图5b中资源的可用情况等,配置加载应用程序(作业)的各项参数,包括配置资源管理器、作业进程数、运行时间上限、执行文件路径和可扩展调试器等参数4cc的优点云计算在学术界受到广泛关注,HPC目前是云的主要计算基础设施之一。针对目前云平台服务(PaaS)存在的问题,本文提出了面向云计算的网络化平台,并对其进行了设计实现。N