云计算技术在石油勘探领域中的研究与实践

1、云计算技术在石油勘探领域中的研究与实践张天雷 徐飞汀(中国石油化工股份有限公司石油勘探开发研究院信息技术研究所,北京100083摘 要:论文分析了在石油勘探领域中构建云计算环境的必要性,结合核心业务性质,指出云计算的工作原理、关键技术和应用价值,对云计算中所涉及到的虚拟化及资源整合、协同工作平台、远程应用技术进行了深入的探讨。文章对本领域中云计算技术的研究和发展具有一定的参考意义。关键词:云计算; 石油勘探; 虚拟化; 协同工作平台; 远程应用技术中图分类号:TP319 文献标识码:A1 引言1现代化的油气勘探开发需要依托先进的信息技术来进行有力支撑,高性能计算集群、三维可视化图形工作站、海量

2、的数据存储设备以及功能各异的专业应用软件可以为更加精准的储量预测、更加高效的综合决策提供坚实的技术保障。近年来,随着全球油气资源的日益紧张以及各个产业对石油资源的巨大需求,各石油公司对上游勘探开发的力度逐步扩大,随之而来的就是生产设备的快速膨胀和各类应用的大量部署。但是由于前期缺少对资源部署的统一规划,单台集群或服务器等计算设备都是配置独立的应用软件,各设备之间不能充分的共享资源;而且,计算资源和存储资源大都是异构设备,不同品牌和架构之间难以进行有效的整合与扩展,造成资源浪费、管理困难、运维成本高昂等种种弊端;同时,业务的急速扩张使得异地及海外的科研人员越来越多,本地应用模式已经不能满足生产的

3、要求。如何让现有资源充分的利用起来,通过自动化的管理,供本地及异地人员无障碍的使用,是当前亟待解决的问题,否则必将严重影响科研项目的进展以及核心业务的长远发展。为了解决这一问题,我们做了很多积极的尝试。如利用SAN构建共享存储架构、建立集群统一作业管理系统、创建资源管理平台等等。这些技术在一定程度上缓解了资源利用率低、管理维护复杂等问题,但要想实现资源的全面共享,更加高效便捷的利用各类资源、随时随地进行异构设备的扩充与部署,还需要依托先进的云计算技术。2 云计算技术定义及实现机制维基百科(W在2010年给出最新的云计算定义是:一种基于互联网的计算新方式,通过互联网上异构

4、、自治的服务为个人和企业用户提供按需即取的计算。云计算的资源通过互联网提供,并具有动态、易扩展和虚拟化的特征。“云”是一些可以自我维护和管理的虚拟计算资源,通常为一些大型服务器集群,包括计算服务器、存储服务器、宽带资源等等。在该环境中,将计算任务分布在这些由大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算能力、存储空间和各种软件服务1。概括来说,云计算有下述几方面的优势:一、在商业需求上,能够降低IT成本、简化IT管理和快速响应市场变化;二、在运营需求上,能够规范流程、降低成本、节约能源;三、在计算需求上,能够执行更大的数据量、容纳更多的用户;四、在技术进步角度来说,能够促进虚拟化

5、、多核、自动化以及Web技术的快速发展。云计算按照服务类型可分为IaaS(基础设施即服务、PaaS(平台即服务和SaaS(软件即服务三类2。根据这三种分类,不同厂家又提供了不同的解决方案,但还没有形成统一的技术体系架构。目前一个1作者简介:张天雷(1982,男,河南省驻马店人,硕士,工程师,CCF会员,主要研究领域为:高性能计算体系结构;徐飞汀(1982,男,硕士,工程师,主要研究领域为:计算机网络。普遍比较认可的架构如图1所示。该体系架构将云计算技术分为4层:物理资源层、资源池层、管理中间件层和面向服务架构(SOA的构建层。 图1 云计算体系结构物理资源层包括计算机、存储器、网络设施、数据库

6、和软件;资源池层是将大量相同类型的资源构成同构或接近同构的资源池,如计算资源池、存储资源池等。构建资源池主要是物理资源的集成和管理工作;管理中间件负责对“云”的资源进行管理,并对众多应用任务进行调度。可以将其看作一个协同工作平台,通过用户管理、资源管理、任务管理等方式,使资源能够高效、安全地为用户提供服务;SOA构建层将云计算能力封装成标准的Web Services服务,并纳入到SOA体系进行管理和使用,包括服务注册、查找、访问和构建服务工作流等。基于上述介绍的体系结构,以IaaS类型的云计算为例,其实现机制如图2所示。 图2 云计算实现机制图中计算/存储资源可视为已通过虚拟化整合后纳入“云”

7、中的资源池;用户交互接口以Web Services 方式获取用户需求,用户可以通过各类终端如台式机、笔记本、手机等进行访问;服务目录是用户可以访问的服务清单;系统管理负责管理和分配所有可用的资源,其核心是负载均衡;配置工具负责在可分配的各类资源上部署任务运行环境;监视统计负责监视资源的运行状态,并对用户使用节点的情况进行统计。具体执行过程为:使用人员通过用户交互接口从目录中选取并调用一个服务,当请求传递给系统管理模块后,即为用户分配所需的资源,同时调用配置工具为用户准备运行环境。在资源的使用过程中,监视统计模块将随时记录资源的占用情况并形成报表。云计算按照其功能的不同可以分为私有云、公共云以及

8、混合云。根据石油勘探开发核心业务的实际情况和需求,应建立以狭义云计算为基础的企业私有云。与公共云计算服务相比,私有云是以一种渐进的、非破坏性的方式提供云计算。通过虚拟化技术的采用,企业可以对大型基础架构资源池实现聚合和全面管理,使其成为一种无缝、灵活、动态的操作环境。以我院为例,构建石油勘探企业云计算系统,则该“云”不仅涵盖所有计算结点、服务器以及庞大的存储资源,还容纳全部主流应用软件,能够为企业中各类用户提供地震资料处理、综合解释、储层预测、油藏数值模拟、井轨迹设计、地质综合研究等所有勘探开发核心业务的计算服务。3 云计算关键技术及实现方式针对石油勘探领域的业务特点和企业目前存在的问题,构建

9、的云计算环境必须要满足以下几个方面的需求:一、应用资源分配上,从购置服务器,为每个应用单独部署服务器的模式改为从统一资源池中分配虚拟资源给应用的模式;二、应用运行环境上,从物理机的方式改为虚拟化的集成环境;三、项目运行流程上,从手动进行改为通过自服务界面自动化完成;四、资源使用上,实现从本地应用模式到远程应用模式的转变;五、应用监控上,从为每个应用部署一套监控系统改为采用统一监控系统的模式。虚拟化是云计算一个重要的特征。虚拟化技术能够动态组织多种计算资源,隔离具体的硬件体系结构和软件系统之间的紧密依赖关系,实现透明化的可伸缩计算系统架构,灵活地构建满足多种应用需求的计算环境,提高计算资源的使用

10、效率,发挥计算资源的聚合效能,为用户提供个性化和普适化的计算资源使用环境。硬件虚拟化后,每一个应用部署的环境和物理平台都没有直接关系,而是通过虚拟平台进行管理、扩展、迁移和备份3,4。虚拟化技术打破了物理结构之间的壁垒,是实现物理资源转变为逻辑可管理资源的重要手段。在云计算环境中,所有的资源都透明地运行在各种物理平台上,资源的管理都将按逻辑方式进行,完全实现资源的自动化分配。虚拟化包括系统虚拟化、存储虚拟化以及网络虚拟化等,这里着重探讨的是系统虚拟化技术。系统虚拟化5是通过软硬件划分、分时服务、服务质量保证及模拟与仿真执行等技术,允许在同一个硬件平台上虚拟出多个互不相干的硬件执行环境,这样的虚

11、拟环境又称为虚拟机。虚拟机是一类特殊的软件,能够完全模拟硬件的执行,运行不经修改的完整的操作系统,保留一整套运行环境语义。通过虚拟机的方式,云计算的管理平台能够动态地将计算平台定位到所需要的物理节点上6,7,而无须停止运行在虚拟机平台上的应用程序,进程迁移方法更加灵活。同时通过虚拟机在不同物理节点上的动态迁移,能够获得与应用无关的负载平衡性能。系统级虚拟化技术主要侧重于“分”的问题,即如何在一个物理执行环境上虚拟出多个与原有硬件系统相似或相近的执行环境,如VMware和Xen就是这样的例子。系统级多机虚拟化技术则采用的是“合”的思想,即将多个物理执行环境的资源整合为单个计算能力更强的计算环境,

12、从而满足上层应用对硬件资源的大量需求。目前我院在系统级虚拟化方面已经取得了很大的进展,对部分高性能及频繁访问的服务器及工作站安装了VMware等虚拟化工具,将不同应用部署到同一个物理设备上的不同虚拟系统,有效整合了物理资源和系统资源,提高了资源利用率。对于系统级多机虚拟化,目前只是将多个虚拟机聚集在一起,实现虚拟机在多机环境下的直接应用,在此之上完成中央控制的管理,还没有达到有机整合的要求。因此,应当在此基础上继续研究将虚拟机和虚拟网络以及虚拟化存储8整合在一起,形成一个让用户能够动态构建虚拟运行环境的多机系统管理模式,并实现分布式共享存储模型,从而进一步实现计算资源、网络资源和存储资源的虚拟

13、与整合9,克服现有多机整合的性能瓶颈,使得虚拟机管理器和操作系统相互配合,达到高效透明的目的。协同工作平台是云计算系统中基于虚拟化后的上层应用,主要负责资源管理、任务管理、用户管理、项目管理和安全管理等工作。利用此平台,可将现有资源的使用情况、运行状态、配置信息等集中展现,并能对工作流程进行电子化管理,使各类用户能够在统一界面中进行不同工作的协同研究与操作,为研究人员和系统管理员提供了一个统一、高效、安全、可靠的高性能计算环境和管理方式。协同工作平台中,资源管理负责均衡地使用云资源节点,检测节点的故障并对资源的使用情况进行监视统计;任务管理负责执行用户或应用提交的任务,包括完成用户任务映象的部

14、署和管理、任务调度、任务执行、任务生命期管理等;用户管理包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等;安全管理保障云计算设施的整体安全,包括身份认证、访问授权、综合防护和安全审计等。协同工作平台一个重要的功能是建立项目流程化管理机制。在石油勘探中,地震资料处理工作需要占用大量的计算资源和存储资源,传统的资源分配和项目管理方式往往造成资源申请和释放困难、存储挂接复杂、项目跟踪滞后等问题,而通过协同工作平台,可以将系统内所有硬件资源和软件资源都进行集中展示,用户根据自己的项目需求来申请资源。系统管理员审核后,分配给该用户一定的权限和相应的软、硬件资源,用

15、户获得资源便可进行实际应用。这一流程将完全实现电子化操作,分配资源的动作也将通过后台的脚本实现自动化完成,免去了一系列与具体资源交互的工作。在分配资源的同时,系统管理员可以根据项目预定启动和终止时间建立一个项目计划表,在项目进行期间,管理员和项目成员可以根据该表动态地调整项目的进度。当到预定终止时间时,系统会发给项目长一个消息,通知其尽快清理占用的存储空间及停止对各项资源的使用,确保其它项目顺利进行。在整个操作流程中,“云”中的资源对用户来说完全透明,用户不用关注具体的资源部署方式或是资源占用情况,只需根据项目需求进行申请即可获得相应资源,使用完毕即可立即回收,实现动态分配、实时监控的现代化管

16、理手段。远程应用技术是构建云计算环境中桌面云系统的先决条件。利用远程应用技术,将应用集中部署在企业云内,用户不受位置和距离的限制,随时随地可以访问各类资源。系统管理人员只需要管理和维护应用服务端就可以解决大多数问题,缩短了故障的响应时间,提高了运维的效率。同时,远程应用技术通过图像压缩、图形渲染等手段使得传输的画质不受距离的影响,保障了科研工作的需求。通过远程应用技术还能够使多个用户同时访问同一个应用服务端,实现不同地理位置的协同工作,极大地提高了资源的利用率,增加了工作的灵活性。通过对国内外相关技术的跟踪与调研,结合石油勘探开发业务的实际情况、网络技术的发展及高速的网络基础,我们采取了软、硬

17、件结合的“瘦客户机”+“胖应用”模式作为远程应用方式10。在这种模式下,用户客户端变为一种虚拟的桌面环境,系统管理人员不需要为用户分配固定的个人桌面,任一个终端都可以供其使用和操作。“瘦客户机”(Thin client又可称作NC(Network Computer,指专用在网络计算环境下,依靠服务器获得所需要的网络资源。它本身是一种体积小的固化设备,没有硬盘存储单元,没有复杂的图像管理,通过“显示器+键盘+鼠标”即可将网络服务器上的应用远程展现,可视为是所连接的各类工作站、服务器和高性能计算集群的延伸。“胖应用”(Thick application可视为系统内各类应用软件资源的总成,大量的应用

18、是在服务器上运行的,而且所有数据共享,用户通过网络调用服务器上的应用程序、图形数据及其他共享资源。我们在该应用模式下,结合具体的工作特性,对系统平台的搭建和远程实施过程进行了大量的摸索和系统测试,确立了适合其发挥最佳性能的配置和架构,并部署了相关的专业软件和系统工具,为远程应用提供了一个理想的工作平台。“瘦客户机”+“胖应用”技术不仅能够满足远程可视化应用的要求,同时由于客户端使用身份识别卡进行操作,从而增加了访问的安全性。用户可以方便地登录远程应用系统来调用企业云中的各类资源,系统管理员也能从客户端桌面系统维护的重担中解放出来,实现了调用共享资源的移动办公模式并提高了资源使用效率。4 云计算

19、应用价值构建支持勘探开发核心业务的云计算系统,必将对石油产业上游核心业务的应用、工作方式乃至组织机构带来深刻和全新的变化。一、石油勘探开发战略的重要支撑。在世界各国对石油资源激烈争夺的背景下,需要有强大的技术支撑和服务保障来实现油气勘探战略。在开拓海外市场的进程中,云计算系统可以为分布在世界各个区域的工作人员提供便捷高效的计算服务,为开拓海外市场提供充分的技术保障。二、节约成本、降低开支。云计算中IT运维服务把数据乃至应用程序全部集中到云端,也就是数据中心的服务器上。这意味着大量在本地的运维工作将转移到云服务器端,运维的总体工作量大大减少,运维成本也就大幅降低。三、资源优化和长期收益。云计算系

20、统能够最大限度地利用服务器、存储和网络资源,提高30%-40%的资源利用率;能够通过动态的容量配置和故障恢复能力为系统提供更好的弹性。长期来看,能够有效的降低成本,提高收益,实现巨大的经济效益。四、灵活性及可扩展性。利用云计算系统可以轻松地扩展整个企业的虚拟环境,虚拟基础设施可以提供更大的带宽、存储资源、计算资源和应用软件。通过一个面向未来的平台支持现有和未来的应用,无需重新写入或修改运行中的云,从而获得更大的灵活性。五、绿色环保,符合低碳理念。云计算可以在不同的应用程序之间虚拟化和共享资源,以提高服务器的利用率。多个操作系统和应用程序之间可以共享服务器,从而减少了服务器的数量。更少的服务器意味着需要更少的空间、更少的运维费用、更少的电能和更少的污染,因此节约了成本,节约了能源,可称之为绿色的IT技术。六、优化采购策略。云计算带来的集中硬件基础设施和集中管理软件及数据会推进企业集中的采购策略。这种采购策略的变化会带来更低的软硬件拥有成本,尤其又以硬件拥有成本为最大变化。在节约成本的同时,对于后期的硬件运行维护成本也有所降低。5 结束语目前,云计算系统正在我院组织实施并进行相关的测试与研究。通过云计