石油地震数据中心转向绿色

1、石油地震数据中心转向绿色绿色计算对高性能计算在节能降耗方面提出了挑战， 可因势利导采取改进传统机房、建立超小中心、高性能计算 桌面化等方案。绿色计算是高性能计算在节能降耗方面向传统计算中 心模式提出的新挑战，是高性能计算产业发展的趋势。回顾 高性能计算的发展历程，从大型机、并行机到今天的大规模 PC集群以及热门的云计算，专用机房、供配电、制冷等技 术也随之不断地变化，各个厂商已把节能降耗作为公司产品 发展的目标。绿色计算科技正在成为当今社会的共识。石油地震数据处理中心对高性能计算的依赖犹如鱼之 于水，在全球高性能计算领域占据重要地位。据世界高性能 计算组织Top500在2007年11月统计，地

2、球物理领域占高 性能计算应用的8.6%。2008年中国高性能计算组织Top100 分析报告显示地球物理应用的装机量占35%。可是，世界绿 色计算组织Green500在2007年的前10名排名中居然没有地 球物理领域的席位。面向地球物理应用的石油地震数据处理中心高性能计 算平台以IA架构的PC集群居多，仍然在沿用专用机房、集 中式UPS供配电、集中式制冷的传统模式。PC集群的直接 耗电、供配电及制冷耗电及机房运行成本随着集群规模的扩 大而直线上升，整体运行成本的投入几乎抵消了高性能计算 的优越性，高能耗因素在以PC集群为平台的高性能计算方 面已表现出限制性作用。新技术的应用进一步推动高性能计算在

3、石油地震数据 处理领域快速发展。高性能计算使地球物理专家期望的三维 叠前时间/深度偏移处理成为现实。地球物理算法，如弯曲射 线追踪、炮域波动方程等地震处理技术的进步和全面应用， 极大程度地提高了复杂地区的地震资料成像品质。伴随着对 高性能计算需求与传统处理中心模式的局限性，绿色计算在 石油地震数据处理中心的应用将是根本解决之道。本文将围 绕石油地震数据处理中心绿色计算进行多方面的探讨。传统数据处理中心的不足IA架构的PC集群在石油地震数据处理中心的应用已有 十年之久，但支撑其运行的环境则是20年前大型机系统运 行的传统环境。大型机运行环境具有以下特点：大型机各组成部件在机房物理位置的分布特点决

4、定 了机房供配电和制冷以整体为目标。集中式UPS不仅UPS主机自身耗电大，且后备电池 组占据较大物理空间。大型机机柜的制冷通道是垂直方向自下而上地下送 风上出风，集中式机房专用制冷空调的制冷效果较均匀地分 布在机房整体空间（机房地板与天花板之间的机房空间）。 对于发热量较集中的CPU机柜、存储机柜等主机柜则采用封 闭冰柜式独立制冷方式，制冷冷媒多以柜内氟利昂、柜外水 循环完成热交换。负荷与机房供配电和制冷无联动机制。即机房供配电 和制冷对大型机运行负荷的变化不敏感。传统大型机机房在制冷设计上充分考虑各设备运行负 荷，针对主机等高负荷高热源采取局部高热，局部处理，对 其他机柜则机房整体制冷。整体

5、结合局部的制冷使这类机房 的制冷效果达到最佳状态。这是传统大型机机房在节能降耗 方面的最大特点（见图1）。PC集群的优势PC集群应用起步阶段，几乎沿用传统大型机机房运行 模式（见图2）。随着PC集群在石油地震数据处理的规模扩 充，高电耗成为一道门槛。其中主要原因是人们所得到的PC 集群电耗与传统机房设计的不匹配所致。PC集群与传统大型机在运行环境方面有以下不同点:机房整体空间方面：顾名思义，PC集群是以IA架构为 主体的PC服务器群，它承袭了 PC服务器机柜在水平方向的 前进风后出风的风冷通道。目前，大多数PC集群厂家的产 品采用这种风冷方式（只有少数厂家产品采用下送风上出风 方式），机房整体

6、制冷效率大打折扣。垂直散热的大型机机 柜放置在垂直制冷的机房内，机房空调运行在70%负荷时可 保证大型机机柜内正常工作温度，机房整体空间制冷较均 匀。把水平散热的PC集群运行在垂直制冷的传统机房，冷 风通道与散热通道呈垂直交叉，PC集群机柜内工作温度与 机房整体温度出现了一个难以平衡的问题，即若保证机柜正 常工作温度，则机房空调不仅要满负荷运行，还要增加空调 设备，确保机房整体空间有充足的冷风从水平方向进入PC 集群机柜散热，导致机房整体制冷浪费。机柜局部散热:PC集群高热源集中在高运行负荷的计算 节点密集的机柜内。计算节点机柜耗电约占机房整体耗电的 80%，并且热源集中在机柜附近（见图3）。

7、在传统大型机机 房设计上采取局部独立制冷方法解决这样的局部高热源，但 目前大多数石油地震数据处理中心未采用局部独立制冷与 机房整体制冷相结合的方法，不计成本地向机房空间提供冷 风造成机房空间制冷分布不均匀，不仅制冷效果低，还增加 了空调电耗。绿色计算方案经过上述分析，结合目前石油地震数据处理中心的运行 模式，将绿色计算引入石油地震数据处理领域已迫在眉睫。 对于已投入运行或正在立项设计的数据处理中心，实现绿色 计算的方式虽有差异，但以节能降耗为目标，整体和局部相 结合，分布式制冷和分布式UPS并用是指导思路。改进传统机房既然传统大型机机房环境不适应PC集群的制冷和供配 电，对机房的改进是首选方案

8、（见图4）。传统机房改进设计 时应考虑以下因素。保留整体和局部相结合思路，对高负荷高热源的计算节 点机柜采用封闭式冰柜独立制冷、散热。由于消除了局部高 热源，机房整体制冷负荷大幅降低，即便是机房专用空调的 配置数量保留在最低限度，也能保证制冷分布较均匀。取消集中式UPS供电方式，引入模块化分布式UPS。 根据各机柜负荷，一个分布式UPS可提供48个机柜（或 封闭式冰柜）。这个方案的优点是：处理能力扩充使计算节点 机柜增加，UPS可随负荷灵活扩充。取消集中式UPS及后备 电池机房，回收机房外宝贵空间供再利用。UPS及电池的总 重量随分布式UPS分散在机房内，不影响机房承重。以机房计算负荷为焦点，

9、构建集中监控平台，达到计算 负荷与制冷、供配电的联动目的。传统机房改进涉及供配电线路改造、封闭式冰柜室外机 场地施工以及分布式UPS和封闭式冰柜的资金投入较大，但 这种资金投入对今后石油地震数据处理中心走向绿色计算 来说是物有所值的。超小计算中心(Mini-Center)超小计算中心是国际大型数据处理中心为达到节能降 耗建造的机房。通常是将PC集群所涉及的各类设备定制在 一个或多个集装箱内。与常规机房相比，集装箱机房有以下特点：尽管物理空间大幅压缩到一个标准集装箱，“麻雀虽 小，五脏俱全”，常规机房里里外外所有功能囊括其中，其 计算能力不能以一个集装箱空间来描述。对物理环境要求低，可选择室外放

10、置运行，实现移动 计算。可完全回收室内建筑的常规计算机机房、空调、UPS 等空间资源再利用。计算、存储、交换机、供配电、制冷一体化定制，集 中监控能力强。集装箱机房还具有投资少，高环保质量等特点，是绿色 计算的典范，也是石油地震数据处理中心的选择之一。高性能计算桌面化高性能计算桌面化在20年前是个梦。现在，梦想成真 已不再是天方夜谭。实现高性能计算桌面化，以下计算机技 术的快速发展是基础。CPU:以IA为架构的PC集群多以Intel和AMD CPU作 为计算节点处理器。目前，多核工艺向包括高性能计算在内 的领域提供双核、四核、八核等处理器。这就意味着在相同 数据处理能力前提下，采用多核CPU可

11、降低PC集群对机房 的空间占有，耗能也会随之有所下降。纳米核工艺使一个物 理封装的CPU可达641024核。配有这种CPU的一台桌面 工作站可承担相同计算能力的传统PC集群的高性能计算工 作。GPGPU:以CISC （复杂指令集）为结构 的CPU在相同数量晶体管的情况下，大量的晶体管用做 Cache、逻辑控制单元（Control），只有少量的用做ALU计 算单元。GPGPU让更多的晶体管用做计算单元，只有少量 品体管用做了 Cache和逻辑控制单元。GPGPU的优势在于 其并行计算体系机构。nVidia GeForce8800 GTX GPU中，有 128个StreamMultiProcess

12、or，可同时并发上万个线程。在优 化GPGPU编程应用方面，连片三维叠前时间偏移、波动方 程叠前偏移程序在GPU速度上达到单个CPU的815倍。 这点对石油地震数据处理中消耗计算资源的地球物理算法 尤其有优势。GPGPU在高性能计算领域应用发展刚刚起步，GPGPU作为独立运行单元的能力（如输入输出、用户操作 界面等）还相对薄弱。GPGPU+CPU是目前研究的一个组合， GPGPU承担大量的并行运算，CPU则负责处理非运算的工 作，各负其责，优势互补GPU集群（GPU Cluster）的问世 正是这种模式的优化应用。SSD固态盘应用：节能降耗方面:SSD与传统硬盘最大区别在于它没有 机械结构，具

13、有功耗低、噪音低、防震动、稳定性高、可低 温运作等优势。SSD取代传统机械式磁盘应用在计算节点不 仅节能还延长了计算节点存储寿命。数据交换方面：从三维叠前偏移计算方法讲，当大块 数据通过高速网络及并行分布式存储分配到各计算节点内， 这些被切为“碎片”的数据暂存在传统机械式磁盘中。CPU 通过内存将磁盘的数据调入CPU计算，此时的磁盘具有两个 重要的功能：作为内存数据交换虚拟区（Swap）和作为临时 数据的存储（Scratch）。Swap分区能够作为“虚拟”的内存, 但由于机械式磁盘的物理局限性，其速度比物理内存要慢得 多。在数据处理过程中，物理内存不够时，就会把暂时不用 的数据写到Scratc

14、h分区，到用时再读取出来。因此，Scratch 的读写速度会影响计算节点的运算速度。Swap和Scratch在 高性能计算中的重要性仅次于内存，而传统的结构是采用机 械式磁盘来构建Swap和Scratch，其速度和安全性自然低很 多。SSD应用在PC集群的切入点是取代计算节点中的传统 机械式磁盘。综上所述，高性能计算在石油地震数据处理的绿色应用 可因势利导采取改进传统机房、建立超小中心、高性能计算 桌面化等方案。比较而言，高性能计算桌面化将高性能计算 从高耗能的机房中“拖”出来，将强大的计算能力展现在地 球物理专家们的工作台上，这标志着绿色计算应用的革命。 高性能计算桌面化对石油地震数据处理中

15、心机房存在必要 性提出了挑战。高性能计算桌面化带给石油地震数据处理中 心的计算环境将是绿色的。链接新疆石油地物所对服务器的要求新疆油田公司勘探开发研究院地球物理研究所（以下简 称新疆石油地物所），位于乌鲁木齐，是集石油地震勘探数 据处理、资料解释及地质综合研究和计算机软件开发为一体 的高科技单位。2006年中油股份公司为改善勘探环境，对新 疆油田PC集群地震处理系统进行了扩充。目前该所已拥有 1000多个计算节点1900多个CPU的PC集群地震处理系统、 56个CPU的SGI Origin 2000并行计算机系统、200多套高 性能图形工作站，数据存储系统总容量达到了 180TB。多台 万兆高

16、效交换机进行互联，使新疆油田公司物探技术水平持 续保持在世界领先水平。被称为中国西北地区最具影响力的 地震资料处理解释中心。新疆石油地物所肩负的石油勘探地震资料处理工作的 主要原理是，通过人工的方式产生地震信号（放炮），然后 将地下地质的地震信号，通过地面感应器提取后，利用大型 计算机或机群（Cluster）（包括刀片服务器集群和普通服务器 集群）通过专业的 Paradigm epos 3 .0、CGG geocluster 4.1 等多套处理软件系统和一套完整的叠前时间、深度偏移系 统，进行资料的处理工作，形成地下的构造以及成像，从而 掌握地下的油气构造，为石油钻井提供更加可靠的勘探数 据。应用服务器管理方面，具体的特点有几个方面：大量 勘探地震资料处理系