GPU操作手册范本

1、GPUCPU协同并行计算非对称走时叠前时间偏移处理系统TheAsymmetricTravel-timePre-StackTimeMigrationSystem(ATPSTM)byGPUCPUCo-ProcessingParallelComputing（CPPC）用户手册USERSMANUAL（因软件升级，请选择相应版本使用）吉星吉达科技BeijingGeo-StarScience&TechnicalLtd.2009年8月页脚GPUCPU协同并行计算（CPPC）非对称走时叠前时间偏移处理系统(ATPSTM)使用手册（试行版）容导航1.编者前言-3-2.系统综述-4-2.1GPUCPU协同并行计算

2、机的构成-4-1)GPU的发展历程-5-2)GPU与传统CPU的主要区别-5-3)GPU的优势-6-2.2协同并行计算（CPPC）的概念-7-2.3软件开发平台-7-2.4CUDA介绍-8-3安装与启动-9-3.1运行环境-9-3.2系统安装-11-3.3交互作业界面的启动-11-4使用说明-12-4.1工区的建立-12-4.2数据格式说明-13-4.3处理操作过程-16-4.4作业参数-24-4.5作业实例说明-26-4.6作业的运行方式-28-5辅助工具介绍-29-5.1作业运行状态监视-29-5.2作业运行状态命令-30-5.3作业查询命令-30-5.4将运行的作业全部杀掉-31-5.5

3、多种【GRISYS、PROMAX、OMEGA、CGG、PARADIGM】速度转换成GEOSTAR速度-31-5.6网格转换工具-32-6错误信息说明-33-7系统维护手册-34-7.1CPPC系统硬件配置说明-34-7.2CPPC系统概要-34-7.3CPPC系统管理说明-34-7.4XCAT管理系统简要说明-38-页脚1.编者前言近年来，随着油气勘探发展，人们对地震资料处理重要性的认识也在逐步加深。叠前时间偏移作为常规处理技术以来，对扩容大规模多节点并行机的需求与日剧增；但是，大规模并行机占地大、费用高、功耗高等矛盾也日益突出。近期在高性能计算方面出现了一项全新的、具有革命性的技术：GPUC

4、PU协同并行计算(CPPC)。应用这项技术，超级计算机占地大、费用高、功耗高等矛盾可迎刃而解。协同并行计算(CPPC)就是将GPU和CPU两种不同架构的处理器结合在一起，组成硬件上的协同并行运行模式，及在应用程序编写上实现GPU和CPU协同配合的并行计算(CPPC)。用GPUCPU协同并行计算(CPPC)，可以把原来超级计算机要做的事浓缩到一个普通的台式工作站或机架服务器中去。电耗也大大降低。图1是一台装配了Tesla1060GPU的PC服务器的样机。测试中使用该机运行GPUCPU协同并行计算非对称走时叠前时间偏移处理系统，大约相当于80台单核PC服务器的运行效率。二者运算能力相等！图1测试中

5、使用的装配Tesla1060GPU的台式服务器及常用的多节点PC服务器在地震勘探资料处理中，有一些处理模块需要进行大量的数学运算。因此，在这个行业使用着最大规模、最先进的计算机。计算机的购买成本很高，其运行页脚成本更是昂贵的惊人，比如要使用条件苛刻的机房、配备大功率的不间断电源和恒温恒湿空调、雇用大量的机器维护人员等等。很幸运，经过艰辛努力，我们拥有了地震勘探资料处理大运算量协同并行计算(CPPC)技术。对叠前时间偏移而言，经过多方对比分析，该系统具有如下特点：1、运算速度快。叠前时间偏移运算速度提高100-400倍；2、处理效果好。GPUCPU协同并行计算非对称走时叠前时间偏移处理系统中采用

6、了高精度的算法，处理结果地质效果明显提高。经过大量试验对比，优于目前商用软件；3、无I/O瓶颈问题对系统影响小。使用普通千兆交换机在12节点机器上用10小时可完成2500GB数据向各节点的分发工作，并且具有使用的GPU数越多分发数据速度越快的特点；4、系统可扩展性强。运算速度与使用的GPU数呈正比关系；5、实现GPU“热拔插”。各个GPU完全独立运行，如个别节点出现故障，不影响其它节点运行；6、作业界面友好、简单易操作；7、成本低廉。不足常规并行机的10%；8、节电95%以上、占地空间省90%以上。本手册的重点是介绍GPUCPU协同并行计算非对称走时叠前时间偏移处理系统的应用过程及作业的编制、

7、修改及运行的方法。为了使用户对GPUCPU协同并行计算非对称走时叠前时间偏移有更全面的了解，手册的第一部分简要介绍了GPUCPU协同并行计算的相关知识。本手册由钦、国峰、佟小龙、博、管忠、邹德志等人编写，希望用户在使用中，多提宝贵意见，以便使软件更加完善。2.系统综述2.1GPUCPU协同并行计算机的构成页脚1)GPU的发展历程GPU是英文GraphicProcessingUnit的缩写，即图形处理器。早期的GPU是单纯作图形处理，现在的GPU应该称为“大规模多线程并行处理器”或叫“GPU计算机”，GPU可以看成是“GeneralProcessingUnit”通用处理器的缩写。某些专用于高性能

8、计算的GPU已经不做显卡用了，外接屏幕的接口有的也没有了，可以说真正成为了高性能通用处理器。2)GPU与传统CPU的主要区别GPU与CPU的设计初衷不一样我们可做如下形象比喻（如图2所示）：CPU的设计思想是一件事只由一个人去做，尽快完成后再去做另外的事情串行做事；GPU的设计思想是一件事情同时让尽可能多的人去做并行做事。图2CPU与GPU设计思想示意图GPU和CPU各有优缺点，CPU适合串行运算，而GPU适合并行运算。GPU与CPU的处理器微结构存在很大的差别CPU量的晶体管用作高速缓存（cache）、逻辑控制单元（Control），只页脚有少量的用作计算单元（Alu）。而GPU则把更多的晶

9、体管用作了计算单元，只有少量晶体管用作了高速缓存（Cache）和逻辑控制单元，这使得GPU比CPU更适合完成密集计算任务（图3）。图3GPU与CPU的微结构示意图(GPU将更多的晶体管用于数据处理)3)GPU的优势作为计算机的核心，CPU在逻辑判断、非线性寻址等复杂的逻辑运作中，有着非常高的效率，但是由于传统兼容包袱的沉重（如：最快的x86cpu也必须兼容26年前的8086cpu），竞争的不充分等多方面因素，发展速度相对缓慢。GPU的优势在于天生的并行计算的体系机构。目前的8800GTXGPU中，有128个StreamMultiProcessor（流处理器，就是上图的ALU，可理解为运算单元，

10、也就是通常说的核）。可同时并发上万个线程。而最新的GTX280GPU里面，SM的数量达到了240个，在高性能计算领域有着无以伦比的优势。在过去的五年，GPU有了突飞猛进的发展。目前，GPU已经达到240核，14亿晶体管，浮点运算能力可达到1TFLOPS（万亿次/每秒），而四核CPU的浮点运算能力仅为0.07TFLOPS(700亿次/每秒)。TelsaS10701U机架服务器，共有4个GPU卡，共960个核，性能达到4万亿次每秒，功耗只有700瓦。而如果要达到相同计算性能，需要CPU服务器集页脚群才能实现，而功耗可能达到几万瓦。2.2协同并行计算（CPPC）的概念简单的说，CPU是串行计算的领先

11、者，而GPU是并行计算的领先者。CPU在操作系统、系统软件、应用程序、通用计算、系统控制等领域功能强大；而GPU在密集计算方面则独树一帜。协同并行计算(CPPC)就是将GPU和CPU两种不同架构的处理器结合在一起，组成硬件上的协同并行运行模式，同时在应用程序编写上实现GPU和CPU的协同配合的协同并行计算(CPPC)。具体说，协同并行计算(CPPC)机就是由CPU负责执行顺序型的代码，如操作系统、数据库等应用，而由GPU来负责密集的并行计算。因此，在高性能计算领域，可以把CPU服务器和GPU服务器结合起来（图4），构成一个混合型的集群，各司其职，大大提高集群系统的总体计算效能。图4协同并行计算

12、(CPPC)示意图-不同结构处理器共同计算的模式2.3软件开发平台协同并行计算(CPPC)作为高性能计算的一个发展方向，一直受到人们广泛关注。目前已有的开发平台包括Stanford大学的brookGPU，PeakStream公司页脚推出的开发包，以及Nvidia公司的CUDA。几个系统中，brookGPU是Stanford大学的一个开源项目，也是世界上最早的利用GPU进行通用计算的开发包。PeakStream目前已经被google收购，其产品目前只支持Ati公司的显卡。Nvidia从进军高性能计算领域以来，除了cuda的开发包，硬件产品已经更新三代，从G80到G90直到今天的GTX280系列。

13、晶体管数量达到14亿个，开发工具也从最早的0.8版本到今天2.0，为多线程编程。并提供全套免费的开发工具，其中除了编译器（nvcc）、系统函数库（cudafft、cudablas）之外，有专门的剖析工具(cudavisualprofiler)帮助进行分析函数性能，可在仿真模式下提供调试，支持C/C+开发环境。CUDA的优势是这是一个完全针对GPU计算所开发的C语言开发环境，它与NVIDIA公司的GPU高度协同，因此应用程序通过适当的优化可以获得极高的效率。同时，标准的C语言开发环境也可以使得开发者非常容易掌握，有经验的编程人员通过很短时间的熟悉就可以开发出高质量的GPU计算程序。2.4CUDA

14、介绍CUDA（computeunifieddevicearchitecture,统一计算设备架构）是NVIDIA公司在2007年推出的针对通用计算GPU的一个全新构想，使专注于图像处理的GPU超高计算性能在数据处理和科学计算等通用计算领域发挥优势。CUDA包括全新的硬件设计和全新的软件开发环境，抛开以前的图形API方式而直接将GPU作为计算单元来管理和进行并行计算。CUDA编程语言是针对通用计算GPU的C语言环境，应用CUDA编程可方便地实现GPU通用计算。目前CUDA提供的功能包括：在GPU上提供标准C语言编程；为在支持CUDA的NVIDIAGPU的并行计算提供统一的软硬件解决方案；兼容从低

15、功耗的笔记本用GPU到高性能多GPU系统；支持CUDA的GPU能进行并行数据缓存和线程执行管理；标准FFT和BLAS数值程序库；页脚针对计算的专用CUDA驱动；经过优化的，从GPU到支持CUDA的GPU的直接上传，下载通道；CUDA驱动与OPENGL和DIRECTX等图形驱动程序兼容；支持LINUX32位/64位、windowsXP32位/64位、windowsvista以及MACOS等操作系统；CUDA提供对驱动程序的直接访问，以及汇编语言的方位。CUDA通过标准的C语言将GPU的众多计算特性结合在一起，由线程来创建应用程序，这类似于CPU上的多线程程序。但与仅能有很少线程同时工作地多核CP

16、U比较，GPU可以同时执行成千上万个线程。从CUDA体系结构的组成来看，包含了三个部分：开发库、存管理、设备访问和执行调度等函数。基于CUDA开发的程序代码在实际执行中分为两种，一种是运行在CPU上的主机代码，另一种是运行在GPU上的设备代码。不同类型的代码由于其运行的物理位置不同，能够访问到得资源也不同。驱动部分基本上可以理解为是支持CUDA的GPU设备抽象层，提供硬件设备的抽象访问接口。通过CUDA编程时，将GPU看做可以并行执行非常多个线程的计算设备。GPU作为CPU的协处理器来运作：在主机上运行应用程序中数据并行的、计算密集的部分加载到此设备上。更准确的说，对不同数据执行相同操作的应用

17、程序部分可以独立房在此设备上作为由许多不同线程执行的函数。而要达到这种效果，可以将这样一个函数在设备的指令集中编译，并将得到的程序加载到设备商。主机和设备都保留自己的DRAM，分别称为主机存和设备存。用户可以通过优化的API调用将数据从一个DRAM复制到其他DRAM中，而优化的API调用使用了设备的高性能直接存储器存取引擎。3安装与启动3.1运行环境CPU/GPU协同并行计算叠前时间偏移处理系统的最低配置要求：CPU：页脚1）CPU环境要能够安装Linux操作系统；2）有足够的数据存储空间；3）有C语言的运行环境。GPU：1）配有Nvidia的通用处理器（GPU）；2）GPU能够被协同工作的C

18、PU所支持；3）能够支持CUDA（统一计算设备架构平台）。目前支持CUDA的GPU(CUDA-enabledGPU)包含GeForce、Quadro和Tesla三个系列。下表列出了大部分支持CUDA的设备及其多处理器的数量和计算能力：表格1：支持CUDA的设备及其多处理器的数量和计算能力1Nvida通用处理器的型号2GeForceGTX2803GeForceGTX2604GeForce9800GX25GeForce9800GTX6GeForce8800Ultra，8800GTX7GeForce8800GT8GeForce9600GSO，8800GS，8800MGTX9GeForce8800GT

19、S10GeForce9600GT，8800MGTS11GeForce9500GT，8600GTS，8600GT，128700MGT，8600MGT，8600MGS13GeForce8500GT，8400GS，8400MGT，148400MGS15GeForce8400MG16TeslaS107017TeslaC106018TeslaS87019TeslaD87020TeslaC87021QuadroPlex1000ModelS422QuadroPlex1000ModelIV23QuadroFX560024QuadroFX370025QuadroFX3600M26QuadroFX460027Qu

20、adroFX1700，FX570，NVS320M，FX1600M，28FX570M29QuadroFX370，NVS290，NVS140M，NVS135M，30FX360M31QuadroNVS130M通用处理器计算能力1.0的规页脚1多处理器数量230324421651661671481291210811412213114430153016416172161816194162021621162214231224122542622711计算能力21.331.341.151.161.071.181.191.0101.1111.1121.1131.1141.3151.3161.0171.0181.

21、0191.0201.0211.0221.1231.1241.0251.1261.1271.1每个块的最大线程数为512；一个线程块的x、y和z维的最大规格分别为512、512和64；线程块网格各维度的最大规格为65535；Warp块的大小是32个线程；每个多处理器的寄存器数量是8192；每个多处理器可用的共享存储器数量是16KB，组织为16个存储体固定存储器的总量是64KB；固定存储器的缓存工作区是每个多处理器8KB；纹理存储器的缓存工作区介于每个多处理器6到8KB之间；每个多处理器的最大活动块数是8；每个多处理器的最大活动warp块数是24；每个多处理器的最大活动线程数是768；对于绑定到一

22、维CUDA数组的纹理参考，最大宽度为213；对于绑定到二维CUDA数组的纹理参考，最大宽度为216，最大高度为215；对于绑定到三维CUDA数组的纹理参考，最大宽度为211，最大高度为211，最大深度为211；对于绑定到线性存储器的纹理参考，最大宽度为227；核大小限制为200万PTX指令；每个多处理器都由8个处理器组成，因此一个多处理器能够在4个时钟周期处理一个warp块的32个线程。通用处理器计算能力1.1的规支持在全局存储器的32位字上操作的原子函数（请参见第4.4.4节）。通用处理器计算能力1.2的规支持在共享存储器中操作的原子函数以及在全局存储器的64位字上操作的原子函数；支持war

23、pvote函数（请参见第4.4.5节）；每个多处理器的寄存器数量是16384；每个多处理器的最大活动warp块数量是32；每个多处理器的最大活动线程数是1024。通用处理器计算能力1.3的规支持双精度浮点运算。推荐配置：CPU：4个核；存大于16GGPU：TeslaT1060，TeslaS10703.2系统安装系统由公司统一安装。3.3交互作业界面的启动页脚程序配有交互界面，当安装相应程序后，在命令行输入%pstmv2，便可出现软件的交互界面。主界面下有三个软件运行的分界面，分别是数据分发界面，作业组织及运行界面，数据合并界面，三部分将分别在后边相关环节详细介绍。主界面如图6。4使用说明4.1

24、工区的建立软件在执行时原则上并不需要建立工区，作业参数（如输入数据等）都按绝对路径输入。但是，建议用户在使用时建立作业运行目录，将不同类型文件按类分别存入不同的目录，便于管理。该系统的磁盘分配及用途如下：1）存储盘：是由16块1TB的盘组成的rida5盘，存储空间14TB。也可以另行指定或其他存储设备；2）工作盘：各节点单独安装使用，是由2块1TB盘组成的rida0盘，临时用于存储各节点分发的数据，此盘仅用于短时间的数据存储。通常目录名称为:/scr。也可以由用户选用与项目相关的容易记忆的目录名；3）系统盘：各节点单独安装使用，用于各节点的系统软件、应用软件等重要文件的存储。由1块500GB盘

25、构成。用户通常不使用此盘。建议在存储盘上按以下容建立工区的目录：第一级目录：项目名，如：daqing第二级目录：1）2）3）4）5）存放输入数据的目录，如：input存放作业文件的目录，如：job存放作业运行过程监测文件的目录，如：list存放偏移结果的目录，如：output存放网格文件、速度库文件、定义使用GPU文件的目录，如：geo示意图如下：页脚图5：目录结构图图6软件主界面4.2数据格式说明有下列四类数据和文件涉及格式问题：A、输入的叠前地震数据B、输出的结果数据C、偏移速度文件D、观测系统网格文件。1)输入叠前地震数据的格式：叠前地震数据要经过前期处理的数据体。可以是炮集、CMP道集

26、等类型。目前支持如下格式：（1）grisysfmt4（IEEE32-bit）格式。要有炮点，检波点坐标，CMP号，线号，偏移距信息。（2）CGGfmt4(IEEE32-bit)格式。要有炮点，检波点坐标，CMP号，线号，偏移距信息。（3）SEGY格式。要有炮点，检波点坐标，CMP号，线号，偏移距信息。（4）OMEGA183格式。要有炮点，检波点坐标，CMP号，线号，偏移距信息。2）输出数据的格式：程序可输出叠加剖面和CRP道集。但是本软件在运行过程中采用分数据计页脚算的策略，因此一般输出为与GPU卡数一样或为其整数倍的偏移距个数的道集。程序可以输出多种格式的数据，输出数据格式与输入数据格式有关

27、，相关要求见后续说明：（1）grisysfmt4（IEEE32-bit）格式。带有炮点，检波点坐标，CMP号，线号，偏移距信息。（2）CGGfmt4（IEEE32-bit）格式。带有炮点，检波点坐标，CMP号，线号，偏移距信息。（3）SEGY格式。带有炮点，检波点坐标，CMP号，线号，偏移距信息。3）PSTM偏移过程数据格式说明对输入数据建立索引文件输入数据可以选择以下四种数据格式：1、CGG-fmt4-IEEE32bit2、GRISYS-fmt4-IEEE32bit3、SEGY4、OMEGA183向各个节点分发数据，结果为系统内部格式。各个节点偏移，输出结果为系统内部格式。将各个节点输出结果

28、合并后输出，输出数据格式由用户指定，可选择如下三种输出格式：1、CGG-fmt4-IEEE32bit（当输入为CGG格式时）2、GRISYS-fmt4-IEEE32bit（当输入为GRISYS、SEGY、OMEGA格式时）3、SEGY（当输入为GRISYS、SEGY、OMEGA格式时）图7偏移过程中数据格式说明4）偏移速度文件格式:目前本程序支持两种速度文件格式。由参数“vflag”控制。（1）当vflag=1时：速度文件中只要求提供CMP面元编号（CMP面元编号=（线号-1）网格定义的最大CMP号+CMP号），格式如下（数字间有空格即可，不限空格多少）：页脚例1：每条CMP测线的最大CMP号

29、为1000，输入第2条线的第1个CMP的速度（时间-速度对）如下：HANDVEL10010248130024815002481130024811500248120002481300052805000588060006100（2）当vflag=2时：速度文件中要提供CMP面元编号（CMP面元编号=（线号-1）网格定义的最大CMP号+CMP号）、线号，CMP号，格式如下：例2：与例1相同的速度，输入方式如下：HANDVEL10012102481300248150024811300248115002481200024813000528050005880600061005）观测系统网格格式程序应用的网

30、格文件就是定义观测系统时应用的网格文件。实际处理中，观测系统定义时各处理系统的网格文件格式存在差异，但实际容是一致的。本程序要求的网格文件为12个参数。其中前6个为整型，后6个为浮点型，表2和图8为各参数的说明和示意图。网格数据在文本中存放格式如：1101173710.00.00.012.512.5表格2：网格文件说明表在文件中的次序表示的容说明数据类型备注1234网格中最小线号网格中最大线号网格线增量网格中最小CMP号整型整型整型整型页脚56789101112网格中最大CMP号网格中CMP号增量原点（1，1）的X坐标原点（1，1）的Y坐标面元线间距离在X方向的投影面元线间距离在Y方向的投影面

31、元CMP间距离在X方向的投影面元CMP号间距离在Y方向的投影整型整型浮点型浮点型浮点型浮点型浮点型浮点型正负正负正负正负图8网格示意图如图8的网格图，假设面元大小为25X25，原点坐标(X0，Y0)为(0，0)，线号和CMP号增量都为1，且二者增量方向均为向坐标增加方向，倾角为30o，则本软件网格描叙为：1411410021.6512.5-12.521.65说明：不同处理系统间网格定义方式可经过本软件附带的程序转换到本格式，具体见网格转换说明。4.3处理操作过程页脚整个处理过程分为四个步骤：第一步：准备数据，建立输入数据体的索引文件第二步：分发数据并自动建立新的索引文件第三步：组织作业并发送作

32、业第四步：自动将各节点完成的结果合并在一起。操作过程如下：【1】准备数据，建立输入数据的索引文件:按照前章节介绍的数据格式要求，准备输入数据、网格文件、速度文件、作业文件的偏移参数。确认各环节无误。A数据是grisys格式、CGG格式或者OMEGA格式时建立索引文件的过程如下：在存放输入数据的目录下，键入如下命令行：bld_idxntin=1000data=dj-all.csttype=4其中：Ntin=：为每次输入的道数，通常固定选用1000，试验用参数；Data=：要进行偏移的输入数据的文件名；type=：说明输入数据的格式。type=2，输入数据为omega的183格式（IEEE32-B

33、IT），type=3，输入数据为grisys的4格式（IEEE32-BIT），type=4，输入数据为cgg的4格式（IEEE32-BIT）。运行此命令后，建立的结果文件为dj-all.cst.idx。即在输入数据文件名后自动加上.idx。后续编写作业时要用到该文件。B数据是SEGY格式时建立索引文件的过程如下：在存放输入数据的目录下，键入如下命令行：bld_idxintin=1000endian=1line=181cmp=185data=type=1其中：Endian=：表示这个数据是大头还是小头数据，1代表大头（big-endian），0代表小头(little-endian)；Line=：

34、表示在SEGY数据中线的起始位置是多少；页脚Cmp=：表示在SEGY数据中CMP的起始位置是多少；Data=：表示要建立索引文件的数据名；Type=：表示数据类型，1代表SEGY。运行此命令后，输出的索引文件名是在输入数据文件名后自动加上.idx。后续编写作业时要用到该文件。【2】分发数据将原始数据分发到参与计算的节点上。此步骤需要两个必备的条件：A、定义参与计算节点编号的文件目前机器配置的是每个节点四个独立的GPU，定义参与计算的节点的文件格式如下所示(文件存放在/geo目录下)：节点名GPU编号（此编号由系统统一确定）：gpu001gpu002gpu003gpu004gpu011gpu01

35、2gpu013gpu014gpu021gpu022gpu023gpu024gpu031依次类推。注意最后以符号结尾。B、定义各计算节点存放接收分发数据的文件目录，并确保有足够的磁盘空页脚间。此目录在分发数据程序中由用户设定或者由环境变量定义。所需条件准备好后，启动主界面，点击数据分发按妞，将出现如下对话框：图9数据分发界面参数说明：DatainIndexInNodebaseinNodebaseOut此为本节1中介绍的原始数据DQ-djall.cst此为本节1中介绍的原始数据索引文件DQ-djall.cst.idx此为本节介绍的参与计算节点文件.Nodebase数据分发后会根据分发情况输出文本文

36、件，通过这里指定文件名，注意此文件为作业组织和运行时所需要输入OutFileName分发数据后的前缀名称，DQ-split.cst数据分发后会将分发的数据在其后加数字进行区别，例如DQ-split.cst.1DQ-split.cst.2.DQ-split.cst.n所有参数确认后点击GO将进行分发数据操作，分发数据的速度大约为每个GPU每分钟100M,使用的GPU数越多速度越快。数据分发完毕后，将在各个计算节点指定的目录下产生分发的数据文件和索引文件。如下图后缀idx的为索引文件。页脚图10各节点数据分发后产生的数据及索引文件【多个数据文件的分发方法】：问题：1）对于要进行偏移处理的叠前数据，

37、通常文件很大，处理中经常是写为多个文件，例如：全区为500条测线，将1-200线写为文件data1；将201-400线写为文件data2；将401-500线写为文件data3。2）前面对输入数据建立索引文件及数据向各个节点分发都是面对单个文件的。多文件分发操作过程：如果是多个文件的情况，可按如下方式处理（早期版本需要将多个文件合并为一个大文件，现在不需要将多个文件合并为一个大文件。）：1）在输入多个文件时，需确认各个文件是按line、cmp、offset划分。在准备数据时，首先要对不同的文件分别建立索引文件，操作与对单个数据建立索引的操作完全相同。2）分发数据时每一次点击GO只能对一个数据文件

38、进行分发数据操作。3）在进行多个文件数据分发时，须按照数据文件的线号或CMP号顺序依次分发多个数据文件，并且填写相同的分发数据的前缀（即OutFileName参数）和相同的nodefile。4）分发数据过程中在各个计算节点指定的目录会产生临时索引文件，例如DQ-split.cst.idx.1DQ-split.cst.idx.2.DQ-split.cst.idx.n，此文件并不参与随后的处理工作，仅为临时文件。【3】作业的组织和运行确认分发数据完成后，点击主界面上的CUDA-APSTM，出现作业组织界面：页脚图11偏移参数组织界面其具体参数在后面的章节中进行详细介绍，这里特别要强调的四个参数：1

39、）IndexFile：分发数据后建立的新索引文件去掉数字后缀后的绝对路径及索引文件名，如：上图中DQ-gpu.idx.0去掉后缀“.idx.0”，即DQ-gpu2）InFile：分发后的数据文件名去掉数字后缀的文件绝对路径及文件名。如：上图中DQ-gpu.0去掉数字后缀.0，即DQ-gpu3）Xalias与Salias：Xalias代表CMP间距，salias代表线间距；页脚4）说明：Intype与Outtype两个参数：分别定义输入数据与输出数据的格式；如果原始数据是SEGY或GRISYS数据，程序在分发数据操作中自动将数据格式转换为grisys格式的数据，此时这两个参数均为3；如果原始数据

40、是CGG数据，则这两个参数均为4；在确定参数文件后点击WriteParFile，在指定的/job目录里生成如下作业文件，用户可以打开此文件，检查参数是否正确，如存在问题，可重新修改交互界面参数重新生成作业。图12自动生成的偏移作业文件确认参数无误后点RUN按扭后发送作业进行计算。完成整个作业，就是在不同节点的多个GPU上运行上述全部作业的过程。作业的运行顺序是按轮次执行的。假设机器是由6个节点组成，每个节点有4个独立的GPU（目前机器的配置），作业的运行过程是：1）运行第一轮作业。每个GPU运行一个作业，即后缀为1.par到24.par的作业；2）运行第二轮作业。每个GPU再运行一个作业，即后

41、缀为25.par到48.par的作业；页脚3）后面以此类推。说明：1）作业运行的轮数由程序自动确定。与输出的线数、每条线的CMP数、采样间隔、输出道长、偏移距个数和使用的GPU存数有关。2）目前每个GPU的存为4GB；3）【每一轮次完成的线束一条线的CMP数输出的偏移距个数每一道的样点数4】要小于【4G存使用率（如80%）】,或表示为：【LINECMPOFFLTR4】【4,000,000,00080%】4)组织作业时参考上述公式，做到心中有数，通过调整存使用率参数（如80%），合理分配每轮作业完成的工作量，节省处理时间。【4】偏移后数据的合并各个节点计算结束后，输出目录/output下会产生如

42、下图所示的输出文件：图13偏移结果文件每运行一个作业，就产生一个输出文件，只要将这些文件合并为一文件，就得到偏移后的数据体【注：此数据体是按偏移距、线号、CMP号排序的】。合并数据的过程如下：点击主界面上的MergeData.出现如下界面：页脚参数说明：DatainDataoutBeginnumEndnumFileType图14数据合并界面要输入的数据，即偏移结果去掉后缀，如dq_djmig.41.0去掉.41.0，最后要输出的整体数据文件名mig_all（用户根据需要自行定义）指dq_djmig.41.0类数据中的41这个位置的最小值指dq_djmig.41.0类数据中的41这个位置的最大值

43、偏移结果的数据格式与合并数据后数据格式定义FileType是一个重要参数，具体意义如下：1）如果原始数据是SEGY或GRISYS格式数据，程序在分发数据操作中自动将数据格式转换为grisys格式进行偏移，在合并数据阶段，若要输出SEGY类型的数据，则选GRI2SEGY，若要输出grisys类型的数据，则选择GRI2GRI。2）如果原始数据是CGG格式数据，在合并数据阶段，若要输出SEGY类型的数据，则选CGG2SEGY，若要输出CGG格式数据，则选CGG2CGG。3）如果输出SEGY格式数据，线号放在SEGY道头字中65-69的位置，其他容在标准道头规定的位置。4.4作业参数作业文件为常用的文

44、本文件，作业文件可以人工编写；也可以交互自动生成，页脚交互生成作业的过程已在前面介绍。作业主要容如下：表格3：作业参数表参数含义选用GPU编号交互界面名称无作业文件关键字缺省值Device_list无参数说明系统确定作业运行状态文件输入文件名StatusnameInfilenamestatusnameInfile自定义自定义记录运行中的信息见作业实例输入文件格式In_typein_type3计算精度deritypederi_type2原始数据是SEGY或GRISYS，此参数为3；原始数据为CGG格式，此参数为41为一阶导数2为二阶导数打印间隔选用线程数输出文件格式NtinNthreadsOut

45、typeNtinNthreadsout_type10001283作业执行时每隔1000道打印信息选用GPU线程同in_type参数最大偏移孔径Maxaperturemaxaperture自定义必填参数孔径时间（毫秒）TapertureX方向孔径（米）XapertureY方向孔径（米）Yaperturetaperturexapertureyaperture200，400，6000与下面参数对应200，800，2000与孔径时间对应200，800，2000与孔径时间对应输出最小CMP号输出最大CMP号输出CMP增量输出最小线号输出最大线号输出线增量输入数据叠前/后标识XminXmaxXincSmi

46、nSmaxSincDataFlagXminXmaxXincYminYmaxYincDataflag自定义自定义自定义自定义自定义自定义1必填参数必填参数必填参数必填参数必填参数必填参数1：叠前2：叠后输出CRP道集参数Offsetbinoff0，2600，50页脚三个参数最小偏移距最大偏移距偏移距间隔输入数据最大偏移距MaxoffsetMaxoff3000单位：米输出叠加/道集标识OutflagOutflag1：剖面2：道集该程序大部分用抗假频参数输入速度文件格式机器最大显存偏移占用存比2D/3D标识是否打印运行信息网格文件名速度文件名ResamplevflagMaxmemMempercDim

47、ensionVerboseGeofileVrmsResampleVflagMaxmemMemprecGeoVerboseGeometryVrms1140960.8031自定义自定义可选：121或2参考格式说明依机器配置而定建议用0.80必填参数0：不打印1：打印绝对路径必填参数输出文件名使用索引文件标识索引文件名OutfilenameOutfileindexIndexedIndexFileIdx_file自定义1自定义必填参数0：不使用1：使用，建议使用作业自行确定真振幅恢复AmpRecovamp自定义0：不用加，叠前数据未加球面扩散补偿1：加。叠前数据加了球面扩散补偿偏移距轮循CMP间距线间

48、距数据的采样点数偏移速度百分比RoundOffxaliassaliasnsoutVscaleroffantialiasXantialiasS无Vscale自定义自定义自定义自定义10：未分数据计算时应用1：分数据计算时应用单位：米，缺省：15单位：米，缺省：15必填参数对速度进行比例调整4.5作业实例说明页脚参数文件实例：（假设文件名为dq1.par）表格4：作业参数实例作业参数statusname=140a14.statuderi_type=2说明作业状态文件为140a14.statu，记录作业运行信息本作业应用二阶导数计算走时备注可绝对路径infile=/scr/dj-all.cst.1本

49、作业输入的数据文件名为：dj-all.cstfile_type=4nthreads=128device_list=1out_type=4outfile=/scr/140v4.migdataflag=1outflag=2ymin=280ymax=280yinc=10 xmin=1100 xmax=2505xinc=1geometry=/disk2/geo/b4.gridtaperture=100，500，1000，2000，5000 xaperture=500，800，2000，3000，5000输入数据为cgg的fmt4格式启用的线程数为128应用本机的1号GPU进行计算输出数据格式为cggf

50、mt4（IEEE32BIT）格式输出的文件名为140v4.mig输入的数据为叠前地震数据输出数据为CRP道集输出的最小线号为280输出的最大线号为280输出的线号的增量为10输出的最小CMP号为1100输出的最大CMP号为2505输出的CMP增量为1数据的网格文件为b4.grid偏移的孔径时间（毫秒）偏移孔径时间对应的X方向孔径（米）yaperture=400，600，1500，偏移孔径时间对应的Y方向孔径页脚（米）3000，5000maxaperture=5000off=100，3000，100maxoff=3000maxmem=4096Memperc=0.80vrms=/disk2/byb

51、b/db/v4vflag=2geo=3verbose=1indexed=1Idx_file=/scr/dj-all.cst.1.idxamp=1最大孔径为5000输出道集信息为：最小偏移距为100，最大半径偏移距为3000，增量为100，单位：米输入数据的最大偏移距为3000米单个GPU的最大应用存为4G存使用率为80%偏移需要的速度文件，给绝对路径速度需要CMP面元号，线号和CMP号应用三维程序偏移输出运行信息应用索引索引文件名要进行真振幅恢复antialiasX=25antialiasS=30Roundoff=1Ntin=4000Vscale=1CMP间距距25线距30要进行偏移距轮循作业

52、运行时每隔4000道打印信息偏移速度乘以100单位：米单位：米4.6作业的运行方式发送作业有两种方式：1）命令par=作业文件名实例如下：cudapstmzpar=dq1.par作业运行正常且没有报错信息后，将出现如下的运行信息：页脚cudapstmz:j10j20device2myid0setworkingdevicetodevice2cudapstmz:sizeofmods=265556*3008*1以下是每偏移4000道的处理时间：2322tracemigrated，6086.441895ms6322tracemigrated，10504.830078ms10322tracemigrat

53、ed，10571.294922ms2）在交互作业组织界面上，（其中：nodebase和作业文件为必填参数），点击RUN按扭则自动发送作业。5辅助工具介绍5.1作业运行状态监视在命令行输入geoview会出现如下对话框参数说明：StatueFileJobnumbeginJobnumendNumcardsJobpercard图15Geoview命令对话框状态文件名：绝对路径作业起始号作业终止号多少个计算卡一个卡多少个作业页脚添好参数后按view，出现如下界面，显示各节点的作业运行情况，做到实时监控作业。界面的横坐标是作业完成的百分比；界面纵坐标的不同颜色用于区分节点及使用的GPU运行状态。图16作

54、业监控显示界面5.2作业运行状态命令运行用户：gstar(或具有本软件使用权限的用户)运行命令：geojob参数；geojob/jobstatue/dq.statue124参数说明：/jobstatue/dq.statue:状态文件绝对路径1起始作业编号24终止作业编号结果：显示作业完成情况5.3作业查询命令运行用户：gstar（或有本软件使用权限的用户）运行命令：geoask参数：无参数页脚结果：显示各节点运行的作业编号单独使用：如想单独查看某节点做业。可在主节点（gpu00）采用如下命令：sshgpu01(要查看的节点hostname)topef|grepcudapstmz也可登陆到需要查

55、看的节点（sshgpu01）后应用topef|grepcudapstmz5.4将运行的作业全部杀掉运行用户：gstar(或有本软件使用权限的用户)运行命令：geokill参数：无参数结果：杀掉所有作业，一般运行只杀掉当前作业，如作业有多轮需反复运行此命令几次单独使用：如想单杀掉某个节点的作业，可在主节点运行：sshgpu01(需要杀作业的节点号)topef|pkill-9cudapstmz,也可登陆到节点后应用kill或者pkill5.5多种【Grisys、Promax、Omega、Cgg、Paradigm】速度转换成Geostar速度运行用户：任意运行命令：velcon参数表参数：input

56、=输入速度文件名output=输出速度文件名cmpall=网格文件中一条线包含的cmp个数format=1、或2、3、4、5说明：format=1Cgg格式速度转换成Geostar格式速度format=2Omega格式速度转换成Geostar格式速度format=3Grisys格式速度转换成Geostar格式速度format=4Promax格式速度转换成Geostar格式速度format=5Paradigm格式速度转换成Geostar格式速度页脚结果：生成本软件可以使用的速度文本5.6网格转换工具运行用户：任意运行命令：gridcon【参数列表】，说明见下面的表格。结果：生成本软件可以使用的网

57、格文件参数说明：参数名称最小inline号最大inline号INLINE号间隔最小CMP号最大CMP号CMP号间隔输出网格文件名输入网格类型原点坐标原点坐标第2个点x坐标第2个点y坐标第3个点x坐标第3个点y坐标INLINE方向面元间隔CMP方向面元间隔旋转角度页脚图17网格示意图参数使用minline=1maxline=100lineinc=1mincmp=1maxcmp=100cmpinc=1gridfile=filenameflag=1或2x0=0.0y0=0.0 x1=100.0y1=0.0 x2=0.0y2=100.0cellx=25celly=25sita=30参数类型必填必填必填

58、必填必填必填必填必填必填必填flag=1时flag=1时flag=1时flag=1时flag=2时flag=2时flag=2时6错误信息说明Onefileatleastmustbeprovided没有输入文件Cantopendatain=/scr/dj.cst.1此时为不能打开输入文件，可能是输入数据的文件名或者目录不正确。Subcalls.c:efopen:fopenfailed索引文件不能打开，可能是路径错误或者文件名不对。“Bytesoffileisnotcorrect，checkfile/scr/dj.cst.1”在读文件时候出错误，可能是文件格式给的不对，比如输入数据本来是CGG格式

59、，但添格式的时候添的不是4。Migrationoutputfilenamemustbeprovided没有提供输出文件名dtmustbepositive!没有提供偏移输出的采样间隔Gridfilemustbeprovided参数文件没提供网格文件名Errorwhenreadingyourgridfile读网格文件名时出错Outputtargetisoutofthegridrange输出的成像空间在网格定义之外3valuesmustbeprovidedforgathermigration!输出道集时读的off参数不对incompatiblevaluesingatherkeysequence!”O

60、ff参数不匹配pstm:offsetparametererrorOff计算出错Timesandaperturesshouldbeprovided参数文件中未定义孔径信息Aperturepairsarenotprovidedcorrectly孔径时间和孔径值必须一一对应Atleasetwopairsoftimesandaperturesshouldbeprovided至少要提供两对孔径taperturevaluesmustincreasemonotonically孔径时间必须顺序变化xaperturevaluesmustincreasemonotonically孔径必须顺序变化Cannotope