GPU在高性能并行计算中的应用

1、GPU在高性能并行计算中的应用摘要：在科学研究领域以及深度学习领域中，需要进行大规模的并行计算。而传统的CPU计算不能满足这一需求，而计算机图形处理器（即GPU，Graphic Processing Unit）由于其由大量的运算单元（核心）组成，并行计算能力远高于 CPU。同时 GPU 拥有较普通内存位宽更大、频率更高的专用内存，即显存，适合处理大规模数据。所以计算正在从 CPU中央处理向 CPU 与 GPU协同处理的方向发展。而本文则主要介绍GPU计算中常见架构之一：NVIDIA推出的（Compute Unified Device Architecture）架构。关键字：、并行计算、. 背景

2、随着显卡的发展，GPU越来越强大，而且GPU为显示图像做了优化。在计算上已经超越了通用的CPU。如此强大的芯片如果只是作为显卡就太浪费了,所以越来越多的科学研究机构已经开始选择部署大型GPU集群来进行科学计算。随着GPU的可编程性不断增强，GPU的应用能力已经远远超出了图形渲染任务，利用GPU完成通用计算的研究逐渐活跃起来，将GPU用于图形渲染以外领域的计算成为GPGPU(General Purpose computing on graphics processing units，基于GPU的通用计算)。而与此同时CPU则遇到了一些障碍，CPU为了追求通用性，将其中大部分晶体管主要用于构建控制

3、电路(比如分支预测等)和Cache，只有少部分的晶体管来完成实际的运算工作。CPU + GPU 是一个强大的组合，因为 CPU 包含几个专为串行处理而优化的核心，而 GPU 则由数以千计更小、更节能的核心组成，这些核心专为提供强劲的并行性能而设计。程序的串行部分在 CPU 上运行，而并行部分则在 GPU上运行。GPU 已经发展到成熟阶段，可轻松执行现实生活中的各种应用程序，而且程序运行速度已远远超过使用多核系统时的情形。未来计算架构将是并行核心 GPU 与多核 CPU 共同运行的混合型系统。虽然GPU并不适用于所有问题的求解，但是我们发现那些对运算力量耗费巨大的科学命题都具备天然的“图形计算”

4、特色。这类程序在运行时拥有极高的运算密度、并发线程数量和频繁地存储器访问，无论是在音频处理、视觉仿真还是到分子动力学模拟和金融风险评估领域都有大量涉及。这种问题如果能够顺利迁移到GPU为主的运算环境中，将为我们带来更高效的解决方案。传统意义上的GPU不善于运行分支代码，但是ATI和NVIDIA经过长期改进其内部架构已经使得GPU可以较为高效地运行分支、循环等复杂代码。同时因为GPU属于并行机范畴，相同的运算可以应用到每个数据元素的时候，它们可以达到最好的性能。在CPU编程环境中，写出每个输入数据元素有不同数量的输入的程序很容易，但在GPU这种并行机上还是有不少麻烦。2. 发展现状当今最常用的G

5、PU的并行和异构计算环境主要是NVIDIA的CUDA和苹果公司提出的OpenCL，还有微软的C+ AMP平台。下面是这几个平台的介绍：2.1CUDA(Compute Unified Device Architecture)CUDA是显卡厂商Nvidia于2007年推出的业界第一款异构并行编程框架。在Nvidia的大力支持下，CUDA拥有良好的开发环境，丰富的函数库，优秀的性能。但是CUDA只能被用于在Nvidia的显卡上进行异构编程，有先天的局限性。但是CUDA对程序开发员更加的友好。原因在于其统一的开发套件(CUDAToolkit, NVIDIA GPU Computing SDK以及NSight等等)、非常丰富的库(cuFFT,cuBLAS, cuSPARSE, cuRAND, NPP, Thrust)以及NVCC(NVIDIA的CUDA编译器)所具备的PTX(一种SSA中间