华为高性能计算解决方案售前技术FAQ

DOCPROPERTY"Product&ProjectName"FusionCompute（2.0）DOCPROPERTYDocumentName产品概述页高性能计算HPC基础篇HPC是什么？高性能计算(Highperformancecomputing，缩写HPC)指通常使用很多处理器（作为单个机器的一部分）或者某一集群中组织的几台计算机（作为单个计算资源操作）的计算系统和环境。有许多类型的HPC系统，其范围从标准计算机的大型集群，到高度专用的硬件。大多数基于集群的HPC系统使用高性能网络互连，基本的网络拓扑和组织可以使用一个简单的总线拓扑高性能计算HPC系统主要有那几部分组成？HPC系统由计算、存储、网络、集群软件四部分组成：典型高性能计算HPC组网拓扑图高性能计算HPC系统技术特点是什么？HPC系统目前主流处理器是X86处理器，操作系统是linux系统、构建方式采用刀片系统，互联网络使用IB和10GE。高性能计算HPC系统技术之计算高性能计算HPC集群中计算节点分几种？一般分3种，MPI节点、胖节点、GPU加速节点。MPI节点和胖节点的差异是什么？双路节点称为瘦节点（MPI节点），双路以上称为胖节点；胖节点配置大容量内存；集群中胖节点的数量要根据实际应用需求而定。GPU是什么？GPU英文全称GraphicProcessingUnit，中文翻译为“图形处理器”。在浮点运算、并行计算等部分计算方面，GPU可以提供数十倍乃至于上百倍于CPU的性能。GPU加速节点有哪些厂家？目前GPU厂家只有三家NvidiaGPU/AMDGPU/IntelXeonPHI。可选择的GPU种类比较少。目前市场上可销售的GPU卡有哪些？NVIDA的GPU卡分图形卡和计算卡，图形卡有NVIDAK2000与K4000，计算卡K20X/K40M/K80。Intel的GPU是IntelXeonPhi系列，属于计算卡，主要产品有Phi5110P、Phi3210P、Phi7120P、Phi31S1P。AMD的GPU是图形和计算合一，主要产品有W5000、W9100、S7000、S9000、S10000。在HPC系统中，主要使用时计算卡。计算性能的衡量指标？一个MFLOPS（megaFLOPS）等于每秒一佰万（=10^6）次的浮点运算，一个GFLOPS（gigaFLOPS）等于每秒拾亿（=10^9）次的浮点运算，一个TFLOPS（teraFLOPS）等于每秒一万亿（=10^12）次的浮点运算，(1太拉)，一个PFLOPS（petaFLOPS）等于每秒一千万亿（=10^15）次的浮点运算，一个EFLOPS（exaFLOPS）等于每秒一佰京（=10^18）次的浮点运算。LinpackHPC什么？LinpackHPC是性能测试工具。LINPACK是线性系统软件包(Linearsystempackage)的缩写，主要开始于1974年4月，美国Argonne国家实验室应用数学所主任JimPool，在一系列非正式的讨论会中评估，建立一套专门解线性系统问题之数学软件的可能性。业界还有其他多种测试基准，有的是基于实际的应用种类如TPC-C，有的是测试系统的某一部分的性能，如测试硬盘吞吐能力的IOmeter，测试内存带宽的stream。至目前为止，LINPACK还是广泛地应用于解各种数学和工程问题。也由于它高效率的运算，使得其它几种数学软件例如IMSL、MATLAB纷纷加以引用来处理矩阵问题，所以足见其在科学计算上有举足轻重的地位。Linpack现在在国际上已经成为最流行的用于测试高性能计算机系统浮点性能的benchmark。通过利用高性能计算机，用高斯消元法求解N元一次稠密线性代数方程组的测试，评价高性能计算机的浮点性能。双列直插式内存(DIMM)有几种类型？有三种DIMM内存可用：UDIMM内存、RDIMM内存和LRDIMM内存。在处理较大型工作负载时，无缓冲DIMM(UDIMM)速度快、廉价但不稳定。寄存器式DIMM(RDIMM)内存稳定、扩展性好、昂贵，而且对内存控制器的电气压力小。它们同样在许多传统服务器上使用。降载DIMM(LRDIMM)内存是寄存器式内存(RDIMM)的替代品，它们能提供高内存速度，降低服务器内存总线的负载，而且功耗更低。LRDIMM内存成本比RDIMM内存高非常多，但在高性能计算架构中十分常见。NVDIMM是什么？NVDIMM由BBU(BatteryBackedUp)DIMM演变而来。BBU采用后备电池以维持普通挥发性内存中的内容几小时之久。但是，电池含有重金属，废弃处置和对环境的污染，不符合绿色能源的要求。由超级电容作为动力源的NVDIMM应运而生。并且NVDIMM使用非挥发性的flash存储介质来保存数据，数据能够保存的时间更长。高性能计算HPC系统技术之互联网路IB是什么？InfiniBand架构是一种支持多并发链接的“转换线缆”技术，InfiniBand技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。因此，InfiniBand技术将会被应用于服务器与服务器（比如复制，分布式工作等），服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN，WANs和theInternet）的通信。高性能计算HPC系统为什么要使用IB互联？IB协议栈简单，处理效率高，管理简单，对RDMA支持好，功耗低，时延低。RDMA是什么？RDMA(RemoteDirectMemoryAccess)技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把数据直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，实现ZERO-COPY。IB的互联数率多大？IB目前支持FDR和QDR，华为可以提供56Gb/s互联解决方案。IB的产品主要有哪些？目前只有Mexllaon、Intel、Qlogic提供IB产品，Mexllaon是主要玩家，处于主导地位。什么是HCA？HostChannelAdapters(HCA)，IB连接的设备终结点，提供传输功能和Verb接口。TargetChannelAdapters(TCA)，HCA的子集，基本上用于存储。iWARP是什么？iWARP(Internetwide-areaRDMAprotocol)是由IETF组织定义的一种能在以太网上使用RDMA技术的网络技术。iWARPisRDMAoverEthernetoverTCP/IP。RoCE是什么？RoCE是由IBTA标准化组织定义的一种在以太网上采用RDMA技术的网络互联技术。RoCE网络的传输层和网络层采用InfiniBand网络的传输层和网络层，在链路层用Ethernet的链路层替换InfiniBand网络的链路层。这样它既具有InfiniBand网络的低时延、低CPU利用率等特点，又能够很好的兼容于Ethernet网络，和InfiniBand使用相同的verbs对应用提供服务。高性能计算HPC系统技术之存储TOP500HPC系统中存储主要使用分布式文件系统,分布式文件系统（DistributedFileSystem）可以有效解决数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS什么是lustre？Lustre体系结构是一个为集群设计的存储体系结构。其核心组件是运行在Linux操作系统上、支持标准的POSIX*UNIX文件系统接口、并遵循GPL2.0许可的Lustre文件系统。据IDC的统计，Lustre是在HPC领域应用最广的文件系统，世界上最快的50个超算网站有60%都使用Lustre。Lustre的文件系统有哪些组件？Lustre文件系统的主要组件有：MDS、MDT、OSS、OST、Client。各个组件间的链接关系如图所示。MDS、MDT、OSS、OST是什么？MDS（MetadataServer）：MDS负责管理Lustre文件系统的文件名、目录、权限、文件结构等元数据信息，MDS生成的元数据存储在一个或者多个MDT上，并为每个Client提供服务。MDS可以有多个，但只有一个为主MDS，其余MDS工作在备份模式。MDT（MetadataTarget）：每个文件系统都有一个MDT，MDT可以是MDS本地硬盘（只有一个MDS时）、也可以是远端存储的一个LUN设备。一个MDT可以通过同时映射给两台主机，供多个MDS进行访问，但同一时刻只能有一个MDS进行访问，通过这种方式可以实现MDS的高可用性。OSS（ObjectStorageServers）：OSS为Client提供文件I/O服务，客户端从MDS获取元数据信息后，从OSS访问文件数据，文件数据最终存储在与OSS相连的OST上。OST（ObjectStorageTarget）：用户文件存储在一个或者多个对象中，每个对象对应一个独立的OST，每个文件可以存储在一个OST上，也可以跨越多个OST进行存储。一个OST可以通过同时映射给两台主机实现OSS的高可用性。Panasas是什么？Panasas是业界最早的基于对象技术的高性能存储系统。和所有基于对象存储的并行存储系统一样，Panasas也由client端、管理节点、数据节点（对象存储节点）组成。但和其它系统不同的是，Panasas是包括定制硬件设计的性能优越、功能完善、成熟的商业产品。GPFS是什么？GPFS(GeneralParallelFileSystem,GPFS)是IBM公司第一个共享文件系统，起源于IBMSP系统上使用的虚拟共享磁盘技术(VSD)。作为这项技术的核心，GPFS是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。IBM在HPC方案的存储方案推荐GPFS。高性能计算HPC系统技术之集群软件集群软件一般具有哪些功能？作业调度、集群监控、集群管理、能耗管理、统计分析、告警管理、流程管理、故障管理目前当前市场主要有哪些集群软件？BCM（BrightClusterManager）、CHESS(ClustertechHPCEnvironmentSoftwareStack)、JH、IBMPlatformHPC、CMU（HP）、Gridview（曙光）。高性能计算HPC系统技术之应用（客户）软件MPI、OpenMPI和OpenMP的区别MPI:英文全称是MessagePassingInterface，信息传递接口，是独立于语言的通信协议（标准）。MPI的实现有MPICH，MPI-1，MPI-2，openMPI，intelMPI，platformMPI等等openMPI：英文全称是openMessagePassingInterface。openMPI是MPI的一种实现，一种库项目。OpenMP：英文全称是OpenMultiprocessing，一种应用程序界面（API，即ApplicationProgramInterface），是一种并行的实现和方法，也可以认为是共享存储结构上的一种编程模型，可用于共享内存并行系统的多线程程序设计的一套指导性注释（CompilerDirective）。在当前的并行机子中，openMP和openMPI都是需要的，openMP用于本地的并行计算（共享内存内存架构），支持目前所有平台上的c,fortran等的共享内存式并行计算，它相当于是给出了一个让并行编程更加容易实现的模型，而openMPI则是用于机器之间的通信（分布式内存架构）。SMP、NUMA、MPP体系结构介绍从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构(SMP：SymmetricMulti-Processor)，非一致存储访问结构(NUMA：Non-UniformMemoryAccess)，以及海量并行处理结构(MPP：MassiveParallelProcessing)。它们的特征分别描述如下：1.SMP(SymmetricMulti-Processor)SMP(SymmetricMultiProcessing),对称多处理系统内有许多紧耦合多处理器，在这样的系统中，所有的CPU共享全部资源，如总线，内存和I/O系统等，操作系统或管理数据库的复本只有一个，这种系统有一个最大的特点就是共享所有资源。多个CPU之间没有区别，平等地访问内存、外设、一个操作系统。操作系统管理着一个队列，每个处理器依次处理队列中的进程。如果两个处理器同时请求访问一个资源（例如同一段内存地址），由硬件、软件的锁机制去解决资源争用问题。AccesstoRAMisserialized;thisandcachecoherencyissuescausesperformancetolagslightlybehindthenumberofadditionalprocessorsinthesystem.图1.SMP服务器CPU利用率状态所谓对称多处理器结构，是指服务器中多个CPU对称工作，无主次或从属关系。各CPU共享相同的物理内存，每个CPU访问内存中的任何地址所需时间是相同的，因此SMP也被称为一致存储器访问结构(UMA：UniformMemoryAccess)。对SMP服务器进行扩展的方式包括增加内存、使用更快的CPU、增加CPU、扩充I/O(槽口数与总线数)以及添加更多的外部设备(通常是磁盘存储)。SMP服务器的主要特征是共享，系统中所有资源(CPU、内存、I/O等)都是共享的。也正是由于这种特征，导致了SMP服务器的主要问题，那就是它的扩展能力非常有限。对于SMP服务器而言，每一个共享的环节都可能造成SMP服务器扩展时的瓶颈，而最受限制的则是内存。由于每个CPU必须通过相同的内存总线访问相同的内存资源，因此随着CPU数量的增加，内存访问冲突将迅速增加，最终会造成CPU资源的浪费，使CPU性能的有效性大大降低。实验证明，SMP服务器CPU利用率最好的情况是2至4个CPU。2.NUMA(Non-UniformMemoryAccess)由于SMP在扩展能力上的限制，人们开始探究如何进行有效地扩展从而构建大型系统的技术，NUMA就是这种努力下的结果之一。利用NUMA技术，可以把几十个CPU(甚至上百个CPU)组合在一个服务器内。其CPU模块结构如图2所示：图2.NUMA服务器CPU模块结构NUMA服务器的基本特征是具有多个CPU模块，每个CPU模块由多个CPU(如4个)组成，并且具有独立的本地内存、I/O槽口等。由于其节点之间可以通过互联模块(如称为CrossbarSwitch)进行连接和信息交互，因此每个CPU可以访问整个系统的内存(这是NUMA系统与MPP系统的重要差别)。显然，访问本地内存的速度将远远高于访问远地内存(系统内其它节点的内存)的速度，这也是非一致存储访问NUMA的由来。由于这个特点，为了更好地发挥系统性能，开发应用程序时需要尽量减少不同CPU模块之间的信息交互。利用NUMA技术，可以较好地解决原来SMP系统的扩展问题，在一个物理服务器内可以支持上百个CPU。比较典型的NUMA服务器的例子包括HP的Superdome、SUN15K、IBMp690等。但NUMA技术同样有一定缺陷，由于访问远地内存的延时远远超过本地内存，因此当CPU数量增加时，系统性能无法线性增加。如HP公司发布Superdome服务器时，曾公布了它与HP其它UNIX服务器的相对性能值，结果发现，64路CPU的Superdome(NUMA结构)的相对性能值是20，而8路N4000(共享的SMP结构)的相对性能值是6.3。从这个结果可以看到，8倍数量的CPU换来的只是3倍性能的提升。3.MPP(MassiveParallelProcessing)和NUMA不同，MPP提供了另外一种进行系统扩展的方式，它由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征是由多个SMP服务器(每个SMP服务器称节点)通过节点互联网络连接而成，每个节点只访问自己的本地资源(内存、存储等)，是一种完全无共享(ShareNothing)结构，因而扩展能力最好，理论上其扩展无限制，目前的技术可实现512个节点互联，数千个CPU。目前业界对节点互联网络暂无标准，如NCR的Bynet，IBM的SPSwitch，它们都采用了不同的内部实现机制。但节点互联网仅供MPP服务器内部使用，对用户而言是透明的。在MPP系统中，每个SMP节点也可以运行自己的操作系统、数据库等。但和NUMA不同的是，它不存在异地内存访问的问题。换言之，每个节点内的CPU不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一般称为数据重分配(DataRedistribution)。但是MPP服务器需要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于MPP技术的服务器往往通过系统级软件(如数据库)来屏蔽这种复杂性。举例来说，NCR的Teradata就是基于MPP技术的一个关系数据库软件，基于此数据库来开发应用时，不管后台服务器由多少个节点组成，开发人员所面对的都是同一个数据库系统，而不需要考虑如何调度其中某几个节点的负载。MPP(MassivelyParallelProcessing)，大规模并行处理系统，这样的系统是由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源，如总线，内存，硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共享资源。4.NUMA、MPP、SMP之间性能的区别NUMA的节点互联机制是在同一个物理服务器内部实现的，当某个CPU需要进行远地内存访问时，它必须等待，这也是NUMA服务器无法实现CPU增加时性能线性扩展。MPP的节点互联机制是在不同的SMP服务器外部通过I/O实现的，每个节点只访问本地内存和存储，节点之间的信息交互与节点本身的处理是并行进行的。因此MPP在增加节点时性能基本上可以实现线性扩展。SMP所有的CPU资源是共享的，因此完全实现线性扩展。5.MPP和SMP、NUMA应用之间的区别NUMA架构的优势：NUMA架构来看，它可以在一个物理服务器内集成许多CPU，使系统具有较高的事务处理能力，由于远地内存访问时延远长于本地内存访问，因此需要尽量减少不同CPU模块之间的数据交互。显然，NUMA架构更适用于OLTP事务处理环境，当用于数据仓库环境时，由于大量复杂的数据处理必然导致大量的数据交互，将使CPU的利用率大大降低。MPP的优势：MPP系统不共享资源，因此对它而言，资源比SMP要多，当需要处理的事务达到一定规模时，MPP的效率要比SMP好。由于MPP系统因为要在不同处理单元之间传送信息，在通讯时间少的时候，那MPP系统可以充分发挥资源的优势，达到高效率。也就是说：操作相互之间没有什么关系，处理单元之间需要进行的通信比较少，那采用MPP系统就要好。因此，MPP系统在决策支持和数据挖掘方面显示了优势。SMP的优势：MPP系统因为要在不同处理单元之间传送信息，所以它的效率要比SMP要差一点。在通讯时间多的时候，那MPP系统可以充分发挥资源的优势。因此当前使用的OTLP程序中，用户访问一个中心数据库，如果采用SMP系统结构，它的效率要比采用MPP结构要快得多。高能能计算集群应用分几类？按应用类型分为如下4类：科学计算型集群、负载均衡型集群、高可用型集群、并行数据库型集群应用需求对应的应用领域：计算密集型应用（Computing-intensive)：大型科学工程计算，数值模拟等。应用领域：石油、气象、CAE、核能、制药、环境监测分析、系统仿真等。数据密集型应用（Data-intensive)：数字图书馆，数据仓库，数据挖掘，计算可视化等。应用领域：图书馆、银行、证券、税务、决策支持系统等。通信密集型应用（Network-intensive)：协同工作，网格计算，遥控和远程诊断等。应用领域：网站、信息中心、搜索引擎、电信、流媒体等。高能能计算HPC常用种应用领域有哪些？CAE仿真、动漫渲染、物理化学、石油勘探、生命科学、气象环境。CAE仿真软件主要有哪些？类别公司软件介绍流体动力AnsysFluentCFD分析的领导者，航空、汽车、建筑等，应用范围广。AnsysCFXAnsys收购的另外一款CFD软件，强项在于旋转机械。OpenFOAM开源软件，在教育领域有着比较广泛的应用。CD-adapcoStar-CCM+STAR-CCM+不仅仅只是一个CFD求解器，它还是一个解决流体或固体流、传热和应力等相关问题的完整工程过程。和Fluent竞争EXAPowerflow能够进行流体的瞬态仿真，需要资源高，在汽车噪声仿真的细分领域有着独特优势。结构力学Abaqus包含显式求解器、隐式求解器、前后处理工具AnsysMechanicalAnsys的主要结构仿真软件。LS-dynaLS-DYNA是最常用的汽车碰撞模拟软件，是功能齐全的几何非线性(大位移、大转动和大应变)、材料非线性(200多种材料动态模型)和接触非线性(80多种)软件。NastranMSCNastran的是世界上使用最广泛的有限元分析（FEA）求解器。当涉及到模拟压力，动力，还是现实世界的震动以及复杂的系统时，MSCNastran仍然是目前世界上最好的和最值得信赖的软件。Pam-CrashPam-Crash为ESI公司的汽车碰撞仿真软件。和Dyna为两大主流碰撞软件。电磁仿真AgilentADSADS内含momentum(基于第三种经典算法－矩量法),是一种对第三维度进行简化的电磁场仿真器。AgilentEmpro使用频域和时域三维电磁场仿真技术设置和运行分析：有限元方法（FEM）和时