混合架构超算并行程序设计与应用 课件【ch01】绪论

“新工科建设之路·计算机类专业系列教材混合架构超算并行程序设计与应用绪论第一章01高性能计算应用需求和意义高性能计算应用需求和意义超级计算机(Supercomputer，简称超算)作为国之重器，在科学计算(如生物大分子模拟预测、新药物研制、核反应堆模拟、新材料研究、地震模拟、气象模拟)、国防军事(如密码破译、先进武器开发)、人工智能(如大规模机器学习训练)、动画染及可视化等领域发挥着越来越重要的作用。同时，各行各业的发展也对计算资源提出了越来越高的要求。例如，在目前火热的人工智能领域，发展出了如GPT3、DALL·E、悟道等大语言模型及如Google的DeepMind团队推出的用于蛋白质预测的AlphaFold2，由于它们的计算资源需求巨大，所以其模型训练无法在单机或者小规模计算集群上完成，必须转到超算上进行。高性能计算应用需求和意义计算流体力学(CFD)是科学计算领域的典型代表，下面从CFD的几个具体实例来看应用领域对计算能力更强的超算的需求。复杂外形湍流的数值模拟一直是CFD领域的研究热点、难点。常见的湍流数值模拟方法有直接数值模拟(DNS)、大涡模拟(LES)和雷诺平均Navier-Stokes模拟(RANS)等，如图1-1所示。高性能计算应用需求和意义三种方法中，DNS的计算精度是最高的，其可以刻画出三维湍流流场的细节，然而DNS的计算需求也是巨大的。各行各业、各专业领域巨大的计算需求，造就了对有更强大计算能力超算的需求的日益增加，同时也催生了超算计算能力的不断攀升和体系结构的演化。2022年，超算已经有了超过E级的计算能力(E级计算能力为每秒可进行百亿亿次浮点运算)，世界上各超算大国仍在研究和建造计算能力更强的超算(如是现有E级计算能力10倍的超算)。02混合架构超算发展趋势混合架构超算发展趋势从2012年泰坦(采用CPU+英伟达TeslaGPU架构)到天河2号(采用CPU+志强phi加速卡)再到神威·太湖之光(SW26010异构)以及目前世界追逐的E级超算(如FrontictE级超算采用CPU+GPU混合架构)，目前，无论是欧美还是中国，其超算无一例外都是采用异构混合架构的。CPU+加速计算硬件的异构混合架构是目前E级超算乃至未来10E级超算发展的主旋律，也是进一步突破超算计算能力的关键。03如何进行异构混合架构上的程序设计如何进行异构混合架构上的程序设计有了计算能力强大的超算硬件后，那么如何“指挥”这样一个大型机器为我们所用呢?这就需要我们了解超算的内部构成，了解硬件(包括计算硬件、网络硬件等)的体系结构了解其上的编程方法，了解如何让程序在超算上运行得更快。用领域专业的语言说就是，需要了解超算的体系架构、并行编程方法与各种并行算法及贴合硬件体系结构的性能优化技术。通过了解相关体系架构和编程方法，可以驱动超算开展大规模计算任务;通过一系列高效并行算法和优化技术，可以发挥异构混合计算硬件的优势，充分发挥硬件的计算能力，进一步提升软件和应用的计算效率。混合架构超算发展趋势1.熟悉超算体系结构对体系结构特性的了解，可以直接指导上层算法和软件的高效实现与优化。对现代异构混合计算硬件的多级存储结构(内存、L2cacheL1数据cacheL1指令cache可编程的片上小缓存等),需要了解其存储空大小、访存带宽与延迟及访存特性(如GPU上sharedmemory的bank冲突)等。对超算的计算节点，需要了解其内部互连方式及特性。对用于计算的计算单元，需要了解其内部寄存器分布、计算部件、任务调度方式、访存模式与特性及相关指令。混合架构超算发展趋势2.熟悉并行编程方法与并行算法并行编程方法与并行算法是进行高性能计算应用和算法库实现的重点，也是不可跳过的环节。基于超算硬件，需要了解超算厂商提供的用于驱动硬件进行高效计算的API接口如HIP、CUDA、OpenMP、神威的CRTS等。面向异构混合架构的并行算法设计，是在硬件特性的基础上结合并行编程模型而诞生的产物，十分考验算法设计者的创新能力。其需要结合硬件特性，设计巧妙的计算任务划分算法(包括负载均衡设计、任务调度设计等)、通信算法、高效访存方法等，以高效地操作数据在不同存储单元间“流动”(如通过片上缓存进行数据重用或者预加载等)，这也是充分发挥超算硬件的计算能力的关键。混合架构超算发展趋势3.贴合硬件体系结构的性能优化技术基于超算硬件体系结构，结合超算上的编程模型与算法实现，开展算法的性能优化，是进一步提升应用软件性能的关键。这需要了解程序的性能分析评价指标和性能分析方法，开展程序性能建模。在此基础上，开展高效访存模式、高效数据传输模式、计算指令、任务调度优化等内容研究。04本书的内容和安排本书的内容和安排虽然超算硬件的发展十分迅速，但是关于超算上编程的技术资料相对较少，导致在超算上进行异构混合架构编程的门槛很高，特别是面向国产异构硬件的编程与性能优化。本书主要面向在国产超算上进行应用软件开发和基础算法库开发的人员，提供基础编程指导。本书围绕国产超算异构混合体系架构、编程方法与编程模型、异构并行算法设计与优化等进行展开。本书的内容和安排本书共9章。第1章为绪论部分，介绍高性能计算背景和异构混合超算的发展趋势。第2章以国际国内超算为主题，介绍超算的发展历史和目前超算的基本架构。针对典型异构混合架构超算，介绍其硬件架构;针对超算编程问题，介绍相关的编程接口和编程语言。第3章介绍异构混合架构上的性能分析理论，讨论相关性能分析的指标和影响程序性能的因素:并针对性能瓶颈，讨论如何提高性能指标。本书的内容和安排第4章围绕CPU上的高性能程序设计，介绍OpenMP、MPI并行编程模型及面向x86CPU的向量化并行优化技术:并针对大规模应用的计算性能及扩展性场景，介绍相关的性能分析工具。第5章以典型片上异构的神威超算为主题，介绍其硬件架构、编程和优化方法，并提供了相关的编程示例。第6章以节点内异构的CPU+DCU硬件为基础结合示例讨论其上的编程方法和优化方法。第7章重点讨论在异构混合架构超算上，如何进行高效的并行算法设计。本书的内容和安排第8章介绍高性能计算领域的相关算法库及使用方法。第9章从具体应用出发