并行计算概述

并行计算概述第一页，共二十九页，2022年，8月28日如何满足不断增长的计算力需求？用速度更快的硬件，也就是减少每一条指令所需时间优化算法（或者优化编译）用多个处理机(器)同时解决一个问题并行计算2并行计算概述第二页，共二十九页，2022年，8月28日并行计算概述3并行:古老的思想!“...并行计算并不是什么新的思想,只是将它扩展应用于计算机而已”.作者也不认为这种扩展应用会存在什么无法克服的困难.但也不要期待有效的并行编程方法与技术能够在一夜之间诞生.期间还需要有许多的工作和实验要做.毕竟,今天的编程技术(串行)是若干年来艰苦的探索才取得的.现在编程工作似乎成了一种令人单调乏味的工作,事实上,并行编程的出现将会使重新恢复编程工作者们的探索精神...”(Gill,S.(1958),“ParallelProgramming”

TheComputerJournal,vol.1,April,pp.2-10.)ParallelProgrammingwithMPIbyPeterPacheco(2000)第三页，共二十九页，2022年，8月28日并行计算--高性能计算并行计算(ParallelComputing）

高端计算(High-endParallelComputing)

高性能计算(HighPerformanceComputing)

超级计算(SuperComputing)

任何高性能计算和超级计算都离不开使用并行技术Thesimultaneoususeofmorethanonecomputertosolveaproblem.由由运行在多个部件上的小任务合作来求解一个规模很大的计算问题的一种方法4第四页，共二十九页，2022年，8月28日什么是高性能并行计算机由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。也称为：巨型计算机、超级计算机目前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机肯定是并行计算机。5第五页，共二十九页，2022年，8月28日并行计算的概念6第六页，共二十九页，2022年，8月28日串行计算与并行计算并行计算概述7第七页，共二十九页，2022年，8月28日为什么要做并行计算？

－－应用需求8第八页，共二十九页，2022年，8月28日9第九页，共二十九页，2022年，8月28日计算科学与传统的两种科学，即理论科学和实验科学，并列被认为是人类认识自然的三大支柱，他们彼此相辅相成地推动科学发展与社会进步。在许多情况下，或者是理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无法进行时，计算就成了求解问题的唯一或主要的手段。为什么要做并行计算？

－－应用需求10第十页，共二十九页，2022年，8月28日为什么要做并行计算？人类对计算及性能的要求是无止境的从系统的角度：集成系统资源，以满足不断增长的对性能和功能的要求

从应用的角度：适当分解应用，以实现更大规模或更细致的计算11第十一页，共二十九页，2022年，8月28日为什么要做并行计算？问题:科学和工程问题的数值模拟与仿真计算密集数据密集网络密集三种混合要求:在合理的时限内完成计算任务秒级 制造业分钟级 短时天气预报(当天)小时级 中期天气预报(3~10日)尽可能快 长期天气预报(气候)可计算 湍流模拟12第十二页，共二十九页，2022年，8月28日13第十三页，共二十九页，2022年，8月28日其发展历程可以简单的分为两个时代专用时代

包括向量机，MPP系统，SGINUMA系统，SUN大型SMP系统，也包括我国的神威，银河，曙光1000等。

之所以称为“专用”，并不是说它们只能运行某种应用，是指它们的组成部件是专门设计的，它们的CPU板，内存板，I/O板，甚至操作系统，都是不能在其它系统中使用的。由于技术上桌面系统与高端系统的巨大差异，和用户群窄小。普及时代

高性能计算机价格下降，应用门槛降低，应用开始普及。两个技术趋势起到重要作用。

商品化趋势使得大量生产的商品部件接近了高性能计算机专有部件

标准化趋势使得这些部件之间能够集成一个系统中，其中X86处理器、以太网、内存部件、Linux都起到决定性作用。

机群系统是高性能计算机的一种，它的技术基础和工业基础都是商品化和标准化。14第十四页，共二十九页，2022年，8月28日Top500中的超级计算机地球模拟器ASCIQASCIWhite15第十五页，共二十九页，2022年，8月28日EarthSimulatorEarthsimulatorcenterNecRmax:35.86Tflops8*8*640第十六页，共二十九页，2022年，8月28日EarthSimulator第十七页，共二十九页，2022年，8月28日EarthSimulator第十八页，共二十九页，2022年，8月28日ASCIQ1024nodes8cpu/node10240Gflops7727Gflops第十九页，共二十九页，2022年，8月28日ASCIwhiteLLNLIBMSPpower3Rmax7.22Tflops第二十页，共二十九页，2022年，8月28日曙光1000曙光1000有36个结点机;峰值计算速度为浮点25.6亿次/秒，实际达到15.8亿次/秒；内存容量为1024兆字节；基于Wormhole机制的二维Mesh通讯网，结点与网络通讯总带宽为2.88GB/秒；采用基于UNIX的并行操作系统和并行文件系统；第二十一页，共二十九页，2022年，8月28日并行计算机-CRAYSystemName Jaguar1059000GFlopsSystemFamily CrayXTOperatingSystemCNLInterconnect XT4InternalInterconnectProcessor AMDOpteronQuadCore2300MHz(9.2GFlops)第二十二页，共二十九页，2022年，8月28日并行计算机-IBMSystemName Roadrunner1105000GFlopsSystemFamily IBMClusterOperatingSystemLinuxInterconnect InfinibandProcessor PowerXCell8i3200MHz(12.8GFlops)第二十三页，共二十九页，2022年，8月28日并行计算机-DAWNINGSystemName Dawning5000A 180600GFlopsSystemFamily DawningClusterOperatingSystemWindowsHPCserver2008andSUSEInterconnect InfinibandDDRProcessor AMDOpteronQuadCore1900MHz(7.6GFlops)第二十四页，共二十九页，2022年，8月28日并行计算机所用的处理器AMDOpteronXeonNoconaIntelItaniumCompaqAlphaHPPA-RISCSunUltraSPARCIBMPOWER5+,POWER6IBMBlueGeneprocessorMIPSR10000龙芯第二十五页，共二十九页，2022年，8月28日最新TOP500cpu分布第二十六页，共二十九页，2022年，8月28日并行机处理器-AMDPERFORMANCE1-WAYPERFORMANCE2-WAYPERFORMANCE4-WAYAND8-WAYAMDOpteron™200Series&2000SeriesProcessorsDesignedfor2-wayServer/WorkstationsolutionsFirstnativex86dual-coresolutionfor2-waycomputingAMDOpteron™100Series&1000SeriesProcessorsDesignedfor1-wayServer/WorkstationsolutionsFirstnativex86dual-coresolutionfor1-waycomputingAMDOpteron™800Series&8000SeriesProcessorsDesignedfor4-wayand8-wayServersolutionsFirstnativex86dual-coresolutionfor4-way/8-waycomputingAMDOpteron™ProcessorsforServersandWorkstations第二十七页，共二十九页，2022年，8月28日并行机处理器-Intel数据要求苛刻双核英特尔®

至强®7000系列处理器

最大限度提高性能、可靠性和可扩展性双核英特尔®

安腾®

处理器9000大型机级服务器,具有顶级的灵活性和可靠性RISC与大型机