并行计算-硬件基础及性能评测概要课件

并行计算

ParallelComputing基本概念2023/1/81并行计算

ParallelComputing基本概念202如何满足不断增长的计算力需求？用速度更快的硬件，也就是减少每一条指令所需时间优化算法（或者优化编译）用多个处理机(器)同时解决一个问题并行计算2023/1/82如何满足不断增长的计算力需求？用速度更快的硬件，也就是减少每串行计算与并行计算2023/1/83串行计算与并行计算2023/1/73并行的层次程序级并行子程序级并行语句级并行操作级并行微操作级并行并行粒度粗细2023/1/84并行的层次程序级并行并行粒度粗细2023/1/74FLOPSFloatingpointnumberOperationsPerSecond--每个时钟周期执行浮点运算的次数理论峰值＝CPU主频＊每时钟周期执行浮点运算数＊CPU数目部分处理器每时钟周期执行浮点运算数：2023/1/85FLOPSFloatingpointnumberOpe2023/1/862023/1/76Top500—2007年11月高居榜首的依然是来自IBM的“蓝色基因/L”。自从2004年11月以来，该系统已经连续三年遥遥领先，而且计算能力不断提升，Linpack基准测试性能478.2TFlop/s(每秒478.2万亿次运算)，而半年前还是280.6TFlop/s拿下亚军位置的还是IBM，不过换成了一台落成不久的“蓝色基因/P”。位于德国尤里希研究中心的这套新系统运算能力167.3TFlop/s，不过按照IBM的设计规划，蓝色基因/P的性能将有望突破1TFlop/s大关，即每秒一千万亿次运算。2023/1/87Top500—2007年11月高居榜首的依然是来自IBM的“Top500—2007年11月第三名也是个新面孔，同时也是新墨西哥计算应用中心(NMCAC)的第一套超级计算机，由SGI基于AltixICE8200打造，计算能力126.9TFlop/s。同时印度史上首次杀入了TOP10行列，印度计算研究实验室的HPClusterPlatform3000BL460c以117.9TFlop/s的性能拿到了第四位2023/1/88Top500—2007年11月第三名也是个新面孔，同时也是新供应商－系统数量2023/1/89供应商－系统数量2023/1/79供应商－计算能力2023/1/810供应商－计算能力2023/1/710国家分布－系统数量2023/1/811国家分布－系统数量2023/1/711国家分布－计算能力2023/1/812国家分布－计算能力2023/1/712体系结构－系统数量2023/1/813体系结构－系统数量2023/1/713体系结构－计算能力2023/1/814体系结构－计算能力2023/1/714应用领域－系统数量2023/1/815应用领域－系统数量2023/1/715应用领域－计算能力2023/1/816应用领域－计算能力2023/1/716操作系统－系统数量2023/1/817操作系统－系统数量2023/1/717操作系统－计算能力2023/1/818操作系统－计算能力2023/1/718处理器家族－系统数量2023/1/819处理器家族－系统数量2023/1/719处理器家族－计算能力2023/1/820处理器家族－计算能力2023/1/720系统数量2023/1/821系统数量2023/1/721计算能力2023/1/822计算能力2023/1/7222007年中国高性能计算机性能TOP100

2023/1/8232007年中国高性能计算机性能TOP1002023/1/7并行化方法域分解（Domaindecomposition）任务分解（Taskdecomposition）流水线（Pipelining）2023/1/824并行化方法域分解（Domaindecomposition）域分解First,decidehowdataelementsshouldbedivided amongprocessorsSecond,decidewhichtaskseachprocessorshouldbedoingExample:Vectoraddition2023/1/825域分解First,decidehowdataelem域分解Findthelargestelementofanarray2023/1/826域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/827域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/828域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/829域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/830域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/831域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU

32023/1/832域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/833域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/834域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/835域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/836域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU

2CPU

32023/1/837域分解Findthelargestelementof任务（功能）分解First,dividetasksamongprocessorsSecond,decidewhichdataelementsaregoingtobeaccessed(readand/orwritten)bywhichprocessorsExample:Event-handlerforGUI2023/1/838任务（功能）分解First,dividetasksam任务分解f()s()r()q()h()g()2023/1/839任务分解f()s()r()q()h()g()2023/1/7任务分解f()s()r()q()h()g()CPU0CPU2CPU

12023/1/840任务分解f()s()r()q()h()g()CPU0CPU任务分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/841任务分解f()s()r()q()h()g()CPU0CPU任务分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/842任务分解f()s()r()q()h()g()CPU0CPU任务分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/843任务分解f()s()r()q()h()g()CPU0CPU任务分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/844任务分解f()s()r()q()h()g()CPU0CPU流水线Specialkindoftaskdecomposition“Assemblyline”parallelismExample:3DrenderingincomputergraphicsRasterizeClipProjectModelInputOutput2023/1/845流水线SpecialkindoftaskdecompProcessingOneDataSet(Step1)RasterizeClipProjectModel2023/1/846ProcessingOneDataSet(StepProcessingOneDataSet(Step2)RasterizeClipProjectModel2023/1/847ProcessingOneDataSet(StepProcessingOneDataSet(Step3)RasterizeClipProjectModel2023/1/848ProcessingOneDataSet(StepProcessingOneDataSet(Step4)RasterizeClipProjectModelThepipelineprocesses1datasetin4steps2023/1/849ProcessingOneDataSet(StepProcessingTwoDataSets(Step1)RasterizeClipProjectModel2023/1/850ProcessingTwoDataSets(StepProcessingTwoDataSets(Time2)RasterizeClipProjectModel2023/1/851ProcessingTwoDataSets(TimeProcessingTwoDataSets(Step3)RasterizeClipProjectModel2023/1/852ProcessingTwoDataSets(StepProcessingTwoDataSets(Step4)RasterizeClipProjectModel2023/1/853ProcessingTwoDataSets(StepProcessingTwoDataSets(Step5)RasterizeClipProjectModelThepipelineprocesses2datasetsin5steps2023/1/854ProcessingTwoDataSets(StepPipeliningFiveDataSets(Step1)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/855PipeliningFiveDataSets(StePipeliningFiveDataSets(Step2)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/856PipeliningFiveDataSets(StePipeliningFiveDataSets(Step3)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/857PipeliningFiveDataSets(StePipeliningFiveDataSets(Step4)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/858PipeliningFiveDataSets(StePipeliningFiveDataSets(Step5)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/859PipeliningFiveDataSets(StePipeliningFiveDataSets(Step6)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/860PipeliningFiveDataSets(StePipeliningFiveDataSets(Step7)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/861PipeliningFiveDataSets(StePipeliningFiveDataSets(Step8)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/1/862PipeliningFiveDataSets(Ste并行计算

ParallelComputing基本概念2023/1/863并行计算

ParallelComputing基本概念202如何满足不断增长的计算力需求？用速度更快的硬件，也就是减少每一条指令所需时间优化算法（或者优化编译）用多个处理机(器)同时解决一个问题并行计算2023/1/864如何满足不断增长的计算力需求？用速度更快的硬件，也就是减少每串行计算与并行计算2023/1/865串行计算与并行计算2023/1/73并行的层次程序级并行子程序级并行语句级并行操作级并行微操作级并行并行粒度粗细2023/1/866并行的层次程序级并行并行粒度粗细2023/1/74FLOPSFloatingpointnumberOperationsPerSecond--每个时钟周期执行浮点运算的次数理论峰值＝CPU主频＊每时钟周期执行浮点运算数＊CPU数目部分处理器每时钟周期执行浮点运算数：2023/1/867FLOPSFloatingpointnumberOpe2023/1/8682023/1/76Top500—2007年11月高居榜首的依然是来自IBM的“蓝色基因/L”。自从2004年11月以来，该系统已经连续三年遥遥领先，而且计算能力不断提升，Linpack基准测试性能478.2TFlop/s(每秒478.2万亿次运算)，而半年前还是280.6TFlop/s拿下亚军位置的还是IBM，不过换成了一台落成不久的“蓝色基因/P”。位于德国尤里希研究中心的这套新系统运算能力167.3TFlop/s，不过按照IBM的设计规划，蓝色基因/P的性能将有望突破1TFlop/s大关，即每秒一千万亿次运算。2023/1/869Top500—2007年11月高居榜首的依然是来自IBM的“Top500—2007年11月第三名也是个新面孔，同时也是新墨西哥计算应用中心(NMCAC)的第一套超级计算机，由SGI基于AltixICE8200打造，计算能力126.9TFlop/s。同时印度史上首次杀入了TOP10行列，印度计算研究实验室的HPClusterPlatform3000BL460c以117.9TFlop/s的性能拿到了第四位2023/1/870Top500—2007年11月第三名也是个新面孔，同时也是新供应商－系统数量2023/1/871供应商－系统数量2023/1/79供应商－计算能力2023/1/872供应商－计算能力2023/1/710国家分布－系统数量2023/1/873国家分布－系统数量2023/1/711国家分布－计算能力2023/1/874国家分布－计算能力2023/1/712体系结构－系统数量2023/1/875体系结构－系统数量2023/1/713体系结构－计算能力2023/1/876体系结构－计算能力2023/1/714应用领域－系统数量2023/1/877应用领域－系统数量2023/1/715应用领域－计算能力2023/1/878应用领域－计算能力2023/1/716操作系统－系统数量2023/1/879操作系统－系统数量2023/1/717操作系统－计算能力2023/1/880操作系统－计算能力2023/1/718处理器家族－系统数量2023/1/881处理器家族－系统数量2023/1/719处理器家族－计算能力2023/1/882处理器家族－计算能力2023/1/720系统数量2023/1/883系统数量2023/1/721计算能力2023/1/884计算能力2023/1/7222007年中国高性能计算机性能TOP100

2023/1/8852007年中国高性能计算机性能TOP1002023/1/7并行化方法域分解（Domaindecomposition）任务分解（Taskdecomposition）流水线（Pipelining）2023/1/886并行化方法域分解（Domaindecomposition）域分解First,decidehowdataelementsshouldbedivided amongprocessorsSecond,decidewhichtaskseachprocessorshouldbedoingExample:Vectoraddition2023/1/887域分解First,decidehowdataelem域分解Findthelargestelementofanarray2023/1/888域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/889域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/890域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/891域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/892域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/893域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU

32023/1/894域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/895域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/896域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/897域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/1/898域分解Findthelargestelementof域分解FindthelargestelementofanarrayCPU0CPU1CPU

2CPU

32023/1/899域分解Findthelargestelementof任务（功能）分解First,dividetasksamongprocessorsSecond,decidewhichdataelementsaregoingtobeaccessed(readand/orwritten)bywhichprocessorsExample:Event-handlerforGUI2023/1/8100任务（功能）分解First,dividetasksam任务分解f()s()r()q()h()g()2023/1/8101任务分解f()s()r()q()h()g()2023/1/7任务分解f()s()r()q()h()g()CPU0CPU2CPU

12023/1/8102任务分解f()s()r()q()h()g()CPU0CPU任务分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/8103任务分解f()s()r()q()h()g()CPU0CPU任务分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/8104任务分解f()s()r()q()h()g()CPU0CPU任务分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/8105任务分解f()s()r()q()h()g()CPU0CPU任务分解f()s()r()q()h()g()CPU0CPU2CPU12023/1/8106任务分解f()s()r()q()h()g()CPU0CPU流水线Specialkindoftaskdecomposition“Assemblyline”parallelismExample:3DrenderingincomputergraphicsRasterizeClipProjectModelInputOutput2023/1/8107流水线SpecialkindoftaskdecompProcessingOneDataSet(Step1)RasterizeClipProjectModel2023/1/8108ProcessingOneDataSet(StepProcessingOneDataSet(Step2)RasterizeClipProjectModel2023/1/8109ProcessingOneDataSet(StepProcessingOneDataSet(Step3)RasterizeClipProjectModel2023/1/8110ProcessingOneDataSet(StepProcessingOneDataSet(Step4)RasterizeClipProjectModelThepipelineprocesses1datasetin4steps2023/1/8111ProcessingOneDataSet(StepProcessingTwoDataSets(Step1)RasterizeClipProjectModel2023/1/8112ProcessingTwoDataSets(StepProcessingTwoDataSets(Time2)RasterizeClipProjectModel2023/1/8113ProcessingTwoDataSets(TimeProcessingTwoDataSets(Step3)RasterizeClipProjectModel2023/1/8114ProcessingTwoDataSets(StepProcessingTwoDataSets(Step4)RasterizeClipProjectModel2023/1/8115ProcessingTwoDataSets(StepProcessingTwoDataSets(Step5)RasterizeClipProjectModelThepipelineprocesses2datasetsin5s