《并行计算概述》PPT课件

1、并行计算Parallel Computing基本概念2022/7/221如何满足不断增长的计算力需求？用速度更快的硬件，也就是减少每一条指令所需时间优化算法（或者优化编译）用多个处理机(器)同时解决一个问题并行计算2022/7/222串行计算与并行计算2022/7/223并行的层次程序级并行子程序级并行语句级并行操作级并行微操作级并行并行粒度粗细2022/7/224FLOPSFloating point number Operations Per Second -每个时钟周期执行浮点运算的次数 理论峰值CPU主频每时钟周期执行浮点运算数CPU数目部分处理器每时钟周期执行浮点运算数：2022/7

2、/2252022/7/226Top5002007年11月高居榜首的依然是来自IBM的“蓝色基因/L”。自从2004年11月以来，该系统已经连续三年遥遥领先，而且计算能力不断提升，Linpack基准测试性能478.2 TFlop/s(每秒478.2万亿次运算)，而半年前还是280.6 TFlop/s 拿下亚军位置的还是IBM，不过换成了一台落成不久的“蓝色基因/P”。位于德国尤里希研究中心的这套新系统运算能力167.3 TFlop/s，不过按照IBM的设计规划，蓝色基因/P的性能将有望突破1 TFlop/s大关，即每秒一千万亿次运算。 2022/7/227Top5002007年11月第三名也是个

3、新面孔，同时也是新墨西哥计算应用中心(NMCAC)的第一套超级计算机，由SGI基于Altix ICE 8200打造，计算能力126.9 TFlop/s。 同时印度史上首次杀入了TOP10行列，印度计算研究实验室的HP Cluster Platform 3000 BL460c以117.9 TFlop/s的性能拿到了第四位 2022/7/228供应商系统数量2022/7/229供应商计算能力2022/7/2210国家分布系统数量2022/7/2211国家分布计算能力2022/7/2212体系结构系统数量2022/7/2213体系结构计算能力2022/7/2214应用领域系统数量2022/7/221

4、5应用领域计算能力2022/7/2216操作系统系统数量2022/7/2217操作系统计算能力2022/7/2218处理器家族系统数量2022/7/2219处理器家族计算能力2022/7/2220系统数量2022/7/2221计算能力2022/7/22222007年中国高性能计算机性能TOP100 2022/7/2223并行化方法域分解（Domain decomposition）任务分解（Task decomposition）流水线（Pipelining）2022/7/2224域分解First, decide how data elements should be divided among

5、processorsSecond, decide which tasks each processor should be doingExample: Vector addition2022/7/2225域分解Find the largest element of an array2022/7/2226域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2227域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2228域分解Find

6、the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2229域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2230域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2231域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2232域分解Find the largest element

7、of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2233域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2234域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2235域分解Find the largest element of an arrayCPU 0CPU 1CPU 2CPU 32022/7/2236域分解Find the largest element of an arrayCPU 0CPU

8、1CPU 2CPU 32022/7/2237任务（功能）分解First, divide tasks among processorsSecond, decide which data elements are going to be accessed (read and/or written) by which processorsExample: Event-handler for GUI2022/7/2238任务分解f()s()r()q()h()g()2022/7/2239任务分解f()s()r()q()h()g()CPU 0CPU 2CPU 12022/7/2240任务分解f()s()r

9、()q()h()g()CPU 0CPU 2CPU 12022/7/2241任务分解f()s()r()q()h()g()CPU 0CPU 2CPU 12022/7/2242任务分解f()s()r()q()h()g()CPU 0CPU 2CPU 12022/7/2243任务分解f()s()r()q()h()g()CPU 0CPU 2CPU 12022/7/2244流水线Special kind of task decomposition“Assembly line” parallelismExample: 3D rendering in computer graphicsRasterizeClip

10、ProjectModelInputOutput2022/7/2245Processing One Data Set (Step 1)RasterizeClipProjectModel2022/7/2246Processing One Data Set (Step 2)RasterizeClipProjectModel2022/7/2247Processing One Data Set (Step 3)RasterizeClipProjectModel2022/7/2248Processing One Data Set (Step 4)RasterizeClipProjectModelThe p

11、ipeline processes 1 data set in 4 steps2022/7/2249Processing Two Data Sets (Step 1)RasterizeClipProjectModel2022/7/2250Processing Two Data Sets (Time 2)RasterizeClipProjectModel2022/7/2251Processing Two Data Sets (Step 3)RasterizeClipProjectModel2022/7/2252Processing Two Data Sets (Step 4)RasterizeC

12、lipProjectModel2022/7/2253Processing Two Data Sets (Step 5)RasterizeClipProjectModelThe pipeline processes 2 data sets in 5 steps2022/7/2254Pipelining Five Data Sets (Step 1)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022/7/2255Pipelining Five Data Sets (Step 2)Data set 0D

13、ata set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022/7/2256Pipelining Five Data Sets (Step 3)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022/7/2257Pipelining Five Data Sets (Step 4)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022/7/2258Pipelining Five Data Sets (Step 5)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022/7/2259Pipelining Five Data Sets (Step 6)Data set 0Data set 1Data set 2Data set 3Data set 4CPU 0CPU 1CPU 2CPU 32022/7/2260Pipelining F