第一章并行编程硬件基础2

并行程序设计-22023/2/42内容提要一 并行编程硬件基础

（3学时）二 并行编程软件基础

（3学时）三 多线程编程基础

（2学时）四 Linux多线程编程

（2学时）五 Windows多线程编程

（3学时）六 OpenMP编程

（7学时）七 MPI编程

（4学时）八 其他编程语言和方法

（2学时）九 并行程序设计的应用实例

（2学时）

1并行程序设计引言2并行计算机系统互联3并行计算机系统模型（本节课内容）4多核技术一、 并行编程硬件基础2023/2/432023/2/442并行计算机系统互连网络互连网络是将集中式系统或分布式系统中的节点连

接起来所构成的网络。在拓扑上，互连网络为输入和输出两组节点之间提供一组互连或映象。2023/2/452.1系统互连网络（续1）不同带宽与距离的互连技术: 总线、SAN、LAN、MAN、WAN2023/2/462.1系统互连网络（续2）通信网络是多处理机性能发挥的瓶颈主要方式：总线、交叉开关、多端口存贮器、开关枢纽网络参数节点度（NodeDegree）：射入或射出一个节点的边数。在单向网络中，入射和出射边之和称为节点度。网络直径（NetworkDiameter）：网络中任何两个节点之间的最长距离，即最大路径数。对剖宽度（BisectionWidth）：对分网络各半所必须移去的最少边数对剖带宽（BisectionBandwidth）:每秒钟内，在最小的对剖平面上通过所有连线的最大信息位（或字节）数如果从任一节点观看网络都一样，则称为对称的（Symmetry）2023/2/472.1系统互连网络（续3）静态互连网络处理单元间有着固定连接的一类网络，在程序执行期间，这种点到点的链接保持不变；典型的静态网络有一维线性阵列、二维网孔、树连接、超立方网络、立方环、洗牌交换网、蝶形网络等动态网络用交换开关构成的，可按应用程序的要求动态地改变连接组态；典型的动态网络包括总线、交叉开关和多级互连网络等。2023/2/482.1系统互连网络（续4）例子：静态互联网络中的二叉树除了根、叶节点，每个内节点只与其父节点和两个子节点相连。节点度为3，对剖宽度为1.如果尽量增大节点度，则直径缩小为2，此时就变成了星形网络.传统二叉树的主要问题是根易成为通信瓶颈。胖树节点间的通路自叶向根逐渐变宽。2023/2/49网络名称网络规模节点度网络直径对剖宽度对称链路数线性阵列21非环形2（双向）2是2-D网孔

4非Illiac网孔

4非2-D环绕4是二叉树31非星形2非超立方

nn是立方环3是2.1系统互连网络（续5）静态互连网络特性比较2023/2/4102.1系统互连网络（续6）n,节点规模w，数据宽度动态互连网络的复杂度和带宽性能一览表网络特性总线系统多级互连网络交叉开关硬件复杂度每个处理器带宽～3并行计算机系统模型并行计算机系统结构分类并行计算机结构模型并行计算机访存模型2023/2/4112023/2/4123.1并行计算机系统结构分类Flynn分类：SISD,SIMD,MIMD,MISD结构模型（MIMD）PVP,SMP,MPP,DSM,COW访存模型:UMA,NUMA,COMA,CC-NUMA,NORMA2023/2/4133.1并行计算机系统结构分类（续1）1966年M.J.Flynn根据指令流(InstructionStream机器执行指令序列）、数据流(DataStream指令流调用的数据序列）、多倍性(Multiplicity：在系统结构的流程瓶颈上同时执行的指令or数据可能最大个数）将系统结构分成：SISD(singleinstructionstreamoverasingledatastream)SIMD(singleinstructionstreamovermultipledatastream)MIMD(multipleinstructionstreamsovermultipledatastreams)MISD(multipleinstructionstreamsandasingledatastreams)2023/2/4143.1并行计算机系统结构分类（续2）以处理单元的作用为主的分类方法：PVP处理器是向量(Vector)处理器SMP任意处理器可直接访问任意内存地址（对称）MPP处理器与其他部件形成节点后再组成并行计算机DSM加上虚拟层，近似拥有SMP和MPP的优点CLUSTER处理器与其他部件形成完整节点后再组成并行计算机以上都是MIMD机器，此外还有专用的SIMD机器。以存储单元的作用为主的分类方法：UMA存储器均匀共享NUMA存储器非均匀共享COMA只有缓存存储器CC-NUMA通过缓存达到存储器非均匀共享NORMA存储器不共享2023/2/4153.2并行计算机结构模型共享存储对称多处理机系统(SMP)对称式共享存储:任意处理器可直接访问任意内存地址,且访问延迟、带宽、几率都是等价的;系统是对称的。微处理器:

一般少于64个;处理器不能太多,总线和交叉开关的一旦作成难于扩展；例子:IBMR50,SGIPowerChallenge,SUNEnterprise,曙光一号;2023/2/4163.2并行计算机结构模型（续1）大规模并行计算机系统(MPP)物理和逻辑上均是分布内存能扩展至成百上千个处理器(微处理器或向量处理器)采用高通信带宽和低延迟的互联网络(专门设计和定制的)一种异步的MIMD机器；程序系由多个进程组成，每个都有其私有地址空间，进程间采用传递消息相互作用；代表:CRAYT3E(2048),ASCIRed(3072),IBMSP2,曙光10002023/2/4173.2并行计算机结构模型（续2）分布共享存储多处理机系统(DSM):内存模块物理上局部于各个处理器内部,但逻辑上(用户)是共享存储的;这种结构也称为基于Cache目录的非一致内存访问(CCNUMA)结构;局部与远程内存访问的延迟和带宽不一致,相差3-10倍－》高性能并行程序设计注意;2023/2/4183.2并行计算机结构模型（续3）机群系统(Cluster)每个节点都是一个完整的计算机各个节点通过高性能网络相互连接网络接口和I/O总线松耦合连接每个节点有完整的操作系统曙光2000,3000,ASCIBlueMountain(48台128-wayDSMOrigin2000,6144个处理器)2023/2/4193.2并行计算机结构模型（续4）2023/2/4203.3并行计算机访存模型考虑存储器层次：高速缓存本地内存以存储单元的作用为主的分类方法：UMA存储器均匀共享NUMA存储器非均匀共享COMA只有缓存存储器CC-NUMA通过缓存达到存储器非均匀共享NORMA存储器不共享2023/2/4213.3并行计算机访存模型（续1）UMA（UniformMemoryAccess）模型是均匀存储访问模型的简称。其特点是：物理存储器被所有处理器均匀共享；所有处理器访问任何存储字取相同的时间；每台处理器可带私有高速缓存；外围设备也可以一定形式共享。由于对资源的高度共享,常称紧耦合系统(tightlycoupledsystem)2023/2/4223.3并行计算机访存模型（续2）对称多处理机系统(SMP:symmetricmulti-processor)所有处理机都能同样访问所有外围设备；所有处理机都能同样运行执行程序，如操作系统的内核、I/O服务程序不对称处理机系统(asymmtricmulti-processor)只有一台或一组处理机（MP主处理机）执行操作系统并操纵I/O，其余处理机（AP附属处理机）没有I/O能力2023/2/4233.3并行计算机访存模型（续3）NUMA(NonuniformMemoryAccess)模型是非均匀存储访问模型的简称。LM1P1LM2P2LMnPn互连网络(a)共享本地存储模型全局互连网络(b)层次式机群模型GSMGSMGSM…………PCINCSMPPCSMCSM群1……PCINCSM群NPPCSMCSM……2023/2/4243.3并行计算机访存模型（续4）COMA(Cache-OnlyMemoryAccess)模型是全高速缓存存储访问的简称。其特点是：各处理器节点中没有存储层次结构，全部高速缓存组成了全局地址空间；利用分布的高速缓存目录D进行远程高速缓存的访问;COMA中的高速缓存容量一般都大于2级高速缓存容量；使用COMA时，数据开始时可任意分配，因为在运行时它最终会被迁移到要用到它们的地方。

2023/2/4253.3并行计算机访存模型（续5）CC-NUMA（Coherent-CacheNonuniformMemoryAccess）模型是高速缓存一致性非均匀存储访问模型的简称。其特点是：大多数使用基于目录的高速缓存一致性协议；保留SMP结构易于编程的优点，也改善常规SMP的可扩放性；CC-NUMA实际上是一个分布共享存储的DSM多处理机系统；它最显著的优点是程序员无需明确地在节点上分配数据，系统的硬件和软件开始时