第讲并行计算工作原理

2004年4月1/149并行计算--高性能计算并行计算(ParallelComputing）

高端计算(High-endParallelComputing)

高性能计算(HighPerformanceComputing)

超级计算(SuperComputing)

任何高性能计算和超级计算都离不开使用并行技术2004年4月2/149什么是并行计算?并行计算:

由运行在多个部件上的小任务合作来求解一个规模很大的计算问题的一种方法例:在曙光2000上用8个节点计算的Mandelbrot集结果(Mandelbrot为分形理论创始人)2004年4月3/149现代计算机的共同特点：

并行性2004年4月4/149现代计算机的共同特点：

并行性2004年4月5/149如何实现并行计算?分而治之!2004年4月6/149分而治之并行化的主要方法:分而治之根据问题的求解过程，把任务分成若干子任务(任务级并行或功能并行)根据处理数据的方式，形成多个相对独立的数据区，由不同的处理器分别处理(数据并行)并行计算的特点为利用并行计算，通常计算问题表现为以下特征：

（1）将工作分离成离散部分，有助于同时解决；

（2）随时并及时地执行多个程序指令；

（3）多计算资源下解决问题的耗时要少于单个计算资源下的耗时。

并行计算是相对于串行计算来说的，并行计算分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。

并行计算机的分类并行计算科学中主要研究的是空间上的并行问题。空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据流（SIMD）和多指令流多数据流（MIMDMultipleInstructionStreamMultipleDataStream）。我们常用的串行机也叫做单指令流单数据流（SISD）。SISDSIMDMIMD9并行计算机体系结构

组成要素

结点（node）：一个或多个处理器组成

互联网络（interconnetctnetwork）：连接结点

内存（memory）：多个存储模块组成10并行计算机体系结构并行计算机体系

结构示意图

内存模块与结点分离并行计算机体系

结构示意图

内存模块位于

结点内部11操作系统与编程语言并行计算机主流操作系统：UNIX/Linux

AIX（IBM）

HPUX（HP）

Solaris（SUN）

IRIX（SGI）

Linux编程语言

Fortran77/90/95

C/C++2004年4月12/149并行计算软件环境及现状操作系统：UNIX、LINUX、WindowsNT在SMP,DSM并行机上编译系统通常具有一定的对用户程序(C/Fortran)进程自动并行化的能力,但经常需要人工干预(通过编译制导,命令行选项等)以达到理想的并行效率.且并行主要针对循环进行(属于细粒度并行);在分布式内存并行机上尚无通过高效的自动并行工具,主要依靠人工编写并行程序;并行算法的设计及并行程序的编制已成为目前特约大规模并行计算机应用的主要障碍.并行编程现状:并行软件开发远远落后于并行系统体系结构的发展。缺少合适的并行软件是阻碍主流用户社会接纳并行计算的原因。:与串行软件相比，并行软件数量少，功能原始。2004年4月13/149??编程环境落后的并行编译器、调试器vs.通用先进的串行编程环境.自动并行编译器远远满足不了程序并行化的要求.3算法并行模型的多样化(并行计算机系统结构的多样性)vs.串行编程中的唯一模型:冯.诺依曼模型问题的并行求解的困难在于问题的多样性和求解过程中所需的创造性劳动，使得这一过程难以进行自动化对串行机而言,解法=唯一串行算法+计算程序(通用)对并行机而言,解法=某种并行算法+有针对性的计算程序(很难通用)J人稀少而初级的并行编程人员vs.成熟而经验丰富的串行程序员2004年4月14/149一些途径充分利用顺序程序开发的经验、方法和工具，特别是顺序领域中的问题求解、算法设计方法，这是简化并行程序开发的重要手段。并行程序开发的困难主要在于问题的并行求解，而不是并行程序设计语言。“从事并行程序设计实践的人往往把精力耗费在为变量分配内存、为循环体寻求并行上，却忽略对问题本身的分析。其实能否并行的决定因素是应用问题本身。”在并行算法的设计阶段最大限度地开发出问题本身固有的并行性才是提高计算效率的根本手段。只有粗粒度的并行，才能具有高的计算通信比，而粗粒度的并行只能在算法设计阶段开发出来15并行编程环境常见的并行编程环境消息传递、共享存储、数据并行特征消息传递共享数据数据并行典型代表

可移植性

存储方式

学习难度

可扩展性MPI，PVM

所有流行并行机

分布式存储

较难

好OpenMP

SMP，DSM

共享存储

容易

较差HPF

SMP，DSM，MPP

共享存储

偏易

一般三种并行编程环境主要特征一览实现并行鹊编程常见劣方法1.线程蜡模型判（Op显en扒MP治,P丛OS诱IX科)2.消息皮传递新模型芬（PV拉M，MP尤I）PV演M:拢Pa耐ra都ll妹el圈V购ir振tu射al煎M括ac械hi络ne洗C肢om泼pu皱ti户ngMP画I:员Me本ss舒ag谁e液Pa余ss规in颂g匪In押te遍rf杯ac爬e3.数据辨并行滋模型女（HP掘F）三者方可混见合使瞎用:如对恩以SM签P为节旷点的Cl吊us搜te萌r来说,可以崭在节钞点间荐进行塑消息构传递,在节蓝点内症进行拜共享恨变量例编程.18并行新算法适合蛾在并这行机犁上实销现的天算法好的咬并行农算法岸应充怀分发范挥并茎行机叮计算狱机的连潜在组性能并行悦算法并行哑算法乱分类按运始算对河象：数值天并行莫算法角、非倒数值炊并行差算法按并狂行进浅程执沿行顺知序：同步下并行甘算法测、异脊步并闹行算躺法、治独立盘并行岂算法按计里算任思务：细粒夹度并樱行算托法（锄基于围向量菊和循摩环级讨并行知）熄中咐粒度姿并行宇算法侧（基沉于较鉴大的增循环肥级并油行）神大粒拴度并洋行算军法（萝基于开子任酸务级异并行学）并行药的层笼次程序破级并艘行子程获序级美并行语句态级并族行操作互级并钞行微操归作级乱并行并行霜粒度粗细后三察层大颠都由名硬件坊和编恰译器查负责府处理小，程恼序员泽通常掌处理孙前两乳层的件并行并行稠计算美机的找存储相结构共享访内存关、分纳布式纯内存困、混据合型福分布擦式共导享内疼存接点脏间的摆连接按连队接方咐式分竿类：Co午mp监le泰te森ly扬-c限on矩ne率ct萄ed捞,枪St棵ar读,例Tr叨ee笨,籍Li蹄ne仆ar粒A事rr邻ay水a沫nd鱼R阅in鲁g,易H台yp奖er请cu辰be集群插计算撑机：通过眯高速端网络LA家N将PC机或阅工作掠站连株结而锈成。接点泛间的驰连接按连炎接方暂式分丛类：Co既mp涌le足te衔ly朝-c辣on遭ne宋ct罩ed撒,颈St应ar远,振Tr带ee友,公Li胜ne煎ar防A混rr法ay吴a酿nd任R肤in晌g,范H饼yp叔er浊cu朽be集群善计算始机：通过倒高速察网络LA并N将PC机或亡工作爷站连分结而歉成。问题围分解1.作用棋域分集解：与问蝴题相猴关的垦数据键将会拜被分演解。摆每个转并行恶的任衔务只塔能使由用部伶分数屑据鸭。2.功能乌分解较：关闻注要同被完盗成的杠计算留而不胁是操辞作数狼据的各计算锦。问喝题是薪根据艇当前辨一定袋要完悠成的精任务冷划分歪的。薯每个法任务芳完成牢全部塘工作落的一免部分蚁。关注尤的问拼题1、通揉信2、同截步3、数捕据依剃赖4、负下载平茫衡5、I/衰O并行镇计算汉的性屑能分供析1、加凡速比肆（sp烛ee恋du架p)2、并庭行效迁率并行番计算糕的术滔语（1）Ta搁sk：可包计算洗工作今在逻扎辑上河不连避续的成分区迫。一择个任帆务通张常是撇一个秋程序添或者沈类似槽程序融一样潜的可辛以被滩处理告器执具行的壳指令础集。Pa南ra恒ll经el锤T余as振k：一微个任隆务可掀以被美多个家处理滚器安洋全的辰并行肺的执棒行，妻产生伏正确某的结柄果。Se惑ri辉al衰E慈xe拳cu罩ti惑on：程渣序相表继的敬执行愧，每茅次一削个状凡态。汗在最积简单等的情挖况下茄，单滩核处坛理器灵就是滩这样嫂运行递的。纵可是地，实碑际上邪所有宝并行鞋的任伤务有凡一些燃并行趟程序圆的区影域一调定要原串行兵的执泥行。Pa饭ra晌ll尊el国E必xe摩cu聚ti套on：一瓣个或竿多个针任务份同时群执行参的程赏序，临每个概任务算同时男能够头执行猛相同航的或劳不同疏的代毅码语斧句。Pi互pe答li抗ni撤ng：不喘同的骨处理偏器单东元把隙一个俩任务戴根据范输入氏流来弟分解顷成一圾系列岔步骤援来执决行，绑相当语于一慢条流包水线折；并库行计披算的罢一种钟。并行两计算妙的术流语（2)Sh平ar秩ed翠M贝em刑or乞y（共题享内角存）凤：完全注从硬强件的羽视角献来描生述计有算机锄体系倦结构呢，所俯有的井处理础器直供接存深取通毯用的贿物理僻内存馒（基牵于总狼线结仰构）敢。在凶编程风的角布度上闷来看黑，他渣指出发从并怠行任余务看佣内存句是同妻样的沈视图桨，并班且能秧够直侍接定椒位存厅取相嘱同的金逻辑霸内存腐位置描上的捧内容雄，不线管物触理内届存是游否真饱的存序在。Sy沟mm课et锹ri腹c理Mu萍lt释i-卖Pr爹oc逆es蹲so声r（对欣称多妹处理制器）虫：这种劫硬件冠体系冶结构卸是多考处理办器共胃享一虏个地匆址空许间访针问所胸有资话源的歌模型啊；共煮享内庸存计恢算。Di将st巧ri足bu妨te趣d诱Me糊mo确ry（分南布式衣存储握）：从硬赖件的奖角度耕来看与，基枣于网桥络存鹿储的出物理凑内存阶访问西是不栗常见企的。归在程投序模何型中慰，任赢务只层能看办到本裕地机混器的屡内存双，当筹任务是执行壳时一凶定要品用通茧信才目能访皆问其纠他机巾器上壶的内成存空屡间。Co谊mm慎un典ic守at剖io错n：并行臭任务想都需澡要交斩换数缺据。在有几腥种方绿法可释以完上成，吊例如招：共稻享内欣存总绩线、星网络阔传输辛，然斤而不称管用扔什么嚼方法柴，真涌实的矮数据傍交换怨事件装通常归与通庄信相建关。Sy染nc川hr第on气iz钢at酱io事n：实时狠并行解任务相的调恳度通引常与味通信月相关下。总裳是通榜过建窑立一伟个程渠序内播的同裕步点猎来完舞成，件一个段任务悬在这弄个程限序点掌上等隆待，其直到忙另一森个任渐务到挂达相仁同的肺逻辑堂设备类点是丸才能迷继续烈执行封。同冤步至必少要秧等待水一个沸任务笼，致蹄使并页行程立序的待执行普时间包增加算。并行睁计算迫的术冷语(3授)Ob跨se爬rv穿ed祸S誓pe客ed喷up：测北量代确码并据行化赶之后净的加夏速比垦。这始是最乎简单史也最皮广泛塘使用笔的测众量并宿行程俘序性滤能的炮方法鸣。Pa星ra方ll耗el青O毕ve缘瑞rh惹ea到d（并劲行开破销）：对胀并行零任务悼调度界花费维的时罗间没旺有做芳有用淋的工碰作。霜并行去开销料可以险包含横如下老因素姿：任剩务启