分布存储并行数值计算通信库界面设计

分布存储并行数值计算通信库界面设计熊玉庆中科院计算所摘要指出了应用程序界面是分布存储并行数值计算通信库设计中的一个主要方面。分析了从进程抽象命名，基于源的消息选择和非阻塞点到点通信三个方面提高通信库的应用程序界面。关键词：并行数值计算通信库应用程序界面分布存储并行计算系统是目前高性能计算机的主流。通信库是分布存储并行计算系统的关键部分之一。目前，较常见的通信库有MPI[1]，PVM[2]等。它们是面向一般应用的，通用的消息传递界面。对于面向某一特殊领域的大型数值计算，这些库的界面较低，不适合大型数值程序的开发[3][4]。为快速方便地开发高性能，高可靠的大型数值软件，研制直接面向某一计算领域的通信库是十分必要和有价值的。这样，通信库界面设计就成为通信库设计的一个重要方面。这样的通信库界面应该是自然，简洁，方便，使程序编写更方便，编制的程序易于维护。本文从进程抽象命名，基于源的消息选择和非阻塞点到点通信三个方面讨论如何提高通信库的界面。并举例说明它们的实现方法。进程抽象命名在MPI，PVM等通信库中，一个进程组中的进程标记（在MPI中进程标记的英文为rank）是线性的。但在许多数值计算中线性的进程标记不能充分反映进程的逻辑通信模式。如在线性代数和油藏模拟计算中，二维的进程网格常常是方便的。而在有的FFT计算中蝶型的进程拓扑结构则更方便。由于进程的拓扑结构反映了进程的逻辑关系，因而，它对程序的编写及阅读带来极大方便。这里举例说明进程抽象命名的实现。一般地，设进程的拓扑结构为。假设所要设计的数值计算通信库是建立在MPI上。由于一个进程组中的通信总是在一定的通信上下文中进行，因此，必须将嵌入通信上下文中。在MPI中可实现如下：欣MP疑I流_C乓OM宽M_迹GR户OU底P错(c机om僚m,跑g鸽rp罗);测/炭*泼找出域初始冰进程未组，扇进程搬的拓旋扑结慌构为群线性休*/弄MP策I_领GR旋OU叹P_昼IN枪CL定(拦gr饿p,亮N成g,清伙,使tg驰rp货)蹲/*鱼熊形成文新的退进程殿组，联进程网的拓骄扑结纽构为快*沈/睬MP文I_诉CO成MM叉_C榨RE果AT掀E讲(c很om而m,浓t搬gr屑p,策&爱tc略om何m)吉;榆/*揉依建立贵新的锈通信问上下渗文顺*/仔基于风源的怪消息显选择绵[5醉]队在通煌信过千程中侍，接缓受进登程对孟消息蕉的选配择一柄般是拼根据跟消息著源和菠消息酸标志卧。但姨使用奖标志扑会带递来一侵些问俘题。街例如庄，在它一个抽循环搬体中纵，通内信使在用一龟个固舟定的迅消息尖标志糕，那捉么，劣如果宰一个场进程叔花比叔其他侨进程辞更多投的时笛间完逗成一灿次循遇环，仅则该各进程拿可能与接受堆下一循个循途环的什数据省作为刚本次中循环器的数奸据。欺此外拉，并显行程难序往仿往很牵大，蹄要多看个人箭或多饺个小充组共亲同完悼成。削这就朴要求觉在所完有子择程序毕和所补有程忆序员叨之间呢进行贿协调播，使取得各宵子程母序中尝的通染信消悟息标谦志不益发生饥冲突舒。当待以后承要加狮入一介个子够程序荷时，肆必须权保证染新的杏子程飘序中广的通哗信消淹息标狱志与小其他智子程嗓序不健发生尿冲突虑。这善使得满程序江设计形变得迅困难姻而复雨杂。鼓下面熊举例虹说明秆基于情源的科消息瘦选择隔的实乌现。樱再次酿假设晶所设纱计的匹数值煮计算园通信纪库住建立连在M泰PI悉上。北为了驰实现认基于叠源的京消息盒选择寇，在池通信观上下办文中森，对昼每个云通信习上下城文，颗定义企一个痕一一省映射巾表示筹自该叨通信穿上下答文建偷立以抹来，荣在该泛通信浩上下幅文中议所进缺行的闷群通袭信次鄙数，乳的初育值为恰1。哈为此艘，须察另外减定义成通信科上下痒文数奖据结途构如咬下：染St残ru晓ct月C装oN麻tE能xT{赵M延PI勺_C枪om隆m税co蜻mm猜;焦i或nt刚m议sg榆id密,笨ma赢xi调d,桑m僻in尝id杆;…}畅co穗mm葬是M有PI物的通颜信域拌，涉ma记xi重d,常m揭in抬id职表示细消息满标志典的范每围，集Co牺nt尼ex厦t灭是指次向该卵数据冻结构侮的一第个指共针。某在C漏on篇te磨xt黎建立酬时岛ma喝xi浅d状和位mi选ni探d化被赋秩初值任。戴ms肢gi尾d丽是当董前消峰息标址志，怖初值曾为勿mi抖ni住d耻。恒定义拳如下克：古显然念，先在区冰间孕[1艳+(吹k-察1)迷(m斗ax绕id久-m趣in废id咳),缸k浑(m帆ax波id沉-m鲜in流id谦)]午上是旧个一执一映姨射，禽其中荒，耻k振=1好,2含,朴…庆。集ma善xi讲d部和相mi衣ni虫d照的值叨相差斩足够音大，挑使得卡在任搬意时影刻在衔同一队通信投域中鼠未完誓成的邮群通羽信操壁作数垂不超隆过开ma练xi叹d卷-至mi缝ni浇d狐个哑。枕因而指，在但任意远时刻狸不同冲群通裕信所滨传递凶的消乡息的指消息锡标志挽不同钉，而恰同一糖次群唯通信讯中，喝各进疯程发涝送或传接收岛的消荐息标摄志相丘同。调对于困中的柔点到腹点通鸣信子稻程序岁，它疲们调碧用M阀PI枕的侍MP典I_后SE鼻ND允和足MP弄I_妻RE条CV霞来实谁现的仍。胀MP会I_柿SE住ND厦和感MP划I_烫RE展CV屯在通惩信时元，所驳传递奋的消鞭息都警带有尾消息掀标志门，纵内部袄把这初些消泻息标古志都迫置为肢某个省常量拒。该棚常量渔的值虚在备ma菜xi柔d滩和键mi旺ni伯d温之外浩。在投同一甘通信浆域中棒，当姐MP窃I的玩两个洒进程栏之间覆通信他所传赠递消征息的呼消息晌标志忧相同风，而策且接阀收操倦作是疮MP咐I_彩RE妨CV等时，吵点到蚕点通徐信操跪作的草顺序霜与程饰序执悦行的备顺序剥是一团致，校因而树，接锯收进滔程只千需知糠道发捉送进独程标凤记，饺就可唐对接估收的问消息葱进行茅区别或。这海样，种在从中就腥实现抄了点坟到点盯无消纸息标拴志通顶信，音从而互通信俊对消当息的看选择叉是基倒于源椒的。损对于口中的粘群通秤信希(c丰ol线le权ct渗iv乌e其co标mm旨un且ic角at恩io怜ns霸)最，如善果它系们直冬接调张用M脊PI劫的群克通信存子程英序，害则由歪于M摊PI斧的群判通信渐子程惑序自震身是泳无消太息标竞志通侵信，缠因而时，自特然实发现了党通信罢对消石息的朽选择龙是基剥于源捏的。罩假设错它们富是由品MP府I的上MP筐I_指SE捡ND碍和拦MP膏I_蠢RE徐CV纽来实肯现的仿。M丽PI歼_S牧EN占D苦和兄MP洁I_原RE陈CV忙都以膜消息娇标志权及接姜收进初程或慈发送称进程篇标记加作为溜参数烂来区甜别消链息。六通信童路经盐是由距逻辑描拓扑锅TO积PO部来决距定的旦。现熟以广狡播通筐信为稿例来征说明裙。设攀该通剪信子凡程序司为稀_感BC条AS同T磁设某持一进芝程调营用林广播助通信壮子程袋序，黄如果企它是派消息蛮源进招程，呜则根得据T陈OP驴O，荐_纤BC萌AS出T调嫁用M妄PI台_司SE姥ND悦将消额息发德给其透他进述程。蛛这里昼把消制息发胃给哪蚕个进教程是惊由T坚OP射O来帆决定走的。纱MP南I葡_差SE滋ND霜所需哀消息示标志斑是组如果溉调用股广播坦通信难子程抖序的哥进程处不是建消息利源进业程，狗则稳_盐BC辩AS宵T首炸先调悄用勉MP暗I_钓RE奸CV宝，糖MP亡I_录RE些CV演的消洲息标纯志也渴为赚，因启而，因在同呈一次任广播通通信础中的占各进脑程发准送或删接收饲的消纵息的壤标志改相同冤。由色于同饭一次键广播补通信巴中各宁进程性的T烂OP陵O参嚼数一刊致，撇因此宿，填MP块I_供RE答CV素接到布的消营息与轿发给深它的乱消息窃一致腔。第MP透I_沈RE数CV睡是全怖局阻爪塞的赚，在争未接级到消仿息之缝前，巩不会闹前进嚷到下穗一步添。辫MP定I_均RE宗CV掌接到吨消息锻后，众_役BC船AS仁T根劫据T谦OP所O决封定是雅否将视消息柿发给半其他郑进程角及发窄给哪怕个进忘程，招如果误要发鸟送，屿消息室的标甲志仍忧然为召。邮3.腔析非阻垄塞点瞧到点块发送产操作刑[1斧]皇为了梦提高擦并行缝计算鸟的性瓶能，茎让通赤信与延计算绪重叠浪是一版种有私效途兵径，饥多线馋程是许达到花这种鸣根的双一个汁方法继。当淡一个畜线程武阻塞宪等待绍通信其时，逮同一缴个处趋理器耽上的套另一营个线淘程可过被调齿用执型行。鼠在单耽线程隔环境滨中，护非阻剥塞通产信方尸式是书达到衫通信扣与计骑算重嫌叠的那一个韵重要己方法沈。恰非阻腔塞点口到点蜡通信均由两玻部分钢组成尤，一姜部分呀是启家动操扮作，棉它启跑动非客阻塞蜘通信洲。另袭一部疫分是戴完成紫操作上，它蜡完成限一次表非阻居塞通轿信。御在M含PI蛛中，反非阻疼塞点胖到点庄发送勾操作害子程泄序可挺描述雁如下瓣：预MP昼I_厉IS渴EN叔D态（腰bu听ff辱,烫co查un遗t,撕d谋at掏at耻yp针e,炒d芝es听t,艘t时ag爬,宽co帅mm狱,尚re爷qu径es涛t奏），齿它返伙回一肢个值妇id淹。大bu呢ff挤是一吉个缓进冲区爷，含赌有要神发送袭的消址息。您de眯st邀in蓄at负io曲n快是消制息要睛到达路的进证程号占。导MP遇I_殃IS处EN询D饲启动买一个乓通信门，但袜不完柿成它容。这封个调妹用在垦消息衬从笋bu溉ff刑拷贝陵出来竟之前条返回纯。炒MP遣I_外WA馅IT萄（宇re凶qu蚂es班t,善s索ta里tu伤s千），应当再re允qu葛es痰t凯标识挠的操挣作完丑成时陕，也礼就是仅当消翻息从嘱发送约缓冲绘区拷舟贝出仁来时灰，M戒PI齿_W锅AI虽T返闻回，唯否则滴，它欢阻塞罚。流MP转I_另TE屯ST沟（畏re雪qu睁es仍t,产f披la货g,肯s黑ta截tu欲s颤），构如果茫re腿qu乏es码t前标识到的操歪作完豪成，父它返愉回，反并置苏fl选ag料=t脚ru忍e虏，否裹则，介fl尤ag看=f诚al案se章。叔对于踢完成诵操作叉，M坦PI少还提网供几德个子揪程序基，它队们是肯MP情I_邻WA颈IT劣和形MP贯I枝_T松ES寨T亭的延塌伸。害在非于阻塞贸点到侨点发访送操掘作中齐，操身作未艰完成阅前，振发送成缓冲或区不汤能被纸使用坦。避非阻队塞通活信可疯获得敌相当悟大的乎性能坐改善昨。然叹而，恋非阻导塞通狠信的器使用腹容易戒带来初错误获，导骗致代贷码过织于复脉杂，引这与形并行垃数值纤计算哗通信粗库易县于使贩用的鼠目的青不符历。为侧了利则用非茶阻塞夜通信竿带来侍的益朵处，峡同时慨避免孕它产损生的节缺陷用。在吃并行五数值倍计算行通信煤库设让计时择，在塔其内嚷部使夸用非狡阻塞膀通信弓，将避非阻羡塞通耽信的写复杂夏性对宵用户睁屏蔽完。咏设在溉并行婚数值智计算叛通信籍库陷中满铺足上原述要腊求的料点到镜点发微送子蛛程序描是湖_S禁EN冲D。绘为实池现这妇两个暂子程拍序，螺首先河在贼中设奖置一禁个公喜共缓凳冲池冠。错_S蜡EN洞D投的实门现算族法如躬下：讨_S蒙EN雹D起（B援UF孤F，栽DE线ST久，汪…绵）{范从谨系统续中申锄请一促块内轰存押bu艇ff松；停bu杨ff趟B旁UF诞F；哪将苍bu虑ff叶放到度公共兴缓冲艘池中齿；伴MP裂I_文IS桐EN要D折(b唱uf欺f,枕c动ou蜜nt律,摆da仓ta悠ty俭pe幸,罚de揪st贴,举ta孕g,叉c劳om缠m,泪r良eq液ue昼s溪t玻)参;拉M趟PI卡_T水ES揉TA骆LL拢(钥co凝un侄t,既a呢rr刃ay献_o思f_荷re求qu营es曾t,徒f宅la刷g,顺a皆rr允ay撤_o挣f_锦st忽at填us遣);悟将眉可重错用的哭缓冲爬区从皱公共容缓冲肆池中劳释放庄；}盏在粗MP宁I_春TE暖ST风AL逆L立的参着数表激中，锁co兴un皱t欣是公耀共缓手冲池昨中缓婶冲区伍的个成数，喘ar劣ra恩y_膝of项_r给eq菊ue为st舒表示盗与公满共缓卫冲池懂中所匙有缓轻冲区糕相关跳的非妈阻塞晕通信屯的凝re变qu么es处t费对象狗队列扎。为负及时辞释放泰公共慎缓冲愚池中待的可甜重用姐的缓日冲区假，在燃的所座有通星信操电作结胆束前竿，都惯执行甲如下畅程序莫段：楚⑴蓄MP下I_探IS剖EN类D您(躁bu榴ff抚,葵co本un付t,戴d愧at欲at窗yp鄙e,窗d原es雾t,复t格ag醋,厚co咽mm羡,添re全qu蹄es钟t渠)盒;豆⑵爷将塑可重全用的评缓冲纯区从棚公共恳缓冲饲池中业释放捡；房从上认面算羽法，挥可知饺_S良EN逢D悉内部增执行欺了非愧阻塞际发送无，但伞从用丑户角冻度，僵避免涂了使虹用启逮动与返完成患两个互操作庄。从培而实脉现了雹上述钟目标抗。总结震提高龟应用库程序取界面锋是分也布存仪储并异行数送值计协算通流信库寺设计侄中的厘一个税重要仅方面胸。本沃文分诚析了密从进沙程抽滴象命盘名，灾基于赠源的器消息否选择颤和非挽阻塞携点到竿点发沃送操京作三巴个方楼面提狂高通成信库脚的应变用界线面。刷但提犯高通写信库殊界面良并不流仅限耐于这寒几方抚面。芒有关始的工糟作还袄有待滥于进论一步堡研究窃。订致谢敞伐本文困工作年完成鞠于中茧科院之软件拳所并舟行软坑件研誉究开径发中抬心，败并得狸到该卵中心教孙家郑昶研树究员用，李册玉成让高工广和中谈科院程计算会所张龄祥研三究员理的悉看心指蚊导。贡在此费，向损他们科表示估诚挚叙的谢百意。致参考秒文献莲M.应P杠.涛I.拖F沫or霉um惭,敬MP迁I:候A蒜m伪es羡sa争ge卵p木as烛si废ng料i丸nt播er真fa安ce朋s回ta露nd领ar色d,富I冤nt河er绕na品ti判on顶al剩J案ou洞rn子al睁o终f唐Su粪pe性rc耍om赤pu响te瓣r燕ap头pl篮ic湿at喘io举ns楼a蚊nd仇H玩ig搏h肃Pe悄rf问or诞ma霜nc少e抵Co所mp纹ut伞in园g,过8拿(3杠/4挪),除1程99并4.材S辅pe大ci肃al贫i昂ss作ue浮o城n锯MP蒸I.事A.两G鼠ei便st乖,羽A.暑B唐eg恼ue淋li地n,在J梢.么Do型ng惠ar数ra择,另W.嫌C剂.葱Ji外an妻g,辟R蚁.骑Ma枣nc薯he沫k,飘a垂