并行程序设计ChaerH

第一章概述刘轶北京航空航天大学计算机学院1.1 并行化的现状与未来1.1 并行化的现状与未来一、并行的威力和潜力并行的目的加快计算速度传统程序中的并行性大多数编程语言的语义体现为顺序执行程序都假设指令是按顺序执行的提升串行程序性能的方法：隐式并行(hiddenparallelism)为加快程序执行速度，在程序执行过程中部分操作被并行执行，并对程序透明指令级并行(ILP—InstructionLevelParallelism)

举例：计算(a+b)*(c+d)时，(a+b)和(c+d)可以分别并行计算隐式并行由编译和系统结构支持多级流水、多发射、乱序执行、…问题：隐式并行的发掘有极限，支持隐式并行的处理器硬件也存在极限二、多核处理器带来的问题摩尔定律(Moore’sLaw)Intel公司创始人GordonMoore首先提出主要内容：集成电路上可容纳的晶体管数目大约每18个月增加一倍通常认为，其集成电路性能每18个月也增加一倍摩尔定律从1960年代延续至今摩尔定律并不是科学定律，而是技术-经济定律摩尔定律在很大程度上推动了包括计算机技术在内的信息技术的发展摩尔定律还能走多远？在可预见的10～15年仍将延续新材料、新工艺、…1.1 并行化的现状与未来在单核处理器时代，提升处理器性能的主要方法：提升主频1978：80865MHz2005：P4>3.2GHz多种指令级并行技术(ILP—InstructionlevelParallelism)多级流水、多发射和乱序执行(out-of-orderexecution)等占用了大量硅片面积增加cache容量1.1 并行化的现状与未来挑战一：处理器功耗随主频提升而持续增长栅极漏电越来越大散热越来越困难挑战二：指令级并行技术已近极限主要原因：程序中的指令级并行性是有限的在摩尔定律延续的情况下，多核处理器应运而生从单纯追求性能追求Performance/Watt多核处理器在一定程度上是“无奈”的选择目前多核处理器已成为主流，且有向众核(many-core)发展的趋势1.1 并行化的现状与未来1.1 并行化的现状与未来多核处理器带来的问题过去：并行程序设计只涉及少数专业领域高性能计算、服务器应用开发、…现在和将来：桌面应用也涉及到并行程序设计必须通过并行程序设计使多核资源得到充分利用高性能计算vs.服务器计算vs.客户端并行计算1.1 并行化的现状与未来二、顺序程序与并行程序并行编译：通过编译将顺序程序并行化相关研究已经进行了30多年编译可进行局部的并行化，但无法改变算法的基本特征要更好地进行并行化计算，需要从算法设计到编程都考虑并行化一个简单的例子：求和对n个数的序列求和x0,x1,x2,…,xn-1迭代求和sum=0;for(i=0;i<n;i++){ sum+=x[i];}

顺序求和，难以并行后续迭代需要使用前次迭代的计算结果，存在数据相关(依赖)1.1 并行化的现状与未来二、顺序程序与并行程序顺序求和成对求和t[0]=x[0]+x[1];t[1]=x[2]+x[3];t[2]=x[4]+x[5];t[3]=x[6]+x[7];t[4]=t[0]+t[1];t[5]=t[2]+t[3];sum=t[4]+t[5];可以并行计算并行计算常用操作：并行前缀求和(parallelprefixsum)也称为扫描(scan)对n个数的序列x0,x1,x2,…,xn-1计算如下序列y0,y1,y2,…,yn-1其中每个yi是前i个元素的和：yi=Σj≤iXj一个好的并行程序需要从算法设计到编程都考虑并行化1.南2并行汪计算旧机与魔并行孤计算立模型1.营2耕并杰行计陶算机惯与并牢行计变算模胳型一、崭并行轰计算浊机分驶类弗林(F行ly赌nn药)分类颗法单指礼令流迁单数迫据流(S垄IS闭D—脖Si赞ng姐le酒I剪ns快tr筛uc驱ti秃on沃s骂tr弄ea字m屡Si厘ng宣le梳D涉at炒as点tr蛙ea副m)典型巨实例难：传捧统顺轰序计凶算机单指肺令流添多数强据流(S小IM嗽D—集Si贪ng穴le祝I盘ns煮tr获uc已ti屑on塌s浓tr唇ea轨m这Mu画lt视ip弟le裹D幅at赠as每tr香ea脊m)典型需实例际：向廉量计蜜算机多指炮令流象单数敬据流(M击IS亏D—县Mu众lt钓ip诉le控I备ns疯tr想uc辨ti仆on起s欢tr炸ea美m泽Si烦ng识le仗D上at桃as弹tr鬼ea熔m)典型集实例灵：无多指妹令流评多数膛据流(M王IM占D—沾Mu偿lt现ip应le吓I津ns林tr滩uc浅ti匙on哪s晚tr低ea倍m弯Mu剑lt强ip毅le致D练at姑as庭tr裹ea热m)典型呜实例榜：多冠处理蜻机系蜻统√√CU草--鸟Co馆nt瘦ro榆l领Un缸it歼;记P脱U—横Pr衔oc亩es桌si饰ng垫U羞ni再ng继;局M论M—控Ma遮in顺M偶em肾or株yIS唤—I解ns恩tr逢uc洋ti蹲on警S渣tr钟ea毅m;湿DS旬–占Da绕ta屑S禾tr笔ea混m1.循2忍并级行计秒算机屿与并鸭行计塔算模镜型多级辛存储光体系娱结构现代锣计算悉机普批遍采顽用冯.诺依兴曼结碎构存储女墙(m乐em暑or束y-驰wa葱ll胃)问题裂是冯.诺依估曼结帅构的西固有骆问题处理属器与方存储砖器之龄间的责性能拳差距蔽导致漠的系什统性偿能瓶赛颈尚未催出现俗能够司从根稳本上检突破较存储据墙的谱技术改善悔方法即：多同级存掩储体兆系、次预取张等25%52%20%9%60%9%1.输2福并名行计距算机莲与并唱行计桑算模洋型另一记种并筒行体枝系结朵构分合类共享举存储(s讨ha执re屯d-拔me初mo桌ry撞)系统节点才间通重过共享岔内存实现幸隐式丢通信典，开忆销小堂、耦壶合紧滨密可支稿持多腔进程和多线胆程，懒进程/线程森间可凤共享卵变量易于帅编程(可编猛程性居好)，但库系统洽可扩难展性西差消息传递(m霜es芝sa黎ge踏-p愚as区si舍ng别)系统又称摇为分间布式经内存(d贩is屠tr价ib胸ut航ed染m好em判or铜y)系统处理炉器/节点间不共享肌内存，通增过显扮式地泽发送/接收壤消息卡进行句通信一般搂只支义持多糖进程辩，仅思节点乓内多岛线程编程僻较困绵难(可编巧程性闷差)，但撒系统器可扩普展性皆好随着技术颈发展雨，很渐多系识统为混合结构例如铁：采棵用多凑核处总理器羞的机雁群系储统1.撕2滋并呼行计救算机沫与并锐行计购算模抹型二、安几种侦典型补的并经行计短算机片上某多处世理器(C受MP伙—C负hi味p辞Mu宅lt贡ip玻ro丙ce锤ss坏or丢)对称菜多处师理(S订MP差—S呢ym吴me愁tr者ic绘al补M迟ul稀ti春-p斤ro均ce黑ss查in额g)或NU隙MA幕(N慰on连-U映ni松fo腹rm旅M可em窃or休y矮Ac凯ce存ss武)异构犹处理牲器(H碌et沈er界og芝en泡eo伤us跳p巴ro致ce哭ss族or塞)机群(C抢lu储st那er卫)超级塞计算捞机(S曲up廉er臭co仿mp批ut难er跃)这些宏系统绘分属皇共享删存储纤、消由息传吼递型转、或避是混纲合型视系统1.私2扑并黑行计范算机蚊与并崇行计浅算模剑型片上犹多处黑理器(C仰MP专--导Ch恢ip药M增ul夜ti捡pr确oc干es膊so惹r)又称赶为多脑核(m非ul己ti适-c俱or笨e)处理剩器同一角微处陈理器泄芯片浅内集蓬成多忌个处翁理器弹核是摩辱尔定仿律(M脏oo扶re粥’s旨L平aw罪)发展循与性义能/功耗冶折衷势的产辞物例1：In塑te饼l迹Co盼re疾i艘7四核涛处理威器L2奥c惩ac淘he邮:纤4x筐25喷6K嚷BL3话c肿ac表he谋:瞒8M储B多核划处理咏器正炎在朝旱众核(m棉an始y-响co里re拌)方向寸发展In划te蛇l受Xe狠on抽P洋hi60核，埋支持24哈0个并勇行线洪程共享劫内存施，核泻间ca缩慧ch阀e一致进性单处曾理器蚂性能异达1T衬er借aF乞lo伍ps双精适度浮馅点核的踪蝶特性基于Pe最nt芒iu渔m架构新，做堂了改咬进(6巡寿4位，SI毕MD支持)32曲KB酸L傻1盏ca爽ch游e,恳5冰12薪KB陷L镰2现ca敏ch奇e(核内)支持51乌2b佳it向量丘，传脊统的SS芽E绪12优8b棉it，AV哄X党25运6b裁it支持4个超兼线程埋，普瓣通Xe蛇on处理烧器是2个超友线程主频1.胖05瓜3G刊HzTi善le棉raTI舍LE闲6464个同房诚构处妨理器借核，欢每个却核有宾独立L1和L2托c析ac柏he核间蛾互连骡：片匀上me羞sh结构片上麦集成4个内客存控集制器离和多轻个I/搞O部件每个窝核可狸独立跪运行OS，也女可几刚个核永组合幕以SM殊P形式霜运行OS，Li窗nu茫x面向扭计算染密集汤型嵌矩入式粒应用锅，如锋网络胜数据淡包处标理、秧音视佩频高桥速处肆理1.灭2准并月行计弱算机艇与并句行计躁算模膊型异构核处理置器(漆He救te馋ro绩ge趋ne朱ou姜s叨pr施oc黄es忘so汗r)结构李：通天用核+专用袭部件(核)由通联用处斩理器突核完斑成通愤用计剑算部讽分，鞠由专堂用部兴件完融成密帝集计缓算部孕分典型乏实例GP他U(毛Gr率ap岛hi倚c样Pr砍oc查es宫si庄ng胳U胀ni愤t)现场胀可编么程门佣阵列(F缠PG梦A)Ce叙llAMDFusion体系结构IntelLarrabee体系结构NvidiaGT200系列GPUGP漏U举例匀：Nv景id术ia店T偏es露la厚K竿20玻X26将88个流嫂处理蛛核处理志器频旬率：73劳2M将Hz单精蔬度浮分点性恒能：3.寸95感TF奇lo既ps双精历度浮塑点性勒能：1.桃31洒TF盈lo益ps专用评显存准数量因：6G幼B最大鸣功耗判：23扎5W玩at裕t接口习：PC踏I茫Ex塌pr况es想s供x1话6编程疲环境互：CU烟DALi磨nu液x/薯Wi发nd谦ow望s系统奶，C语言对称怪多处习理(S溪MP揭—S右ym仓me仇tr纽奉ic供M星ul老ti疗pr近oc摩es郊so编r啊Ar垒ch征it忠ec慕tu摘re好)所有宇处理任器访坚问单些一逻剂辑存某储器ca敏ch捕e一致趴性机仇制是宅影响件系统康设计哄的关窑键因垦素基于省总线础监听(s尽no很op奏y-剖ba俯se任d)基于各目录(d返ir滋ec皱to胃ry西-b留as哪ed刻)随着扫处理待器技天术发面展，SM伴P向NU缴MA结构厕发展内存筹分布础在多剩个处翼理器穷或节伶点上硬件吓实现博共享珍内存Ca离ch蹦e一致岂性示配意图典型SM俯P结构系统韵举例袖：双括路刀岩片服忍务器2个In限te沿l塑Xe圈on处理票器由于这处理宵器内劲置me疤mo巧ry井c砖on躁tr黎ol收le绝r，内匪存分毫别连绍接到光两个添处理踢器访问按另一扩个处坡理器拖的RA橡M的时预延比病访问鞠本地RA脂M长结构旗类似缓于NU邪MA让(N协on棚-u秩ni印fo幸rm亮M卖em搜or援y工Ac道ce停ss咽)1.影2而并舞行计叔算机给与并处行计辱算模它型机群岗(C刷lu寄st姿er吩)将产疼品化业的计友算机秘通过乏互连副网络脆连接棒而形锦成的晴并行衣计算础机主要套特征各节容点只愚有局伤部存兔储器缎，节女点间说没有秤共享苦存储偿，节夏点间积通信甚需通往过消奔息传膊递机旺制进猜行互连最网络猪常用谣技术千兆膊以太捧网My己ri秀ne锈tIn趣fi释ni软ba压nd…便于混构建著，性库价比过较高删，在TO新P5哭00中占陡有相块当比件例刀片促机箱1.捷2害并电行计滤算机蒜与并蜂行计粱算模夜型超级扬计算千机(S辩up曲er耀co庸mp腐ut秒er贤)泛指胁计算忌性能痒很高睛的计口算机绍，通螺常造浓价高视昂，亿专门这用于傍各种倾高性养能计眨算应饿用相当管比例岂的超薄级计扔算机盯采用胖机群路系统弃结构To爆p5没00超级荣计算器机排粉行榜唯：按基梦准测奶试程采序Li呆np卡ac展k所测薪得的讲性能破进行附排名20米15年11月To锁p5煤00排名争前10的超膜级计禾算机排名地点系统/制造商处理器核数Rmax(TFlops)Rpeak(TFlops)Power(KW)1中国Tianhe-2/NUDTIntelXeon+Phi31200003386354902178082美国Titan/CrayInc.AMDOpteron+K20560640175902711282093美国Sequoia/IBMBlueGeneIBMPower1572864171732013278904日本K/FujitsuSparc7050241051011280126595美国Mira/IBMBlueGeneIBMPower78643285861006639456美国Trinity/CrayInc.IntelXeon3010568101110787瑞士PizDaint/CrayInc.IntelXeon+K201159846271778823258德国HazelHen/CrayInc.IntelXeon185088564074039沙特ShaheenII/CrayInc.IntelXeon19660855377235283410美国Stampede/PowerEdgeIntelXeon+Phi462462516885204510Su联pe丹rc疯om批pu若te咐r举例船：联复想深演腾70货0012榜88个刀统片节武点，牲其中守计算涂刀片11戒40个，I/热O节点12附0个，献网络控启动慢服务注器12个，槽管理墙及登谈录节奋点16个节点全配置2个In顾te悦l总Xe仔on四核溉处理妙器，32条GB发R非AMIn却fi她ni断ba衡nd玻4谎xD旨DR互连股网络学接口14咽10镜TB磁盘堂存储Li抱nu持x操作熊系统东，LS交F作业端管理联想卵深腾70乓00天河代一号曙光巴星云高性崭能计协算的只一些尊典型奶应用气象朝数值盗预报(沙尘判暴)飞机设计中的CFD网格(静气动弹性耦合计算)天体物理仿真(太阳风)汽车碰撞及安全性分析1.木2污并禽行计饿算机牺与并本行计译算模寒型三、克并行投计算事机模忧型冯.诺依绳曼模屠型(R踏AM模型)顺序王计算庸机被斤抽象锄成由忠指令指执行捞部件蛙和无证限容家量存顿储器非组成败的装戚置存储服器存草储程友序指煤令和晕数据察，且字任何愉存储厕单元您能在潜“单孔位”辆时间蕉内读/写指令歌执行遗部件紧按顺蓄序每寸个周寸期取棵出并撞执行付一条揭指令PR灰AM模型RA北M模型誓的并脖行扩牵展多个苗指令么执行扑部件+无限论容量榴存储衫器所有厉执行固部件冷访问魂全局秧存储得器，袋即单赌一存敏储器残映像问题单位姻时间小内实显现单边一存爽储器携映像披实际贴上不洁可能1.户2沟并颜行计恶算机数与并抵行计拌算模缸型CT牲A模型Ca飞nd培id赵at夫e勉Ty默pe著A币rc休hi帽te期ct卖ur匙e由m个标六准的危顺序丝式计算茶机(处理逮器或点处理面单元)构成贵，处愁理器搬通过缠一个赔互连脚网络回相连处理顶器可产以访舞问自富己的摄本地脉存储鞭器，瘦也可汤以访液问其飘他处子理器匪的存吊储器非本愁地存词储器炎访问稿时间λ>>精1一个吨全局舒的控造制器勒帮助庙完成吓初始元化、岁同步终等基涛本操优作典型识互连唤网络1.葡2屿并行津计算摆机与委并行幼计算昂模型CT盈A模型(续)访问绘非本蔑地存捉储器糕的三政种技善术共享棋存储痕器需硬局件支滚持需要桶有同昼步机洞制保帽证存师储一洁致性(m魂em西or拦y尘co灯ns牢is齿te蜘nc呼y)单边献通信(o姜ne慨-s摧id后ed饶c作om羊mu蛾ni辜ca疯ti躬on戏)支持散单一湖地址慢共享姜空间不保逆证存径储一盏致性盏，由骄软件织保证用专疯门的ge庙t和pu气t操作电访问衡非本追地地箭址空士间消息车传递(m速es允sa掏ge软p知as窄si喘ng童)处理杏器只土能访菌问本动地存举储器通过换消息胃传递(s燥en割d(侵)和re卵cv狮()探)访问震其他谜处理晕器的碍存储转器对硬熄件要井求最滋少1.决3并行覆性与瘦程序恋性能1.黎3椒并共行性窜与程今序性桃能一、华并行诱程序兴应具聚备的翻特征正确吴性最基税本的旺要求保证工并行跳程序跨的正醒确性悠比串韵行程局序困茎难原因吐：编卸程复朝杂；所调试妥困难好的映性能如何玻评价车？可扩趋展性(s别ca酬la雅bi极li胞ty臂)能够印运行填在不该同规渔模的税并行莫平台稀上，丝式且性耐能随查之增粱长性能穿可移许植性(p句er玻fo乒rm脏an仅ce安p待or升ta锣bi茅li维ty泊)不但名要使浅程序洁能运齐行在臣不同烧的并倍行平盾台上峰，还绍要能麦很好尊地运穷行在勤这些临平台著上(在各范种平未台上侄都有升好的轻性能)难度音较大铺：并轮行平则台有粉多个稍种类蔬，体珠系结丽构差桥异较吐大共享匹存储霉、共恋享地迹址空宽间、伟分离歌地址录存储炮器二、疼性能冻度量(1编/2猎)①执行哑时间(e这xe曲cu泻ti草on纤t联im怕e)完成布一个金并行百计算魄所花统费的姐时间另一匠个常屠用指怒标FL厉OP隔S(缓fl义oa病ti翁ng翅-p案oi凯nt述o雪pe稠ra酱ti迹on炒s隐pe砖r嫂se呜co漆nd躬)：浮偶点运席算次阴数/秒1G歉Fl中op店s烂=肺109次浮项点运豆算/秒，10亿次1T把Fl抗op雀s餐=先10债00重GF衔lo脂ps，万者亿次1P霉Fl才op饱s敞=缘瑞10张00笑TF旅lo垂ps，千受万亿拣次1E戴Fl雀op绍s铸=匆10横00经PF岛lo变ps，百沈亿亿虚次常用讽做衡钞量处捡理器揉和并燥行计寺算机赢计算童性能苗的指佳标峰值虫性能(p躲ea烂k宣pe牲rf开or兼ma踏nc茄e)：理侦想状带态可时达到朴的最摔高性泻能应用定性能蠢：应球用程惩序实弃际运螺行获女得每耻秒浮绞点运萝算次熊数常用供有代摊表性积的基踏准测茶试程骆序，劲如Li复np粥ac事k、La扑pa啊ck、NP伙B等不同娇处理统器指角令系纤统有先差异穴性，MI磨PS员(m谦il磨li科on古i饰ns突tr舱uc进ti蜘on驶s逃pe宫r呜se梯co谋nd蜓)指标宵难以总客观煎地反淘映处启理器恼计算韵性能1.谊3涝并脏行性车与程万序性饮能二、蚁性能纸度量(2缸/2画)②加速无比(s访pe雨ed剖up熔)常用言来衡跨量并库行加饰速的件效果财，以罪及随宜处理匹器/任务逐数增核长的句变化且情况超线福性加坏速比(s钢up旬er奖li史na虑r福sp缺ee划du番p)某些跨情形滚下，棉计算旦能获阳得超舅过线馅性的迎加速饱比大多采是由封于并然行后毁每节溪点访跃问的想数据凑集变丽小，ca车ch勇e命中即率提帜高加速钱比(s属pe艺ed枣up渔)是度粘量一杀个并楼行程习序性鞠能和权可扩留展性吉的常睛用指特标1.出3抬并扰行性赌与程喘序性扰能1.澡3陈并抬行性子与程归序性箱能三、报性能拉损失肯的原幼因通常悉情况吩下，说使用P个处壳理器弹并不凝能使膨计算煌加速P倍也就赵是说方，通湾常很异难获飘得线劳性加供速比原因旺之一两：并嫌行开狗销(出现址在并项行求堪解而亿不会首出现挥在串翅行求帝解中扒的代朗价)通信(c歪om喝mu习ni宾ca砍ti权on呈)线程申间和疑进程轿间通墙信，小主要救开销同步(s简yn斑ch两ro横ni辉za略ti苍on创)一个板线程/进程丙必须垄等待冠另一昂个线酬程/进程傻中出芬现的柳事件计算串行粮求解震时不牛存在糕的额芦外计陶算，值如计咱算各宣线程塞的计付算任裙务，舅这部塘分开党销较退小存储双器计算部规模唱受制慕于存程储器你容量1.歪3弦并淋行性始与程征序性桥能三、贱性能稿损失钩的原爽因原因恢之二严：无贱法并间行的帆计算拖部分如果循一个令计算怒在本朴质上开是串挑行的啦，则朴使用雾多个感处理场器并挤不能吹提高烟其性悼能Am照da庆hl倡’s轰L壮aw基本央思想匹：系颂统中鸣某一头部件粉由于粗采用利更快喝的执梅行方遮式后笑，整臣个系浆统性扶能的款提升始与这茎种执翻行方饮式的碰使用痒频率肌或占雾总执乞行时曾间的牌比例钟有关对并盛行计耳算，搜假设绞程序尼的1/堤S是串巩行的(不可驴并行)，程筛序串源行执甘行时鬼间是Ts，则宽并行旺执行逆时间Tp计算限如下唇：性能荒改善脉与S密切婆相关傻，S越大龄，说址明可讲并行们计算驱的部战分越灿多程序鞋中被污频繁川执行再的部川分(密集杆计算脑部分)应首旱先被慎并行尾化1.川3袖并或行性滨与程艳序性将能三、定性能至损失粱的原暮因原因宣之三醉：闲愿置的河处理窜器计算珍过程蹈中，择可能常有部天分处轰理器田在某裹些时检间处粘于空镜闲状少态原因爆：负载才不平估衡存储本器受问限计赔算同步宁与通颗信…原因帜之四加：对矮资源赌的竞贸争多个模线程/进程衔竞争支共享勺资源绘导致雪性能补下降1.苗3年并优行性卫与程错序性膨能四、低并行所结构相关饲性(d洁ep舒en搬de扯nc狼e)，又煮称为冒依赖神关系相关垃性是培指两今个计亚算之硬间的持顺序差关系相关杜性使拌我们方可以爷区分谱哪些盯操作密必须说顺序驶进行辨以保套证正眼确性四，哪饥些操应作不授必顺狼序进吹行一种卖典型静的相腊关性堆：数姓据相萝关性(d孝at延a中de雅pe舍nd院en汪ce虾)流相贝关(f仆lo围w研de亩pe辞nd箭en稿ce典)：写熟后读反相流关(a宗nt阻i烛de掠pe厅nd孟en钉ce墙)：读致后写输出售相关(o腰ut拦pu尤t说de雕pe楚nd群en招ce献)：写窗后写su秃m佩=榜a勿+症1;fi涉rs睛t_稀te渠rm污=唤s漠um瓶*文s畏ca悠le装1su御m尖=闭b拴+胳1;se恒co秀nd兄_t冲er年m扮=烈su港m遣*垂sc赚al民e2伪相关真相关first_sum=a+1;first_term=first_sum*scale1second_sum=b+1;second_term=