并行计算机体系结构第二章

第二章

并行计算机系统的性能度量并行计算机系统的性能度量硬件效率、各功能部件之间的性能平衡软件效率软硬件和需求之间的性能匹配。理想的系统应该是无瓶颈的平衡系统、结构支持应用，应用适应结构理想的计算机是为应用量身定制的计算机并行计算机系统的性能度量衡量计算机性能的指标

计算速度、存储容量、响应时间、通信带宽和系统吞吐率、每条指令的平均执行时间为了降低计算机成本，我们通过硬件功能的软化实现，比如我们将视频解压卡换为信息解压软件。2.1计算机速度计算机通过运行程序来完成工作。不能用一段程序的运行时间来衡量计算机的性能，往往一段程序的运行与它跟计算机适应的程序相关为了客观综合描述计算机系能，我们往往用大量程序运行的运行速度进行衡量，或者我们还可以用所谓的制定运行库来衡量计算机性能。2.1计算机速度为了定量讨论机器速度，定义下列参数ζ：时钟周期f=1/ζ：时钟频率CPI：执行每条指令的平均周期数。IPC=1/CPI：平均每拍流出的指令数。Ic：给定程序的指令数T：给定程序的执行时间。TFU：功能部件时间常数，一般为功能部件的流水线段数+2.2.1计算机速度指令条数Ic的程序的执行时间为T=Ic*CPI*ζ。指令的执行：取指令、指令译码、取操作数、操作、存操作数。指令部件和功能部件协同完成。在流水线中，指令流出时就完成了译码，所以每条指令有一个与操作相关的功能部件时间常数和数据传送的最小执行周期数。对R-R型指令，CPI=TFU。2.1计算机速度对m-m型指令，CPI=TFU+mk。其中k为存储器周期与时钟周期之比，m为访存次数。当访存出现冲突时，导致CPI增加。2.1计算机速度T=Ic*（TFU+mk）*ζIc：与应用程序、指令系统和编译有关；ζ：机器主频的倒数。受限于指令功能的复杂程度、器件的水平和采用的技术，与指令系统和实现技术有关m：与存储系统结构和访存指令类型有关k：与存储器结构、实现技术和ζ有关。TFU：与指令功能、实现技术和ζ有关。2.1.1MIPS、Flops和PDRMIPS速率设C为执行已知程序的时钟周期数。则T=C*tMIPSM指令/秒。

MIPS=I/（T*106）=f/(CPI*106)MIPS与时钟频率成正比，与CPI成反比计算机系统中的指令系统、编译器、处理器和存储技术对MIPS都有影响。2.1.1MIPS、Flops和PDRMIPS提高MIPS的最有效的办法就是提高主频和每拍流出的指令条数。为提高主频：指令尽量简洁，功能实现的逻辑时间短，推动了RISC的发展为提高IPC：超长指令字，超标量和并行处理机。2.1.1MIPS、Flops和PDRMflops：反映计算机每秒产生的结果数，不计指令仅计结果比MIPS公正。MIPS和Mflops都没有考虑机器的字长或数据的精度。但是精度与机器性能直接相关。2.1.1MIPS、Flops和PDRPDR：对不同操作和字长加权后的每秒处理多少位数据。用以衡量计算机的速度PDR=L/R。L=0.85*定点指令位数+0.15*浮点指令数+0.4*定点数字长+0.15*浮点数字长R=0.85*定点加时间+0.09*浮点加时间+0.06*浮点乘时间2.1.2SPEC和TPSSPEC：为了公正的评价计算机的性能，推出基准测试程序，用这些程序在被测机上运行的时间除对应程序的参考时间所得值的几何平均值就是所谓的SPEC分数值。SPEC主要针对处理器、存储器和编译性能的测试，不针对I/O和通信性能测试，尤其不适合于多机系统的性能评价。2.1.2SPEC和TPSTPS：TPS评价更佳侧重于事务处理，单位时间内完成的交易。主要取决于计算机硬件的计算、I/O和通信速度，也取决于操作系统和数据库等软件性能。2.2并行计算机的速度计算并行化的应用程序在并行计算机上的执行时间最能反映并行系统的处理性能。与系统提供的性能支持、应用程序特性、并行算法、并行程序和并行编译水平有关。应能最大程度地利用并行系统中处理机资源，发挥其性能潜力。2.乐2.衣1算术姨平均韵速度2.灯2.嫌2调和傅平均孝速度2.剑2.破3几何相平均羡速度2.赢3并行射计算叫机的陡加速对比和腾效率程序磁的并普行性并行命度：科并行超化程例序在这有p个处惨理机据的系庭统上度运行贸，使应用的夜处理垒机的赠数目简，为或时间柱的函提数，盈记作DO伶P（t）<=脉p。t0泄-t炮1期间角并行活度的标算术兴平均董值，染称为黄程序唱的并易行性A。2.步3.居2加速不比通当式加速宅比反却映并妇行系贸统运驾行并短行程霞序时嚷系统吗并行灯能力劫发挥因的程跟度。加速寄比定肌义为其中T(酬1)是程浆序在彻单处愈理机讯上执嚷行完炒的时毙间，T(亭n)是程犯序以教并行肉度i（i<上=P，其伴中P为处庄理机之数目追）并宾行执畏行完聚程序串的时禾间。1<鱼=S它(p介)<帆=P2.锄3.木2加速泉比通融式多机晶运行乞过程邻中，叨一定卸会有贡多个喝计算德机之元间的求通信设总雨工作圆量为W，并望设程拿序中晓并行禾度为i的工陡作量辜为Wi=fiW则，肃其中V1为单唐机运康行速蠢度。2.陵3.乖2加速雨比通话式当程千序的离并行冠度大腹于系购统的铅处理从机数螺时（i>爽P），禁应该祝将i按P进行恶分组讨，需歌要运纱行的屡次数惯为i/砌P次，文此时球的加璃速比其中O(欢n)为并扇行开吩销，罪包括膝并行矛化开宋销、络交互每开销杀和通富信开爱销等廉，是傅一个锹与硬获件、贺软件突和应尼用均瓣有关模的函吓数。岂目前O(嫩n)已经予是影早响大抢规模赤并行覆处理泪系统晨性能贯发挥仇的瓶篇颈。2.跑3.绪2加速箱比通米式为了蒸突出启并行尿度对贸加速碧比的圣贡献刮，有书些加弟速比鄙公式乐中，它往往时假设O(狡n)销=0，加卡速比谷公式绢将转纵化为其实币现在坊多机屠系统港中O(桐n)程序焰研制你并行授系统郊的关章键技葡术之拆一，促无法嘉忽视萌为0。上攀述的S(呢p)仅仅捡是理崖想状江态下榴的值箭。书19页例马题2.尺1，2.窗22.圾3.肾3固定竞负载齿加速挂比固定愿负载医加速妄比中坊，假查设只者有两伤种工变作：唉串行蚊工作徒和全戴并行挑工作宁，所苦谓全舰并行番工作棉就是P台处贸理器赔全部伏工作李。设抱串行记工作纽奉量W1=f1W，Wp=（1-屋f1）W。此回时S(晋P)转化掘为希望f1越小惧越好谎，也著被称镰作串替行瓶坑颈。2.汁3.橡3固定裕负载糕加速糕比固定快负载版加速广比中衰，我新们发研现只障要增指加并沙行工较作的烤工作喘量。志比如赚我们愧把并庆行工饮作的匆工作谁量增毫大P倍，谈则加困速比足工作坦可以怜转化广为我们个可以盒发现驶，当晶并行院工作真量增单加P倍的紫时候勒，在P台处蓄理机细上执纽奉行的自时间价和在昼一台拆处理呀机上尸执行粘的时泼间相亮同。但是双大家著有没柜有发迷现公窝式的鞭问题课呢？2.知3.沈4固定牵时间昏加速体比在刚歉刚的姥公式搬中，池我们痕发现餐公式膊的问停题。语也就菌是并潜行工来作量暖增加纠了p倍之去后，糠分子洽上的课并行铲工作披量并归未随掩着发孟生改情变。壤在此剖基础湾上我责们导昨出固垒定时沈间加疏速比2.丑3.把5固定款存储怨加速震比在多涉机系原统中阵，处削理机都数扩例展至P倍，污系统挣的存吗储能命力也奖应该勤做相汪应的倾增加逮。对副于有岔些空螺间复横杂性旦低于玻时间倡复杂诊性的枝科学抵计算圈问题礼，系进统存掉储容潜量的允增大滔，可茎支持吗更大响的并得行工植作量割的增贡加，椅增加沾的倍惧数为G(视p)倍（G(始P)辫>=早P）。G(改P)受限欢于存悟储器氏的容故量。歇则得扩到如笨下加侨速比径公式2.女3.期5固定迅存储贿加速追比在上统面的市公式辩中，状如果确多计候算系递统中潮的存筑储器冶不是票全局紧共享胀，则G(播P)困=P，此客时变座成固掘定时职间加秆速比欣。当遇并行晒负载卫并不漫增加荡时，黑变成勾固定钥负载纱加速呀比。沟一般挠情况米下随骄着存节储容言量的痛增加估，其柱并行悼工作些量的搜增加G(厅P)闸>P，所笋以固伙定负邻载加临速比过会比母固定榜时间爱加速先比有城更好搏的加夏速能殃力和逮可扩抛展性场。书22页例系题2.葱32.脏3.餐6粒度确匹配针加速属比模缝型前面添我们咏提到砖的并般行程次序不笔包括叛并行银化和奸任务诊间的咬互操肚作开励销。蜂并行铺化包保括进会行的锹管理逆、分路配和浮查询场等操灶作，婆开销会来自介软件锐系统摸；互姿操作纹包括津进程缎间的余同步烤、通死信和央集散柱等操贵作，牺开销脊取决者于同孙步与判通信盯系统核的性够能。而并移行化周和互消操作鉴开销厘往往异与程度序的妖粒度象紧密散结合止。2.绝3.抚6粒度赚匹配鸟加速猫比模粘型补充歉：粒恐度及殖相关国概念粒度返：衡泉量软盲件进峡程包粗含计闪算量能的尺隆度。易比如故程序什段中散的指筑令数按目。格粒度垮分为场粗、鼠中、任细三群种粒趴度。时延骂：各探子系亚统之妹间通景信开跌销的漂时间占度量励。例呜如存赢储器公的时复延就牧是存省储器劣完成毅一次鞋读写镇锁完别成的挣时间菌，处掀理器悲时间蛾就是图各个弹处理严器之摄间互疏相同影步的箭时间葵。存因储器贼容量锤越大脉时延建越大副，处猴理器听数目唤越多墨时延芽越大场。粒度冬与时灿延密作切相答关。2.围3.植6粒度栏匹配陪加速瞧比模到型作业或程序子程序，部分作业或程序过程、子程序和任务非递归循环或迭代指令或语句并行性程度细粒度中粒度粗粒度通信开销增加2.姐3.革6粒度虑匹配卧加速烧比模肝型指令负级：冰粒度竿一般橡包含执的指走令数德小于20。细腔粒度雨的并屋行性造在2~数千股范围塔变化控。优点干：可朽以充落分利朗用机果器资邀源。疤细粒举度并担行性方的开恼发可浓以借壁助于颤优化羡编译周器，梳自动寻检测证并行洋性，蜜并将锁源代猎码变颠成运闪行时局系统姑能识色别的彼并行赏形式决。2.豆3.禁6粒度融匹配耗加速德比模诸型循环谦级：爷循环群操作钱在连穷续迭译代中殊不相王关，贞循环史级并步行性今是在锈并行祸或者距向量扇计算侄机上叮运行瞧的最舍有程俩序结它构。脊但是鹅递归棚循环敌的并茂行性跑优化锁难以板实现校。2.确3.闸6粒度壤匹配缎加速黄比模样型作业冒级：润对应视在并都行处柄理机规上并磁行执雅行的章独立晶作业煮，粒而度在袋单个境程序乏中可优以达胖到数掀万条幼指令头。作拿业级颤并行必性一似般由新加载电程序纽奉和操她作系怀统来犬处理育。2.博3.吐6粒度售匹配侨加速伸比模忍型细粒帜度并尽行性合在指爷令级劝或循欣环级斜上借奔助并炭行化旬或向监量化此编译融器来盈开发瓦，中钳粒度海并行海性的脆开发砖需要阳程序精员和责编译出器协添同工推作，掏粗粒竭度级侄的并累行性膨取决六于高灿效的觉操作结系统顶和算思法效携率。宽共享嚼变量洽通信箭支持忧细粒墙度和剖中粒傅度，剖消息押传递吩多计悔算机泪用于贸中粒溪度和哥粗粒乐度。2.脸3.夜6粒度招匹配充加速吴比模存型通信僵时延湖：不鲜同的播通信糕时延阅是由廊计算反机体赢系结辆构、喝实现扭技术柱和通希信方释式决时定的锅。时熊延是品机器俱规模瓶扩展雄的限抓制因洽素。盾比如疗存储樱器时龙延随联着容葱量的弯增加扫而增炎大，胞所以驱存储睡器的毒容量骑不能欧无限洋制的胆增大代。通梯信方谅式由伪算法缺和系哥统结锦构决咏定。并行秤系统魂：缩丢小通旦信时丙延、支防止眉死锁夕、优息化粒撤度2.曲3.阿6粒度汗匹配之加速堪比模狸型并行狡程序校设计询的两哄个基口本问迈题：1.如何哥将一暑个程充序分想解为垫合适工的粒花度。桥以便交获得盟尽可抽能短陶的运粗行时别间。2.在计贞算中动最佳连的并确行粒捧度是启多大北。2.曲3.认6粒度绩匹配炕加速缸比模犯型组合倡粒度贫前程潮序图细粒胖度每个思节点桂用（n,塔s）表示勿。n为节窑点名s为节牧点粒相度。两个摧节点选之间当的边记为境（v,康d），v表示输出芹或者矛输入吊的变跃量d表示掀节点颂之间斤的通信延扯时组合龄粒度梁后程序骗图粗粒械度粗细峰粒度嫌比较2.甩3.造6粒度叙匹配袖加速避比模链型粒度拌组合魄先用辉细粒最度获者得较尚高的趟并行按度，松然后齐分析遇加大么粒度迫是否窗会消哥除一乒些不幼必要炊的通谦信延施迟或蛙降低晨总的涌调度债开销歇。细粒挣度可临以更雕好的线利用嫂资源匠，但祸是可侄能需核要更沸多的版处理烧机之陕间的均通信浊。粒度吼组合铃需要驰在并唱行性约和调届度开配销中打间取撒折中2.押3.浩6粒度瓜匹配零加速巧比模惧型单一疗依靠有粒度耀组合驳，不笛一定躲就能峰得到警一个免好的泼调度战调度制方案窝。动右态处蓄理机默调度序是NP难解殃问题气，通揪常需司要采妈用启额发式芒方法倒以便跟得到狡局部奸优解傅。我址们主通要介宝绍静富态处吼理机去调度独方式忠。2.洽3.够6粒度免匹配匆加速王比模产型结点王复制轨：将悲某一萌处理屈机上骆的数眠据复太制到候其他沟处理闲机，风达到澡降低朝处理针机间劣通信魔延迟伸的目盯标。结点内复制捞前后宜调服着方案2.应3.倍6粒度野匹配厉加速荣比模耽型通常军需要脾将粒遇度组班合和戚结点虎复制钩结合马起来识来确膏定最勾佳力层度和嫂调度董方案阵。步乔骤：1.构造段细粒胀度程驴序图2.调度退细粒咸度运臂算3.进行船力度争组合扭得到闭粗粒士度4.在组牲合图拉基础丽上产虎生并年行调骄度方厅案2.任3.炒6粒度娱匹配误加速跌比模汪型静态记多处昆理机宿调度秧的程想序分棕解2.朝3.煤6粒度脏匹配跪加速欲比模卧型1.细粒伯度分村解：乘法非器10津1个周拍期加法费器8个周检期2.煮3.眠6粒度滋匹配就加速添比模搏型1.细粒烟度分杯解：拘通信痒时间扇分析T1亚=T腹2=拍T4表=T羡5=嗽20T3高=3胆2串行疤通信柔时间T6读=凤10挠0通信爱软件怎协议肤延迟d=抛T1隙+T兔2+长T3双+T档4+险T5耍+T窝6MM2.男3.氧6粒度按匹配障加速不比模屈型2.调度止细粒绘度运底算：2.这3.持6粒度杠匹配热加速羡比模芦型2.评价横：2.纲3.东6粒度防匹配烛加速雄比模膨型3.进行命粒度壤组合石得到做粗粒梦度：2.匹3.努6粒度耻匹配嚷加速惨比模耽型3.组合父得到赞粗粒共度产应生并沉行调惯度方误案：2.苗3.赖6粒度警匹配游加速飘比模斯型下面衡我们茧进行孔粒度究分析V1：节辈点机滴的平哀均速西度；P：节蕉点机徒数目而；W：网棍络的蜡统计吐平均仅通信奇带宽崇；t：每漠次同波步的住平均侮时间Ic：程臣序的键指令汗条数泳；f1：串治行瓶群颈；1-爬f1：程耳序中P并行钳度指全令百是分比应；em：并扣行负烤载系劈燕数N：程嫁序执凤行过扔程中蓬的同卸步次撞数；B:每次群通讯枝时一排个节肌点向变另一赴个节鸦点发压送的驶字节节数K:每次币通信课时一雹个节鲜点需辣要通社信的孩节点禁数T0贝:每次浮通信躁的软柳件开遭销Tb：每竿次通朝信的喇平均或延迟跳时间β：通俊信隐公藏系浸数，伤并行旧计算形与通弹信重椒叠时吧间占哥通信侵时间难的百执分比2.阔3.园6粒度咱匹配张加速恋比模众型设在P台机乘器上纯执行穴的时亚间为T(梅P)，同澡步时游间为Ts，通下信时塔间为Tc2.划3.恭6粒度伴匹配回加速腿比模辅型2.律3.壮6粒度缸匹配属加速苏比模专型Gs=V1t，被辩称为贯同步校粒度吩，为尿每次防同步歉损失识的节赠点计神算量品。与洪系统患同步玻机制宿和结偶点速析度有升关。Go=V1T0，系负统开乎销粒钟度，探每次忌通信蔑的系借统开救销时转间损编失的赤节点喝计算督量。姿与系弦统通补信机葵制和膨节点掘速度令有关Gb=V1Tb，系比统延厕迟粒幕度，悄每次迷通信裹时建臣立时棉间和厕阻塞牛时间遥引起音的延告迟损婚失的渡节点拌计算缴量。渗与节柱点存前储器尖、网吴络接猾口、赞特性石、消贪息特接性和冬节点尺速度兼有关轧。Gc=V1/W，系隙统通描信带鹅宽对玻节点百速度争的支盼持能芒力，摸与网哪络带社宽和篇节点到速度消有关蜡。2.从3.兼6粒度鞋匹配嚼加速概比模境型gs=Ic/N，应悦用同疯步粒压度，栽两次筑同步盲间平体均执傻行的弦指令钟条数所。取值决于查程序坏特性gb=Ic/N粥K，应焦用延鹊迟粒踩度，淡每次压通信本延迟蔑时间增内执溉行的派指令厌条数聋。gc=Ic/N锣PK拐B，通早信的嫌单位愚字节朋平均牧支持喘的指螺令条抱数em反映散各节烟点不伙行负胖载的继不平朴衡程回度，em=1说明掩各个沉结点坐负载惧时平接衡的乓。书25页，雁例题2.材42.朴3.芝7并行伤系统妄的效钥率和墨可扩袍展性加速缎比S(谊P)的最拍大值挡，应丹该是清系统碍的结祝点数P。实遗际受哄到串德行瓶樱颈、朋负载秤不平躲衡、请同步减和通热信开陷销等走问题竞，实构际S(免p)站<P。为抢了表报征并菜行系李统加阀速比凡接近P的程陕序，宅用效障率E(则P)进行雁描述将。E(尿P)像=裕S跌(p盾)/拌P。E(羞p)越大摊系统煮可扩垂展性闪越好温。并那行性住好的软系统键，加箱速比才应随挡并行耀度的颤增加龟而线咬性增谨加，恋或者来效率得随并火行度厌的增脆加而咸保持抚常数灶。我浴们用C(眉P)来表时示可场扩展引性。2.丈3.雷7并行取系统坊的效夺率和选可扩订展性C(汤P)逐=E韵(P食)/酷E’吵(P洽)，其辱中E’某(P治)是忽倾略了绍并行梨开销赤时的