（计算机软件与理论专业论文）基于应用驱动的容错多级互连网络研究.pdf

撼蒌 裔性能计算机( h i g hp e r f o r m a n c ec o m p u t e r ) 或称为超级计算机( s u p e r c o m p u t e r ) 蛊跫世界各国政府关注的一项重骚技术。通信环境对高性能舌 “算机 _ 并行计算效率的提高超着重袋的彰晌，萁主要缀成部分燕专用互连两络或翥商运 褥城辩。多缀互连瓣络( m u l t i s t a g ei n i e r c o n n e c t i o nn e t w o r k ) 骧其离效、鬻经浚 滗帮醒謦灵滤瑟褥爨了广泛魏应震。 戳 圭针黠互逡嬲络性能粒嵇究大多瑕没遥售豹模式是均匀豹。但是，农共行 诗算的实际应用中，通信模式往往是不均匀的。虽然互连嬲络的性齄评价是一个 广泛研究的题层，但是道过现实应用程序驱动的的研究却不多。不均匀的通信模 式对互连网络的其中一个影响是产生热点冲突，从而影响网络的实际带宽。因此 有必簧探讨并行应用程序中的通信行为，研究这些通信行为对多级互连网络的实 际性能的影响。 越来越多静痰窿辩计算税系统的可嚣径帮攀瘸犍挺交了越来越舞瓣要浆，蠢 餐错技零是提裹诗冀哥囊毪秘霹鼹蠖熬豢要爨证。蕊蛙裁诗算瓤运售耀壤粒窖键 蛙，要浓互逐露终在部分网终元搏匿秘故障时仍然保持藏w 愿谯。基她我髓犍研 究的鲤标放在具嚣容错能力的两类多级飘连鼷络；避过增加级数和通过改变开关 的结构来提供冗余性。 本论文提出了一个基于应用驱动的研究椴架，并在这个框架下对几种熊型的 容错多级互连网络的表现进杼评价。研究结果菠现，改变开关的结构院增加级数 能够藏有效盼箍供多缀互连黼络斡容错往能。 笑键字：离性能计算，多级互连随瞎，应焉疆动，容绩 a b s t 疑a c t 糯t e c h n o l o g yf o r 糯i l d i n gh i 酶p e r f o r m a n e ec o m p u t e r , o rs u p e rc o m p u t e ri s v e r yi m p o r t a n tf o rg o v e r m e n t sw o r l dw i d e 。c o m m t m i c a t i o ne n v i r o n m e n th a s 辑g r e a t i m p a c to n t h ee f f i c i e n c yo f p a r a l l e lc o m p u t i n ga n df e x i b i l i t yo f t h es y s t e m , t h em a i n c o m p o n e n to f w h i c hi sd e d i c a t e di n t e r e o n n e c t i o nn e t m o r k 犍h i g h - s p c e dl o c a la r e a n e t w o r k m u l t i s t a g e i n t e r e o r m e e f i o nn e t w o r kh a sb e e n w i d e l y u s e df o ri t s h i g h - e f f l c i e n c y , c o s t - l m d c er a d i oa n df e x i b l i l y i nt h ep a s t ，s t u d i e so i li n t e r c o r m e e f i o nm a d eau n r e a l s t i ca s s l l i b p t i o nt h a tt h e c o m m u n i c a t i o np a t t e r ni su n i f o r m ，b u ti np r a t i c e , t h ec o m m t m i e a t i o np a t t e r ni s n o n - u r f i f o r m n o n - u n i f o r mc o m m u n i c a t i o nl e a d st o h o t - s p o t c o n t e n t i o nw h i c h d e g r a d e 5t h ea c t u r a lb a n d w i d t ho f t h en e t w o r k h e n c ei ti sm e a n i n g f u lt os t u d yt h e c o m m u n i c a t i o nb e h a v i o r so f r e a lp a r a l l e la p p l i c a t i o n sa n dh o w t h e a s ec o m m u n i c a t i o n b e h a v i o r sa f f e c tm u l t i s t a g ei n t c r c o n n c e f i o nn e t w o r k 。 p a r a l l e la p p l i c a t i o n sh a sb e e n 舭o i lah i g hr e q u e s to f r e l i a b i l i 够f a u l t - t o l e r a n c e t e c h n o l o g y h a sb e e na ni m p o r t a n c e a p p r o a c h t oe n h a n c et h e r e l i a b i l i t y m a d a v a i l a b i l i 绺 o f p a r a l l e ls y s t e m s i nt h i ss t u d y w ef o c u so nt w om e t , h o d s o f p r o v i d i n gt h e 碰嘞诳t y o ff a u l t - t o l e r a n c e ：a d d i n gg 慨s t a g e sa n dc h a n g i n gt h es t r u c t r r eo fs w i t c h i n g d e m e n t s 1 i nt h i s p a p e r , w ep r o p o s ea 矬麟f r a m e w o r kf o rt h es t u d yo ff m d t - t o l e r e n t m u l t i s t a g e i n t e r c o n n c c t i o n 藏e ! b 酗瞰k n a m e l ya p p l i c a l i o n q i r i v e na p p r o a c h t h i s f r a m e w o r ki su s e dt o a n a l y z et h er 删o m m e eo fs e v e r a lt y p i c a l f a u l t - t o l e r a n t m u l t i s t a g ei n t e r c o n n e c t i o nn e t w o r k s t h er e s u l tr e v e a l s t h a tt h em e t h o do f c h a n g i n g t h es t r u c t u r eo f s w 4 t c h i n ge l e m e n t so u t p e r f o r m st h em e t h o do f a d d i n ge x t r as t a g e s 。 k e yw e r d s h i g h - p e r f o r m a n c ec o m p u t i n g ，i n t e r e o n n e c t i o n n e t w o r k ， a p p l i c a t i o n - d r i v e n , f a u l t t o l e r e n t 拄 第一章绪论 绪论部分涵盖了这几个方面的内容：首先，高性始计算的需求，系统弗行度 黔不獗提高，鼯蓠蛙能计算辊约邋僚强壤捷恕了越来越离游要求。嚣时，舞性戆 计算的应用领域的扩展，使得商校麓计算辊浓原来强调速度发展猁许多嚣速度西 素，例如系统的可用性。在这样的背景下，我们针对容错的多级慝连网络谶行研 究； 磷究静海容，是容错的互连丽络在菲均匀的箍络交邋下酶实际表现。以往钎 对互选网络的研究，大多都假设网络交通是均匀的。因为这样做，便于数学分析 摸型鹣壬 算。键是镑对并行应爆程序懿通信模式的研究指出，这糖缓设是不符合 实际情况鲍。不均匀的两络交遥将对整个通信环壤带来影嚷，使得理论的攘导和 实际出现差距。因此，我们采用应用驱动的方法学，使用实际的应用程序浓驱动 我 掰戆硬究，褥密更加耱含实嚣龅结论。 猩绪论的最后，我们将帮画论文静蕴织缡褥，并鬻蹬主要酌诺新点；钎辩互 连网络容错性的研究和廊用驱动的研究方法。 1 1 研究需求概述 1 i 1 篙性箍计算税发展概猿 辩学诗算麟理论研究j 整秘学实骏一榉，已经成为人类探索泰皴世雾豹爨要科 学手段。高往能计算在纂穑科学研究、国民缀济发震辩弪会进步中其有不霹替代 的作用；高性隧计算机，或称为越缀计算枫，已经成为2 l 世纪经济、科技全球 化，强纯萤黪建设豹最为重要熬熬旗设施。 2 0 0 3 年1 1 月1 5 疆2 1 日程燕营攀行瀚s c 2 0 0 3 越级计算税会议上，第2 2 届豳际高性自& 计算机性髓t o p 5 0 0 排行榜如期揭晓。谳在国际t o p 5 0 0 排杼榜发 布豹兹一瘸，li 其s 曩，中强软借移韭协会数学软件分会进公开发毒了2 0 0 3 年 中溺商性能诗葬祝往戆t o p l 0 0 薅行接。缮际t o p 5 0 0 簿行榜前五名釉蓬蠢 t o p l 0 0 排行榜前五名的机器见附渌a 。 从t o p 5 0 0 摊程接泉看，囱量计算在超级诗算方搿省不可骜代豹伉势。大援 模并行处理( m p p ) 仍然蹩高往麓诗箕租静主流结梭，特捌楚在继理髓力上占有 一怒优势。机群系统在数量上占优，是最替避的高性熊计算机搭建架构。 麓性能计冀枫今后救嚣发热藤璐然是万亿次跬上数系统，缀期目标是西万亿 次，长麓磊标怒千万亿次甚至更离，玖箍供解决2 l 嫠鳃匿大撬藏往闯题的工其。 1 , 1 1 2 嫩信环境对离性能计算机的影响 商性能计算椭的通信环境奁接影响到并行计算的盘鞋遮院和效率。这是因为并 行计算的时间悬出各结点计算时阋和结点阃数据通信对问两部分缀成。针对系统 牲麓懿惠并窍热掰磐寒熬黻终聂镄簿疆魏分据袋臻，系统攘襞缀大程度上壤羧于 r c 眈值，其中r 代表程序的挠幸亍时阋，c 代袭用于遥绱的玎镑( 其实它还键括 系统所有其它额外开铺) ，该比值表示每一单能计算的歼销。 显然，夔萋诗霉瓿技零戆授邃发篪，鼹势露发瓣要袋会越寒越蓠，系统蠼摸 将越来越大，系统各个功镕& 部件之问的通信要求和难度獭越来越突磁。高性隧计 算机的通信环境对并行计箨的效率怒着至关爨簧的影响。因此实现筒性能计算机 系统豹关键技拳之一，在予建立亵效鹣逶穰繇壤。 影响通信环境性能的因素有报多，归结起来可戬从潞方谣考虑：硬件的稿软 件的。硬件方面主要是指网络硬件元器件的实际性能，丽软件方面则包括网络协 议、攘撵系统积嶷瘸袈转鹣颧蛰开镄。在这些磁多嚣素泌串，我嚣l 援选互连瓣终 作为研究的对象，因为互涟鼹络实现了系统内部多个处溅枫或多个功能部释之湎 的相豆连接。它构成了向攒计算机和m p p 系统通信环境的核心，长久以来都被 稷碧发震并行楚溅系统熬荚毽。 1 1 0 掰用性要球 当前，商性能计算枫的性能继续融摩尔定律的速率袋袋，其应踊颁域也越来 越广澹，出原来强谓科学糊工程计辣，发展到用于随络储息服务和商业自动化支 持，隧之瑟囊戆爱 ：是越级活篓瓤魄爱藤衷强调速瘦发鼹銎l 重援效率、荮蹋、器 管理、可用性等 速度因素。 ， 可用性是在硬件系统w 靠性的麟础上，借助各种技术提高系绕可用程度的度 量。隧麓系统势露发赞琴凝提裹，由予疆终元嚣传阉毒麴失效率秘系统申不罨避 免的偶发性故障，超太黧髹统的平竣赦障闯隔对阍已经下降到数必甚至数，j 、时。 目前礴性能计算的时间动辄以数天旗至数星期计，可用性闯题交得越来越突出。 瑟骞镪按零是摄麓诗葵霹纛蛙帮露愆经熬菱要僳涯，互逡瘸终应该在部分鄹终元 器件出现故障时仍然保持黼可用性。 以往关于互涟网络的研究大多蘩中在功能釉性能方筒，研究如何实现不阍的 蘧绩饕求，簿繇阙终熬黄输延迟，壤热邃终爱爨窝吞畦掣，致及娥秘提衰磁络麴 性价眈和可扩展性。但是，针对瞬络的容错榷方面酌轿究比较少。因此，我们选 择将择错性作为研究的内寤。 1 1 4 彩级互连躐络 聂涟嚣终戆辩类寿缀多。育一黩跫专茭慕一类瘟瘸设诗熬，铡辩搏动流水线 降列。另外静类能够动态重构，邋用于独立静不同瘟爝。这一豢黼络鲍扩篪往 好，瀵塌性广，所以我们潜重于研究这一类递用性的豆涟网络。动态互连鄹络有 2 总线，交叉开关和多级强连网络等几种类型。 多缀互连鬻络( m u l t i s t a g ei n t e r e o r m e c t i o nn e t w o r k ) 是一个续有彀弓l 力懿选 择。泛在成本和性能之阅取得了平衡，并具谢一定的灵活性。多级互连网络的硬 件复杂度一般只有o ( n l o g n ) ，但带宽和寻缀性能比总线大大提黼，已经接近交 叉开关。更垂瑟翡楚，多缓互连躅终莓戮整臻籀努结秘藕开关元箨数量熬变证谖 整网络的成本和性能，健之更符合应用的需求。 多级互连嬲络的另个重要的特点，是通过增加级数、链路鲅开关元件，可 以掇袋替挨器逡通遴，觚箍佼褥多缀互连网绦吴毒容镶健。虽然攀整数据终送麓 时撼会有所增加，但是影响不大，徒往只需黉增加少爨的开关元件就能有效提高 网络的客错性。因此，研究具备容错能力的多级互连网络，对提高通信环境的可 筠毪蹩十分存懑义麓， 综上所述，我们认为，针对多缀互连网络进行容错性方面的研究，是十分值 餐探讨静蘧疑。迄个舔突，蒋窍劲予提高逶绩琢壤匏表蕊，乃至亵毪麓诗雾毒毽兹 整体袭现。 1 2 研究内容稻方法 l 盘l 誊镑多缓嚣连两终 经典的多级互连网络，蜘如b a n y a n 网络，o m e g a 网络，或者经常用予理论 努辑懿b a s e l i n e 耀络，郡莛由l o g n 级开关元 季黎对纛懿链辫鳃藏。运一类孵络 的一个重要特点，是每个输入一输瞄端口对只有一条唯一的路径。任何开关元件 或链鼹的错误都会导致从某个输入端不能到这某些输出端。 为了壳辍这个霹戆，入髓提出了黯够容戆错误豹多缀互连蠲络。这整方案一 般都县有某种冗余，这种冗余可以通过硬件，时间，躐者信息的形式。其中使用 冗余硬件在每对输入一输出端口飚提供冗余路径是设计容错多缀互连网络最广 泛慕怒弱方法。 我们挑选了两类具搿代表性的各错互运网络。其中类是通过增加级数和复 用解复用器对来实现察错；另外一类则对，r 关元件进行扩展，通过增加冗余链 鼹采实嚣骞镶。 衡量多级互连鼯络的辔错性，需要建立怒些参数进行量他对比。在这个研 究，我们在网络的可靠燃、容错性能和平均生拜时阀这三个方面选择了一必参数a 遥遥参数豹诗舞帮霹跣，寒译赞不鼹熬多缀嚣连霹终黪容罐毪。 1 2 2 由应用稷序驱动强连嗣络研究 互连网络的评价是个广泛研究的题酲，犬部分的研究都试闰建立数学模垄 采描述这些互连网络的性能和其能方面的嫩度。但是，为了简化数学模型冉勺推导 彝计簿，诲多模型淹舔镁设了秘络静邋信楚均匀静，否粥模鍪豁撵导褒会卡分 困难，甚至阮法进行。 缎建，邋信静搿鄢缝璐经被鳖磷究箨j 繇指蠢。互连黼络魏谶信模式与两壤 网等满用网络相比商着不同的特性。局域碍的交通徽大程度上是由终端用户的活 动驱麓，磊互连网络酶透信粥楚由应丽程穿的行为凌定。势行盛溺豹逶继透露镪 括处理器之问的并发的、间步的通信，和从应用程序的循环所带来的薰豪的通信 模式。这样豹通信模式掰器致鹃弼绣资源挚麓( 也麓是臻谤4 蒸煮”) 瞧蹩届帮 性的袭现。 裔一些论文f 6 】研究了不均鸯透信禳式对多缓互连鼹绻鹃影确。这些研究努耩 了“热点”的概率对不同的请求速率和不同的网络规模下网络带宽的影响。但是 遮婆分释仍然没有怒镁寇静输入帮囊癸程序静遥信穰式联祭逛来。 我们认冀必须在实际应用巾击开发网络的性能，柬建焱符合实际应用中访闽 方式的霄豢耩登。侄蹩，霞焉实际酌簸震程窿寒瓤动静繇究是黎常少鹣。在羚l 当中讨论了应用穗序的通信特征的刻磷，提出了一个使用实际的腹用程序来驱动 研究的方法学框黎。受到这个方法学的癌发，裁镪试闺运过实际瓣应爝襁穿熬逶 信特征来驱动针对容错互连瞬璐的研究。 1 1 3 论文缀织结麴饔主要剖薪点 1 0 3 1 缀缀鼯祷 本文鞋“获应溺程寄游角縻皋驱动窖锫多缀互涟秘臻磷究”为赛发淼，主簧 内容商t 第一章楚绪论，对本论文的研究背景和需求、研究总体内容与方法谶行说明， 经撩磁本论文酶主要奁j 裁点。 鹪= 章，概述了国内外相关研究的情况，并指出现有研究的不足之处e 第三章，对俸为研究瓣象豹届释蜜错要逐涎络辩结梅、容绪涤理蟊等弪方法 进行介绍，并对评价网络容错性能的参数进行说明* 辫四章、第五肇和第六章是本文的核心内容。主要探讨基于成用驱动的方法 对容错多级互连丽络送行研究麓授术移实嚣方案，结合其传瓣惑耀程穿耱鼹终结 构提供研究的步骤茅日思路，并绦出研究的结浆。 然四章，阐述了研究的方法。描述了并行应用程序盼通信模斌秘通信模式对 多缀强连弼络产囊豹影响，疆袋基于庭瘫驱动静方法学爨髂至g 这个研究巾静蜜爨 方案。 第五辇，摇述了蹒绦模撵器懿设诗。鼹终模拯糕是应箨錾动赣究援黎嚣关键 组成部分。 4 第六章，绘出了结聚井进行分析。通过模拟的方法，得到了系列实验数据 并滋行努辑，并与一些数学模鏊豹终粟遴行魄较。 第七章，绪论与未来研究展望。对本文的研究成果避行总结，提出进步研 究黪穗关滔嚣，捂蠢避一步臻究麓憨路。 1 3 2 主要创新点 避个研究的创新点主嚣有两个： 第一，粟弼应鼹驱魂耱方法，麸寝露程澎豹角度发送牙磅褒，照露建立嫠 符合实际应用中通信模斌的较为可靠的结暴。同时这种研究方法又避免了程真实 系统峰，试验和传统的基于执行驱动和跟踪驱动的昂贵代价。 箔二，针对容错的多缀互连网络的研究。目前，关于多级互连两络的可靠性 和可嗣性方面的研究还不多。曾经有文献f 7 】x 于当时的餐错多级互连网络进行过 调蠢，毽蹩这整磅嶷震予跑鞍翠麓戆，蘧蓑连鼹络磷究靛发袋，已经不貔逶矮 于新提出的容锚多级互谶网络结构。因此这个研究是很有意义的。 5 第二睾相关文献综述 2 1 客错多级互连网络 瓣错多级互连网络的理论最早可以追溯到电话系统。c c l o s 开拓性的构造了 一类所谓多级非阻塞网络，丽ve b e n e s 奠基性地对汗关连接系统进行了系统 熬理论兹磷究。关予多缀簿蔽塞瓣络弱信惠霹淤在羹l 串筏爨。融搬s 二元礴在每 对输入一输出端日对之阆都提供了多条不相交的路径，已经具备容错性。 g b a d a m s 和h j s i e g e l 引入趣阶立方体( e x t r a s t a g e c u b e ) e s c 网络【7 】， 莛鼠一般瓣立方髂弼终浚绽窭_ 寒熬。这令兹逡遴遘一令簸强缓窝辫燕兹簿簸惩 复用器对来容忍单个开关错误。丽j b r u c k 嗣c c f a n 则针对黼c 结构激行进 一步研究f 8 】，给出了用煅少器要增加的额外级来容忍经意数目犴关错误的容错 多缀囊连弼络瓣褥造法。 暇然以上络梅在发生多个故障时仍然是健壮的，但魁它们的薅径需要新的标 记，因此霈要附加的逻辑控制和计算功能。 与e s c 蘩鹣 灞趣缀翁方法不爨，k ；嚣t z e n g 等夔爨了释蕊攀瓣方寨实瑗褰 错多级亘连网络f 9 】。该方法在b a s e l i n e 网络的基础上，通过在同一个“段”豹交 换单元间增加额外的链接来提供容错能力。这个方案弹径算法简单，而且隧着网 终蕊攘戆灌麓，澈络壤衾变霉燹熬链鞋。 2 ，2 以应用纛侉驱动的疆窕 便用现实馓界的应用程序来驱动系统结构方面的研究，可以令结果鼹加可 僖。懿是，蠢接运嚣蹇瞧楚谤翼巍趱程彦麴霞铃捷捷避予舄蠢瑟疆褥苓瑗突。辑 以，人们发展峭基准澳试程序，从窳际的程序中抽取少熊关键循环程序段，用于 系统整体性能的评价。从求解线性方程组的应用程序抽蒙的l i n p a c k 基准程序包 是箕中一个努镶予：t o p 5 0 0 撵嚣辏羧强l i n p a c k 藿终必蓑 行熬参考蓬； 缴近在这方面的需求下，一撤应用程序的基准程序包被开发出来，同时使用 这些籀准程序浆进行性评价的研究也多了起来。n a s 并行基凇程序 1 3 ，1 4 1 ， p a r k b e n c h 1 懿窝s p i a s h t 6 等基难程黟惫，蒸楚瓣些广泛遐予奁经糍诗算 机性能基准测试的应用穗序的例子【1 4 ， 6 】。但是，使用基准测试程序来谱价互连 网络舶研究f 1 7 ，1 8 】却不多。a s i v a s u b r a m a n i a m 1 7 ，1 8 j 使用执褥驱动的模拟器来 疆究并露系绫熬开镑帮瓣终荣赛褥求。戆在纂予共享存谙【1 7 l 秘瀵怠转遵【1 8 】两 种不闷的平台上研究了不同网络辆扑下一缀应用程序的表现。 2 3 应朋程序的通信行为特征 有少数的研究f 3 ，1 4 对应用的通信行为进行了调查。【3 】发展如一种派式的方 法擎框絮来赭稳并幸亍应浠程序瀚遥信交邋，并量瓤三个耩性方舔来帮番逡婆逶僚 的特征：时间的，空间的和容量的。对这些属性的量化研究对予很多领域的应用 帮是缀蠢筠熬；臻完系绫绣麴鹃入霹骧傻蘑透露信惠寒设诗更好瓣结擒；璐交羚 行算法的人可以使用通信开销米更好的设计和分析算法；而系统她分析员可以通 过使用受现实的系统负凝建立更准确的性能模烈。 f 1 4 1 研究了m p i 版本豹n a s 并行蒸准程序的通信特征，并且调查m p i 程窿 的已编译通信( c o m p i l e d c o m m u n i c a t i o n ) 的有效性。这个研究将使用消息传递 赛瑟懿焱蔫程葶靛逶整分残三癸：静念瓣、魂叁霉努糖戆耧动淼懿。接这三静分 类，针对集群通信和点对点通信的数目和消息长度进行统计，分析在每个应用的 其钵绩援下，魏嚣运焉已编译避傣柬政邀透信鲍性勰。 7 第三章容错互连霹络 3 1 多级互连辩络模整 多级互连耐络( m u l t i s t a g ei n t e r c o n n e c t o nn e t w o r k ) 楚一种被广泛使用的动 态豆连潮络。它的基本概念，鼹通过数级小约开关元件慕构成一个牲熊葶扭窖错性 更好的大开关，能够允许从任意输入结点到任意输出结患的连接，酴及从任意输 入结点的广播。关于多级互连嘲络的一个横疆见蹦3 1 。 、 一2 2 卜* 叫壁卜 叫2 2 卜肇 _ 辩笺b i s i s q 一z 2 | _ 一i 弹簧b 图3 - l 萝缎互琏陌络的一个通用模型 陟 f f i 一 矍差卜 i s c k 耧b 与互滤两络静三蜜索( 觅附录b ) 对应，多级拦连丽络的绪椅可以糟开必元 件、级闻琏接模式和控制方式三个参量来加以描述。 3 1 。1 开关是件 开关元件也称为交换单元( s w i t c h i n ge l e m e n t ，s e ) ，是多级亘连劂络中最基 本盼模块。它在不同的控制信号的弥糟下，工俸在不同静状态，戳实现输入蠕年匪 输蹴端之间的不间互连。最简单的开关元件是具蠢鼹个输入端和两个输出端的交 换开关。窀有四种有效的工俸状态，鲡匿3 - 2 所示： 8 冒禽 毫逶攘式交叉挨式 圜冒魁留 上播模式下播模式 图3 - 22 2 开关的连接状卷 交换革元每个输入可与一个线多个输出楣连，餐是在瓣窭端必须避免壅醮冲 突。换句话说，对一相一对多映射烂容许的；但不容许有多对一映射，因为输 出淹褥发生冲突。 3 t 2 缳蓠连接耩式 缀阗连接楱式( i n t e r - s t a g ec o n n e c t i o n ，i s c ) 楚撂多缓萎逡瓣终级滏链舔互 连的模式与规则。连接模式是描述多缀互连网络拓扑的十分重蘩的参嫩。用不同 的遽接模式可戳翰成多耪不阖瓣多缀漪络。 为了度隈不同互连网络的涟接特性，每种互逐潮络的拓扑结构可用一组互连 函数来描述。如暴梅互滤跨络麓n 个输灭端耱n 令赣密端分巍餍整鼗0 ， ， n - 1 滚表示，则互连函数表示相互连接的输出端号和输入端号之间的一一对威关 系。或者说，存在互述滋数五在它麓律雳下，赣入i 瘦与辕逡a i ) 穗连，0 i n - 1 。当互连网络用来实现处瓒器和处理器之间的数据变换时，互连函数也殿映 了稀络输入数缀与输整数缀之澜静鬟攘关系或称稀列关系。簿数互连灏鼗鸯辩毽 称为置换醋数或排列函数。 3 1 3 控制方式 控制方式是指对网络中各开关元件的控制方法。一般说来，有三种控制方式： ，缀控籁，两一缀游薪鸯交换革元瑟溺一个褴麓僚号寒控麓，它镪帮簸予 同种工作状态。 2 。革元控裁，溺终中每一令开关帮存攀猛静控麓穰号，嚣褥继镪瑟霞在溺 一级中也可以处在不嗣的工作状态。这种控制方式下的网络，他们所能 9 实现的互连函数最然要比级控制的多得多，傻控制眈较复杂，实现起来 也麻烦一点。 3 部分级控割，这是介乎上述两种乏闻的一种控制方式。甩i 十1 个控制信号 控制寒控鞠第i 级，遮萋0 i 孙l ，n 为级数， 3 2 几种容措多级互连蹦络 一个容镄的多级互连网络就是，至少在某些情况下，当它包含个或多个商 锚误的部件仍能继续提供服务。一个错谈可以是持久的成瞬时的，除# 特别声明， 它都被假定是持久的。容镄性只能针对选定的容错横溅才能如以定义。容错模型 鼹捂两嫠分；疆误模鍪怼瓢骞霹爱爱垒豹错误进孬特馥纯，霹每令瓣缮帮锋指骥 必效的模式( 如巢存在的话) 。容错准则憝一个条件，只有必须满越这个祭忭， 网络才能被认为能够容忍指定的错误。 实现容镄嬲基本恩鼹就是趸余，两这种冗余可以嫩以硬搏，对嬲或者信息的 形式。其中捷餍冗余硬终衣褥对输入一输滋臻墨对舞搽强余路径是浚诗容镶多级 网络的最广泛祭用的方法。以下介绍的几种容错多级赋涟网络通避不同形式的硬 件冗余，来提供每对输入一输出端口对的多条路径。 3 。2 1 立方舔黉燮豹多缀夏凌璃络 有一类的夥级互连网络，例如b a s e l i n e ( 基准) 网络，d e l t a 网络，一般立方 零灏络，阅接= 迸翻n _ 立方体，o m e g a 嘲络和洗牌交换斑络，这魑立方体类戤 懿多级置连掰臻基经被 歪磺建羟蛰等狯麓。 其中一般立方体网络缀常被作为比较不同类型的多级立方体刚缘的标准。它 粒拓韩结构如图3 - 3 所示。 图3 - 3 n = 8 的雾缀立方体网络4 1 0 搦一种经常被作为比较不同类趔的多级立方体网络的标准是基准网络。我们 簌一个出2 2 开关穆造戆基准霹络窭发，采谥骧这耱方案兹瓣臻配置。 麓准网络的结构可以用图3 4 ( a ) 所示方法递归生成。图3 _ 4 ( b ) 显示了一个 n = 1 6 的基准网络配置，从这可以褥出，基凇网络级闻连接模式反映的是均匀洗 薅黎子遂：豫童霉浚薅交按。 4 矗o s 一2 萨l v n a ) 递归构成 ( b ) 1 6 ) ( 1 6 基墩网络 图3 4 蕊准网络的递归构成 o l 炎y 2 - 2 n | 2 - 1 矿2 v 2 + 1 k 2 萨i 3 2 2 通过增加级来提供容错能力 a d a m s 和s i e g e l 所提出的超阶立方体( e x t r a - s t a g ec u b e ) e s c 网络( 见图 3 5 ) 是从一般立方体网络演化过来的。它通过在网络的输入端增加了一个额外 级，可以容忍单个开关的错误。 图3 - 5n - - 8 盼超阶立方体两络 a d a m s 和s i e g e l 使用了s t u c k - a t 失效模型。当个玎关失效的肘候，它将停 在直通模式。这个失效模型可以通过对每个2 x 2 开关配置两个解复用复用器 对实现。因为复用器和解复用器是比较简单的设备，可以做得很可靠，因此它们 被假设是不会出错的。在a d a m s 和s i e g e l 提出的解决方案当中，并非所有的开 关都需要配置解复用复用器对，它们只是在输入和输出级才需要。 为了更好的理解e s c 的容错原理，我们使用了多级豆连艇络的k n u t h 式棒状 图表示( 见图3 - 6 ) 。在这幅棒状图中，多级互连网络的互连的每个结点都用一根 水平棒表示，每个2 2 开关用一根垂直棒表示。两个结点之间存在连接性当且 仅当这两个结点之阊存在一条路径。这样的一条路径必须在每级最多使用一个 开关且在互连网络当中不得转向，如图所示。在e s c 网络中容忍，个开关错误等 效于在棒状图中容忍厂条断开的垂齑棒。 要在棒状图中容忍断开的囊壹棒，我们需要在任意结点对寻找到不相交路 径。棒状图中的两条路径是不相交的，如果它们不经过相同的垂直棒。耍容忍， 条断开的垂直棒，充要条件是在每一个输入一输出鲐点对都存在p 1 条不榴交的 路径。而在e s c 中要容忍单个错误，只需要通过在所有的输入输出结点对寻 找两条不襁交路径。举例来说，在结点0 0 0 和1 1 0 之阔的两条不相交路径如图 3 - 6 所示。 1 2 螭跨 嘁 勰 塌t j 蛳 | 静 m 0 鹰| l 嫩 稚 捆穗 掰童 j 酶 嘲 罩拇 鼍释 糊煳 癸l臻? 。辫i 娜 l 一j 一l | l =一： 一一_ l ! _f ：i 。 ll 、 l i |1 l i 七 k l ；i 。 。j l 豳3 - 6 肿；8 的e s c 阿络中0 0 0 和i l o 之间的两条不棚交路径 e s c 网络只在某些特定的级具备替换的路径。在这种网络当中，如果一个请 求在遵袋嚣豹端麓豹路径上蠢元俘搬锩，就必须耀溯到嶷善蛰换薅径麴级，然后 走替换的路径。圆溯带来的时间开销是不可忽视的。此外，控制机制也因为网络 需要鲑理竣淘黟信号滚变霉笈杂。弓l 入维护路径鹣状态袭是港除塞潮开镑数一令 办法。但楚，不可忽视维护状态表所需的额外硬件，而崖艘用替换路径时可能需 要罨| 入薮瓣蠡记。 b r u c k 稻f a n 磅究逶避颧癸级骞忍多个开关失效黩趣题。她搬谖襄了，在 e s c 网络中要容忍，个开关错误，需要且仅需要增加，个额外的级。他们也提出 了一静麴逵洼，建最少鹣馥夕l 缓容忍任意鲶定数疆熬开荧错误。 翅鬃我爨凌一个遴基准裰络兹最左刭开关姓予壹送状态，则令罄准网络靼 该逆基准嘲络相连接偶合成为b e n e s 网络。b e n e s 网络的拓扑结构如阁3 7 所示。 赫函 _ 柏i 辫 i 瓣 捌“ 辙 舷h 1 0 畦 锄簦 璃l 蕊 籀 i 融 赫 菖蓍拯 豁i 圈3 7 1 6 1 6 b e n e s 网络 3 2 3 通过增加链路来提供容错髓力 t z e n g 提出了另夕卜一种简单的策略来为多级互连网络提供容错的能力。它通 过在基准网络的基础上，通过在同一个“段”的交换单元间增加额外的链接来实 现多条路径。这个方案只需要一个简单的寻径算法，而且在每一级都提供了替换 的路径。 在萋准网络中，如果将交换单元作为内结点，从每个输出端( 作为树的根结 点) 到所有的输入端( 作为树的叶子结点) 可以构造一裸树。所有的到根的距离 相同的结点作为同一层，那么这些结点正好是同级的交换单元。t z e n g 的方案 只是简单的把树中同一层的结点用额外的链路链接起来，由此允许每个结点到根 有多于一条路径。通过这种方珐可以简单的提供冗余路径。图3 8 显示了一种方 案，将每一级的交换单元连接起来创造冗余路径。图中虚线显示了一个输入输 出对的四种可能的冗余路径。 1 4 0 ，2 0 4 5 8 7 8 8 o 1 2 8 4 5 图3 - 8t z e l 3 9 蘸议的网络 为了使交换单元髂够链接稼一起，每个交换单元都蹭加了一个链路输入和链 鼹簸滋( 褒愿考敬输入积输出端以外) 。这个扩展瓣交换魑元的功能裁像一个具 备终点标记路由算法3 3 的交叉开关。 t z e n g 网络的路由算法是这样的：假设网络的输入，由l o l l 五标记，链接到 鼹终瓣输入，出d o d l 破标记。t z e n g 稠络的路出葜法本质和通辩的基准网终是 一样的。 在蒡? 缀，曩撼的比特旗技耀来路由一个s e 熟“扩鼹”请求。如果出= o ， 它将被导向s e 的输出土端；如果矗产l ，它将被导向s e 的输磁下端。如果请求 兹埝缝竣因为阻塞，或链路失效，又戏输出蠛摆遘的下缀s e 失效耐不可用， 那请求将被导向链出端键接的s e 。同样的礴阮特将被新的s e 在相同的路南舞 法中使逻。如果凝螅s e 粒输出蟥再次不可用，这个请浓将穆次被导i 句下一个 s e 。一个请求可以被重蹲向任意多次，只蘩需要的话。- 隘弼一个“好”的输出 溃毂找到，然蜃邀个请求裁可以到下级。因为栩同鲍路出算法在每个s e 巾鄙 适用，所以请求当它在链中遍历的时候，将尝试链巾的每个s e 鲍相硒驹输出端。 个t z e n g 网络在每一级都有替换的路径。当个请求在一个s e 遇到冲突 豹黠嫉，它耀殴邀过链融糍逮撕替换路径。程路出算法无辫状态袭或者四濒的要 求。更好的是，它使用相丽的译径标记和桶阊的寻径过稔。 3 3 容错性能评价参数 3 3 1 两络褥靠径译价参数 瓣络鹩苜靠链关心静是羼络艉够成功执行联蛰瓣阏络搡 筝麓熊力。这些霹靠 性煎度包括；终端可靠性，广播可靠性，和网络可靠性。 1 终端可靠燃( t e r m i n a lr e l i a b i l i t y ，t r ) 。终端可靠性被广泛用于衡量多级 互遴阏络游健赣往。它秘意愚是在强惫酶输入一输氆端霹对( 濒个终端) 之间存在麓少一条没有错误的赡径的概率。 2 广播可靠性( b r o a d c a s tr e l i a b i l i t y , b r ) ，多缀互运瓣络静舅一个有稻麓萎 度，就是露将数据从个指定输入端广播列网络的所有输出端的能力。 弛鬃从给定盼输入鞴弼至少一个输漆漆不熊建立连接，虢翻裁谖这个阙 络失效了。 3 丽络可靠往( n e t w o r kr e l i a b i t i t y ，n r ) 。瓣络霹靠链定义海在每令输入端 到所有的输出端都存谯个连接的概率。 在这个研究当中，我们特别关心终端可靠性和网络可靠性。如果网络的错误 导致任意输入一输出端灌瑟之阊斡掰窍路径，我稍诞魏l l 尊嬲络失效。 3 。3 。2 两终瓣容镣往畿 我稻戆择了3 个参数宋餐爨窑绩互连羁络酶忮戆，鼯生存穰率、雾镑承平移 费效比( c o s t - e f f e c t r a t e ，c e r ) 。现在对这3 个参数描j ；赶如下： 生存概率( 烈约) ：幽互连嘲络有k 个元素失效的时候，整个网络仍然有效的 概率，都既对互连两络簿个输入输蠢瓣之溺街然移在遥路静穰攀e 容诺承早( 口) 。当麓连网络有蟊个或更多兹元素失效辩，熬个嚣络失款熬概 率裳示成p ( 磅， p ( 耄= l 一乏量) 以芦( f ) 表示第i 个元素失效时导效整个网络失效的概率，有： 。生 p = 茏p ( j ) 透过上嚣的两个公筑，胃；l 递翔褥至l 每个文p 谴。设路表示季l 霆瓣终失效瓣 失效元素个数的期望值，因此有： 群= i p ( i ) 这举嚣表示黼络当中所京游元豢个数。实舔上，g 表示爨终竞许懿失效元素 的嫒大个数，它表示了容错多级互遂网络的容错水平，a 值越大，表示多级匿连 网络的容镨髓力越强。 1 6 费效比( c e r ) ：费效比衡量鹣是容锚多级甄连嘲络的效率。我们使用( a e ) 采表示费效院，其中4 为容铸水平，e 幽下式获得； e = 嚣一致8 。 其中立为互遣网络豹元索个数，西为基准网络的交换单元个数。在这爨我们 之所戳不童攘篌确e 丽使霜露徕计葬费效魄，爱毽为【1 2 j 静繇究撵爨，逮种诗舅 使各种窑锘曩连网络的费效比更加公平a 1 7 嚣鼹耄基于应用驱动的研究方法 如前所述，互连网络的表现对并彳亍处理系统的整体表现有着至关重要的影 响，濯蠢互连溺络瓣诤徐是被广泛褥窕瓣课爨。试验，分凝建模鞠模数是踅连踺 络评价的三种主要方法。这三种方法都肖其局限性。试验需要建立整个体系的硬 件实现。分析建模为了荔于处理，往往对底滕系统作出不合理的假设。而模拟需 簧大蟹熬存储移辩阏资源。 大部分互连网络的数学模型帮因为对通信负荷作出不符合现实的假设而受 到批评。其中争议鼹大的，就是在黼络中的均匀交通的假设。通信的简部健已经 棱一些舔究 5 1 掰捃恕，并 亍痰曩程净戆筹法缝稳遐霉产生特定豹鄹终遂僚模式， 这些事实部和均匀交通的假设相遗背。所以，许多基予模型的结论经常被质疑其 可信性。 爨j 琏：，必须在安骣毫是中去开发冠络熬瞧裴，来建立符合实黪应用中谤趣方 式的可靠模型。使用真实世界钧墩用程序来驱动整个研究就成为非常自然的辫 情。我们在本章提i i 一个研究的檑架，将互连网路研究的三稀方法综合起来，敬 长 篷，达裂魄较好匏效果。 4 1 存在豹闽题 分析建模摘象威用程序静细节，从而建立起模型，通过简肇的数攀公式来捕 捉复杂鹃系统特经。在分辑避程中嚣娶缀多数学技巧，镄拯互迄潮络约谬伶中就 经常使用递归方程和m a r k o v 链。为了使模型保撩在一个可处理的范闰，对互连 网络的大部分模型分祈研究帮假设了一个筠匀访阀模蘩( u n i f o r mr e f e r e n c e m o d e l ，u r m ) ，嚣谤求豹发生都蹩独立蟾，劳虽矬摆弱麴攒率( 等予t n ) 访蝴 个结点中的任一个。 并行应用糕序的通信交通可良通过三个耩往采描述：时帝懿，窆溺的承 容援 蛹。遗薅交遥瓣在翼尊涟抒隽是透过溃惑敷产生速攀亲摅获熬，空闻季亍为是避过消 息分布和交通模式的术诺来袭达的，通信的容量楚通过消息的数蕊和消息长度分 布采麴藏的。这三个属住被广泛尉手系统缩梅酶评价。互逡网络研究，不论是遴 过摸掇还燕分辑豹方法，都麓要这些属牲豹信息。捌如，最为常用的剿达时间阕 隔分布是指数分布。类馘的，均匀的交通模式和固定消息长度也被分掰用朱代袭 空间属径和消息的大小。 然瑟，u r m 豹假设造予严格，并不链反漱现实应用程謦的寅际行为。避僖 的局部性和由此产生的嘲络资源的争周现象已经被蝗研究指出。多级互涟丽络 的热点冲突闯题最翠由p f i s t e r 所报告。对这个网遂，p f i s t e r 在【2 0 】孛建立了一拿 简单的模型，寻找当访问不完全均匀分布在整个存储器时多级互连网络的有效带 宽。在p f i s t e r 模型中，允许少部分访闯特殊存储器，而大部分访问是均匀分布。 假设访闻热存储器模块的概率是而，其他访问为均匀分布，互连网络的有效带宽 b 是 b = _ 熹请求数时钟周期 l + 矗( 一1 ) 。+ 。一 ， i ， 勤= 自冀 ，7 ， d 。 | 。， ， 舞i 8 1 嚣一 ， ? 匿 盛秣一 9 。+ f 煮鍪= i|2 蕊x 圈4 - 1 热点冲突对网络带宽的影响 ( 总带宽通过p f i s t e r 模型计算) p f i s t e r 模型分析了热点冲突在不同的热访问概率和不同的系统规模下对网络 带宽的影响。分析的结果表明，网络有效带宽髓访问相关性的增长面下降。圈 4 1 显示了在不同韵访问热存储器概率h 下，互连网络的带宽口随系统规模变 化的情况。例如，当矗卸时，整个互连阏络的带宽为m 当h 值增大一点时，例 如1 ，对1 0 2 4 台处理机来说，有效带宽降到理想带宽的i t l 。甚至访问热存储 器的概率很小，例如0 t 2 5 ，有效带宽也会降到理想带宽的l 2 以下。 但是，这些分析仍然没有把假定的输入和真实程序的通信模式联系起来。事 实上，报多应用程序只允许个等待解决的热点请求。为了看到热点冲突对系统 表现的影响程度有多大，b i a n c h i n i 2 1 研究了在一个具备6 4 字节高速缓存、网络 时延固定为3 6 个时钟周期、存储时延固定为l o 个时钟周期的系统结构下，高斯 消去法应用程序的执行情况。如果没有存储争用，个远程存储访问将需要8 2 个时钟周期。袁4 1 给出了在不同系统规模下，对5 1 2 ) 5 t 2 矩阵进行高斯消去 的三组统计数据：困为存储争用导致延迟的远程存储访阎数、远程存储访问的平 1 9 瑶辩延帮拭行霹麓。 | 5 0 娃理嚣1 0 0 娃蘧器2 楚理器 远稷存储访问延迟百分率 2 0 5 6 8 4 l 平均遗程存储霹惩 霹键瘸麓i 秘5 7 2 1 5 4 6 i 执行时间( 百万时钟周期) 7 48 51 5 6 袅4 - l 存储争耀j c 垂赢麓溃去应耀戆彰确( 寒魏【2 】) 为了了解互逑网络的在实际应用中的表现，我们首先需要认真考虑并回答以 下的闻遂； 1 消息到达时间的指数分布是现实的吗? 我们能否从应用程序中推导出通 信辩闯籁性的可箍苻菊? 真蜜静盔麓程滓会震瑶浅其宅分布嚼? 2 现实的情7 见是，真实的应用糕序甚少产生均匀的通信。郧么现实的空间 函数楚什么? 可戆霜强俺方馁静形姣来数学纯表这这骜分京驾? 3 消息的容量或大小的焚化有多大? 消息长度是常数的假设合理吗? 4 蟊俦扶不褥的寝用程謦率搽瓣交逶参数? 遽望参数静焉途畜多大? 既然瓒实匏廉籍程黪设置了菇健能诗雾瓣标疆，萑舔逶些液臻程序栗繇究互 连网络的袭