《并行处理与体系结构2》

《并行处理与体系结构2》第一页，共38页。1.机群系统基本含义5个体系结构概念融为一个机群，它是全体计算机(结点)的互连集。这些互连的计算机能集体地工作，尤如一个单一系统，以提供不会被中断的(可用性)和有效的(性能)服务。简单解释机群是全体计算机(结点)的集合，这些计算机由高性能网络或局域网(LAN)物理地互连；典型情况下，每个计算机结点是：一台SMP服务器一台工作站一台PC计算机√√√所有机群结点必须能一起集体工作，如同一个单一集成的计算资源，除了满足由交互用户单独地使用每个结点的协定任务之外。第二页，共38页。2.特征计算机机群特征（一）

COW的每个结点是:或是一台PC。

一个完整工作站，但没有某些外围设备(如监视器、键盘、鼠标等)。有时称这类结点为“无头工作站”；一个结点也可以是一台SMP（服务器）；√√√来实现互连，虽然在某些商用机群中也使用专用网络。

结点通过低廉的商品化网络，如：以太网FDDI光纤通道ATM开关√√√√COW：工作站（机）群MPP：大规模并行处理机第三页，共38页。计算机机群特征（二）网络接口与结点中的I/O总线松耦合相连。与此相反，MPP中则用紧耦合网络接口,它与处理结点的存储器总线连接；总有一个局部磁盘，而在MPP结点中可能没有；

在每个结点上驻留有完整的操作系统，而在某些MPP的结点中只有操作系统的微核。总之

COW的操作系统是相同的工作站UNIX，加上一个附加软件层以支持单一系统映像、可用性、并行性、通信以及负载平衡;

IBMSP2被认为是一个MPP。但除了用作通信网络的专用高性能开关之外，它是机群体系结构。现在MPP和COW之间的界限正变得日益模糊;与MPP相比，机群具有许多成本/性能优点。机群化正成为开发可扩展并行计算机的趋向。√工作站UNIX附加软件层单一系统映像负载平衡可用性并行性通信第四页，共38页。二、千兆位的光纤通道和FDDI环1.通道和网络2.光纤通道

ANSIX3T11指出光纤通道(FC)是通道和网络标准的集成，目的是为了在

工作站、主机、超级计算机、存储设备和显示器之间进行联网、存储和数据传输。

FC能提供联网、存储和数据传输标准。光纤通道企图组合最好的通道和通信方法到一个新的I/O接口，以满足

通道用户和网络用户的需求。√√

“通道”在通信设备之间提供一种直接的或点到点交换的连接。通道是偏向硬件的，传输数据速率高，开销非常低。通道操作只在预先编址的少量设备中进行。

网络是分布结点（如工作站、文件服务器或外围设备）的聚集，用自己的网络协议支持结点间的交互作用。网络开销相对较高，因为它是偏向软件的，因此比通道速度要慢。“网络”处理的任务的范围要比“通道”大得多，因为网络操作不是在固定连接的环境中进行；较好的网络标准包括IEEE802、TCP/IP、ATM协议。√√第五页，共38页。3.光纤通道技术基本介绍

光纤通道可以是共享介质，也可是一种交换技术。光纤通道操作速度范围是：

100到133，200，400和800Mbps。光纤通道除了在局域网应用中提供客户／服务器解决办法或集线器（hub）解决办法之外，已支持点对点、环路和交换星型等连接。性能介绍光纤通道使用STP铜线可达50米之长，速率是100Mbps；使用单模光纤可达10公里；使用多模光纤的光纤通道局域网可跨越2公里，速率是200Mbps；当前在大部分光链路的实现中，由于有很高的软件驱动器开销，限制了光纤通道的最高性能小于255Mbps。√√√√某些千兆位局域网是基于“光纤通道技术”价值屏蔽双绞线(ShieldedTwisted-Pair)第六页，共38页。4.FC标准的五层光纤通道体系结构包括五个标准层,如下表所示：

物理介质和传输速率(FC-0)针对各种数据通道和网络标准的高层协议和应用接口(FC-4)数据编码和解码方案(FC-1)

帧协议和流控制(FC-2)普通服务和特点选择(FC-3)光纤通道的优点在于具有同一链路上可同时传输通道和网络协议的灵活性。它为通道和网络数据通信提供了一个通用接口，它也能和FDDI、串行HiPPI、SCSI、IPI(智能外设接口)、IP(互连网协议)、IEEE802.2等一起工作。光纤通道的优点（即“网络标准”）偏向硬件偏向软件第七页，共38页。5.光纤通道拓朴结构联网拓朴结构的灵活性是光纤通道的优势，它支持：点到点仲裁环交换光纤连接√√√点到点仲裁环交换光纤连接能够以3种拓扑结构最高可能的带宽连接计算机和计算机，或计算机和磁盘

在令牌驱动的环中，可连接多至126个设备。这对于大量存储设备互连是非常好的，所有设备共享许可的带宽。

这种环的优点是价格低，因为不需交换开关。

提供最大的吞吐量，许多不同速度设备能连接到中央光纤交换开关上。第八页，共38页。能够以3种拓扑结构最高可能的带宽连接计算机和计算机，或计算机和磁盘在令牌驱动的环中，可连接多至126个设备。这对于大量存储设备互连是非常好的，所有设备共享许可的带宽。这种环的优点是价格低，因为不需交换开关。提供最大的吞吐量，许多不同速度设备能连接到中央光纤交换开关上。第九页，共38页。为了匹配最大的带宽，每个输入端口,首先从FIFO队列中并行化8个数据片，使之成一个数据块，然后在1个周期内写整个64位的数据块到中央队列中。这种“交换光纤拓扑”结构中也使用了“带缓存的虫蚀寻径技术”如果不存在冲突如果不存在冲突，一个8×8的交叉开关使8个报元（称数据片）以每1／40s的周期通过交换开关；当存在热点冲突当存在热点冲突时，每次只允许1个交叉点开关工作，被阻塞的数据片缓存在中央队列中。这种缓冲使得输入端口可以从前1个交换阶段解脱出来以接收后续的数据片。中央队列是用双端口的RAM加以实现的，它能在每个时钟周期内执行一次读和一次写。6.光纤通道物理结构光线通道的基本结构是与输入和输出端口连接的一个交叉式交换机。第十页，共38页。6.FDDIDigitalEquipment公司开发了共享介质的FDDI(fiberdistributeddatainterface)技术FDDI使用双光纤令牌环在工作站之间提供100-200Mbps的传输速率。为了可靠性的目的，使用两个相反方向的旋转环来提供冗余通路。FDDI具有互连大量设备的能力。第十一页，共38页。参数如果用铜线可达100米;用多模光纤可达2公里;用单模光纤可达60公里；双连接多模光纤FDDI环不用重复器或网桥也可扩展到200公里远。容错能力FDDI环在容错方面也是先进的。FDDI集中器通过隔离故障使得网络非常可靠;紧急任务服务器也能连接两个集中器以提供更高的容错能力.FDDI缺陷FDDI的缺陷是没有能力支持多介质传输，因为传统的FDDI仅以异步方式操作，这可能削弱FDDI同ATM技术的竞争。但是，同步的FDDI产品已经出现，它可用来处理时间要求严格的传输;这使得FDDI在将来的应用中保留了一定的用户团体。Digital公司的

FFDI技术使得以全双工模式应用的FDDI变得可能，这也增加了FDDI的竞争力。√√√√√√√√第十二页，共38页。三.快速以太网和千兆位以太网1.以太网的代别100Mbps以太网首先在1982年出现，已不再能满足当前多计算机机群或因特网应用中的带宽需求；1994年两种100Mbps快速以太网(100BaseT和100VGAnyLAN)开发成功；IEEE802．3工作组于1997年宣布1千兆位以太网已经可能。第十三页，共38页。2.电缆的连接距离以太网根据使用的电缆技术，以太网跨越的最长距离可达25公里；以太网多半假设是总线或星形拓扑结构。百兆位以太网100Base-T其工作速率为100Mbps；单模光纤--20公里全双工多模光纤--2公里铜线--100米快速以太网（即百兆以太网）更多地支持星形拓扑结构；√√√千兆位以太网千兆位以太网是2公里；千兆位以太网应用对象是要求更大带宽的校园或楼宇大厦；千兆位以太网并不要求改变早期以太网产品的网络基本结构、管理和应用。100VG-AnyLAN其工作速率为100Mbps；双绞线--100~150米光纤电缆--4公里√√单模光纤第十四页，共38页。3.千兆位以太网未来变迁其保留了以太网的CSMA/CD存取协议。硅技术和数字信号处理技术的发展，使得将来的千兆位以太网可有效地支持使用5类UTP连线。概述一个千兆位以太局域网主干线：下图中，展示了如何将一个交换式快速以太网主干线升级成千兆位局域网主干线。高性能服务器农庄可用千兆位InternetNIC直接连接到千兆位网络主干线上。对因特网用户来说，这种升级可以提高多服务器机群的吞吐量。例题千兆位以太网标准IEEE802.3z；所有以太网各代的产品都使用MAC(mediaaccesscontrol)协议：CSMA/CD。在物理层，可利用光纤通道和双绞线两种技术。（CarrierSenseMultipleAccess/CollisionDetect）载波监听多路访问/冲突检测第十五页，共38页。四、Myrinet网Myrinet是Myricom公司设计的千兆位报文交换网络。Myricom公司的目的是为了构造计算机机群，使系统互连成一种商业产品。Myrinet是基于加州理工学院开发的多计算机和VLSI技术，以及在南加州大学开发的ATOMIC／LAN技术。

它被设计用来构造柜式SAN计算机机群，或者构造基于LAN的桌面主机和服务器农庄。

Myrinet假设任意拓朴结构，不必限定交换开关为网格或任何规则的结构。√√基本简介SAN第十六页，共38页。（1）Myrinet网交换开关SANMyrinet交换开关中使用了阻塞的直通(虫蚀)寻径机制；在任意网络拓朴结构中，多端口的交换开关通过链路和其它交换开关或单端口的主机接口相连；每个交换开关内部是流水式的交叉开关，具有流控和输入缓存功能。Myrinet网交换开关第十七页，共38页。（2）Myrinet网主机接口SAN主机接口是一个32位的用户定制的VLSI处理器，称作LANai芯片，带有

Myrinet接口、报文接口、DMA引擎和快速静态RAM。而SRAM则用来存储Myrinet控制程序(MCP)和报文缓存；这种微体系结构在一般的总线和Myrinet链路之间提供了一种灵活和高速的接口。Myrinet网主机接口这种“主机接口”可以理解为“网卡”；MCP软件在接口处理器上运行，避免了OS的开销；但是，设备驱动程序和OS仍在

主机上运行。理解主机接口第十八页，共38页。Myrinet网连接的LAN／Cluster配置SAN例题上图说明上图中展示了用4个Myrinet交换开关构造一个Myrinet局域网，该网连接了桌面工作站、PC机和柜内多计算机机群和单板多处理机群。在多计算机柜中，由2个交换开关形成一个SAN。网络RAM和磁盘阵列也接到Myrinet网上。Myrinet网支持计算机机群的应用方面有很大的潜力。评价第十九页，共38页。五、HiPPI和超级HiPPI1.HiPPI技术高性能并行接口(HiPPl)是由Los.Alamos国家实验室于1987年提出的一标准，目的是统一来自不同厂商生产的所有主机和超级计算机的接口。在主机和超级计算机工业界，HiPPI被接收为短距离,系统到系统以及系统到外设连接的高速I／O通道。1993年，ANSIX3T9.3委员会认可了HiPPI标准，该标准覆盖了物理和数据链路层。在这两层之上的任何规定取决于用户（即高层由用户来决定！）HiPPI是个单工的点到点接口，以800Mbps到1.6Gbps的速率传输数据。HiPPI和ATM具有互操作性，再加光纤通道和Sonet已经研制成功，由HiPPI可以完成高速组网；2.接口和敷设电缆要求基本的接口是50位宽，其中32位是数据，18位是控制信号；每40ns发送一个32位的字构成了总计为800Mbps的速率；物理上指定使用50对屏蔽双绞线，距离最长可达25米。HiPPI技术已广泛用于异构计算机和它们的外设的组网中。HiPPI也不再仅针对超级计算机。HiPPI主要用于超级计算机与一些外围设备、海量存储器、图形工作站等的高速接口。（美国）洛斯-阿拉莫斯国家实验室同步光纤网（SynchronousOpticalNetwork）第二十页，共38页。典型的HiPPI互连组网的配置例题为了在不同主机、服务器和超级计算机之间建立指定的链接，双向HiPPI交叉开关已经开发成功。第二十一页，共38页。3.HiPPI通道和交换开关HiPPI通道被引入作为高速I／O或外设通道，但它不支持选播。在商品化机型中，HiPPI通道和HiPPI交换开关用在：SGIPowerChallenge服务器群IBM390主机CrayY／MPC-90和T3D／T3E等系统中同光纤通道一样，HiPPI不适合低延时的、动态的和交互的应用。√√√√HiPPI通道和HiPPI交换开关的一些操作特点：①超高速的数据传输。目前，不论单工还是全双工方式，HiPPI可配置为

800Mbps或1.6Gbps两种速率；②非常简单的信号系列；③协议独立；④物理层流控制；⑤面向连接的电路交换；⑥和铜线及光纤的兼容性。（在和以太网、FDDI和高速数据存储和检索装置组网时，HiPPI都是自适应的）（一般可用3个消息建立HiPPI连接：request、connect、ready）（基于信用的系统：由源保持ready就绪信号踪迹，仅当目的地能处理数据时，它才发送数据）（非阻塞电路交换允许多个会话同时发生。HiPPI交换开关的聚集带宽是多个800Mbps或多个1.6Gbps，等于每端口带宽乘以端口数。）（对于短距离互连，HiPPI用50对STP线。单模和多模方式可跨越校园网和城域网，Sonet用作远距离通信）对于单工的HiPPI通道，需要两根电缆进行双向通信。对了达到全双工1.6Gbps的速率，不得不需要4根电缆一起工作。由于HiPPI是一种单工协议，所以全双工连接需要用另一个HiPPI在相反方向连接单工协议第二十二页，共38页。4.超级HiPPI超级HiPPI技术提供完全不同的实现方式，因此缺乏和传统HiPPI通道的向后兼容。开发成功一种超级HiPPI技术，提供潜在的速率为6．4Gbps，或更高；

SGI公司和Los.Alamos国家实验室都开发了HiPPI技术用来构造速率高达

25.6Gbps／s的HiPPI交换开关。

1994年在哥伦比亚特区华盛顿召开的ACMSupercomputing会议上，演示了一种全光纤的HiPPI主干线，包括18英里长的多模电缆和16个展示器

(exhibitor)，总共可提供高至90Gbps的聚集带宽。√√第二十三页，共38页。6ATM交换器和网络异步传输模式(ATM)由ATM论坛(成立于1991年)和ITU标准定义。一、ATM技术ATM是一种独立于介质的消息传输协议，它将消息段传输转变成更短的固定长度为53字节的报元传输。ATM技术是基于片交换机制。ATM的目的是将实时（也就是延时敏感的）和突发数据（也就是非延时敏感的）两个方面的传输变成统一的

网络技术。ATM技术简介在宽带组网应用中，ATM提供了动态带宽分配和所需的高速交换机制。在ATM采用的交换机制范例中，端站点不共享公共介质，因此它能支持LAN和WAN两者的需求。ATM使用短报元的事实使得在硅光纤上构造交换器变得可能，由此获得高速度。ATM网络起源于Telecom公司，在因特网主干线中以MAN和WAN形式出现。大多数计算机公司都有它们的ATM组网技术以支持企业和局域网。何谓ATM国际电信联盟（InternationalTelecommunicationUnion）第二十四页，共38页。1.ATM报元格式如图所示，长报文在传输经过ATM网络之前，必须分成多个报元。在接收端，报元被重新组装以恢复原始报文格式。使用小报元、虚路径和虚通道使得ATM报元交换设计非常具有吸引力。报元格式中前5个字节是报元的头，用于寻径作用。有效负荷中包括至多48个字节的数据信息；一个报元53个B第二十五页，共38页。源寻径方案逐站（hop-by-hop）寻径方案对于源寻径方案，整个寻径路径信息必须包括在报元头中。因此，寻径长度受到限制。对于逐站寻径，报文头中只需存放站的识别码，因此寻径路径选择非常灵活在多数ATM交换器中，采用上面给出的报元格式，并选择逐站的寻径方案。第二十六页，共38页。2.报元交换器设计ATM应与使用标准通信协议的现有LAN、MAN、WAN合成为一体。

ATM报元网络已用来传输宽带和多媒体信息。尤其是ATM必须能够有效地执行选播操作。除了使用传统的报文交换网络之外，ATM还提供了一种建立报元交换网络的新标准；它被设计用来在一个网络上，高速传输从声音到图象，从视频到数据所有类型媒体。基于逐站寻径方案的报元交换的设计概念在ATM交换器的每条输入链路上，到达报元的虚路径标示符（VPI）和虚通道标示符（VCI）的值唯一地确定了报元将经过的路径和通道。在输出链路上，报元头中的老标示符将被新的虚标示符所替换。通过虚路径建立程序初始化寻径表。报元一旦进入ATM交换器，VPI字段（x）用来选择寻径表中的一项。该项记录中包含了报元将转发给下一个输出端口的编号数字（P）。为了转发到下一个交换器，报元中的VPI值（y）将用一个新值替换。在相同的虚路径下，利用报元中的VCI字段区分一组虚通道流。因此，两个主机可以多路方式传输许多应用流。报元交换网络新的标准过程描述第二十七页，共38页。3.ATM速度ATM网络支持从25到51、155和622Mbps不同的速率范围；速率越低，ATM交换器和使用的链路价格越低；ATM的速度在将来可能进一步提高。FORE系统的ASX1000ATM交换器带有每端口622Mbps速率，从而可使聚集带宽达到10Gbps。√√第二十八页，共38页。二、ATM网络接口ATM报元在两级层次结构上进行交换，它们是虚路径和虚电路。几条虚路径可安排在同一条物理链路上，一条虚路径内可存在多于一条的虚电路。虚电路由连接到主机上的ATM交换器辨识。而在交换器与交换器之间，则采用虚路径。因此，ATM定义了两种网络接口：ATM交换器ATM交换器ATM交换器NNINNINNIHostHostUNIUNIATM网络中的用户——网络接口（UNI）和网络——网络接口（NNI）物理链路虚路径虚电路

NNI(网络——网络接口)。

UNI(用户——网络接口)；√√两级交换层次结构的好处：当由于硬件故障，某些交换器重新寻径一条虚路径时，所有与之相关的虚电路自动重新寻径，而不需单独重新建立路由。VP(I)VC(I)虚路径虚电路第二十九页，共38页。GFC字段标识端站点的地址，当一报元和另一报元竞争同一虚电路时，交换器对其中一个赋予优先权，缺省设置为全零。到达的报元首次交换时，将重新设置优先权，从而使端到端的意义不再有效。NNI报元中，较长的VPI字段使得交换器能利用更多的虚的寻径路径。ATM论坛已经开发了一种私人网络——网络接口（PNNI）标准，使得交换器可由不同的供应商制造。第三十页，共38页。三.

ATM四层体系结构层次化的ATM模型；概念上来说，ATM模型可用4个层次的三维的模型来描述。宏观OSI层ATM层ATM子层功能3/4AAL（ATM适配层）CS提供标准接口（会聚）SAR分段和重组2/3ATM流控制，报元头生成和提取，虚拟电路/路径管理，报元多路复用/反多21物理TCPMD信息位定时，物理网络存取。报元速率去耦，头校验和生成和验证，报元生成来自信封的报元打包/解包ATM层对应于具有支持端到端虚电路交换特征的网络层。它是面向连接的，但它不提供任何应答机制。1层2层3层4层1维2维3维第三十一页，共38页。四、ATM互连网连接性能不同的ATM交换器、链路和适配器可用于不同的组网需求。例如，在一个工作室内，ATM交换器分配视频到工作站机群，或者用因特网对企业网进行存取。可用专用的ATM交换器连接PC、工作站和服务器；

ATM交换器可用来构成LAN主干网；

ATM交换器可用来存取早期的LAN(例如以太网、令牌环网或FDDI环网)；√√√√核心是ATM交换器PearlCluster例题香港大学(HKU)的一种基于ATM的多计算机机群，已建立了一种基于ATM的工作站和服务器机群：如图中展示了ATM网络配置。计算机机群围绕着3个互连的ATM交换器而建立，聚集带宽为5Gbps；155Mbps的采用多模光纤的光缆用来互连6个SMP服务器和40多个Sun、SGI工