高性能计算机体系结构的研究

1高性能计算机体系结构的研究学 院： 计算机与通信学院 专 业： 计算机应用技术 姓 名： 贺 言 君 学 号： 122081203001 日 期： 2012 年 10 月 27 日 2摘要： 高性能计算（HPC）是一个计算机集群系统，它通过各种互联技术将多个计算机系统连接在一起，利用所有被连接系统的综合计算机能力来处理大型计算问题。它的的基本原理就是将问题分为若干部分，而相连的每台计算机（称为节点）均可同时参与问题的解决，从而显著缩短了解决整个问题所需的计算时间。高性能计算机的研制水平受探求复杂的物理世界与人类社会本身的应用计算需求的驱动及研制者所处环境及当时的可选择的实现技术的影响。本文主要介绍了高性能计算机的体系结构，同时，对高性能计算机的历史和发展方向也做了简单的介绍与分析。关键字：高性能计算机；集群；体系结构正文1. 高性能计算机的历史回顾最早的电子计算机就是为了能够进行大量繁琐的科学计算而产生的。从1960 年开始，计算机技术逐渐成熟，在各种商业领域慢慢地开始采用电子领域，而且应用范围越来越广泛，逐渐出现了针对各种不同商业用途的计算机，被称为“通用计算机” ，具有性能和功能上的优势的一类计算机被称为“高性能计算机” ，在当时主要用于科学计算。20 世纪 70 年代出现的向量计算机可以看作是第一代的高性能计算机。20 世纪 80 年代初期，随着 VLSI 技术和微处理技术的发展，向量机一统天下的格局逐渐被打破。通过多个廉价的微处理器构建的并行化超级计算机首先从成本上具有了无可比拟的优势。20 世纪 90 年代初期，大规模并行处理（MPP）系统成为了高性能计算机的发展主流。MPP 主要通由多个微处理器通过高速互联网络构成，每个处理器之间通过消息传递方式进行通讯和协调。20 世纪 90 年代中后期，CC-NUMA 结构问世，即分布式共享内存。每个处理3器节点都可以访问到所有其他节点的内存，但访问远程内存需要的延迟相对较大。CC-NUMA 本身没有在提高性能上进行较大的创新，而对于科学计算任务，CC-NUMA 是否优于 MPP 仍存在争议。在发展 CC-NUMA 的同时，集群系统（cluster）也迅速发展起来，类似 MPP结构，集群系统是由多个微处理器构成的计算机节点，通过高速网络互联而成，节点一般是可以单独运行的商品化计算机。由于规模经济成本低的原因，集群系统更具有性能/价格比优势电子计算机在诞生之初主要就是为科学计算服务的。到 1960 年代，随着技术的成熟，计算机开始走向各种商业领域的应用，并且应用范围越来越广泛。因此，为了有别于“通用计算机” ，专门针对科学计算进行优化设计的计算机开始被称为“高性能计算机” ，或简称 HPC。 可以把 1970 年代出现的向量计算机看作是第一代的高性能计算机。 通过在计算机中加入向量流水部件，可以大大提高科学计算中向量运算的速度，其中比较著名的有 CDC 系列、CRAY 系列、NEC 的 SX 系列向量机。中国有代表性的是银河一号及中科院计算所的 757 计算机。 80 年代初期，随着 VLSI 技术和微处理器的技术的发展，向量机一统天下的格局逐渐被打破。 通过多个廉价的微处理器构建的并行化超级计算机首先从成本上具有了无可比拟的优势。 “性能/价格比”而非单一性能成为衡量高性能计算机系统的重要指标。按照摩尔定律速度发展的微处理器的性能快速超越传统向量机。1990 年代初期，大规模并行处理（MPP）系统已经开始成为高性能计算机发展的主流。 MPP 主要由多个微处理器通过高速互联网络构成，每个处理器之间通过消息传递的方式进行通讯和协调。比较有代表性的有 TMC 的 CM-5, Intel Paragon 等。中国的第一个 MPP 系统是计算所国家智能机中心的曙光 1000 计算机。 较 MPP 早几年问世的对称多处理机 SMP 系统， 是由数目相对较少的微处理器共享物理高性能计算机研究的现状与展望 内存和 I/O 总线形成的计算机系统（国内最早基于微处理器的 SMP 为曙光 1 号）。和 MPP 相比，早期的 SMP 4扩展能力有限，并不具有很强的计算能力。但由于 SMP 与单机系统兼容性好，是单机系统的升级与增强，被广泛应用于商业计算领域。 1990 年代中后期的一种趋势是将 SMP 的优点和 MPP 的扩展能力结合起来，这一趋势发展成后来的 CC-NUMA 结构，即分布式共享内存。每个处理器节点都可以访问到所有其它节点的内存，但访问远程内存需要的延迟相对较大。代表性的系统有 Sequent NUMA-Q, SGI-Cray Origin 等,国内的神威与银河系列等。CC-NUMA 本身没有在提高性能的角度上进行较大的创新，主要优点是便于程序的开发和与 SMP 的兼容性。而对科学计算任务 CC-NUMA 结构是否优于 MPP 系统仍存在争议。 在发展 CC-NUMA 同时，机群系统（Cluster）也迅速发展起来。类似 MPP 结构，机群系统是由多个微处理器构成的计算机节点通过高速网络互连而成。 节点一般是可以单独运行的商品化计算机。由于规模经济成本低的原因，机群系统具有比 MPP 更高的性能/价格比优势。 机群系统还继承 MPP 系统的编程模型， 更进一步加强其竞争优势。 代表性的系统是 IBM SP2，国内有曙光 3000，4000 等系列。到 2000 年初机群实际上已经构成了高性能计算机系统的主流。据 2003 年的统计，TOP500 中的 MPP(含 CC-NUMA)占 42%,Cluster 占 29.8%。 MPP 取代向量机和机群逐步替代 MPP 这两个进程的背后都是摩尔定律在起作用。高性能计算机体系结构的创新必须与半导体技术和产业发展相结合，否则很难变成主流技术，这也是 SIMD 系统、阵列机、数据流等新型体系结构没有流行起来的主要原因。 2. 高性能计算机的体系结构1 高性能计算机体系结构对于服务器而言，单纯地提高单个处理器的运算能力和处理能力正在变得越来越难，虽然制造商从材料、工艺和设计等方面进行了不懈的努力，近期内CPU保持着高速的增长势态，但高频之下的高功耗所引起的电池容量问题和散热问题等负面效应，以及这些负面效应对整机系统产生的电磁兼容性问题，又反5过来将CPU运算能力的提升推到了暮年显然，提高单个处理器速度和性能已是强弩之末而研发多个CPU的并行处理技术，才是真正提高现代服务器处理能力和运算速度的有效途径目前，由图SIMD技术、Single Proc技术、Const技术已经不再使用，并行处理技术主要有SMP技术、NUMA技术、集群技术和网格技术等.根据2006年对排行前500名的机器作TOP500统计，TOP500中的Cluster约占708，MPP(含CCNUMA)约占22，而SMP约占72.1.1 SMP 技术对称多处理(symmetrical multiprocessing，SMP)技术是相对非对称多处理技术而言的、应用十分广泛的并行技术在这种架构中，多个处理器运行操作系统的单一复本，并共享内存和一台计算机的其它资源所有的处理器都可以平等地访问内存、I0和外部中断系统资源被系统中所有CPU共享，工作负载能够均匀地分配到所有可用的处理器之上目前，大多数SMP系统的CPU是通过共享系统总线来存取数据，实现对称多处理的在SMP系统中增加更多处理器的两个主要问题是系统不得不消耗资源来支持处理器抢占内存，以及内存同步.1.2 NUMA 技术在非一致访问分布共享存储技术(non uniformmemory access,NUMA)体系结构中，每个处理器与本地存储器和高速缓存相连，多个处理器通过处理器、存储器互联网络相连处理器还通过处理器、IO网络访问共享的IO和外围设备至于处理器之间的通信则通过可选的处理器之间的通信网络来实现NMUA技术在科学与工程计算领域具有不可替代的地位，在联机事务处理(OLTP)、决策支持服务(DSS)和Intranet以及Internet中的地位也越来越重要目前，NUMA并行机的处理器数目可达到512个，且带宽可随处理器数目基本上呈线性扩展这样大的处理器数，使单一系统映像的NUMA机足以覆盖绝大多数的应用首先，由于它具有与SMP相同的编程模式，因此在科学与工程计算领域具有不可替代的地位；其次，由于它具有共享内存和良好的可扩展性优势，可以适应企业数据中心的多种应用NUMA系统能够运行世界上一些最大的UNIX数据库应用，而且正被广泛接受为电子商务的主流技术，包括处理功能强大、IO的6大规模可扩展性、高可用性、工作负荷和资源管理的广泛灵活性，而且无需改变SMP编程模型等优越技术1.3 Cluster 技术集群(Cluster)技术是近几年兴起的发展高性能计算机的一项技术它是一组相互独立的计算机，利用高速通信网络组成一个单一的计算机系统，并以单一系统的模式加以管理其出发点是提供高可靠性、可扩充性和抗灾难性一个集群包含多台拥有共享数据存储空间的服务器，各服务器通过内部局域网相互通信当一台服务器发生故障时，它所运行的应用程序将由其它服务器自动接管在大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内的任一系统上运行的服务都可被所有的网络客户使用采用集群系统通常是为了提高系统的稳定性和网络中心的数据处理能力及服务能力1.4 网格技术网格技术有可能成为实现Petaflops的另一条途径网格是近年来计算机体系结构发展的一个重要方向，其基本思想是通过Internet进行资源共享和协同工作目前连接到Internet的计算机已经达到1亿台以上，通过互联网可能达到的聚合计算潜力是不可估量的国际上已经有Globus等组织为网格环境制定标准和参考实现但是用网格技术实现PetafloPs仍需要关键技术上的突破：一方面互联网连接的速度和带宽仍有待提高，近年来，网络通信技术以超摩尔定律的速度高速增长，已经为此提供了可能，达到实用阶段只是时间问题另一方面是有效的网格体系模型和计算模型还没有建立网格的资源是分散和动态的，计算也是一种分散的、动态的过程。传统的并行共享内存或消息传递程序模式不能直接有效地利用,如何科学计算高效使用网格的计算能力是当前一个主要的研究方向2 现状 目前，世界上最快的超级计算机 Earth Simulator 的实际计算速度是 35T 7flops，即 35 万亿次。对高性能计算机研究的下一个挑战是 1Petaflops，即千万亿次计算。 预计 Petaflops 计算机将由 100001000000 个处理器、10TB1PB主存、1PB100PB在线存储、100PB以上离线存储构成。第一个系统实现将在 2010 年前完成。如何达到千万亿级，是继续依靠摩尔定律的发展，还是在体系结构或者构件技术上找到新的突破，现在还是一个悬念。 2.1 高性能计算机体系结构的研究 目前高性能计算机体系结构的主流仍然是 MPP 和机群技术的进一步发展， 通过将更多的处理器连接起来构建更大规模的并行系统。 其中最具代表性的就是美国能源部的ASCI计划，分别由 Intel、SGI、IBM、HP 等构建超大规模的机群系统，其中 HP ASCI Q共有 8192 个处理器，20Tflops 的峰值。ASCI 计划原计划 2004 年达到 100Tflops。 8日本 NEC 的 Earth Simulator 结合了向量处理技术和 MPP 的技术，利用带向量部件的节点构建 MPP 系统，不但取得了 Top500 峰值第一位，而且实际应用运行效率也比较高。美国的 Cray X1 系列也采用了类似的结构。IBM 计划在 2000 年2005 年，每年花费 1 亿美圆研究经费，以便最终建造出用于生物计算的 petaflops 级机器。2002 年该项目中的 Bluegene/L结构设计已经确定，预计峰值计算速度 360Tflops。Bluegene/L 的设计中没有采用传统的高功耗的高端处理器，而是采用了低功耗的 SOC 芯片。IBM 将这种技术称为 cellular 结构。虽然每个处理器性能并不很高，但是可以通过增加系统中的处理器数量来达到高的峰值计算能力。 Bluegene/L共有65536个节点，计划中的 BlueGene/C 处理器个数可能达到 100 万个。 美国 Stanford 大学的Streaming SuperComputer 计划， 尝试采用专门设计的streaming 处理器来构建超级计算机。一个 Streaming 节点中集成了 128个 1GHz 的 FPU，一个背板支持 32个节点，32 个背板就可以达到 PetaFlops,而预计成本只有4 千万美元。Streaming 技术最初9的思想来源于专用游戏机的设计中。现有科学计算应用是否能有效移植还有待研究。美国 NASA支持的 HTMT(Hybrid Technology Multi -threaded)采用了另一条不同的路线。HTMT 试图避开摩尔定律，采用了超导逻辑、光交换、全息存储，PIM等等全新的技术，其核心处理单元SPELL的频率可达100GHz,而主要设计挑战是能够满足这样高速处理器的存储体系。 HTMT 原计划在 2006 年左右达到 1Pflops， 但此计划研制费用极高， 技术风险大，因此很有可能再次让位于摩尔定律。 网格技术有可能成为实现 PetaFlops 的另一条途径。 网格是近年来计算机体系结构发展的一个重要方向，其基本