高性能并行计算台平及并行计算环境概述

1、高性能并行计算平台及并行计算环境概述中国水利水电科学研究院 信息网络中心2005年8月11日Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.1内 容 提 要1、前言2、高性能并行计算平台建设3、水利水电高性能计算实践4、结语Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.21、前言Eva

2、luation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.3什么是高性能并行计算？科学家和工程师可以用它来解决一些程序规模庞大、运算时间长以及数据量大的科研课题。并行计算是提高服务器计算速度和处理能力的一种有效手段。计算机按照编好的程序对计算问题进行分解，并把分解的任务块通过一定的方式交给不同的处理器去求解。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyrigh

3、t 2004-2011 Aspose Pty Ltd.4国际发展动态2005年6月22日公布的全球高性能计算机top500，第一名是IBM的Blue Gene/L，Linpack测试值为每秒136.8万亿次，第二名是IBM的Blue Gene/W，Linpack测试值为每秒91万亿次。日本第一的高性能计算机，Earth Simulator（地球模拟器），Linpack测试值为35.6万亿次。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.5

4、国内发展动态中国的第一名，中国气象局的高性能计算机，Linpack值为每秒10.3万亿次。曙光系列、神威系列、银河系列、深腾系列中科院计算所、曙光公司和上海超级计算中心三方共同研制的曙光4000A，Linpack测试值为每秒8.061万亿次。联想公司为中科院网络信息中心生产的深腾6800，共有1060颗1.3Ghz的安腾2处理器，Linpack测试值为每秒4.183万亿次。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.6院内需求分析 随着

5、工程规模的逐渐扩大、复杂问题求解分析的日益深入，其科学计算的“瓶颈”日趋严重，即使对模型和算法进行简化，一次计算仍需要几个小时、几天甚至数十天的时间，这一现状严重制约了我院水利水电学科的发展，许多工程师、教授提出的理论和设想都因为计算能力受到限制而无法实施。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.7课题1：小湾坝踵应力诱导缝研究小湾拱坝坝底缝计算采用网格有20万个单元，总共24万多个节点。单机上运行模拟计算程序时，一个计算步需要将近

6、45个小时，一个工况一般有3040个计算步，总共有几十种工况。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.8课题2：混凝土三维细观力学模型的研究模型1：湿筛试件静动态弯拉强度细观力学分析研究中对试件进行划分，用4面体单元将细网格6面体单元过渡到两边粗网格6面体单元，共有24257节点，29952个单元，其中骨料2160个单元，固化水泥砂浆体3805单元，粘结界面14515单元以及宏观均匀混凝土9472个单元。以上三维计算是在内存1G，C

7、PU为2.8G的PC机上进行的。静力计算耗时163小时39分，约7天时间；动力计算耗时196小时25分钟，约8天时间。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.9模型2：全级配试件静动态弯拉强度三维细观力学分析剖分后的单元有骨料单元、融入小骨料后的固化水泥砂浆单元和两者之间的界面单元，共有24257个节点，113920个单元。计算时间：在以上配置相同的PC机上，三维静力计算耗时209小时50分钟，约9天时间；动力计算耗时291小时57

8、分钟，约12天时间。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.10问 题要实现三维细观力学数值计算，计算速度这一难题必须克服，通常，针对一个模型研究人员需要反复调整参数进行数值计算，一个算例耗时数天甚至数周简直无法忍受。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.11 上述种种

9、计算和数据的处理对计算环境提出了新的要求，如果以传统的个人PC机作为计算平台，计算的时间和效率远远满足不了科研的需求，甚至会由于内存、CPU等硬件的限制而无法进行计算。因此我院急需建设一个高性能并行计算平台，更好的为科研项目服务。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.12二、高性能并行计算平台建设Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.C

10、opyright 2004-2011 Aspose Pty Ltd.13硬件平台建设初步构想采用Sun公司提供的Sun Fire Supercluster解决方案。24台高性能的Sun Fire 6800服务器作为集群节点。每台服务器达到满配置，即24个1.2Ghz UltraSPARCIII CPU，192GB内存。节点之间采用Sun Fire Link Interconnect 技术通过光纤互联。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty

11、Ltd.14IWHR 高性能并行计算平台硬件体系结构Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.15Sun Fire 6800 技术指标硬件完全冗余，可以从任何硬件故障中恢复。最多24个CPU，最大192GB内存，32PCI或者16cPCI插槽。每台Sun Fire 6800机器最多分为4个域，每个域相当于一台独立的服务器。具有很好的线性扩充能力，24个CPU运行时的Linpack值是1个CPU运行时的23.3倍。Evaluation

12、only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.16Sun Fire Link InterconnectSun Fire Link 为一套高带宽、低延迟的互联系统，可以扩展Sun Fire6800 系统的可用性。一个Sun Fire Link系统最多可以由8个Sun Fire 6800服务器节点组成，每个节点由Sun Fire Link光纤网络连接在一起，一整套软件支持。Sun Management Center可以为Sun Fire Link 网络资源的配置、

13、监视与管理提供最佳可用性。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.17我院Sun Fire 6800现有配置CPU 数量4 * 1200Mhz内存容量8 GB （16 X 512MB DIMMs)I/O板4个，PCI扩展槽共32个Sun Storage 3510 SCSI 磁盘阵列可提供539GB 的存储空间Evaluation only.Created with Aspose.Slides for .NET 3.5 Client

14、Pro.Copyright 2004-2011 Aspose Pty Ltd.18 目前，本院的高性能并行计算平台建设处于初步试验阶段，待并行计算技术在我院应用成熟以后，可以很方便的对该平台进行硬件升级，以获得更高的性能和计算能力。现 状Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.19软件平台建设操作系统开发环境编译器数学函数库高性能并行计算软件作业管理接口并行程序运行环境并行数学函数库并行程序调试分析工具资源管理系统Evaluatio

15、n only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.20IWHR 高性能并行计算平台软件体系结构Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.21操作系统：Solaris 9 64位的Unix操作系统具有杰出的稳定性和可维护性单一服务器上最多可支持106个CPU支持多线程，最多100万个进程。支持多种应用软

16、件，如 Sun Cluster软件、Sun 管理中心软件、Sun Studio 编译环境Sun Grid Engine等等。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.22开发环境：Sun Studio 9主要组件包含如下：C CompilerC+ CompilerFortran CompilerSun Performance LibraryDistributed make utility, dmakedbx Command-Line

17、DebuggerPerformance Analysis ToolsIntegrated Development Environment (IDE)Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.23Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.24Evaluation only.Cr

18、eated with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.25编译器 对于科研课题的计算程序而言，编译器的优劣对生成的程序的执行效率有着非常明显的影响，现在在Unix下的免费编译器软件主要是GNU计划提供的GCC，该编译器可以编译C、C+、F77 等语言编写的程序。Sun Fire 6800 服务器配套的编译器是Sun 公司开发的商业编译软件-Sun Studio 9，该编译器在Solaris上编译运行的效率比GNU的免费软件要高30%40%。Evaluation only.Creat

19、ed with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.26数学函数库：Sun Performance Library它是Sun公司基于以下标准的线性代数库而生成的，具有相同的函数名和接口，但是在Sun的服务器上运行得更快更精确。LAPACK ：用来解决线性代数问题BLAS1：用来解决向量-向量运算问题BLAS2：用来解决矩阵-向量运算问题BLAS3：用来解决矩阵-矩阵运算问题 F和VF：快速傅立叶转换Evaluation only.Created with Aspose.Slides f

20、or .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.27高性能并行计算软件Sun HPC ClusterTools 5.0作业管理接口Sun ClusterTools Runtime Environment（CRE）并行计算运行环境Sun MPI and MPI I/O并行数学函数库Sun S3L( Scalable Scientific Subroutine Library)并行程序调试分析工具Sun PrismSun MPProfEvaluation only.Created with Aspose.Slides for .N

21、ET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.28作业管理接口：Sun CRE执行程序（mprun)杀死程序（mpkill) 显示作业信息显示节点信息Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.29并行计算运行环境Sun MPI and MPI I/OSun MPI 是一个高度优化的MPI版本。它支持MPI1.2 标准和 MPI2.0 标准。支持多线程编程。与Sun CRE 集

22、成。完全支持Fortran77、C和C+ ，支持一些基本的Fortran90 语法。通过共享内存通信会获得更好的性能。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.30并行数学函数库：Sun S3L它是建立在Sun MPI之上的，给用户提供了一系列广泛应用的并行函数库。如LU分解、最小二乘法运算、矩阵转置等等。支持Fortran77、Fortran90、C和C+Sun S3L 子程序调用Sun Performance Library 来在

23、节点上进行运算。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.31并行程序调试分析工具Prism和MPProfPrism是一个图形编程环境，使用户能够对并行程序进行调试和性能监控。MPProf是一个用来查看Sun MPI程序的分析工具。运行它可以获得程序的一些时间信息：在所有进程里MPI函数库调用所花费的时间占程序运行时间的百分比；每个进程在MPI函数库调用上花费的时间百分比；MPI 函数库调用的次数、程序花费的时间；Evaluation

24、 only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.32资源管理系统(Resource Management)Sun HPC ClusterTools 5 software可以和下面三种分布式资源管理系统集成，用来管理资源的分配、并行作业的控制和监视，以及作业信息的统计。Sun Grid Engine：Codine 5.2 Load Sharing Facility: LSF 4.xPortable Batch System: PBS 2.3.15 and PBS

25、 Pro 5.0Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.33集成方法Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.34IWHR 高性能并行计算平台软件体系结构Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.35三、高性能并行计算实践Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.36课题一 在结构材料