高性能并行计算机介绍

1、高性能并行计算机简介 2010-06 1.1 并行计算机基础知识 1.2 并行计算机系统架构 1.3 机群系统 1.4 高性能计算发展趋势 目录 什么是高性能并行计算机什么是高性能并行计算机 由多个计算单元组成，运算速度快、存储容量 大、可靠性高的计算机系统。 也称为：巨型计算机、超 级计算机 目前任何高性能计算和超 级计算都离不开使用并行 技术，所以高性能计算机 肯定是并行计算机。 其发展历程可以简单的分为两个时代其发展历程可以简单的分为两个时代 专用时代 包括向量机，MPP系统，SGI NUMA 系统，SUN大型SMP系统，也包括我国的神威，银 河，曙光1000等。 之所以称为“专用”，并

2、不是说它们只能运行某种应用，是指它们的组成部件是专门设计 的，它们的CPU板，内存板，I/O板，甚至操作系统，都是不能在其它系统中使用的。由 于技术上桌面系统与高端系统的巨大差异，和用户群窄小。 普及时代 高性能计算机价格下降，应用门槛降低，应用开始普及。两个技术趋势起到重要作用。 商品化趋势使得大量生产的商品部件接近了高性能计算机专有部件 标准化趋势使得这些部件之间能够集成一个系统中，其中X86处理器、以太网、内存部件、 Linux都起到决定性作用。 机群系统是高性能计算机的一种，它的技术基础和工业基础都是商品化和标准化。 曙光曙光1000 曙光1000有36个结点机; 峰值计算速度为浮点2

3、5.6亿次/秒，实际达 到15.8 亿次/秒； 内存容量为1024兆字节； 基于Wormhole机制的二维Mesh通讯网， 结点与网络通讯总带宽为2.88GB/秒； 采用基于UNIX的并行操作系统和并行文件 系统； 并行计算机并行计算机-CRAY System Name Jaguar 1059000 GFlops System Family Cray XT Operating System CNL Interconnect XT4 Internal Interconnect Processor AMD Opteron Quad Core 2300 MHz (9.2 GFlops) 并行计算机并

4、行计算机-IBM System Name Roadrunner 1105000 GFlops System Family IBM Cluster Operating System Linux Interconnect Infiniband Processor PowerXCell 8i 3200 MHz (12.8 GFlops) 并行计算机并行计算机-DAWNING System Name Dawning 5000A 180600 GFlops System Family Dawning Cluster Operating System Windows HPC server 2008 and

5、 SUSE Interconnect Infiniband DDR Processor AMD Opteron Quad Core 1900 MHz (7.6 GFlops) 并行计算机所用的处理器并行计算机所用的处理器 AMD Opteron Xeon Nocona Intel Itanium Compaq Alpha HP PA-RISC Sun UltraSPARC IBM POWER5+,POWER6 IBM BlueGene processor MIPS R10000 龙芯 最新TOP500cpu分布 并行机处理器并行机处理器-AMD PERFORMANCE 1-WAY PERFOR

6、MANCE 2-WAY PERFORMANCE 4-WAY AND 8-WAY AMD Opteron 200 Series 系统是对称的； 微处理器: 一般少于64个; 处理器不能太多, 总线和交叉开关的 一旦作成难于扩展； 例子: IBM R50, SGI Power Challenge, SUN Enterprise, 分布式共享存储系统分布式共享存储系统(DSM) DSM 分布共享存储: 内存模块物理上局部于各个 处理器内部,但逻辑上(用户)是共享存储的; 这种结构也称为基于Cache目录的非一致内 存访问(CC-NUMA)结构;局部与远程内存访 问的延迟和带宽不一致,3-10倍高性能

7、并 行程序设计注意; 与SMP的主要区别：DSM在物理上有分布 在各个节点的局部内存从而形成一个共享的 存储器； 微处理器: 16-128个; 代表: SGI Origin 2000, Cray T3D; 大规模并行计算机系统大规模并行计算机系统(MPP) MPP 物理和逻辑上均是分布内存 能扩展至成百上千个处理器(微处理器 或向量处理器) 采用高通信带宽和低延迟的互联网络 (专门设计和定制的) 一种异步的MIMD机器；程序系由多 个进程组成，每个都有其私有地址空 间，进程间采用传递消息相互作用； 代表:CRAY T3E(2048), ASCI Red(3072), IBM SP2 机群系统机

8、群系统(Cluster) Cluster 每个节点都是一个完整的计算机 各个节点通过高性能网络相互连接 网络接口和I/O总线松耦合连接 每个节点有完整的操作系统 曙光2000、 3000、4000, ASCI Blue Mountain 1.1 并行计算机基础知识 1.2 并行计算机系统架构 1.3 机群系统 1.4 高性能计算发展趋势 目录 什么是机群系统什么是机群系统 机群系统（Cluster） 利用标准网络将一台台普通服务器或者PC机连接起来，为使用者提供更高的 计算能力和存储能力并为使用者提供单一系统映象的系统。 单一系统映象 使用者在使用机群系统的时候感觉上就象使用一个单独的计算机系

9、统一样。 单一系统映象实现方法：硬件层、操作系统层、软件层 机群系统的优势机群系统的优势 极高的性价比 大型机的主流 良好的可扩展性 更高的可管理性 更低的使用维护成本 更好的可使用性 更好的系统鲁棒性 更多的应用支持 机群使用越来越广泛 应用领域越来越多 机群系统的应用领域机群系统的应用领域 数学 基因信息气象预报 生物物理石油勘探 信息服务汽车制造 船舶制造 2010高性能计算机架构分布高性能计算机架构分布 机群系统的应用分类机群系统的应用分类 高性能计算机群高性能计算机群 应用于高性能计算领域； 整合多个计算单元的并行计算性能； 注重整体性能的发挥； 目前成为高性能计算机的主体架构； 高

10、性能计算机群系统架构高性能计算机群系统架构 节点机采用曙光天阔系列机架式服务器节点机采用曙光天阔系列机架式服务器 I系列和系列和A系统系统 I系统采用Intel Xeon处理器 A系列采用AMD Opteron处理器 2路、路、4路、路、8路、路、16路产品路产品 1U、2U、5U、12U . 计算节点计算节点 IO节点节点 管理节点管理节点 登入节点登入节点 . 如何选择节点机如何选择节点机？ 网络和存储网络和存储 网络网络 计算网 管理网 数据传输网 百兆以太网 千兆以太网 Myrinet Infiniband 存储存储 存储产品 存储结构 文件系统 SCSI SATA FC SAS DA

11、S NAS SAN IPSAN NFS DCFS2 Lustre 如何选择？如何选择？ 高性能机群层次架构高性能机群层次架构 应用层 机群操作系统层（DCOS） 系统软件层（OS, 编译器） 硬件层（节点, 网络等） 高性能机群的硬件构成高性能机群的硬件构成 l 机柜（含供电电源）； l 节点机（计算节点，登陆节点， I/O节点，监控节点）； l 互连网络，每种网络连接机群的全部或部分节点： 管理网（百兆以太网）； 数据网（千兆以太网）； 计算网（Infiniband等）； 监控网（监控系统网络）； KVM网（SKVM系统）； 存储网（SAN存储网络）； l 存储系统：盘阵或SAN存储； 高性

12、能机群软件系统高性能机群软件系统 石油领域：Geoeast、paradigm、cgg、omega、VSS 物理化学：VASP、Gaussian 材料化学：Materials Studio 环保领域：MM5、Grapes、WRF 结构力学：ABAQUS、NASTRAN 性能评估：LINPACK、HPCC、NPB等等 流体力学：fluent、CFX、Star_CD 分子动力学：NAMD、GROWMACS、AMBER 生物计算：BLAST、FASTA、MEME 并行文件系统和数据库：DCFS2、PVFS2、Lustre、Oracle RAC 机群管理和监控系统：DCOS、DCMMII、Rocks、O

13、SCAR 曙光机群操作系统曙光机群操作系统(DCOS) 曙光机群管理系统曙光机群管理系统(DCMS) 曙光机群监控系统曙光机群监控系统(DCMM) 曙光机群部署系统曙光机群部署系统(DCIS) 曙光并行命令系统曙光并行命令系统(MTerm) 曙光机群并行文件系统曙光机群并行文件系统 DCFS2DCFS2（Dawning Cluster File Serving/SystemDawning Cluster File Serving/System）是曙光公司自主研发的第二）是曙光公司自主研发的第二 代并行文件系统代并行文件系统 全局文件系统，提供单一系统 映象 与节点上的本地文件系统完全 兼容 支

14、持大规模机群系统 能够提供很高的元数据处理性 能 可靠性好，具有快速故障恢复 功能 并行环境、开发环境、高性能数学库并行环境、开发环境、高性能数学库 并行环境并行环境 消息传递：MPI、PVM 共享存储：OpenMP 开放环境开放环境 编译器 调试器 性能分析器 高性能数学库高性能数学库 ACML APL MKL IPP 其他专业数学库 1.1 并行计算机基础知识 1.2 并行计算机系统架构 1.3 机群系统 1.4 高性能计算发展趋势 目录 低功耗设计和管理技术越来越重要 基于Linpack对Top500和典型 高性能计算机的发展趋势进行 外推，在2015-2018年左右， 高性能计算机的功

15、耗将高达50- 80MW； 为减少系统功耗，降低系统运 行能耗，提高系统在单位能耗 下的性能，高性能计算机必须 在器件级低功耗设计技术、软 件低功耗管理技术、低功耗供 电技术和高效冷却技术等方面 综合考虑和优化； CPU节能 能耗管理软件 水冷方案 如何保证大规模并行计算结果的可靠性？ 如何保证算法的正确性 算法校验 要求算法本身具有可校验性，即算法输出与输入存在确定的关系 如何保证硬件和软件（支撑环境）的正确性 硬件校验 TMR投票、CRC、ECC等校验手段与校错措施 存储器清洗技术和存储器冗余（RAID）技术 网络部分的链路自愈技术和自适应路由技术等 系统级 主动容错（基于虚拟机技术） 消息重传机制 系统级检查点机制 用户级 容错模型及容错语言 用户检查点checkpoint 软件复制 N-version编程 精细资源管理是未来高性能计算机的必然选择 u精细资源管理提高资源利用率 重要技术之一：虚拟机技术，采用虚拟化技术可以将数据中心的利用 率提高至60-75%，约是粗粒度资源管理的4x 资源利用率与应用程序性能之间的折中如何保证？ u精细资源管理提高可用性 通过虚拟机技术实现对高性能计算机精细调度，减小了故障发生时的 隔离区间的大小，有利于提升系统的可用性 u需要更