高性能计算机与曙光集群系统方案

高性能计算机和曙光机群系统高性能计算机和曙光机群系统提纲什么是高性能计算什么是高性能计算机集群系统提纲什么是高性能计算什么是高性能计算？高性能计算HPC：HighPerformanceCompute高性能计算---并行计算并行计算(ParallelComputing）高端计算(High-endParallelComputing)高性能计算(HighPerformanceComputing)超级计算(SuperComputing)什么是高性能计算？高性能计算高性能计算---并行计算什么是高性能计算？计算科学与传统的两种科学，即理论科学和实验科学，并立被认为是人类认识自然的三大支柱，他们彼此相辅相成地推动科学发展与社会进步。在许多情况下，或者是理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无法进行时，计算就成了求解问题的唯一或主要的手段。什么是高性能计算？计算科学与传统的两种科学，即理论科学和实验为什么要做高性能计算

——应用需求为什么要做高性能计算

——应用需求为什么要做高性能计算人类对计算及性能的要求是无止境的从系统的角度：集成系统资源，以满足不断增长的对性能和功能的要求从应用的角度：适当分解应用，以实现更大规模或更细致的计算问题:科学和工程问题的数值模拟与仿真计算密集数据密集网络密集三种混合为什么要做高性能计算人类对计算及性能的要求是无止境的问题:提纲高性能市场概要曙光和高性能计算机什么是高性能计算什么是高性能计算机集群系统提纲高性能市场概要什么是高性能计算机？由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。也称为：巨型计算机、超级计算机目前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机肯定是并行计算机。什么是高性能计算机？由多个计算单元组成，运算速度快、存储容量其发展历程可以简单的分为两个时代专用时代

包括向量机，MPP系统，SGINUMA系统，SUN大型SMP系统，也包括我国的神威，银河，曙光1000等。

之所以称为“专用”，并不是说它们只能运行某种应用，是指它们的组成部件是专门设计的，它们的CPU板，内存板，I/O板，操作系统，甚至I/O系统，都是不能在其它系统中使用的。由于技术上桌面系统与高端系统的巨大差异，和用户群窄小。普及时代

高性能计算机价格下降，应用门槛降低，应用开始普及。两个技术趋势起到重要作用。

商品化趋势使得大量生产的商品部件接近了高性能计算机专有部件

标准化趋势使得这些部件之间能够集成一个系统中，其中X86处理器、以太网、内存部件、Linux都起到决定性作用。

机群系统是高性能计算机的一种，它的技术基础和工业基础都是商品化和标准化。其发展历程可以简单的分为两个时代专用时代

包括向量机，MPP高性能计算机系统架构并行向量机SMPDSM（NUMA）MPP，节点可以是单处理器的节点，也可以是SMP，DSMClusterConstellation

高性能计算机系统架构并行向量机高性能计算机的制造厂商CraySGIIBM曙光银河神威高性能计算机的制造厂商Cray曙光并行计算机系统类型Flynn分类：SISD,SIMD,MIMD,MISD结构模型：PVP,SMP,MPP,DSM,COW访存模型：UMA,NUMA,COMA,CC-NUMA,NORMA并行计算机系统类型Flynn分类：并行计算机分类Flynn分类Flynn(1972)提出指令流、数据流和多倍性概念，把不同的计算机分为四大类：SISD（Single-InstructionSingle-Data）SIMD（Single-InstructionMulti-Data）MISD（Multi-InstructionSingle-Data）MIMD（Multi-InstructionMulti-Data）现代高性能计算机都属于MIMD。MIMD从结构上和访存方式上，又可以分为：结构模型：PVP,SMP,MPP,DSM,COW访存模型：UMA,NUMA,COMA,CC-NUMA,NORMA并行计算机分类Flynn分类结构模型结构模型对称多处理机系统(SMP)SMP对称式共享存储:任意处理器可直接访问任意内存地址,且访问延迟、带宽、机率都是等价的;系统是对称的；微处理器:一般少于64个;处理器不能太多,总线和交叉开关的一旦作成难于扩展；例子:IBMR50,SGIPowerChallenge,SUNEnterprise,曙光一号;对称多处理机系统(SMP)SMP分布式共享存储系统(DSM)DSM分布共享存储:内存模块物理上局部于各个处理器内部,但逻辑上(用户)是共享存储的;这种结构也称为基于Cache目录的非一致内存访问(CC-NUMA)结构;局部与远程内存访问的延迟和带宽不一致,3-10倍高性能并行程序设计注意;与SMP的主要区别：DSM在物理上有分布在各个节点的局部内存从而形成一个共享的存储器；微处理器:16-128个,几百到千亿次;代表:SGIOrigin2000,CrayT3D;分布式共享存储系统(DSM)DSM大规模并行计算机系统(MPP)MPP物理和逻辑上均是分布内存能扩展至成百上千个处理器(微处理器或向量处理器)采用高通信带宽和低延迟的互联网络(专门设计和定制的)一种异步的MIMD机器；程序系由多个进程组成，每个都有其私有地址空间，进程间采用传递消息相互作用；代表:CRAYT3E(2048),ASCIRed(3072),IBMSP2,曙光1000大规模并行计算机系统(MPP)MPP机群系统(Cluster)Cluster每个节点都是一个完整的计算机各个节点通过高性能网络相互连接网络接口和I/O总线松耦合连接每个节点有完整的操作系统曙光2000、3000、4000,ASCIBlueMountain机群系统(Cluster)Cluster访存模型UMA:NORMA:NUMA:多处理机（单地址空间共享存储器）

UMA:UniformMemoryAccessNUMA:NonuniformMemoryAccess多计算机（多地址空间非共享存储器）

NORMA:No-RemoteMemoryAccess访存模型UMA:NORMA:NUMA:多处理机（单地址空间共结构模型－－访存模型UMA:NUMA:NORMA:结构模型－－访存模型UMA:NUMA:NORMA:多处理机&&多计算机UMA:NUMA:NORMA:多处理机(共享存储)

多计算机(分布式存储)多处理机&&多计算机UMA:NUMA:NORMA:多处并行计算机的性能指标名称符号含意单位机器规模n处理器的数目无量纲时钟速率f时钟周期长度的倒数MHZ工作负载W计算操作的数目Mflop顺序执行时间T1程序在单处理机上的运行时间s（秒）并行执行时间Tn程序在并行机上的运行时间s（秒）速度Rn=W/Tn每秒百万次浮点运算Mflop/s加速Sn=T1/Tn衡量并行机有多快无量纲效率En=Sn/n衡量处理器的利用率无量纲峰值速度Rpeak=nR’

peak所有处理器峰值速度之积，R’peak为一个处理器的峰值速度Mflop/s利用率U=Rn/Rpeak可达速度与峰值速度之比无量纲通信延迟to传送0-字节或单字的时间Μs渐近带宽r∞传送长消息通信速率MB/s并行计算机的性能指标名称符号含意单位机器衡量系统性能的主要指标(1)MIPS（百万条指令每秒）理论计算：处理器的时钟频率与平均每条指令所需的时钟周期（CyclesPerInstruction）的比值

MIPS＝clockrate/CPI=(numberofInstructions)/(CPUtime)实际数值：对于一个应用（程序），指令数目与运行时间的比值

MIPS’＝(numberofInstructions)/(executiontime)衡量系统性能的主要指标(1)MIPS（百万条指令每秒）衡量系统性能的主要指标(2)MFLOPS（百万次浮点运算每秒）理论计算：系统的浮点计算部件每秒可以做的浮点计算次数；

MFLOPS=(numberofFloatingPointcomputeUnit)×NN为每个浮点计算部件一个周期内可以做的最多浮点操作数，对于目前常见的微处理器，一般为1－4；实际数值：对于一个应用，浮点运算数目与运行时间的比值；

MFLOPS’=(numberoffloatingoperations)/(executiontime)衡量系统性能的主要指标(2)MFLOPS（百万次浮点运算每秒两个指标的缺点都不能全面表征系统的性能MIPS指标比较适用于事务处理领域；不同系统的指令不同，一条指令的功能和复杂度差别很大，如IBM的大型主机（Mainframe），价格达到千万元的大型机（含配套软件），其MIPS值一般为5－10，不及价值数千元的Pentium4PC；非计算密集型的应用（事务处理）对I/O要求高，计算密集型的应用（图形程序）对主频要求高。用户对可靠性等特殊要求；应用的需求不同，高性能计算领域也是“通才”难求，各有所长；某些特殊类型计算机适合特定的应用。两个指标的缺点都不能全面表征系统的性能两个指标的缺点理论计算和实际测试的差别对于一个具体的应用，可获得的实际性能与理论峰值有相当大的差距，即效率低的问题；应用效率成为高性能计算的核心问题之一，受到普遍关注。两个指标的缺点理论计算和实际测试的差别加速比定律在并行计算系统，并行算法（并行程序）的执行速度相对于串行算法（串行程序）加快的倍数，就是该并行算法（并行程序）的加速比；加速比是衡量“并行收益”的重要指标；Amdahl定律适用于固定计算规模的加速比性能描述，Gustafson定律适用于可扩展问题。

加速比定律在并行计算系统，并行算法（并行程序）的执行速度相对Amdahl定律S=(WS+WP)/(WS+WP/p)=1/(1/p+f(1-1/p))显然，当p→∞时，S=1/f，即对于固定规模的问题，并行系统所能达到的加速上限为1/f一度引发了并行界部分人士的悲观情绪Amdahl定律S=(WS+WP)/(WS+WP/p)Gustafson定律S‘=（WS+pwp）/（WS+WP）

=p-f（p-1）=f+p（1-f）并行计算是为了解决大规模并行问题，可并行部分的比例是可扩大的加速比与处理器数成斜率为（1-f）的线性关系这样串行比例f就不再是程序扩展性的瓶颈，当然，f越低，斜率会越大，加速性能越好。Gustafson定律S‘=（WS+pwp）/（WS+WP）Linpack采用主元高斯消去法求解双精度稠密线性代数方程组，结果按每秒浮点运算次数（flops）表示。包含三类测试，问题规模与优化选择各不相同：100×100测试，在该测试中，不允许对Linpack测试程序进行任何修改（包括注释行）1000×1000测试，在该测试中，允许对算法和软件进行修改或替换，并尽量利用系统的硬件特点，以达到尽可能高的性能。但是所有的优化都必须保持和标准算法如高斯消去法相同的相对精度，而且必须使用Linpack的主程序进行调用。Linpack采用主元高斯消去法求解双精度稠密线性代数方程Linpack（续）HPL测试

针对大规模并行计算系统的测试，其名称为HighPerformanceLinpack(HPL)，是第一个标准的公开版本并行Linpack测试软件包，用于TOP500与国内TOP100排名依据。使用者可以改变问题规模。有相当大的优化空间。Linpack（续）HPL测试NASParallelBenchmarkNPB套件由八个程序组成每个基准测试有五类：A、B、C、D、W(工作站)。A最小，D最大NPB套件以每秒百万次运算为单位输出结果。整数排序(IS)快速Fourier变换（FT）多栅格基准测试（MG）

共轭梯度(CG)基准测试

稀疏矩阵分解（LU）

五对角方程（SP）和块状三角(BT)求解

密集并行(EP)NASParallelBenchmarkNPB套件由八个高性能计算机的最新发展状况顶天立地高端：低端：从单纯关注性能到综合评价高性能vs高效能性能vs使用硬件建设vs综合建设高性能计算机的最新发展状况顶天立地提纲高性能市场概要曙光和高性能计算机什么是高性能计算什么是高性能计算机集群系统提纲高性能市场概要什么是机群系统机群系统（Cluster）

利用标准网络将一台台普通服务器或者PC机连接起来，为使用者提供更高的计算能力和存储能力并为使用者提供单一系统映象的系统。单一系统映象

使用者在使用机群系统的时候感觉上就象使用一个单独的计算机系统一样。

单一系统映象实现方法：硬件层、操作系统层、软件层什么是机群系统机群系统（Cluster）

利用标准网络将一台机群系统的优势极高的性价比大型机的主流良好的可扩展性更高的可管理性更低的使用维护成本更好的可使用性更改的系统鲁棒性更多的应用支持机群使用越来越广泛应用领域越来越多机群系统的优势极高的性价比机群使用越来越广泛机群系统的应用领域数学基因信息气象预报生物物理石油勘探信息服务汽车制造船舶制造机群系统的应用领域数学基因信息气象预报生物物理石油勘探信息服1993—2006年高性能计算机在TOP500中的变化1993—2006年高性能计算机在TOP500中的变化机群成为高性能计算机的主流ArchitectureCountShare%Cluster40080%MPP9819.6%Constellations20.4%Total500100%TOP500排名(2008年6月)机群成为高性能计算机的主流ArchitectureCount机群系统的分类高性能机群负载均衡机群高可用机群机群系统的分类高性能机群高性能机群系统架构高性能机群系统架构谢谢！放映结束感谢各位的批评指导！让我们共同进步谢谢！放映结束让我们共同进步高性能计算机和曙光机群系统高性能计算机和曙光机群系统提纲什么是高性能计算什么是高性能计算机集群系统提纲什么是高性能计算什么是高性能计算？高性能计算HPC：HighPerformanceCompute高性能计算---并行计算并行计算(ParallelComputing）高端计算(High-endParallelComputing)高性能计算(HighPerformanceComputing)超级计算(SuperComputing)什么是高性能计算？高性能计算高性能计算---并行计算什么是高性能计算？计算科学与传统的两种科学，即理论科学和实验科学，并立被认为是人类认识自然的三大支柱，他们彼此相辅相成地推动科学发展与社会进步。在许多情况下，或者是理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无法进行时，计算就成了求解问题的唯一或主要的手段。什么是高性能计算？计算科学与传统的两种科学，即理论科学和实验为什么要做高性能计算

——应用需求为什么要做高性能计算

——应用需求为什么要做高性能计算人类对计算及性能的要求是无止境的从系统的角度：集成系统资源，以满足不断增长的对性能和功能的要求从应用的角度：适当分解应用，以实现更大规模或更细致的计算问题:科学和工程问题的数值模拟与仿真计算密集数据密集网络密集三种混合为什么要做高性能计算人类对计算及性能的要求是无止境的问题:提纲高性能市场概要曙光和高性能计算机什么是高性能计算什么是高性能计算机集群系统提纲高性能市场概要什么是高性能计算机？由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。也称为：巨型计算机、超级计算机目前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机肯定是并行计算机。什么是高性能计算机？由多个计算单元组成，运算速度快、存储容量其发展历程可以简单的分为两个时代专用时代

包括向量机，MPP系统，SGINUMA系统，SUN大型SMP系统，也包括我国的神威，银河，曙光1000等。

之所以称为“专用”，并不是说它们只能运行某种应用，是指它们的组成部件是专门设计的，它们的CPU板，内存板，I/O板，操作系统，甚至I/O系统，都是不能在其它系统中使用的。由于技术上桌面系统与高端系统的巨大差异，和用户群窄小。普及时代

高性能计算机价格下降，应用门槛降低，应用开始普及。两个技术趋势起到重要作用。

商品化趋势使得大量生产的商品部件接近了高性能计算机专有部件

标准化趋势使得这些部件之间能够集成一个系统中，其中X86处理器、以太网、内存部件、Linux都起到决定性作用。

机群系统是高性能计算机的一种，它的技术基础和工业基础都是商品化和标准化。其发展历程可以简单的分为两个时代专用时代

包括向量机，MPP高性能计算机系统架构并行向量机SMPDSM（NUMA）MPP，节点可以是单处理器的节点，也可以是SMP，DSMClusterConstellation

高性能计算机系统架构并行向量机高性能计算机的制造厂商CraySGIIBM曙光银河神威高性能计算机的制造厂商Cray曙光并行计算机系统类型Flynn分类：SISD,SIMD,MIMD,MISD结构模型：PVP,SMP,MPP,DSM,COW访存模型：UMA,NUMA,COMA,CC-NUMA,NORMA并行计算机系统类型Flynn分类：并行计算机分类Flynn分类Flynn(1972)提出指令流、数据流和多倍性概念，把不同的计算机分为四大类：SISD（Single-InstructionSingle-Data）SIMD（Single-InstructionMulti-Data）MISD（Multi-InstructionSingle-Data）MIMD（Multi-InstructionMulti-Data）现代高性能计算机都属于MIMD。MIMD从结构上和访存方式上，又可以分为：结构模型：PVP,SMP,MPP,DSM,COW访存模型：UMA,NUMA,COMA,CC-NUMA,NORMA并行计算机分类Flynn分类结构模型结构模型对称多处理机系统(SMP)SMP对称式共享存储:任意处理器可直接访问任意内存地址,且访问延迟、带宽、机率都是等价的;系统是对称的；微处理器:一般少于64个;处理器不能太多,总线和交叉开关的一旦作成难于扩展；例子:IBMR50,SGIPowerChallenge,SUNEnterprise,曙光一号;对称多处理机系统(SMP)SMP分布式共享存储系统(DSM)DSM分布共享存储:内存模块物理上局部于各个处理器内部,但逻辑上(用户)是共享存储的;这种结构也称为基于Cache目录的非一致内存访问(CC-NUMA)结构;局部与远程内存访问的延迟和带宽不一致,3-10倍高性能并行程序设计注意;与SMP的主要区别：DSM在物理上有分布在各个节点的局部内存从而形成一个共享的存储器；微处理器:16-128个,几百到千亿次;代表:SGIOrigin2000,CrayT3D;分布式共享存储系统(DSM)DSM大规模并行计算机系统(MPP)MPP物理和逻辑上均是分布内存能扩展至成百上千个处理器(微处理器或向量处理器)采用高通信带宽和低延迟的互联网络(专门设计和定制的)一种异步的MIMD机器；程序系由多个进程组成，每个都有其私有地址空间，进程间采用传递消息相互作用；代表:CRAYT3E(2048),ASCIRed(3072),IBMSP2,曙光1000大规模并行计算机系统(MPP)MPP机群系统(Cluster)Cluster每个节点都是一个完整的计算机各个节点通过高性能网络相互连接网络接口和I/O总线松耦合连接每个节点有完整的操作系统曙光2000、3000、4000,ASCIBlueMountain机群系统(Cluster)Cluster访存模型UMA:NORMA:NUMA:多处理机（单地址空间共享存储器）

UMA:UniformMemoryAccessNUMA:NonuniformMemoryAccess多计算机（多地址空间非共享存储器）

NORMA:No-RemoteMemoryAccess访存模型UMA:NORMA:NUMA:多处理机（单地址空间共结构模型－－访存模型UMA:NUMA:NORMA:结构模型－－访存模型UMA:NUMA:NORMA:多处理机&&多计算机UMA:NUMA:NORMA:多处理机(共享存储)

多计算机(分布式存储)多处理机&&多计算机UMA:NUMA:NORMA:多处并行计算机的性能指标名称符号含意单位机器规模n处理器的数目无量纲时钟速率f时钟周期长度的倒数MHZ工作负载W计算操作的数目Mflop顺序执行时间T1程序在单处理机上的运行时间s（秒）并行执行时间Tn程序在并行机上的运行时间s（秒）速度Rn=W/Tn每秒百万次浮点运算Mflop/s加速Sn=T1/Tn衡量并行机有多快无量纲效率En=Sn/n衡量处理器的利用率无量纲峰值速度Rpeak=nR’

peak所有处理器峰值速度之积，R’peak为一个处理器的峰值速度Mflop/s利用率U=Rn/Rpeak可达速度与峰值速度之比无量纲通信延迟to传送0-字节或单字的时间Μs渐近带宽r∞传送长消息通信速率MB/s并行计算机的性能指标名称符号含意单位机器衡量系统性能的主要指标(1)MIPS（百万条指令每秒）理论计算：处理器的时钟频率与平均每条指令所需的时钟周期（CyclesPerInstruction）的比值

MIPS＝clockrate/CPI=(numberofInstructions)/(CPUtime)实际数值：对于一个应用（程序），指令数目与运行时间的比值

MIPS’＝(numberofInstructions)/(executiontime)衡量系统性能的主要指标(1)MIPS（百万条指令每秒）衡量系统性能的主要指标(2)MFLOPS（百万次浮点运算每秒）理论计算：系统的浮点计算部件每秒可以做的浮点计算次数；

MFLOPS=(numberofFloatingPointcomputeUnit)×NN为每个浮点计算部件一个周期内可以做的最多浮点操作数，对于目前常见的微处理器，一般为1－4；实际数值：对于一个应用，浮点运算数目与运行时间的比值；

MFLOPS’=(numberoffloatingoperations)/(executiontime)衡量系统性能的主要指标(2)MFLOPS（百万次浮点运算每秒两个指标的缺点都不能全面表征系统的性能MIPS指标比较适用于事务处理领域；不同系统的指令不同，一条指令的功能和复杂度差别很大，如IBM的大型主机（Mainframe），价格达到千万元的大型机（含配套软件），其MIPS值一般为5－10，不及价值数千元的Pentium4PC；非计算密集型的应用（事务处理）对I/O要求高，计算密集型的应用（图形程序）对主频要求高。用户对可靠性等特殊要求；应用的需求不同，高性能计算领域也是“通才”难求，各有所长；某些特殊类型计算机适合特定的应用。两个指标的缺点都不能全面表征系统的性能两个指标的缺点理论计算和实际测试的差别对于一个具体的应用，可获得的实际性能与理论峰值有相当大的差距，即效率低的问题；应用效率成为高性能计算的核心问题之一，受到普遍关注。两个指标的缺点理论计算和实际测试的差别加速比定律在并行计算系统，并行算法（并行程序）的执行速度相对于串行算法（串行程序）加快的倍数，就是该并行算法（并行程序）的加速比；加速比是衡量“并行收益”的重要指标；Amdahl定律适用于固定计算规模的加速比性能描述，Gustafson定律适用于可扩展问题。

加速比定律在并行计算系统，并行算法（并行程序）的执行速度相对Amdahl定律S=(WS+WP)/(WS+WP/p)=1/(1/p+f(1-1/p))显然，当p→∞时，S=1/f，即对于固定规模的问题，并行系统所能达到的加速上限为1/f一度引发了并行界部分人士的悲观情绪Amdahl定律S=(WS+WP)/(WS+WP/p)Gustafson定律S‘=（WS+pwp）/（WS+WP）

=p-f（p-1）=f+p（1-f）并行计算是为了解决大规模并行问题，可并行部分的比例是可扩大的加速比与处理器数成斜率为（1-f）的线性关系这样串行比例f就不再是程序扩展性的瓶颈，当然，f越低，斜率会越大，加速性能越好。Gustafson定律S‘=（WS+pwp）/（WS+WP）Linpack采用主元高斯消去法求解双精度稠密线性代数方程组，结果按每秒浮点运算次数（flops）表示。包含三类测试，问题规模与优化选择各不相同：100×100测试，在该测试中，不允许对Linpack测试程序进行任何修改（包括注释行）1000×1000测试，在该测试中，允许对算法和软件进行修改或替换，并尽量利用系统的硬件特点，以达到尽可能高的性能。但是所有的优化都必须保持和标准算法如高斯消去法相同的相对精度，而且必须使用Linpack的主程序进行调用。Linpack采用主元高斯消去法