世界高性能计算现状与发展

1、高性能计算的现状和发展解决方案中心高性能计算方案部目录高性能计算的主流解决方案介绍高性能计算的主流解决方案介绍高性能计算发展介绍高性能计算发展介绍1高性能计算应用领域介绍高性能计算应用领域介绍23什么是高性能计算？n 高性能计算n hpc：high performance computen 高性能计算-并行计算n 并行计算(parallel computing）n 高端计算(high-end parallel computing)n 高性能计算(high performance computing)n 超级计算(super computing) “进入21世纪以来，计算方法与分子模拟、虚拟实验

2、，已经继实验方法、理论方法之后，成为第三个重要的科学方法，对未来科学与技术的发展，将起着越来越重要的作用。” 徐光宪 院 士 在许多情况下，或者是理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无法进行时，计算就成了求解问题的唯一或主要的手段。高性能计算的重要性computational r&d is growing in relative importance203019951995:10 % modeling90 % experiment20022002: 20 % modeling80 % experiment2030:50 % modeling50 % experiment高

3、性能计算的重要性为什么要做高性能计算？-应用的驱动n 人类对计算及性能的要求是无止境的 问题: 科学和工程问题的数值模拟与仿真计算密集数据密集网络密集三种混合高性能的各类应用为什么要做高性能计算 应用需求高性能计算结构模型高性能计算架构变化高性能计算网络发展高性能集群操作系统份额衡量高性能系统性能的评价指标 -理论峰值（flops）flops（浮点运算每秒）1、如何计算理论峰值： 峰值主频(ghz)*总核心数*4 (4代表每个时钟周期做4次浮点运算) 例如：10个amd双路12核刀片（cpu6174，主频2.2） 总核心数10212240 峰值2.224042112gflops2.1tflop

4、s=2.1万亿次。 gpu峰值： 每c2050卡 双精度峰值0.515tflops 单精度峰值1.03tfops 双精度峰值0.515* gpgpu卡数目（tflops） 单精度峰值1.03* gpgpu卡数目（tflops）衡量高性能系统性能的评价指标 -实测峰值（flops）hpl(linpach)测试 -对系统进行整体计算能力的评价linapck测试：采用主元高斯消去法求解双精度稠密线性代数方 程组，结果按每秒浮点运算次数（flops）表示。hpl：针对大规模并行计算系统的测试，其名称为high performance linpack (hpl)，是第一个标准的公开版本并行linpack

5、测试软件包，用于top500与国内top100排名依据。使用者可以改变问题规模。有相当大的优化空间。衡量高性能系统性能的评价指标 -系统效率 系统效率=实测峰值/理论峰值 如何提高效率： （1）通过优化网络 （2）通过优化测试程序的编译与设置 （3）通过优化内存的配置与容量 （4）通过优化运行参数及系统参数！ 目前:一套通过infiniband网络互连的集群，效率一般在70%以上。 加速比定律 在并行计算系统，并行算法（并行程序）的执行速度相对于串行算法（串行程序）加快的倍数，就是该并行算法（并行程序）的加速比； 加速比是衡量“并行收益”的重要指标； amdahl定律适用于固定计算规模的加速比

6、性能描述，gustafson定律适用于可扩展问题。 目录高性能计算的主流应用介绍高性能计算的主流应用介绍高性能计算发展介绍高性能计算发展介绍1高性能计算应用领域介绍高性能计算应用领域介绍23 cae（cfd）石油勘探石油勘探气象环境海洋图像渲染物质的物理化物质的物理化学材料属性的学材料属性的科研工作中科研工作中基因科学、蛋白质科学的研究以及新药的研发地震资料处理，地震资料处理，用于油气勘探用于油气勘探气象环境海洋气象环境海洋的数值预报的数值预报动画、电影、图像的高动画、电影、图像的高逼真效果制作逼真效果制作物理化学物理化学材料材料生命科学生命科学高性能计算在国内的六大应用领域计算机辅助工程，广

7、计算机辅助工程，广泛应用于工业生产中泛应用于工业生产中其它：卫星图像处理、金融计算等一cae仿真介绍分析的过程: 隐式结构力学 msc.nastran marc ansys abaqus/standard adina 显式结构力学 ls-dyna pam-crash dytran abaqus/explicit 多体动力学 adams 计算流体力学 fluent star-cd/hpc powerflow cfx cfd-fastran 计算电磁学 feko ansoft 声学分析 sysnoisecae仿真介绍各种理论模拟方法的适用范围最大原子数可计算量分子力学2000 100万粗略的几何结

8、构半经验 500 2000几何结构(有机分子)hf(dft) 50 500能量(含过渡金属)mp2 20 50能量(弱, 氢键)ccsd(t) 10 20精确能量(弱作用)caspt2 10磁性(多个多重度)二 物理化学材料应用介绍 适合周期体系的计算软件适合周期体系的计算软件 vaspvasp abinitabinit cpmdcpmd pwscf(pwscf(espresso) ) 适合非周期体系的计算软件适合非周期体系的计算软件 gaussian03gaussian03 gamess-us (pc-gamess)gamess-us (pc-gamess)二 物理化学材料应用介绍序列搜寻与

9、比对原理hipdwylaghif序列搜寻dfplaghifdwyhipdwylaghifhipdwyladffghifhipdwylaghifyipdwylaghifhipdwylaghif dfplaghifdwyhgfl-aghifawy-plaghifdwhgh三 生命科学应用介绍分子动力学模拟simulating an entire life form，using coarse-grained molecular dynamics simulations simulation of an entire ribosome, the cells protein factory, compr

10、ising 3,000,000 atoms when solvated. on an ibm blue gene with the cray xt3 theyve been able to run efficiently, using software called namd, with as many as 1,024 processors. “the xt3 has been amazing,” says blood. “we havent found a hard limit on scaling up the number of processors.” 三 生命科学应用介绍测序数据处

11、理准备试剂仪器测序数据分析三 生命科学应用介绍主流模式分析u气象海洋领域程序模式众多，我们不但要熟悉我们的硬件还要熟悉这些众多的软件的特点以及在不同平台上的性能差异； 气象常用模式：mm5、wrf、grapes、arems、laps、arps、t106等 海洋常用模式：fvcom、hycom、ecomsed、ecom、pop、mom4、mitgcm、ccsm3，roms等 环境常用模式：cmaq等25四 气象、环境、海洋数值预报应用介绍业务系统流程图四 气象、环境、海洋数值预报应用介绍采集获得地面单炮记录处理完成地下构造成像解释完成构造成图和建议井位钻探确认真伪激发地震波接收反射波油气勘探背景

12、27五 石油勘探应用介绍曙光石油勘探计算中心解决方案28五 石油勘探应用介绍渲染（render）：作为计算机数字图像（cg）处理中的一道重要工序，经过render这个程序，我们将模型或者场景输出成图像文件、视频信号或者电影胶片。这里的渲染有别于3d显示领域的实时(real-time)渲染，而是静态渲染或者离线(off-line)渲染。29渲染渲染六 图像渲染应用介绍主流三维建模软件 maya、3ds max、softimage、lightwave、houdini、cinema 4d等常用渲染器vray，mental ray，maya software，渲染分发管理软件 muster、enfuz

13、ion3d、qube等集群管理系统 linux+gridview、whs2008等存储子系统 nas、san、dawning loongstore等其他技术支撑30渲染集群应用技术渲染集群应用技术六 图像渲染应用介绍目录高性能计算的主流解决方案介绍高性能计算的主流解决方案介绍高性能计算发展介绍高性能计算发展介绍1高性能计算应用领域介绍高性能计算应用领域介绍23系统软件层基础设施层it核心硬件层存储系统计算系统网络系统操作系统作业调度软件、管理系统并行环境编译器、数学库、mpi网络pc机笔记本平板电脑瘦客户端工作站应用软件层生命科学cae仿真功能节点空调系统物理化学气象海洋配电系统防雷系统机房装

14、修机柜及kvm石油勘探动漫渲染应用portal高性能计算机系统架构千兆交换机局域网internetinternet路由器防火墙远程控制内网外网以太网交换机控制台本地kvmkvm以太网光纤网infiniband网kvm管理网登陆/管理节点机房环境并行存储系统高速inifinibandinifiniband交换机 刀片集群gpgpugpgpu节点 smpsmp胖节点算例上传作业提交本地建模本地建模 作业运行 数据访问与存储 系统管理与用户管理高性能计算作业的工作流程高性能计算机中的关键技术一 计算系统主流解决方案 -smp节点+刀片集群刀片集群smp胖节点二 功能节点主流解决方案 -普通标准服务器

15、管理节点io节点用于运行系统级的管理软件，性能要求不高，但可靠性要求高，数量少用于连接存储设备，提供共享存储空间。小型项目，使用单一io节点提供nfs解决。大中型，使用并行文件系统，多个io节点和存储空间解决io瓶颈登陆节点用于用户登陆集群，在集群上实现作业提交，文件上传，编辑，程序编译等操作。可靠性要求高，数量少管理节点登陆节点 io节点三 网络系统主流解决方案 -千兆管理网+infiniband高速网计算网络:对性能有较高问题，具有高带宽低延时的infiniband网络可用很好解决这一问题。对于部分对网络性能要求不高的领域，比如石油、渲染等领域，配置线速互联的千兆以太网。 管理网络: 对性

16、能要求较低，主要用于系统管理，用户登陆等操作。一般配置千兆以太网交换机与刀片交换模块互联。四 操作系统主流解决方案 -linux 企业版hardwaremultitaskingdeviceinterfacesvishlsbashkerneltcp/ipstackshellgccdiffgrepwcwhocatutilities开源高效多用户界面友好兼容性强五 作业调度及系统管理解决方案 集群松散结构的整合单一系统映象 软硬件资源的整合，异构资源整合系统资源整合 用户提交的任务的统一安排，避免冲突多用户的管理 对用户进行各类权限控制用户权限的管理作业调度系统解决方案系统管理软件核心功能3 部署恢复系统的自动恢复部署系统的自动恢复部署1 监控管理实现全局系统的监控和管实现全局系统的监控和管理理4统计报表统计报表集群使用情况的一个可定集群使用情况的一个可定制的统计制的统计2 自动告警自动告警声光、邮件、短信等多种告警策略作业统计视图实时性能视图性能对比窗口统计报表视图gridview 视图范例六 并行环境 编译器 intel编译器 pgi编