（计算机软件与理论专业论文）高性能计算综合评测框架的设计和实现.pdf

兰州大学硕： 毕业论文高性能计计算综合评测框架的设计与实现 摘要 高性能计算领域要从“造机器寻找应用”过渡到“根据应用需要造机器” 的阶段。而实现这一目标，无疑要依靠客观的性能评测工具，因此，性能评测成 为近年来该领域的研究热点。 本文提出了一个应用于高性能平台的评测框架，旨在通过对高性能计算性 能评测，并结合应用程序的评测结果，依据对应用程序需求的满足程度对高性能 机器进行评估。评测框架由三部分组成：高性能计算机的性能评测，应用程序的 性能评测，以及建立在前两者基础上的评估模型。 高性能计算机的性能评测模块以h p c c 基准程序为基础，全面的评测高性能 计算机在计算，网络通信，以及内存访问等方面的性能。但h p c c 测试对于一般 用户来说，存在确定输入数据，以及理解测试结果两方面的难题，本文在使用 h p c c 基准测试时，针对这两个问题进行了有益的尝试，在测试过程中加入了输 入数据的自动优化以及测试结果后处理两个模块，为实现测试的自动化打下了基 础。 而对于应用程序的评测，我们将其分为计算和通信两部分性能，即单处理 器性能，网络通信性能。单处理器性能是通过集成在处理器中的硬件性能计数器 来捕获相关的性能事件，基本不会给系统带来多余的负载。而网络通信性能，文 中是通过读取网口的网络流量来实现的。这样处理比之使用现用的工具来说数据 量少且准确性稍差，但快速易实现，而且从结果来看能够反映出应用程序在网络 通信方面的需求。 评估模型的实现是运用代数的方法将应用程序性能特征映射到机器性能 上，最终根据机器对应用程序的满足程度，得到机器的评估结果，即得可选的高 性能平台对应用程序需求的满足程度的量化值。 经过实际应用程序的验证，该评测框架的结果是可信的，能够实现依据具体 应用程序对高性能计算机进行正确的评估。 关键词：性能评测，h p c c ，硬件性能计数器，评估模型 兰州大学硕士毕业论文 高性能计计算综合许测框架的设计与实现 a b s t r a c t n o w , h p cf i e l dn e e dc h a n g ef r o m c r e a t i o nm a c h i n e sw i t h o u ta p p l i c a t i o n r e q u i r e m e n t t o “c r e a t i o nm a c h i n ef o ra p p l i c a t i o n “t od ot h i s , t h eo b j e c ta n d a c c u r a t eb e n c h m a r ks u i t e si sn e c e s s a r yw h i c hh a sb e c o m eah o tp o i n ti nh p cf i e l d i n t h i sp a p e r , af r a m e w o r ko fe v a l u a t i o nf o rh p c p l a t f o r mi sp u tf o r t hw h i c h i n t e n dt oe v a l u a t et h em a c h i n e sa c c o r d i n gt ot h er e q u i r e m e n to f a p p l i c a t i o nm e e t t h e f r a m e w o r kc o n s i s t so ft h r e ep a r t s ：m a c h i n ep r o f i l i n g , a p p l i c a t i o n s i g n a t u r i n g , e v a l u a t i o nm o d e l i n g m a c h i n ep r o f i l i n gb a s e so nh p c cb e n c h m a r ks u i t ew h i c hc a ne v a l u a t e p e r f o r m a n c eo fm a c h i n e si nc o m p u t a t i o n ，c o m m u n i c a t i o na n da c o e s sm e m o r y b u t t h e r ea r et w oi s s u e s o ru s e r s ：o n ei si d e n t i f y i n gi n p u td a t a , t h eo t h e ri su n d e r s t a n d i n g t e s tr e s u l t s i nt h i s p a p e r , a na t t e m p ti s m a k et or e s o l v et h ei s s u e st h r o u g h a u t o - o p t i m i z a t i o n0 fi n p u tf i l ea n dp e s tp r o c e s s i n go fo u t p u tf i l e t h i sw i l lh e l pt o i m p l e m e n ta u t o m a t i ch p c c a p p l i c a t i o ns i g n a t u r i n gi s d i v i d e dt w op a r t s ：s i n e 丛e p r o c e s s o rp e r f o r m a n c e ， c o m m u n i c a t i o np e r f o r m a n c e f o rt h ef o r m e r , h a r d w a r ep e r f o r m a n c ec o u n t e r si su s e d b e c a u s ei tc a na c c u r a t e l yo b t a i np e r f o r m a n c ee v e n t si nl o w l e v e lw i t hm i n i m a l o v e r h e a do fs y s t e m c o m p a r e dt ou s u a lm e t h o da p p l i e dt oc o m m u n i c a t i o n , t h e m e t h o du s e di nt h ep a p e ri sr e l a t i v e l ys i m p l e ，b u ti tc a ns a t i s f yt h en e e do fo u r p r o j e c t t h ee v a l u a t i o nm o d e l i n gi sb u i l tb yf o r m i n gt h ec o m p u t a t i o n a lm a p p i n go fa n a p p l i c a t i o n ss i g n a t u r eo n t om a c h i n ep r o f i l e s f i n a l l y ，w eg e tt h ev a l u eo fe a c h m a c h i n ea c c o r d i n gt oc a p a c i t yo fm e e tr e q u i r e m e n to fa p p l i c a t i o nt h a ti se v a l u a t i o n r e s u l t a f t e rv a l i d a t i o no fp r a c t i c a l a p p l i c a t i o n , t h e r e s u l to ft h ef r a m e w o r ki s i n c r e d i b l e t h ef r a m e w o r ki sa b l et of o r mc o r r e c te v a l u a t i o no fh p cf o ra p p l i c a t i o n k e yw o r d s ：p e r f o r m a n c ee v a l u a t i o n ，h p c c ，h a r d w a r ep e r f o r m a n c ec o u n t e r ， e v a l u a t i o nm o d e l i n g n 原创性声明 本人郑重声明：本人所呈交的论文是我个人在导师指导下独立进 行的研究工作及取得的成果。学位论文中凡引用他人已经发表或未发 表的成果、数据、观点等均已明确注明出处。除了文中已经注明引用 的内容外，不包含其他人个人或集体已经发表或撰写过的科研成果。 对本文的研究成果做出重要贡献的个人和集体，均已在文中以明确的 方式标明。 本声明的法律责任由本人承担。 论文作者签名： 日期： 关于学位论文使用授权的声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归 属兰州大学。本人完全了解兰州大学所有关保留、使用学位论文的规 定，同意学校保存或向国家有关部门或机构送交论文的纸质版和电子 版，允许论文被查阅和借阅；本人授权兰州大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用任何复制手段保 存和汇编本学位论文。本人离校后发表、使用学位论文或与该论文直 接相关的学术论文或成果时，第一署名单位仍然是兰州大学。 保密的论文在解密后应遵守此规定。 签名： 导师签名：粗吼必 兰州人学硕：t 毕业论文 高性能计计算综合评测框架的设计与实现 1 1 高性能计算简介 第一章绪论 计算科学已经与理论研究、科学实验相并列，成为现代科学的三大支柱之 一 1 。高性能计算机研制能力和高性能计算应用水平已经成为国家实力的重要 象征。各个国家，尤其是经济、科技水平比较发达的国家，都把促进高性能计算 的发展作为重要的规划内容。 高性能计算之所以受到普遍重视，是因为它在一个国家的发展中，特别是 一些尖端科技的发展中，发挥着不可替代的使用。石油勘探，气象预报，生物科 技，国防技术，工业设计等关键领域都离不开高性能计算。可以肯定，随着社会 信息化进程的深入，高性能计算以后将发挥愈来愈重要的作用。 有些国家认为，在高性能计算领域处于领先地位就等于占领了未来发展的 制高点。美国、日本和欧洲的一些国家都制定了国家级的高性能计算机发展规划。 尤其是美国，美国政府有关部门长期以来非常注重对高性能计算项目的资助，并 且相继在1 9 9 1 年提出“高性能计算与通信( h p c c ) 计划”，在1 9 9 5 年实施“加 速战略计算创新( a s c i ) 计划”，在1 9 9 8 倡议实施“科学模拟( s s p ) 计划”，这些 举措都是为了抢占在高性能计算领域的世界领先地位。日本不惜巨资研制成功 “地球模拟器”超级计算机，其理论峰值计算能力达到4 0t e r a f l o p s ( 4 0 万亿 次浮点运算每秒) ，并且性能更高的机器也正在研制之中 2 。 包括中国在内的一些发展中国家同样需要高性能计算技术，为了打破发达 国家对高性能计算技术的垄断，他们也都制定了自己的高性能计算发展规划。 我国已经研制成功“银河”，“神威”，“曙光”等品牌的高性能计算机，突 破了在高性能计算领域对国外技术的依赖。尤其是2 0 0 4 年推出自勺“曙光4 0 0 0 a ”， 峰值性能达到1 0t e r a - f l o p s ，代表中国自己研制生产的高性能计算机第一次进 入t o p 5 0 0 的前十名，表明我国在高性能计算方面发展到了新的高度。 在国内，高性能计算的应用领域不再局限于国防、生物信息、天气预报等领 域，已经在诸如铁路安全调度、桥梁设计等更广泛的领域发挥着重要作用，高性 能计算已经全面融入我们的生活。 兰州= 学硕十毕业论文 高性能计计算综合评测框架的设计与实现 1 2 高性能计算机和集群系统 高性能计算机的发展基本是从2 0 世纪6 0 年代开始的，在几十年的发展过 程中，不断有新的系统结构出现，也有落后的技术被淘汰，形成了较多种类的高 性能计算机，根据其系统架构特点大致可以划分为如下的几类 1 ，2 ： 并行向量机( p v p ，p a r a l l e lv e c t o rp r o c e s s i n g ) = p v p 系统用来处理向量指令。一条向量指令能同时对多个标量数据进行计 算，特别适用于大规模的有规则的科学计算问题。系统包含少量的高性能专门设 计定制的向量处理器v p ，通过专门设计的高带宽的交叉开关网络将v p 连向共享 存储模块。 代表性的系统包括c i i a y 系列的向量机，日本的“地球模拟器”巨型向量机， 我国的银河l 号。 大规模并行处理机( 胛p 。m a s s i v e l yp a r a l l e lp r o c e s s i n g ) ； m p p 系统在物理和逻辑上均是分布内存，进程间采用消息传递相互作用，结 点内和结点间的互连通常采用专门设计和定制的高带宽、低延迟的互联网络。采 用专用的操作系统。m p p 系统有很好的可扩展性，可以拥有数千个处理器。 代表性的系统包括c r a yt 3 e ，i b ms p 2 ，曙光一1 0 0 0 。 对称多处理机( s m p ，s y m m e t r i cm u l t i p r o c e s s o r ) ； s m p 是共享存储结构，处理器由高速总线或交叉开关连接共享存储器，处理 器通常具有片上或外置高速缓存。所有处理器对共享存储器的访问是对称的，进 程通过读( 写) 操作系统提供的共享数据缓存区来完成处理器问的通信，其延迟 通常小于消息传递方式的通信延迟。 共享模式也带来一些问题，如高速缓存的一致性问题以及系统的可靠性相 对较差。s m p 系统存在单点故障，易因为单点故障造成整个系统的崩溃。此外， 共享模式造成可扩展性较差，s m p 系统的处理器个数一般少于6 4 个，不能用来 构建更大的系统。 代表性的系统包括s g i 的p o w e rc h a l l e n g ex l 系列，i 阴的r s 6 0 0 0 r 4 0 ， 曙光1 号。 分布式共享存储多处理机( d s m ，d i s t r i b u t e ds h a r e dm e m o r y ) ； d s m 系统物理上有分布的存储，逻辑上却是单一的内存地址空间，所有局部 2 兰州大学硕士毕业论文 高性能计计算综合评测框架的设计与实现 内存通过内部网络互连，形成共享存储器，并且由硬件进行统一编址。各个处理 器对物理分布的共享存储器的访问是不对称的，访问本地存储延迟较小，访问远 端存储的延迟较大。 d s m 较好地改善了s m p 的可扩展性能，n s l d 可以扩展到上百个节点。 代表性的系统包括s g i 的o r i g i n 2 0 0 0 系列。 集群( c l u s t e r ) 集群系统的出现给高性能计算的发展和普及带来了新的契机。集群系统采 用可以大批量生产的商品化、标准化部件 3 ，最重要的特点是它具有很高的性 价比，使得高性能计算机的价格下降到被普遍接受的范围，并且它具有高性能， 良好的可扩展性、易用性、高吞吐量 3 。 集群系统是一种并行或分布式处理系统，通过高速网络技术将独立的计算 机连接在一起，并向用户提供单一的系统映像。整个系统是由很多节点机构成， 每个节点可以是一个单处理器或多处理器系统( p c 、工作站或s m p ) ，拥有自己 的内存，i 0 和操作系统 3 】。所以也可以说集群系统是一种无共享的系统，存 储在物理上和逻辑上都是分布的，节点之间不能直接访问对方的存储，而是通过 消息传递来互相通信。 下面是无共享结构和共享结构的对比图： 图l - 1 无共享结构和共享存储结构 机群的节点之间要通过互连网络来通信，一般要选用高带宽、低延迟的高 端网络，常用的有千兆以太网、m y r i n e t 、o s n e t 、s c i 、i n f i n i b a n d 等。机群系 统具有很好的可扩展性，可以比较容易地向系统中增加节点来增强系统的计算性 3 兰州大学硕l 毕业论文 高性能计计算综合评测框架的设计与实现 能，但是这种可扩展性也是有限的。随着节点数目的增多，机群结构不可避免会 出现系统瓶颈，无论这瓶颈是存储器，或是互连网络，或是庞大系统管理上的困 难甚至是系统的功耗发热，都决定了节点机数目不可能无限制地增多。 依照不同的标准对对机群有不同的分类方法【3 ，按照其应用目的和使用功 能可以分为三类： 高性能机群 高性能机群主要用来提供强大的科学计算能力或事务处理能力。高性能机 群在计算过程中，各节点是协同工作的，将一个较大的问题划分为多个较小的部 分，每个处理器处理其中的一个较小部分，处理器之问根据需要进行数据交换。 理论上，高性能机群的计算( 处理) 能力与机群的规模成正比，是机群内 各节点处理能力的加和，但实际上，进程间通信等开销会使系统的实际性能远低 于理论峰值性能。 高可用性机群 一些关键的应用比如银行、证券等要求计算机系统具有很高的可用性，即 便是很短时间的宕机也会造成极大的损失，高可用性机群系统用来满足这类应用 需求。 实现高可用性的关键是采取冗余设施。高可用性机群系统的每个服务都有 主服务器与( 一台或多台) 备用服务器，正常情况下，服务由主服务器处理，而备 用服务器处于等待状态。机群内各服务器运行h e a r t b e a t 程序，使用以太网、串 口、共享存储等方式相互发送信息，以检测其它服务器的运行状况。当备用服务 器发现主服务器不能正常工作时，它会自动接管主服务器的服务继续提供服务。 当主服务器恢复正常后，备用服务器又把服务自动交还主服务器。 机群对某一服务的处理能力相当于单台服务器的处理能力。 负载均衡机群 负载均衡机群系统将负载合理分布到机群各结点，充分利用机群内各节点 机的处理能力，提高对任务的处理效率。 这种机群非常适合于需要运行同一组应用程序的大量用户，如w e bs e r v i c e ， 每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载以实现平 衡。在这种机群中，同一任务或服务由多个节点共同承担，机群的处理能力是这 些节点机处理能力的加和。由于集群内有多个节点可完成同一任务，当某一节点 4 兰州大学硕士毕业论文商性能计计算综合评测框架的设计与实现 发生故障时，其它节点仍可继续工作，从而保证了服务的连续性，所以这种机群 也有一定的高可用性。 然而，实际使用的集群系统通常是兼具以上三种类型的特点，既提供了一 定的可用性，同时也实现一定程度的负载均衡。 机群系统已经成为目前高性能计算机的主流架构，在2 0 0 6 年入围t o p 5 0 0 的高性能计算机里面，机群系统占据了超过7 2 2 的份额，总计峰值计算能力达 到5 2 1 3 5 4 8 1 8 g f l o p s 4 。 在国内，机群系统同样得到较快的发展，峰值计算速度达万亿次、十万亿 次的国产高性能机群系统相继研制成功并投入使用。本文所采用的试验平台是上 海超级计算中心的曙光4 0 0 0 a ，其峰值速度达到l o t l f l o p s 1 3 高性能计算机的网络互连 通信性能是影响集群系统性能与并行处理效率的关键，因此高性能通信系 统的研究在整个集群系统中占有非常重要的地位，并且一直是近几年国内外研究 的热点，以下介绍几种目前主流的网络互连类型。 g | g a b i te t h e r n e t 目前百兆网络已经普及，千兆以太网是在百兆以太网基础上，将数据传输 率从l o o m b s 提高到1 0 0 0 m b s 。t o p 5 0 0 的统计数据显示有2 1 3 个系统使用千兆 网进行网络互连，其份额达到4 2 6 。千兆网流行的主要原因是其改造成本低， 部署简单。由于它仍采用传统的载波侦听技术( c s m a c d ) ，使其相对其它的专有网 络延迟高，带宽小。 m y r i n e t m y r i n e t 是m y r i c o m 公司在原本为m p p 系统设计的通信和包交换技术基础上 发展起来的，它具有高带宽，低延迟和扩展性好等优点，基于消息传递的用户态 通信协议g m 充分利用了m y r i n e t 硬件结构的特点，为上层通信系统或用户应用 程序提供高性能高可靠的通信服务。m y r i n e t 有两个产品线，其最低延迟可达 2 6 u s ，带宽可达l o g b s 。目前在t o p 5 0 0 种有5 2 台机器采用m y r i n e t ，其所占份 额i 0 4 0 4 。 i n f i n i b a n d i n i f i n i b a n d 实际上是一个技术标准，由i b m ，i n t e l ，s u n 等公司联合制定 5 兰州大学硕十毕业论文 岛性能计计算综台评测框架的设计与实现 的。最初它并不是专门设计用在高性能计算互联上的，而是一种通用的宽带连接 结构，因为功能、性能和可缩放性方面都跟高性能计算非常接近，又是一种开放 的工业标准。在t o p 5 0 0 中占有率不断上升，目前己超过m y r i n e t 的占用份额， 达到1 1 8 ，有5 9 台机器使用它。目前一些公司的i n f i n i b a n d 产品双向持续带 宽可达1 8 7 5 m b s ，发送数据包最低延迟可达1 3 2 u s 。 1 4 并行编程模型 并行程序的开发是一个复杂的任务，首先，它在很大程度上依赖于可用的 软件工具和环境；其次，并性软件开发人员必须面对串行开发中不会遇到的问题， 如通信同步，数据划分等，这些对软件开发人员提出了新的重大的挑战。 目前并行软件的开发工具和开发环境与实际需求还有一定的距离，并行编 程模型与并行编程工具缺乏，不好用，并且效率低，缺乏有效的工具实现对并行 软件的跟踪调试，在某种程度上，并行程序在设计和编制上的困难已成为阻碍高 性能计算得到更广泛应用的绊脚石。 对应于共享存储和无共享存储两种基本系统结构模型，在并行编程领域， 也有两种基本的模型：共享变量和消息传递 2 ，3 在并行编程语言问题上，应用程序员的选择不是倾向于设计全新的并行语 言，而是对成熟的串行程序设计语言进行改造和扩充，使之适用于并行编程。 共享变量的编程模式是针对共享存储器架构的高性能计算机，它使得处理 器间通过访问共享存储器来迸行通信，这种方式也可称作隐式通信，即程序员无 须显式的控制处理器间的通信，以及程序的同步和任务的划分，提供了网络和通 信的透明性，简单易用，减少了程序员的负担，现在成熟的产品如o p e n m p 。 消息传递模型适合分布式内存架构的并行机。相对于共享变量编程，用消 息传递来设计程序相对来说是比较困难的，程序员需要显式地指定每一个进程所 做的工作，要显式同步程序。编译器不能完成并行任务的划分，操作系统也不会 自动去决定如何进行数据交换。这些工作都要由程序设计者来完成。从另一个角 度来看，正是消息传递模型的这个显式并行的特点，给了程序设计人员较大的自 由度。 m p i ( m e s s a g ep a s s i n gi n t e r f a c e ) 和p v m ( p a r a l l e lv i r t u a lm a c h i n e ) 6 兰州大学硕十毕业论文 高性能计计算综合评测框架的设计与实现 是目前应用最广泛的消息传递并行编程工具 5 ，尤其是m p i ，已经成为并行消 息传递编程事实上的工业标准，利用m p i 对f o r t r a n ，c ，c + + 等语言进行扩充，就 可以用于编制并行程序。 1 5 高性能计算的应用现状 几十年来，高性能计算的发展速度令人惊叹，2 0 世纪7 0 年代到8 0 年代， 用m f l o p ( 每秒百万亿次浮点运算) 作为评测计算机性能的指标；2 0 世纪8 0 年代 中期又增用6 f l o g s ( 每秒1 0 亿次浮点运算) 作为指标。近年来，由于大规模并行 机的问世，又出现了t f l o p s ( 每秒万亿次浮点运算) 的评测标准，现在p f l o p s ( 每 秒千万亿次浮点运算) 的计算机的预研工作正在进行。高性能计算的发展推对了 相关应用领域的发展，与此同时，应用的需求也极大的推动了高性能计算机的发 展。 然而，高性能计算也面临着一些新的问题。文献 6 指出，大规模并行计算 至少面临三个方面的危机：( 1 ) 性能危机，机器性能继续保持指数级增长将会变 得困难；( 2 ) 编程危机，在越来越复杂的并行系统上做应用软件开发变得困难； ( 3 ) 正确性危机，保证复杂系统上并行应用的正确性和可靠性变得困难。目前 的现实情况是，机器性能还能保持指数级的增长，而并行软件和正确性危机已经 凸现。高性能计算机的最终目的是应用，难点也是应用。长期以来，高性能计算 的实际性能效率停留在较低的水平，应用水平成为高性能计算的薄弱环节，急切 需要提高。 造成实际性能和应用水平较低的原因主要包括两个方面 11 ： 一个是并行计算机，人们更多地关注系统的硬件峰值，不断地研制出峰值 性能更高的系统，而对于并行计算机的实际性能关注相对较少。 另一个在并行软件上，尤其是并行编译工具和并行应用软件。目前，依靠 编译来自动挖掘程序的并行性以及自动并行优化是有限的，并形程序的跟踪和调 试也是一个亟待解决问题。并行应用需要更好的编译工具来支持。 并行应用软件编制困难，造成并行应用软件匮乏，性能较好的软件更是奇 缺。很多应用领域都有使用高性能计算的需求，高性能计算机买得起，但是缺乏 合适的应用软件。 7 兰州大学硕士毕业论文商性能计计算综合评测框架的设计与实现 要改善目前高性能计算的应用现状，提高高性能计算机的实际应用效率， 促进高性能计算在更多领域的应用，还有很多工作要做。 对于高性能计算机来说，需要改变单一采用硬件峰值进行性能评测的现状， 采用更全面，更注重实际效能的评测方式。在系统结构上根据用户的使用特定实 现按需定制，在高性能计算机系统结构上也要不断创新。对软件来说，改进编译 软件和编程语言，实现兵形程序的跟踪和调试，降低并行软件开发的困难，注重 对并行应用程序性能的研究和优化。 兰州大学硕十毕业论文 商性能计计算综合评测框架的设计与实现 第二章高性能计算机性能评测 2 1 性能评测的意义 长期以来，性能评测一直是高性能计算机研制和应用中的重要一环。选用 具有一定代表性的某个或某些计算程序构成基准测试软件包。依据测试软件包的 运行结果对不同的超级计算机系统的性能进行评测，这是目前计算机性能评测的 主要途径。 提升高性能计算的应用水平是一个系统工程，不仅包括研制性能更高的计 算机，对系统软件及应用软件的改进。客观、公正、有效的性能评测也是其中的 重要一环 7 ，8 。 性能评测的意义在于 1 1 ： 首先，高性能计算机硬件性能指标并不代表实际应用性能。高性能计算机 的实际性能如何，还需要通过运行软件来检验。设计精巧的测试程序能够客观公 正地反映系统的特定性能，有效的性能测试可以清楚表明系统的性能特征，有助 于找到系统性能瓶颈，检验系统的可用性、可靠性等。 其次，不同应用领域对系统的浮点计算性能、通信性能、存储访问性能、 系统可扩展性等有单点或多点的特殊要求，这些特殊需求体现在应用软件的具体 特征里面。对基于不同架构和配置的高性能计算机进行性能评测，结合测试程序 的具体特点，总结出规律性的经验，有助于用户实现按需购买，选择更适用的高 性能计算机系统配置，对用户设计并行算法、编制并行软件起到指引作用。 高性能计算机的研究人员，厂商，用户都很关注性能评测。国际t o p 5 0 0 4 ， 国内t o p l 0 0 9 高性能计算机排行榜，就是以高性能l i n p a c k 的性能测试结果为 依据的。国内还由8 6 3 计划专门成立了“8 6 3 高性能计算机评测中心” 2 1 ，以 促进高性能计算机性能评测工作。 2 2 高性能计算机的主要性能参数 高性能并行计算机是一个复杂的系统，性能参数也是多种多样，不同的应 9 兰州大学硕l 毕业论文高性能计计算综合评测框架的设计与实现 用、不同人员关注的重点也有所不同。表l 是通过总结不同基准测试程序的测试 目标得到的高性能计算机的主要性能参数。 表1 高性能计算机主要性能参数 性熊参数符号含意单位 机器规模 n 处理器的数目无量纲 c p u 时钟 f c p 时钟 m h z 顺序执行时间 t s 串行程序的运行时间秒( s ) 并行执行时间 t p 并行程序的运行时间秒( s ) 加速比s = t s t p并行比串行快了多少无量纲 峰值速度r p e a k = f l 所有处理器峰值速度之和，b t f l o p s r 1 p e a kr 1 p e a k 为一个处理器的峰值 速度 通信延迟 l 传送o 一字节或单字的时间 m s 渐近带宽 b w 传送长消息通信速率 b s 2 3 基准测试程序介绍 基准测试程序用于测试和预测计算机系统的性能，揭示不同结构机器的长 处和短处，为用户决定购买或使用哪种机器最合适他们的应用要求提供决策。基 准测试程序试图提供一个客观、公正的评价机器性能的标准。不同的基准测试程 序，侧重目的也有所不同：有的测试c p u 性能，有的测试文件服务器性能，有的 测试网络通信速度等。基准测试程序要提供一组控制测试条件和步骤的规则说 明，包括测试平台环境、输入数据、输出结果和性能指标等。 现在已有大量的基准测试程序 1 2 ，但多数都是针对高性能计算机某一方 面性能或特定领域，如我们熟知的l i n p a c k 测试程序，它是t o p 5 0 0 的排名依据， 反映机器的浮点运算能力。随着高性能计算机应用的不断拓展，对于全面评测高 性能计算机的基准测试程序的需求越来越迫切，h p cc h a l l e n g eb e n c h m a r k 应运 而生。它是针对l i n p a c k 过分强调处理器浮点计算性能的不足而重新进行了考 虑，该标准由包括l i n p a c k 基准在内的7 大类2 8 项测评标准组成，从更多的角 度对高性能计算机的性能进行评测，是目前各个评测软件中较为全面的一个。 下面介绍几种具有代表性的基准测试程序： l i n p a e k l i n p a c k 1 5 采用高斯消元法求解一元n 次稠密线性代数方程组，主要用于 兰州大学硕十毕业论文高性能计计算综合评测框架的设计与实现 测试高性能计算机系统浮点性能，是经常使用的一个基准程序 1 3 ，1 4 】，国际 t o p 5 0 0 和中国t o p l 0 0 排行榜依据的就是高性能l i n p a c k 的测试结果。 l i n p a c k 测试包括三类，l i n p a c k l 0 0 、l i n p a c k l 0 0 0 和h p l 。 l i n p a c k l 0 0 求解规模为1 0 0 阶的稠密线性代数方程组，它只允许采用编译 优化选项进行优化，不允许更改代码，甚至代码中的注释也不允许修改。 l i n p a c k l 0 0 0 求解1 0 0 0 阶的线性代数方程组，要求达到指定的精度，可以 在不改变计算量的前提下在算法和代码上做优化。 h p l 为h i g hp e r f o r m a n c el i n p a c k 的缩写，即高性能l i n p a c k ，也叫高度 并行计算基准测试，它对数组大小n 没有限制，求解闯题的规模可以改变，除基 本算法不可改变外，可以采用其它任何优化方法。用户在不修改任意测试程序的 基础上，可以调节问题规模大小( 矩阵大小) 、使用c p u 数目、使用各种优化方法 等等来执行该程序，以获取最佳的性能。h p l 要求系统安装b l a s ( b a s i cl i n e a r a l g e b r as u b r o u t i n e s ) 或者v s i p l ( v e c t o rs i g n a li m a g ep r o c e s s i n gl i b r a r y ) 库，h p l 中的一些运算( 主要是向量运算) 是通过调用b l a s 完成的。 l i n p a c k 可以测试出并行机可发挥的最高浮点计算性能，并不能代表一般应 用程序的实际性能，所以仅仅以l i n p a c k 性能对系统进行评价，并不能使厂商和 广大用户满意，在某些情况下，也会出现偏差 1 3 ，1 4 。 n p b ( n a sp a r a l l e lb e n c h m a r k ) n p b 由n a s aa m e sr e s e a r c hc e n t e r 开发，它制定了n p b 测试程序的规范 1 1 ，1 6 。是一个科学计算领域的并行计算机性能评测基准程序，它含有8 个不 同的基准测试，都来自计算流体动力学应用软件，测试范围从整数排序到复杂的 数值计算。n p b 中的8 个程序所采用的算法在很多领域得到应用，具有很好的代 表性，n p b 的测试结果可以表现出一般科学计算类并行应用程序的实际性能。 n p b 包含5 个核心程序：( 1 ) e p ( e m b a r r a s s i n g l yp a r a l l e l ) ：用于计算g u a s s 伪随机数，处理器闻几乎没有通信，所以很适合于并行计算，所测定的结果往往 可以作为一个特定并行系统浮点计算性能可达到的上限。( 2 ) m g ( 3 一dm u l t i g r i d ， 三维多重网格) ，采用多重网格算法求解三维p o i s s o n 方程，要求处理器数目必 须为2 的幂次，主要测试规则( s t r u c t u r e d ) 的非连续存储访问聚合通信和点到点 通信；( 3 ) c g ( c o n j u g a t eg r a d i e n t ，共轭斜量法) ，主要测试不规则 兰州大学硕士毕业论文高性能计计算综合评测框架的设计与实现 ( u n s t r u c t u r e d ) 的聚合通信和点到点通信；( 4 ) f r ( f a s tf o u r i e rt r a n s f o r m , 富 氏变换) ，用f f t 求解三维偏微分方程，主要测试聚合通信；( 5 ) i s ( i n t e g e rs o r t ， 整数排序) ，i s 的主要操作是并行排序i s 程序不包含浮点运算，但是它使用了 较多的数据通信。整数排序对通信延迟比较敏感，主要测试整数运算性能和聚合 通信( c o l l e c t i v ec o m m u n i c a t i o n ) 性能。该测试程序的可扩展到上百个c p u 。 s p e c ( s t a n d a r dp e r f o r m a n c ee v a l u a t i o nc o r p o r a t i o n ) s p e c 1 8 是一个从事计算机性能测试的非营利组织，致力于不断地推出评 测标准使之能够运用到对不断涌现的新的高性能计算机上。开发了针对不同应 用，针对高性能计算机不同方面特性评测的一系列评测程序，我们熟知的评测 c p u 性能的s p e cc p u 2 0 0 2 ，针对高性能计算的s p e ch p c 2 0 0 2 ，它可以对o p e l | l _ l p 、 m p i 性能进行评测，除此之外，还有针对g r a p h i c a p p l i c a t i o n 以及w e bs e r v e r 等的评测程序。s p e c 之提供商业的评测程序，而非开源的。 h p c c h p c c 标准是在美国政府的资助下，以美国田纳西大学j d o n g a r r a 博士为主， 由美国和日本两国的h p c 人员共同制定的。 h p c c 的目的是对t o p 5 0 0 排名中使用的l i n p a c k 指标进行补充，以便从更多 的角度对高性能计算机的性能进行评测。该标准由包括l i n p a c k 基准在内的7 大类2 8 项测评标准组成。h p c c 测试的内容涵盖了计算性能、内存访问性能、互 连网络性能等各个方面，h p c c 试图更全面地反映一个并行计算机系统的多个方 面的性能，更加全面客观地评价系统的性能，是更现实的从应用性能角度看待一 个高性能计算系统的有益尝试。 本文将在第三章详细介绍h p c c 2 4 高性能计算机效能评测 高效能意味着使用较少的经济开销和工作量就可以完成较多的研究内容。 高性能计算机性能的不断提升，然而它在科学研究中的实际效能却一直都未有个 准确的评估。而且新硬件的不断涌现，使得应用程序开发人员花费大量的时间进 行程序的开发，移植，甚至重写以前的程序，这使得软件开发时间不断增加。尽 管机器性能仍然是机器效能的关键因素，但对高性能计算机效能来说，软件开发 兰州大学硕1 ：毕业论文 高性能计计算综合评测框架的设计与实现 已成为超过了硬件速度的主要效能瓶颈。从上面的介绍我们可以知道，传统的基 准测试程序并没有提供测试效能的方法。对于效能的测试需要涉及一些与用户相 关的应用属性，如程序的开发过程的时间开销与经济开销、可移植性、可重用性、 可维护性等。 效能( p r o d u c t i v i t y ) 研究成为高性能计算的一个热点，高效能计算成为 高性能计算的一个重要发展方向和趋势 2 0 ，2 1 。d a p r a 正在做高效能计算系统 ( h i g hp r o d u c t i v i t yc o m p u t i n gs y s t e m s ) 的研究 1 9 。 兰州大学硕十毕业论文高性能计计算综合评测框架的设计与实现 第三章高性能计算平台评测框架 高性能计算的发展必须坚持用户驱动的原则，不同用户对需求有显著的不 同，如位居t o p 5 0 0 首位的b l u e g e n e l 是针对蛋白质折叠，分子动力学领域的问 题而设计的。如今高性能计算的发展趋势已经从“造了机器找用户”转变为“根 据用户需求造机器”，这就要求高性能评测技术成为连接用户和机器设计者以及 提高计算服务机构之间的桥梁。 3 1 高性能计算平台评测框架的提出 目前，高性能计算的用户群集中在科学计算，机械制造，医药和石油勘探 等领域，应用需求多样，科学计算通常要求很强的计算能力和较低的网络延迟， 而石油勘探需要大容量的存储和快速的i o 。分析应用程序的特点，合理的设计 高性能计算机，按需定制已成为高性能计算的发展趋势。 位于上海市浦东区张江高科技园区的上海超算中心 2 2 ，是国内第一个面 向社会开放，资源共享、设施一流、功能齐全的高性能计算公共服务平台。中心 目前已配有“神威i ”、神威6 4 p ”和“曙光4 0 0 0 a ”三台高性能计算机，总计算 能力近1 1 万亿次秒，其中2 0 0 4 年引进峰值速度超过1 0 万亿次秒的“曙光 4 0 0 0 a ”高性能计算机，在当年的t o p 5 0 0 中位屠世界第十位。表2 简单列举一下 三台高性能计算机的参数： 表2 上海超算中心计算资源 参数神威i神威6 4 p曙光4 0 0 0 a 系统峰值 3 8 4 g f l o p s 3 0 2 4 g f l o p s1 0 2 t f l o p s 体系架构 m p pc l u s t e rc l u s t e r c p u 类型a l p h a ，5 0 0 1 5 1 z i n t e lp 4x e o n ，2 4a 鼢o p t e r o n8 5 0 g h z 2 4 g h z c p u 个数3 8 4 6 42 0 4 8 操作系统6 4 b i t su n i xr e d h a tl i n u x7 3t u r b ol i n u x8 0 网络通信9 6 专有通讯c p u g i g e t h e r n e tm y r i n e t2 0 0 0 从上表中可以看出三台高性能计算机在体系架构，硬件选择和网络通信方 1 4 兰州丈学硕士毕业论文 高性能计计算综合评测框架的设计与实现 面存在较大的差异，这就决定了这三台机器满足用户应用需求的能力各异。 像上海超算中心这样提供计算服务的机构，面对形形色色的应用需求。面对 日益紧缺的计算资源，就如何充分利用现有的计算资源，合理的分配计算任务， 中心提出了自己的解决方案。 构建一个高性能计算平台的评测框架，通过评测技术在应用程序需求和高 性能计算机之间建立联系，既充分满足应用程序的需求，同时实现计算资源的充 分利用，提高高性能计算机的使用效率。 3 2 评测框架的系统结构 鉴于以上的应用需求，利用性能评测技术一方面得到高性能计算机的性能 评测数据；另一方面，针对具体应用程序进行评测，获取应用程序的相关性能参 数，从中分析应用程序在计算，通信，i 0 等方面的需求。结合机器的性能数据， 建立模型，根据对应用程序需求的满足程度评测计算平台。 匾谳蔬i 匮耍豳 一 一：e 0q l 0 刁王一 g 一 一g 二一g 二4 图1 评测框架的抽象结构 图1 清晰的表示出我们如何从现实应用中抽象出评测框架的系统结构。我 们拥有大量的计算资源，对于各样的计算平台，我们关心其计算能力，网络带宽， 延迟以及内存持续带宽这些性能参数。另一方面，大量的运行不同应用的客户需 要使用我们的计算资源，应用程序在在浮点运算，内存使用量，网络通信以及输 入输出等方面的需求各异。利用现有的评测技术，将高