天河2号超级计算机计算机组成与结构

9.4.5天河2号

2013年6月，“天河2号”首次登上TOP500排行榜榜首，成为世界上城快的超级计算机。大

河2号的性能达到33.86PFLOPS,接近当时排名第2的美国的泰坦（Titan）超级计算机的两倍，

后者的性能为17.S9PFLCP*.到2015年II月.天河2号连续6期排名TOPXN）榜首,空理fTOPS（X）

排行榜自设立以来最长的“六连冠”。

天河2号使用IntelIvyBridge处理器和Imcl至强MIC加速器以及定制的互连网络搭建而成。

它一共使用了32,000个InielIvyBridge处理器和48,000个至强MIC加速器，共有3,120,000个处理

器核，理论上的峰值性能达到54.9PFLOPS。

尽管天河2号使用了大量Iniel多核处理器和众核协处理瑞，它也提出并实现了多项自主创新,

包括TH-Express2互连网络、16核FT-I59O、以及OpcnMC编程模型。

•计算节点

天河2号的每个计算节点包括2个InSIvyBridge处理器和3个Iniel至强M©J［速器，如图12.5

所示。该系统由16,000个节点组成，具体结构如下：整个系统由125个机柜（rack）组成，每个机

柜上有4个机框（frame）,每个机框上叁16个刀片（blade）,每个刀片上有两个节点。但在具体

灰现中，计算单元（即IntelIvyBridge处理器和MIC加速器）的布局并不足对称的“如图12.6所

示，每个计算刀片上有两个节点，分为两部分：一个CPM模块和一个APU模块。CPM模块中含

有4个IvyBridge处理器、主存、以及一个至强MIC加速器，而APU模块中含有其余的5个至强MIC

加速器。IvyBridge处理器通过PCI-E2.0总线与协处理器通信，每条总线有16个通道，每个通道

的带宽为10Gbps.处理器还通过PCLE总线与NIC连接.

Digital批注（REI]:Wherewasthisfigureobtained?Doesit

requirepermission?Willitbere-drawninthestyleofthe

figuresinthemaintext?

图12.5天河2号计算节点的逻辑结构

批注［RE2］：Wherewasthisfigureobtained?Doesit

ComputeBlade

requirepermission?Willitbere-drawninthestyleofthe

figuresinthemaintext?

CPMModule

bnlalXoonMIC

APUModule

图12.6天河2号计算刀片的逻辑结构。天河2号的每个计算刀片包括一个CPM模块，其中有4个

IntelIvyBridge处理器和一个Intel至强MIC加速器，以及一个APU模块，其中有5个Inld至强

MIC-每个计算刀片的理论峰值性能为6.862TFLOPS。

IntelIvyBridge处理器的每个核每人时钟周期可以完成8个浮点运算，因此每个处理器的理

论峰值性能为12核“8浮点运算/秒*2.2GHz=211.2GFLOPS,天河2号的每个节点带有两个Ivy

Bridge处理器，理论峰值性能为422.4GFLOPS.

天河2号的每个至强MIC加速渊有57个核。每个核可以同时执行4个线程，因此每个核每个

周期最多可以完成16个双粘度浮点运算，若MIC的主频为LIGHz,其理论上的峰位性能为1.003

TI-LOPSP这样，每个计算节点的峰值性能为2*0.2112TI-LOPS+3*1.003TFLOPS或3.43】

TFLOPSo天河2号共有16.000个节点，因此其理论上的峰值性能为54.9PFLOPS。

每个节点带有64GB内存，每个M1C加速器带有8GB内存，因此每个节点的内存为

64+3*8=88GB.16,000个节点中，CPU部分的总内存为16.000*64GB=I.024PB,MIC协处理器

的总内存为16.000*24=0.384PB,因此，天河2号系统的内存总量为I.404PB。

•前端处理器

除计算节点外，天河2号还有一个由4096个FT-I500处理器构成的前端系统，如图12.7所示。

FT-I500处理罂基于SpaeV9架构，由国防科技大学设计，每个处理器中集成了16个核.它采用

40nm工艺生产，主频L8GHz,性能为144GFLOPS,功耗为65瓦特。作为对比，IntelIvyBridge

处理器有12个核，采用22nm工艺，主频2.2GHz,峰值性能为211GFLOPS。

批注［RE3J:Wherewasthisfigureobtained?Doesit

requirepermission?Willitbere-drawninthestyleofthe

figuresinthemaintext?

图12.7FTJ5OO处理器。FTJ500由国防科技大学设计，是飞腾家族的第三弋处理器。

•互连

天河2号使用专门定制的互连网络，THExprcss2,其拓扑结构如图12.8所示。THExprcss2

采用胖网结构，使用了13个576端口的交换机，采用光电混合传临技术。单个NRC的吞吐率为2.56

Tbps。MPI广播操作的带宽为6.36GB/s,在12.000个节点中用1K数据进行测试时，延迟为9us。

Competenode批注［RE4］:Wherewasthisfigureobtained?Doesit

requirepermission?Willitbere-drawninthestyleofthe

□□□□□□□□□□□□□□□□figuresinthemaintext?

□□□□□□□□□□□□□□□□

Competenode

图l2.8THExpress-2互连网络。天河2号使用TH・Express2避免了通信瓶颈。TFbExpress2采用

胖树结构，双向带宽16GB/S。

•软件栈

与天河1-A一样，天河2号仍然使用靓麟（KylinLinux）作为操作系统。朝麟操作系统同样

由国防科技大学开发。有关该系统更诘细的信息，可以参见/wiki/Kylin_

（operaiing_sysiem）。期麟与其他主流Linux操作系统兼容，支持不同结构的微处理器或计算机。

其资源管理是基于SLURM实现的，支持功耗感知的资源分配并使用多个定制的调度策略。

它带有Forlran、C、C++以及Java编译器，支持OpenMP以及基JMPICHv3.0.4的MPI3.0,实现

了多通道消息数据传递、动态流控制，并支持卸载聚合操作。此外，还开发了一个叫做OpenMC

的基于指导语句（dircclivc）的节点内编程模型，以替代OpenMP并与CUDA、OpcnACC或OpcnCL

结合使用。作为种新的抽象，OpenMC为包括CPU和MIC在内的所TT计算设备提供了一个统■

的逻辑层，并且可以被扩展到拥有相同指令系统的架构和异构处理器上。OpcnMC提供的指导语

句可以指导高效的SIMD操作、数据局帮性开发和数据通信。

天河2号使用IntelICC3.0编译器，并自带一个基于InicIMKL11.0.0的数学库，以及一个由

国防科技大学优化的基f至强MIC的BLAS库.

•HPL基准程序的测试结果

获得图12.9中的最高HPL性能仅使月了天河2号中90%的节点，使用更多的节点进行测试可

以进一步提升性能。用测量得到的HPL性能除以系统的总功耗I7.6MW,再除以老行基准程序时

所用节点数占总结点数的百分比，就可以得到系统的性能功耗比（单位：FLOPS/Watt）.以使

用14.336个节点进行测试为例，此时用到总结点数16.000的90%,获得的性能为30.65PFLOS,因

此性能功耗比为30.65/17.6/0.9=1.935GKLOPS/Watto在2012年II月那期TOP500AF行榜中，排

名前5的机器的性能功耗比（R位为GFLOPS/Watl）分别是：泰坦（Titan）,2.143：红衫（Sequoia）,

2.069；京（K）,0.830；米拉（Mira）,2.069；以及JUQUEEN,2.102,

jttii[RES]:Wherewasthisfigureobtained?Doesit