高性能计算解决方案-华为

华为高性能计算解决方案概览1.1HPC概述高性能计算系统概述（source：）2000~20131990-20001980-19901970-1980MPP向量机DSMCluster高性能计算系统的架构演变全球HPC系统主流架构（cluster和MPP）以计算为目的，使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算系统和环境什么是高性能计算高性能计算系统的应用领域气象环境中尺度、中长期预报、海洋、环境预报动漫渲染

图像处理、高清视频、三维渲染石油勘探地震资料处理、地震资料解释、油藏模拟生命科学

序列比对、分子对接、分子动力学CAE仿真

结构分析、流体分析、电磁场分析物理化学

量子力学、分子力学、蒙特卡罗分析高性能计算应用领域高性能计算系统组成Application:计算应用ScalableFileSystem:集群存储Middleware:计算通信中间件DevelopmentTools:开发工具OperatingSystem:集群操作系统Interconnect:高速计算互联设备Server:节点效劳器Storage:硬件存储设备ClusterManagement:集群和资源管理DeploymentToolkit:部署工具ChangeManagement:

配置变更管理HealthMonitoring:

状态监控JobScheduling:

作业调度高性能计算系统的开展趋势世界第一的超级计算机最大计算能力TOP500单位能耗计算能力Source:Top500官网计算能力每年成倍增长

单位能耗计算能力快速提高MFlops/Watt高性能计算系统的开展趋势Source:Top500官网计算功耗逐年增加Source:InterSect360电力和冷却占整体机房设施费用70%以上X86,Linux,刀片系统,高速网络占据主流高性能计算系统的开展趋势100%75%50%25%全球TOP500高性能计算机的使用情况81%10%95%66%41%处理器操作系统构建方式互联网络IntelX869%AMDX869OthersLinuxBlade16%43%34%IBGEOthersOthersOthers5%高性能计算开展中遇到的挑战

扩容部署复杂，重复利用已有投资困难高性能计算机能耗问题越来越突出Top计算机的耗电量相当于一个中型城市日常耗电量，Top500计算机仅有167个出现在GreenTop500榜单中我们的超算平台要分好几期建设，扩容很不方便，且部署复杂，费时费力。——欧洲某高校超算中心主任管理困难，缺乏直观的管理和流程定义工具应用计算量快速膨胀，对性能要求越来越高生物基因测序的步骤很复杂，分支很多，新计算任务的上线很耗时间，效率低下。——中国某生物基因公司研究员我们的渲染业务发展很快，对计算资源的需求正在急剧膨胀——美国某媒体制作公司高管挑战概览1.2华为All-in-one高性能计算解决方案集群管理业务管理刀片节点IB/10GE交换机IB/10GE业务网络GE管理监控网络计算集群GPGPU机架存储集群GE交换机机柜存储Phi机架存储固态存储模块化数据中心集装数据中心交换网络管理节点华为高性能计算解决方案示意图并行文件系统并行环境系统部署定制开发备份恢复编译开发环境行业应用效劳平台CAE/CFD生命科学石油勘探动漫渲染气象环境科研教育GPGPU机架机柜存储Phi机架存储固态存储GE交换机IB/10GE交换机刀片WindowsLinuxCentOS+计算存储网络硬件资源操作系统计算环境系统环境高性能集群管理软件CHESSPBSWorksPlatformJHScheduler炫云Bright集群管理集装数据中心模块化数据中心根底设施华为高性能计算解决方案全景图

大型中型小型AllInChassisAllInRackAllInRoom高效敏捷统一管理适配业务特征高度集成快速部署一体化设计按需部署高效节能节约投资华为高性能计算解决方案交付形态

AllInChassis解决方案：高度融合高密计算、大容量存储和高带宽网络特性说明12U8/16/32刀片，单框64个至强处理器，浮点计算能力达16.5TFLOPS单框12TB高性价比内存，虚拟化和大数据分析轻松应对单框15.6Tbps背板带宽，数据库集群极速互连支持InfiniBandQDR/FDR

,支持IBEDR演进支持GPGPU辅助加速计算主要应用场景小型超算用户：例如普通大学超算中心、各部委科研所、各地动画基地渲染农场等计算节点储存节点交换模块All-In-Chassis：小型HPC系统解决方案

All-In-Chassis标准配置机框组件产品型号数量机框E90001管理节点&计算节点CH1408加速节点CH2212胖节点CH2401存储节点CH2221一体化HPC解决方案，预安装华为

集群管理软件计算能力：

10.6TFLOPS,存储能力：13.5TB,最大功耗:10KW特性说明一体化集成、快速部署机柜42U、24U可选，交付周期短高度集成效劳器、路由器、交换机、UPS、配电单元、监控单元、PDU、散热系统于一体、即插即用模块化设计、灵活扩容模块化架构，IT机柜、网络机柜、电池柜功能柜按根本单元灵活组合UPS、电池包、配电盒等采用标准19”插框设备，按需部署智能高效，绿色节能采取机柜自然通风散热，节能环保；排风风扇采用直流变速风机，根据环温动态调节转速，高效节能主要应用场景中小企业IT应用、大型企业分支、电子校园等All-In-Rack一柜式HPC解决方案，高集成度设计，集成根底设施，IT设备于一柜，即插即用All-In-Rack：中型HPC解决方案

All-In-Rack标准配置组件产品型号数量机柜标准机柜1计算节点E90002CH14032管理/监控/存储节点RH1288V26管理:1监控:1存储:4存储设备S2600T1计算能力:33TFLOPS

存储能力:144TB最大功耗:25KW机柜特性说明适应性强，空间利用最大化最低只需2.6m的安装层高通过单双排灵活排列，最大化利用空间按需部署，快速便捷通过工厂预制与标准化的接口，1周内即可完成现场安装，部署速度提升50%模块化架构，高效节能满足高能效低PUE行级空调、模块化UPS、密闭通道、高集成配电柜的联合应用使PUE降至1.5以下主要应用场景定位大中型数据中心，可广泛应用于政务网、教育医疗、中小企业、大型公司分支机构、呼叫中心和金融网点等采用All-In-Room模块化设计理念，实现快速建设，按需部署，高效智能单排双排All-In-Room：大型模块化机房HPC解决方案

All-In-Room标准配置中型模块化机房22标准机柜(42U)，

最大可扩展到28个最小PUE<1.3整体IT功耗：133KW输入配电柜输出配电柜电池空调计算柜空调存储柜空调空调空调计算柜计算柜GPU柜胖节点柜网络柜密闭冷通道计算能力:187TFLOPS@322nodes存储能力:1PB,IO能力：12GB/s空调UPS6600mm3600mm2.1华为高性能计算解决方案部件详解计算高性能集群管理软件IT硬件集群管理软件根底设施机房机柜存储网络华为高性能计算解决方案主要部件2.1华为高性能计算解决方案IT硬件详解硬件之计算设备－华为效劳器产品全景图BladeserverE6000ConvergedinfrastructurebladeserverE90002U2/4nodesX6000CabinetserverX800044UCH121CH220/221CH222CH240XH310/311XH320XH621BH620BH622BH6401U2PRH12882U2PRH22852U2PRH22882U4PRH24852U4PRH24884U4PRH58858U8PRH8100CH242BH621DH310DH320DH628CH140刀片效劳器高密度效劳器机架效劳器节点分类特征刀片服务器机架服务器计算型节点提供高密度计算能力CH121CH140RH1288GPU节点提供异构加速能力CH221RH2288H存储型节点提供较大本地存储能力CH222RH2285胖节点提供大内存运算能力CH240CH242RH5885RH2485HPC计算节点

简单---深度融合计算、存储和网络。快速部署，使部署周期从几周缩短到几天高效---

计算密度提升66%，虚拟机数量提升30%，数据库应用性能提升4倍节约---支持未来三代处理器和未来十年网络技术的演进64CPU/12UNo.1计算密度〔2S〕15.6

TbpsNo.1背板交换带宽15

TBNo.1单存储刀片容量40°CNo.1可靠性胖节点胖节点存储型节点计算型节点计算型节点GPU节点GPU节点E9000融合架构刀片服务器CH121CH140CH220CH221CH222CH240CH242计算设备刀片效劳器E9000：融合架构效劳器

高密刀片：CH140标准刀片:CH121形态半宽单槽2个2路刀片服务器处理器数量4个处理器型号Intel

Xeon

E5-2600系列4核、6核、8核处理器内存插槽每个2路刀片8DDR3

DIMM插槽，最大内存容量512GB硬盘数量每个2路刀片1个2.5英寸SSD工作温度5℃-35℃尺寸210mm×525mm×60mm形态半宽单槽1个2路刀片服务器处理器数量2个处理器型号Intel

Xeon

E5-2600系列4核、6核、8核处理器内存插槽24DDR3

DIMM插槽，最大内存容量768GB硬盘数量2个2.5英寸SSD工作温度5℃-40℃尺寸210mm×525mm×60mm计算型节点

形态全宽单槽2路刀片服务器处理器数量2个处理器型号Intel

Xeon

E5-2600系列4核、6核、8核处理器内存插槽24个DDR3DIMM插槽，最大内存容量768GB硬盘数量2个2.5英寸SSD、SAS或SATA硬盘IO扩展支持扩展1个PCIe

x16全高全长的GPGPU或PHI工作温度5℃-40℃形态2U机架服务器处理器数量2个处理器型号Intel

Xeon

E5-2600系列4核、6核、8核处理器内存插槽24个DDR3DIMM插槽，最大内存容量768GB硬盘数量12*3.5’+2*2.5’or8*2.5’or26*2.5’SAS/SATA硬盘，支持RAID0/1/5/10/50/6/60IO扩展支持扩展1个PCIe

x16全高全长的GPGPU或PHI刀片效劳器：CH221机架效劳器：RH2288HGPU节点

形态全宽单槽2路刀片服务器处理器数量2个处理器型号Intel

Xeon

E5-2600系列4核、6核、8核处理器内存插槽24个DDR3DIMM插槽，最大内存容量768GB硬盘数量15个2.5英寸SSD、SAS或SATA硬盘工作温度5℃-40℃尺寸423mm×525mm×60mm形态2U机架服务器处理器数量2个处理器型号Intel

Xeon

E5-2400系列4核、6核、8核处理器内存插槽12个DDR3DIMM插槽，最大内存容量768GB硬盘数量12*3.5’+2*2.5’or8*2.5’or26*2.5’SAS/SATA硬盘，支持RAID0/1/5/10/50/6/60刀片效劳器：CH222机架效劳器：RH2285存储型节点CH240CH242形态全宽单槽4路刀片服务器全宽单槽4路刀片服务器处理器数量2/4个2/4个处理器型号Intel

Xeon

E5-4600系列4核、6核、8核处理器Intel

Xeon

E7-4800系列6核、8核、10核处理器内存插槽48个DDR3DIMM插槽，最大内存容量1.5TB32个DDR3DIMM插槽，最大内存容量1TB硬盘数量8个2.5英寸SSD、SAS或SATA硬盘8个2.5英寸SSD、SAS或SATA硬盘工作温度5℃-40℃5℃-40℃RH5885HV3（四路）RH8100V3（八路）形态4U机架服务器8U机架服务器处理器数量2/4个8个处理器型号Intel

Xeon

E7-4800系列6核、8核、10核处理器Intel

Xeon

E7-8800系列8核、10核处理器内存插槽96个DDR3DIMM插槽，最大内存容量6TB192个DDR3DIMM插槽，最大内存容量12TB硬盘数量23个2.5英寸SSD、SAS或SATA硬盘12个2.5英寸SSD、SAS或SATA硬盘CH240CH242胖节点

OceanStorS2200TOceanStor18000Series企业级存储固态存储OceanStorN8500OceanStorS2600T/S5500T/S5600T/S5800T中低端统一存储OceanStorCSE(数据效劳)OceanStorReplicationDirector(灾难恢复)OceanStorS6800TOceanStor9000OceanStorDeviceManager(设备管理)eSight(存储资源管理)入门级存储大数据存储软件产品硬件产品OceanStorDorado2100G2/5100硬件之存储设备

55TBNo.1全局缓存创新的架构---业界首创的存储、分析、归档全融合架构，信息全生命周期管理。创记录的性能---五百万OPS，性能业界3倍。百GB级吞吐量，并发速度提升2倍良好的扩展性---分布式文件系统，支持最大288节点扩展200GB/sNo.1吞吐量5,000,000OPSNo.1性能288nodesNo.1扩展性40PBNo.1容量NEWIndustry'sfastestbigdatastorageplatform5,000,000OPS200GB/s288nodes40PB55TB大数据存储设备：OceanStor9000

Lustre并行存储方案NFS集中存储方案NAS一体化存储方案存储方案S2600TOSSPairactiveMDSPairStandbyInfiniBand/10GE交换机

OSTOSTMDT......千兆系统管理网I/O网络FC存储网系统管理网络OSTOSTOST......activeactiveOSSPairactiveactiveS5600T方案描述IO节点+FCSAN全冗余架构MDS及OSS均采用RH22885HV2机架效劳器S2600T存放元数据,盘控一体,配置12块600G15KSAS高速硬盘,做RAID10每个S5600T配置60块2TBNLSAS大容量硬盘,做6组RAID6(8+2),存储对象数据效劳器和FCSAN都采用FC直连,模块化扩展,每个S5600T模块可提供2GB/s的访问带宽存储热备盘另配.Lustre并行存储方案

RH2285V2RH2285V2heartbeatMana/fencedeviceIB/10GEGEFiberChannel计算网络S2600T磁盘框MiniSASCable高可靠、高性能NFS存储方案。NFS集中存储方案Lustre一体化方案优化的商用Lustre文件系统，强大的界面管理工具，化繁为简高性价比效劳器集成LSIMegaRAIDHA控制卡，直连6GSASJBOD模块化设计，容量和性能随模块增加而扩展1U效劳器和4U75盘高密JBOD，提供高达300T的裸容量。高扩展性高密设计高易用性MetadataServerObjectStorageServerObjectStorageServerObjectStorageServerObjectStorageServer刀片集群机架集群管理节点LustreClientLustreClientLustreClientQLogic网络CE12812CE12808CE12804CE5800CE6800旗舰级核心交换机高性能TOR交换机S6700S5700以太网交换机IB交换机S7600Mellonax:MIS51xxMIS52xxMIS65xxMellonax:MIS50xxMIS60xxIntel12200ADAPTERSSWITCHESCABLESSOFTWARE硬件之网络－外部交换机

CX110GE交换机CX310、CX31110GE/FCOE融合交换机CX610InfiniBand交换机CX91110GE/FC交换模块CX116GE交换机CX31710GE交换机网络E9000：提供HPC应用主流交换模块数据网络:用于存储或者数据传输;计算网络:用于计算过程中的消息传递管理网络:用于集群系统管理存储设备集群管理系统计算集群管理网络胖节点胖节点数据网络计算网络…典型组网拓扑

结构系统通道IDS1000-AIDS1000-C室外场景:集装箱数据中心IDS2000-SIDS2000-MIDS2000-L室内场景:模块化数据中心方案产品技术柔性架构精确制冷智能管理

高效供配电供配电系统制冷系统冷冻水型风冷型软件平台+硬件管理系统UPSPDU机柜硬件之机房模块化架构，IT机柜、网络机柜、电池柜功能柜按根本单元灵活组合UPS、电池包、配电盒等采用标准19”插框设备，按需部署，灵活扩容模块化一体化机柜42U、24U可选，交付周期短、快速部署高度集成效劳器、路由器、交换机、UPS、配电单元、监控单元、PDU、散热系统于一体、即插即用绿色化采取机柜自然通风散热，节能环保；排风风扇采用直流变速风机，根据环温动态调节转速，高效节能高集成度设计，集成根底设施，IT设备于一柜，即插即用机柜

2.2华为高性能计算解决方案软件详解功能完备的集群管理和部署工具可视化工作流工具，支持自定义流程智能的能耗管理和灵活的调度策略高效易用友好的图形化统一管理界面完善的作业管理和调度功能支持多种类型的并行计算任务可靠支持1000节点以上中大规模运算管理节点互备，快速故障恢复运算过程checkpoint，单点故障后续算专业7*24小时专业支持效劳遍布全球的售后支持网络定制化效劳集群管理软件WebserviceinterfaceWebportal/CLIHTTP/SSHHTTP/HTTPSRHEL5.x/6.xSLES11.xCentOS5.x/6.x生物制药仿真动漫渲染石油勘探预集成行业应用软件，集中调度管理维护简单定制开发并行库数学库编译器调试器作业调度集群监控能耗管理告警管理集群管理用户管理记帐统计安装部署模块化，可扩展，易升级华为高性能集群管理软件架构

模板提交方式预集成典型应用通用任务提交方式命令行提交方式灵活的作业提交方式

。。。

邮件通知

数据转移后处理

调度执行

预处理作业提交工作流引擎以工作流引擎为根底的作业生命周期管理完备的作业管理

丰富的策略管理功能先来先服务MINRESOURCEMAXBALANCE任务调度策略资源分配策略资源限制策略抢占策略回填策略预留策略基于优先级策略限制活动作业限制系统作业限制空闲作业ReQueueSuspendFirstFitBestFitGreedy资源预留高效的作业调度

用户目录1用户目录2用户目录3用户目录4外部存储运算结果自动传输功能强大的web数据管理功能平安隔离的用户数据完整的业务数据管理

集群节点管理:注重整个集群中节点操作，如上下电；调度系统节点管理:关注调度信息,如是否接收作业操作。分角色的集群节点管理调度相关计算节点管理带外节点管理带内节点管理通过并行命令可以同时对多个节点下发命令多维度的集群节点管理多节点并发管理统一的集群管理

直观的集群监控负载内存CPU网络IO一周一天二小时一小时丰富的监控指标集群整体性能状态监控单个节点性能状态所见即所得的设备管理丰富的告警类型灵活的告警查询可配置的告警阈值提供CPU负载、CPU温度、磁盘容量、内存容量、主机连接状态、系统效劳状态、自定义效劳等多种告警可按主机，类型，级别及时间查询历史告警信息可配置不同告警阈值，以灵活应对变化邮件发送通知，以便及时处理方便的告警通知丰富的告警管理

聚合监控系统的资源状态和资源需求，为能耗分析提供统一数据计算集群信息调度系统作业信息根据能效监视数据及能耗配置信息，提供节能建议丰富的节能算法支持自定义算法可动态配置QoS信息能效监视分析诊断自动处理根据分析诊断建议，自动或人工确认完成系统的处理节点下电/降频节点上电智能的能耗管理

统一的用户管理功能基于用户的计费管理功能支持与操作系统统一的用户以及群组管理，批量导入用户功能与调度算法结合指定优先级及资源限制。可导出指定时间段内，用户作业产生的费用报表完善的帐号管理

部署节点…管理节点业务量上升界面添加节点计算节点界面操作，方便快捷的扩减容业务量增加时扩充集群规模，应对大量任务；业务量减少时缩小集群规模，实行资源共享，提高资源利用率。配置简单,一键执行批量安装,省时省力动态伸缩,界面操作批量安装(OS、软件等)便捷的集群部署、灵活的规模伸缩

实时的流程运行监视图并行分支条件分支图形化的元素便捷的设置拖拽式的流程设计完备的流程实例管理图形化的设计工具，支持多种流程完备的流程实例管理功能友好的流程设计与直观的流程管理

镜像备份通过镜像恢复故障节点通过镜像批量部署同步备份管理节点热备，主节点故障时快速接管。整个集群备份，在整个集群出现故障时，快速恢复安装好的初始节点支持系统镜像管理：创立、删除、浏览节点快照，快速恢复方便的备份与恢复，高可靠系统

2.3方案优势详解端到端全领域、全生命周期HPC解决方案行业解决方案集群平台软件效劳器&存储网络&平安数据中心微数据中心模块化数据中心集装箱数据中心S5700S7700S9300S9700CE12800USGAntiDDOSNIPiSOCUMAVSMX6000E9000

RH2285RH2288RH2485RH5885S5600TS5800TN8000UDSS6800T编译工具(intel,pgi,gcc)并行计算库（OpenMPI、MPICH、MPICH2、MVAPICH2、IntelMPI）高速数学库(atlas,MKL,GotoBLAS)集群管理CAE/CFD生命科学石油勘探动漫渲染物理化学气象环境咨询规划1建设部署2迁移整合3定制开发4X8000

OceanStor9000

方案亮点直观图形操作、几十种

调度算法效劳器：105项SPEC世界记录，存储：500万OPS200GB/S吞吐量一体化部署，部署周期从数周缩短到数天从板极到系统级的节能，能耗节约40％极致性能高效管理灵活部署绿色节能

极致性能－－－硬件

计算密度业界第一单框支持64个RomelyEP130WCPU，单框浮点运算性能最大可达16.5TFlopsNo.1性能(5，000，000OPS)，

No.1吞吐量(200GB/S)存储性能业界第一交换能力业界第一单框15.6T背板交换容量，支持40GE以太网和56GFDR支持GPGPU异构加速PCIe扩展能力业界领先众核加速方案计算与网络设备投资节省40%节点减少可使功耗降低30%现有程序移植工作量减少50％＋IntelXeonPhiCH221E9000＋IntelXeonPhiRH2288V2010101010010101010工业制造能源勘探天气预报生命科学电子设计动漫多媒体协处理器加速提升效率，加速应用高性价比绿色节能高可移植性智能管理－－智能管理软件

丰富的策略管理智能的能耗管理方便快捷的扩减容任务调度策略资源分配策略资源限制策略抢占策略回填策略预留策略一键配置执行批量安装动态伸缩能效监视分析诊断自动处理传统HPC系统：10-18周项目启动多厂商采购分批到货系统集成应用部署综合调试平台安装业务上线多厂商安装调试1-3周4-8周1周1周1周1周1周方案设计1-3周All-in-one系统：1周All-in-roomAll-in-chassisAll-in-rack灵活部署－－一站式，极大缩短业务上线时间

国内独家液冷技术方案绿色节能－－从板极到系统级的节能传统数据中心高效UPS行级空调近端制冷模块化设计多种制冷手段2.12.01.61.51.3PUE自然冷却技术1.2NetEco®

智能管理能耗节省>40%系统级节能板级节能低功耗器件选型领先的供电效率供电关相功能高效电源拓扑设计板级液冷方案，支持内存液冷，可现场插拔维护支持集成〔4.5万瓦散热〕和非集成方案〔8万瓦散热〕自动补水，三年内免补水防泄露、防凝露，泄露检测等容灾能力最低PUE<1.2能耗管理能效监视分析诊断自动处理云化演进

公有云物理集群私有云集群管理FusionCluster智能分析诊断华为云平台FusionSphereVMVMVM自动批量安装部署镜像管理一键配置执行批量安装动态伸缩统一资源管理和调度直观管理云化演进自研集群管理软件和云平台软件FusionSphere结合提供云化演进方案应用3.1行业方案CAE(ComputerAidedEngineering)：用计算机辅助求解分析复杂工程和产品的结构力学性能，以及优化结构性能等应用领域：航空航天、汽车、船舶、机械、建筑、电子前处理：几何建模，划分计算网格求解：指定荷载和边界条件，提交给效劳器进行分析后处理：显示结果，评估产品性能CAE仿真CAE常用软件对硬件的需求软件分类软件名称简介可扩展性内存IO网络隐式有限元分析（IFEA）ANSYS通用隐式有限元软件<16CPU16CPU时并行效率一般在50%以下内存需求大每100万自由度需要1-10GB内存IO要求高磁盘IO的时间可占全部计算时间的1/3以上Infiniband比千兆以太网仍有明显优势NASTRAN线性结构分析软件ABAQUS通用隐式/显式有限元软件显式有限元分析（EFEA）LS-DYNA最出色的显式分析软件64CPU+内存需求小每50万自由度需要0.5-1GB内存IO要求高32进程以上建议采用InfinibandPAM-CRASHPAM系列的碰撞和冲击分析软件RADIOSS汽车碰撞、冲击、噪声分析计算流体力学（CFD）FLUENT最通用的CFD分析软件128CPU+足够即可每50万自由度需要0.5-1GB内存IO量较小Infiniband集群的整体性能会有明显改善CFX动力机械领域STAR-CD发动机模拟领域FASTRAN航天航空领域刀片集群E9000SMP节点RH5885管理节点RH2285IB交换机Manllox56GFDR以太网交换机QuidwaySSeries光纤交换机QuidwaySSeries光纤交换机QuidwaySSeriesIO节点存储阵列OceanStorTSeries图形工作站局域网计算网管理网存储网华为解决方案特点：综合了SMP节点和Cluster节点完全基于x86-64处理器的平台采用56Gb全线速的IB网络Esight可对软硬件资源进行全面的监管支持Linux和Windows操作系统华为CAE领域解决方案

石油行业地球物理勘探井位确定石油开采炼化储运石油销售野外作业地震资料处理地震资料解释油藏模拟石油应用产业链浮点计算多核扩展高带宽大内存石油行业HPC的挑战及解决方案

万兆以太网互联GPU/GPGPU技术SSD加速技术Infiniband互联多核/多路/高密效劳器存储技术计算网络互联存储集成管理先进的算法带来计算更高的要求可视化处理要求CPU与GPU的配合高密度、高精度带来了数据量的增加数据量的增加带来了计算量、存储量的增加进而需要更多的计算节点、存储节点进而需要更快捷的网络互联方式来连接计算节点、存储节点更多的节点带来管理的复杂性：机柜多、计算节点多、存储节点多、数据交换机多，设备状态无法及时掌握；更多的节点导致电费、空调的开销在开采和勘探总支出中的占比越来越高绿色节能华为石油行业高性能计算方案

10GE网络千兆管理网络10GE交换机NAS/SAN存储设备GPU节点数据采集节点集群计算节点集群管理节点系统登陆管理10/100/1000M管理交换机管理服务器网络采用10GE，适合石油行业的大量数据I/O，对网络有较高的需求。更高的要求可以用IB。三种计算节点：计算节点:高性能刀片或者机架效劳器胖效劳器节点:SMP架构高性能效劳器，具备多CPU和大内存容量GPU计算节点:效劳器中安装GPGPU卡,使用GPU进行运算加速动漫多媒体模型图抽象骨架渲染图丰满真实单机渲染龟速

集群渲图高效

流程

集群丰满现实强力技术艺术灵光图形渲染集群渲染动漫多媒体领域常用软件软件分类软件名称简介作用三维制作软件MayaAutodesk公司3D软件，支持Windows、MacOSX、Fedora等多平台。设计三维图像，图像建模。3DsMaxDiscreet公司开发，后被Autodesk公司合并。主要支持Windows，也可以通过ParallelsDesktop虚拟化计算运行在macos上。XSISoftimage公司产品，有windows和linux版本Lightwave3DNewTek公司开发的三维制作软件。渲染器RendermanPixar产品，应用最广泛的渲染器之一三维图像渲染工具MentalRay德国mentalimage公司(现已为nvidia子公司)产品渲染管理软件Enfuzion商业软件，支持主流OS及渲染软件。基于网格计算，性能优秀。渲染任务的分发软件，完成渲染任务的调度管理Qube商业软件，支持主流OS及渲染软件。基于mysql数据库，性能优秀。Muster商业软件，只要支持Windows，基于p2p技术，节点超过50后性能差Drqueue开源软件，支持linux、FreeBSD、OSX，Windows等系统。集群渲染对硬件需求CPU需求：高计算性能内存需求：高内存带宽存储需求：高带宽大容量网络需求：高带宽普通PC每小时渲染1~2帧，单渲染节点的能力和渲染集群的大小决定渲染速度。渲染任务开始后，大量的材质贴图将被读取到内存中，然后开始渲染图像，在此过程中，CPU与内存的通讯非常频繁。分辨率越高，材质贴图越多，内存带宽要求越高。120分钟的4K电影数据量：4K：4096×3112×3×8/8/1024/1024≈40M；40M/帧*24帧/秒*7200秒=691200m=6.6T存储的数量量大，为提高存储速度，需要提供高带宽(并行文件系统)大容量的存储。在通过渲染农场进行网络渲染时，一旦管理效劳器下达渲染任务，所有的计算节点便开始从网络共享存储中去读取材质贴图和目标文件，因此，高带宽的网络将大大地缩短预读数据的时间。华为动漫多媒体领域解决方案基于自主的计算、存储及交换硬件平台。计算采用高密度(12U32节点)的E9000刀片效劳器。存储采用基于巫山文件系统的OceanStor9000并行存储。IB/10GE根据业务需求灵活选择。Esight可对软硬件资源进行全面的监管。业务管理网络硬件管理网络OceanStor9000并行存储E9000刀片效劳器计算集群管理效劳器IB/10GE交换机图形工作站IB/10GEGE业务管理GE硬件管理主模式：系统主要局部，是主要计算量所在前处理：气象数据的收集和预处理后处理：综合数值天气预报、天气学、统计学等预报结果数值天气预报流程在各种气象预报方法中，中尺度气象在现代气象科学中应用最为广泛数值天气预报：用数学方法构建方程，将气象数据和边界参数导入方程求解，从而预测大气变化和状态气象预报气象预报对硬件的需求软件分类软件名称简介可扩展性CPUIO网络气象预报模式MM5使用最为广泛的中尺度预报模式，后续会转向WRF具备良好扩展性,大部份模式已完成并行化计算量巨大，预报精度提高一倍，其所需计算量将成几何级上涨海洋模式的程序大都对整个系统的IO性能有较高要求,一般要求有分布式IO或者并行文件系统通信极为密集，网络性能要求非常高WRF在MM5模式上发展起来的新一代中尺度模式GRAPES中国气象局自主开发的新一代数值预报系统AREMS武汉暴雨所和中科院研制，适合淮河长江流域暴雨预报物理海洋模式FVCOM非结构网格海洋环流与生态模型ROMS新兴的海洋模式系统POM三维海洋数值模式HYCOM原始方程全球海洋环流模式环境模式CMAQ空气品质模式CCSM3气候系统模式CAM大气环流模式华为气象领域解决方案华为解决方案特点：计算节点：采用E9000，配置E5-2680CPU，注重浮点计算性能。管理登陆节点：采用RH2285V2,双机HA,保证管理和登陆的可靠性。并行存储：采用OceanStor9000，500万＋OPS和200GB/s的性能，满足气象软件的高IO需求。网络系统：计算网络采用低延迟、高带宽的FDRInfiniband，管理网络采用低本钱GE网络。计算节点E9000刀片集群管理登陆节点RH2285V2并行存储N9000高速计算网infiniband网络系统管理网GE网络硬件管理网GE网络华为气象预报HPC解决方案生物科学

生物信息学领域新药研发领域分子动力学模拟领域使用HPC对生物基因数据进行测序、拼接、比对等处理，提供基因组信息以及相关数据系统，解决生物、医学和工业领域的重大问题。使用HPC快速地完成高通量药物虚拟筛选，可使研发周期平均缩短1年半左右、投入减少上亿元。使用HPC进行大规模分子动力学模拟，通过模拟结果来分析和验证蛋白质在分子和原子水平上的变化生物常用软件对硬件的需求领域软件名称简介可扩展性内存IO网络生物信息学-DNA序列比对BLAST、FASTA序列相似性搜索软件定点计算为主，计算任务相对独立，并发效果好程序消耗内存大IO要求高通信较少，用千兆网。网络文件系统的读写对网络性能有一定要求ClustalW多序列比对软件Censor、RepeatMasker重复序列检测软件PHYLIP、PALM系统发育树构造软件药物研发DOCK、AutoDock、FlexX半柔性对接程序多为任务级并行，扩展性好较高的内存需求，每个处理器核心配置1GB较好IO要求高通讯较少，一般千兆网就可以了Discovery、Stuio包含多种尺度的分子对接方法ZDOCK,、RDOCK刚性对接,蛋白质对接MORDOR柔性对接程序分子动力学NAMD模拟大分子体系的并行分子动力学代码非常高的并行加速比一般IO要求高大量的点到点通信，推荐infiniband高速网GROMACS研究生物分子体系的分子动力学程序包CHARMM商业软件，基于CHARMM势场AMBER商业软件，基于AMBER势场LAMMPS大规模原子分子并行模拟器华为生物领域高性能计算方案

IB计算网GE管理网FC存储网计算网络管理网络管理/登陆RH2285LustreSMP节点RH5885MPI节点E9000IO节点RH2285华为解决方案特点：综合了SMP节点和Cluster节点,满足高通量计算和高性能计算完全基于x86-64处理器的平台采用56Gb全线速的IB网络Esight可对软硬件资源进行全面的监管并行文件系统，满足高IO需求应用3.2应用案例英国纽卡斯尔大学医学院生物信息超算系统防灾科技学院地震前兆监测系统土耳其学术网络与信息中心高性能计算平台上海众信生物科技有限公司生物云平台海思半导体高性能仿真平台首都医科大学超算系统DigitalDomain公司渲染平台北京航空航天大学计算机学院高性能计算平台广州国家超级计算中心北京交通大学高性能计算平台华为高性能仿真平台东北大学超级计算中心华为HPC解决方案在其他领域的应用

国家超级计算广州中心客户需求Solution高密节点设计：节点同时支持IntelIvyBridge处理器和XeonPhi协处理器卡