华为高性能计算集群软件方案

1、华为高性能计算集群软件方案1目录1.HPC概述2.华为HPC软件方案概述3.华为HPC软件方案特点4.华为HPC软件应用案例2高性能计算系统概述（source：）200020131990-20001980-19901970-1980MPP向量机DSMCluster01002003004005002009.62009.112010.62010.112011.62011.112012.62012.112013.62009-2013 TOP500 HPC系统架构ClusterMPPSMP高性能计算系统的架构演变全球HPC系统主流架构（cluster和MPP）以计算为目的，

2、使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算系统和环境什么是高性能计算3高性能计算系统的应用领域4高性能计算系统组成Application : 计算应用Scalable File System: 集群存储Middleware: 计算通信中间件Development Tools: 开发工具Operating System: 集群操作系统Interconnect: 高速计算互联设备Server: 节点服务器Storage: 硬件存储设备Cluster Management: 集群和资源管理Deployment Toolkit: 部署工具Change Management: 配置变

3、更管理Health Monitoring: 状态监控Job Scheduling: 作业调度5X86,Linux,刀片系统占据主流，IB和GE平分秋色高性能计算系统的发展趋势100%75%50%25%全球TOP 500 高性能计算机的使用情况81%10%95%66%41%处理器操作系统构建方式互联网络Intel X869%AMDX869OthersLinuxBlade16%43%34%IBGEOthersOthersOthers5%6华为高性能计算解决方案硬件资源硬件资源计算环境计算环境并行文件系统 (Lustre, NAS)管理服务管理服务 操作系统操作系统 (RHEL 5.x/6.x, C

4、entOS 5.x/6.x, SLES11.x)记帐统计并行环境 (MPI/MPICH, PVM等)开发接口应用服务应用服务系统系统部署部署程序程序部署部署备份备份还原还原Intel HPC 编译及开发环境C/C+/Fortran Intel MKL, Intel Vtune监控告警流程管理资源管理作业调度系统服务应用集成华华 为为 高高 性性 能能 计计 算算 服服 务务 平平 台台7目录1.HPC概述2.华为HPC软件方案概述3.华为HPC软件方案特点4.华为HPC软件应用案例8Huawei HPC软件解决方案包HPC集群常用组件华为WisdomC+ 高性能计算软件包1操作系统RedHat

5、 Linux 5.x, 6.x，CentOS 5.x, 6.x2集群管理工具WisdomC+ 集群管理工具，3资源管理和作业调度管理器WisdomC+ 作业调度和资源管理4并行计算消息通讯库、测试工具WisdomC+ 并行计算组件包5文件系统NFS，Lustre6集群部署工具WisdomC+ 集群部署工具7工作流组件WisdomC+ 工作流工具8节能管理组件WisdomC+ 节能管理工具9许可证管理组件WisdomC+ 许可证管理工具10统计分析组件WisdomC+ 统计分析工具11帐户及计费管理组件WisdomC+ 帐户及计费管理工具9支持的典型行业应用行业主要的计算任务支持的行业应用软件产

6、品CAE几何建模电磁仿真计算流体力学有限元分析HFSS、COMSOL、Feko* (EMSS)、CST Microwave Studio、Zelan Fidelity、ABAQUS、ANSYS、LS-DYNA、FLUENT、STAR-CD 、Hspice、Maxwell、PoweSI、OptimizePI基础科学物理科学计算化学分析计算材料科学计算VASP、Gaussian、Materials Studio石油勘探能藏模拟分析地震油层分析油层数据可视化VIIP、Eclipse、RMS生命科学基因测序蛋白质分析医药研究BLAST/MPIBLAST、AMBER、Gromacs、NAMD气象海洋气候

7、模拟气候预测MM5、WRF、ARPS、GRAPES、CMAQ、CCSM10l功能完备的集群管理和部署工具l可视化工作流工具，支持自定义流程l智能的能耗管理和灵活的调度策略高效易用l友好的图形化统一管理界面l完善的作业管理和调度功能l支持多种类型的并行计算任务可靠l支持1000节点以上中大规模运算l管理节点互备，快速故障恢复l运算过程checkpoint，单点故障后续算专业l7*24小时专业支持服务l遍布全球的售后支持网络l定制化服务华为HPC软件特点11模块化，可扩展，易升级Web Service InterfaceWeb Portal / CLIHTTP/SSHHTTP作业调度集群管理集群监

8、控告警管理能耗管理用户管理记账统计安装部署并行库数学库编译器调测器RHEL 5.x/6.xSLES 11.xCentOS 5.x/6.x 生物制药CAS仿真动漫渲染石油勘探软件架构：组件化、Web化、开放预集成行业应用软件，集中调度管理维护简单定制开发12与普通集成方案的区别功能华为HPC方案普通集成方案普通集成方案的补救措施便捷的集群安装和部署YesNo自行下载相关软件，手工进行安装部署统一的图形化集群管理YesNo自行集成第三方集群管理软件直观的集群和节点监控YesNo自行集成和配置第三方集群监控软件丰富的告警管理YesNo应用程序统一访问门户YesNoHPC必备组件(函数数学计算库，开发

9、工具)YesNo自行查找、下载、编译和安装数学库等组件，自行软件包间依赖性问题高效的作业调度器YesNo自行下载、编译、安装和配置作业调度器完备的统计记账YesNo智能的能耗管理YesNo网络并行文件系统YesNo自行集成和配置第三方网络并行文件系统灵活的工作流管理YesNoNO表示尚未具备商用软件能力，YES表示已具备商用软件能力13和普通集成方案对比组件华为HPC方案普通集成方案集群安装部署工具 一键式批量部署，快速完成集群搭建 便捷的部署界面，灵活安装部署新增节点 节点镜像安装和恢复，提供完备的镜像管理手工安装操作系统手工编写安装脚本，软件安装困难无节点备份恢复功能图形化集群管理工具统一

10、的图形化集群管理工具集群节点管理功能、多节点并发命令工具、文件系统管理功能自行集成各种集群管理软件包没有统一的集群管理界面集群和节点监控工具统一的集群和节点监控工具丰富的报表和图形展现自行查找和集成相关监控用以动态监控集群没有统一的集群监控界面告警管理工具丰富的告警管理，系统支持邮件发送通知无告警管理工具应用程序统一访问门户统一的系统门户，支持定制各种应用的作业提交界面，预集成典型应用的作业提供界面无应用程序统一访问界面HPC必备组件(函数数学计算库，开发工具)包含MPICH1/2、MVAPICH、OpenMPI并行通信库，包含MKL、ATLAS等主流数学计算库自行查找、下载、编译和安装数学库

11、等组件，自行软件包间依赖性问题作业调度器提供高效的作业调度器，支持丰富的任务调度策略、资源分配策略和资源限制策略自行下载、编译、安装和配置作业调度器统计记账工具完备的统计记帐工具，按需产生计费报表无统计记帐工具能耗管理工具智能的能耗管理工具，灵活的绿色节能算法无能耗管理工具网络并行文件系统提供功能强大的Lustre并行文件系统自行集成和配置第三方网络并行文件系统工作流管理工具图形化的流程设计工具直观的流程管理界面无工作流管理工具14目录1.HPC概述2.华为HPC软件方案概述3.华为HPC软件方案特点4.华为HPC软件应用案例15灵活的作业提交方式模板提交方式预集成典型应用通用任务提交方式命令

12、行提交方式16完备的作业管理 。 邮件通知 数据转移 后处理 调度执行 预处理作业提交工作流引擎以工作流引擎为基础的作业生命周期管理17高效的作业调度丰富的策略管理功能先来先服务MINRESOURCEMAXBALANCE任务调度策略资源分配策略资源限制策略抢占策略回填策略预留策略基于优先级策略限制活动作业限制系统作业限制空闲作业ReQueueSuspendFirstFitBestFitGreedy资源预留18用户目录1用户目录2用户目录3用户目录4外部存储运算结果自动传输完整的业务数据管理功能强大的web数据管理功能安全隔离的用户数据19集群节点管理:注重整个集群中节点操作，如上下电；调度系统

13、节点管理:关注调度信息,如是否接收作业操作。分角色的集群节点管理调度相关计算节点管理带外节点管理带内节点管理 通过并行命令可以同时对多个节点下发命令统一的集群管理多维度的集群节点管理多节点并发管理20直观的集群监控集群整体性能状态监控单个节点性能状态所见即所得的设备管理21丰富的告警管理丰富的告警类型灵活的告警查询可配置的告警阈值l提供CPU负载、CPU温度、磁盘容量、内存容量、主机连接状态、系统服务状态、自定义服务等多种告警l可按主机，类型，级别及时间查询历史告警信息l可配置不同告警阈值，以灵活应对变化l邮件发送通知，以便及时处理方便的告警通知22智能的能耗管理聚合监控系统的资源状态和资源需

14、求，为能耗分析提供统一数据l计算集群信息l调度系统作业信息根据能效监视数据及能耗配置信息，提供节能建议l丰富的节能算法l支持自定义算法l可动态配置QoS信息能效监视分析诊断自动处理根据分析诊断建议，自动或人工确认完成系统的处理l节点下电/降频l节点上电23完善的帐号管理统一的用户管理功能基于用户的计费管理功能支持与操作系统统一的用户以及群组管理，批量导入用户功能与调度算法结合指定优先级及资源限制。可导出指定时间段内，用户作业产生的费用报表24部署节点便捷的集群部署、灵活的规模伸缩管理节点业务量上升界面添加节点计算节点界面操作，方便快捷的扩减容业务量增加时扩充集群规模，应对大量任务；业务量减少时

15、缩小集群规模，实行资源共享，提高资源利用率。配置简单,一键执行批量安装,省时省力动态伸缩,界面操作批量安装(OS、软件等)25实时的流程运行监视图友好的流程设计与直观的流程管理并行分支条件分支图形化的元素便捷的设置拖拽式的流程设计完备的流程实例管理图形化的设计工具，支持多种流程完备的流程实例管理功能26镜像备份通过镜像批量部署管理节点热备，主节点故障时快速接管。整个集群备份，在整个集群出现故障时，快速恢复方便的备份与恢复，高可靠系统安装好的初始节点支持系统镜像管理：创建、删除、浏览节点快照，快速恢复27目录1.HPC概述2.华为HPC软件方案概述3.华为HPC软件方案特点4.华为HPC软件应用

16、案例28生物超算云服务平台 提供专业的HPC业务流程管理软件，包括流程设计工具、流程执行引擎、流程监控等组件。 依托云平台的海量计算资源和存储资源，充分结合华为云平台和HPC的特点，提供完善的超算云解决方案。解决方案 基因测序软件：BLAST、BOWTIE2、SAMTOOLS 业务处理的步骤多，流程复杂，需要定义流程。客户需求 提供专业的计算业务流程管理服务，有效支撑基因测序等行业应用，极大提高客户业务效率。 充分利用华为云平台的资源，提供按需使用、资源弹性伸缩、智能管理等特性的HPC服务，满足了客户的计算和存储需求。 完善的资源管理、作业调度、用户管理，为客户提供行业整体解决方案。客户价值计

17、算节点: 采用50台高内存C型管理节点: 采用2台标准均衡C型内部存储节点: 采用4台标准均衡E型,采用云存储，提供无限的对象存储能力的服务软件系统: SUSE 、华为集群管理软件（包含工作流组件）29华为中央硬件仿真平台 提供专业的HPC集群管理软件，包含安装部署、调度、集群配置、监控告警等 提供web界面，方便进行作业操作以及集群管理维护解决方案 仿真业务需要用到HFSS、Hspice、Maxwell和PoweSI应用软件。 自动化的安装部署工具，操作简单，维护管理便利。客户需求 计算能力由原先200万网格提升到超千万，计算效率提升5倍，长期综合成本可节约XXX万。 用户通过web界面进行

18、作业操作，使得用户不必理解底层调度系统命令，更加聚焦本职工作，提高工作效率。 完善的资源管理、作业调度、账户管理等功能，为客户提供行业整体解决方案。客户价值当前解决方案：计算节点：共60个节点（30台RH2485 + 30台RH2285）管理节点：采用1台RH2285刀片服务器内部存储节点：NFS+华为D5100高速存储软件系统：RHEL5.8 、华为集群管理软件Copyright2012 Huawei Technologies Co., Ltd. All Rights Reserved.The information in this document may contain predictive statements including, without limitation, statements regarding the future financial and operating results, future product portfolio, new technology, etc. There are a number of factors that could cause actual results and developments to differ m