混合架构超算平台助力高校科研

1、混合架构超算平台助力高校科研高性能计算高性能计算是第三大科研方法高性能计算已同理论研究和科学实验一起成为人类探索未知世界的三大科学手段，被 称为支撑科学发现的第三个支柱，科技进步的重要标志之一，也是国家科技综合实力 和高校科研创新能力的综合体现理论 实验高性能计算国家发展战略2015年7月，美国正式启动“国家战略性计算计划”（National Strategic Computing Initiative，NSCI），旨在使高性能计算的研发与部署最大程度地造福于经济竞争与科学 发现2015年9月，欧盟1.4亿欧元资助多个高性能计算项目和卓越中心，开启百亿亿次计算项目研究，欧洲超算联盟启动2020

2、地平线计划2016年5月，中共中央、国务院印发了国家创新驱动发展战略纲要， 推动宽带移动互 联网、云计算、物联网、大数据、高性能计算、移动智能终端等技术研发和综合应用高性能计算高性能计算应用学院信息学院土木 学院生命学院大气学院化工学院数学药学学院院学院高校计算模拟应用领域核学基础医学院 草业 院 资环物理学院学院分布双 一 流 学 科重 点 学 科计算模拟特色应用领域高性能计算应用大气沙尘对我国西北半干旱气候影响机理的研究物理引力波探测数据处理生命干旱区与高寒区生态修复与应用物理量子色动力学与强子物理研究资源环境气候动力学及不同尺度气候变化研究化学基于分子模拟、复杂网络和深度学习的药物研究泛

3、第三极生态环境与气候变化前沿科学中心泛第三极生态环境与气候变化研究祁连山研究院祁连山生态环境保护管理与可持续发展西部生态安全省部共建协同创新中心多圈层相互作用及其环境气候效应高性能计算情况高性能中心基本情况高性能计算中心由“十一五”、“211工程” 项目资助建设，总投资450万元人民币，于2006年9月建成，计算能力889. 6 GFlops 2011年GPU计算平台高性能计算平台成果研究项目和论文：支撑973、国家重大项目、科技部国家科技基础条件平 台、国家自然基金等项目，依托平台计算发表的论文过百篇； 百篇最具国 际影响力论文；百篇优秀博士论文资源共享：中国教育科研网格China Grid

4、项目国际交流与合作：环太平洋网格中间件联盟PRAGMA培养交叉学科人才：培养的化工学院博士中已有11人次获得国家自然科学 基金的资助；并行应用挑战赛西北及东北赛区一等奖；下一代互联网技术 创新大赛三等奖；高性能云计算创新大赛一等奖；高性能计算调研高校高性能计算平台建设情况（2013年以后）学校名称计算能力学校名称计算能力北京大学1000万亿次（2017）南京大学870万亿次 （2017）山东大学384万亿次（2017）武汉大学300万亿次（2016）大连理工366万亿次（2015）中国科技大学3000万亿次（2019）上海交通大学2300万亿次（2019）南方科技大学2000万亿次（2018）

5、2015年中国 HPC TOP100榜单榜单最末位（第100位）的理论计算峰值370万亿次/秒校级超算平台规模已经由百万亿次到千万亿次高性能计算调研主要学院计算资源调研情况单位软件运行平台并行方式物理、化学、土木、药学院、数学VASP、Siesta、Matlab、NAMD、GROMACS、Gaussian、Wien2k、Tensflow、Fluent等Ubuntu CentosRedhatMPI OpenMPCUDA大气、资环学院WRF、CESM等Ubuntu CentosMPI OpenMP生命学院BWA、GATKFalco、 Blast等Ubuntu CentosOpenMP MPI高性能

6、计算调研不同应用需要不同类型计算节点应用类型配置应用学科计算密集型高主频CPU力学，有限元分析，蒙特卡罗模拟内存密集型高带宽内存基因比对、生物信息学、量子化学、 地理信息学、理论物理、电磁仿真、 分子动力学网络密集型高速IB网络分子动力学、药物研发IO密集型高带宽，大容量并行存储气候、资源环境模拟、基因加速型GPU卡生物信息学、计算化学、深度学习、流体力学平台建设面临的挑战平台建设挑战用户计算需求多样性满足多个学科应用特点技术的发展新模式的出现科学计算人工智能数据处理平台需求校级平台整体需求硬件环境软 件 环 境系统维护需要专业级别的系统管理 员维护，管理员技术较高;满足不同学科需求多种架构混

7、合集群；高性能、高扩展性的存储；高带宽、低延迟的高速网络；学科软件多样化，系统环境复杂作业调度策略复杂；使用用户较多，加强集群资源管理，限制 用户计算资源；系统安全要求；需要采用专业的集群管理软件；总体建设目标计算能力达到1000万亿次、4PB存储、100G高速网路的计算平台完善的软件环境，高性能计算、大数据、人工智能、云计算、深度学习、数据分析满足我校多个学科的计算与海量存储需求建设目标气象环境 天气/气象预测 污染/臭氧空洞水文地质生命科学医学/生物学 基因测序/蛋白质生态学材料学/化学 纳米科学 分子动力学 药物设计 量子化学地球/地理地球模拟地理信息空间数据资源环境保护草业大数据分析

8、基因组转录组 表达量计算计算物理天体测量/天体力学引力波探测统计物理与复杂系统凝聚态物理平台架构本地计算中心数据仓库应用仓库数据分析大数据深度学习成果共享用户社区知识传承资源调度权限隔离容器引擎公有云虚机引擎混合设计架构教学实训平台拓扑整体方案拓扑图整体浮点计算能力：1218万亿次机房建设机房采用模块化机房，占地小，供电、散热、网络管理、监控、消防一体化高可用性、高可靠性、高安全性、高可扩展性智能：数据中心量化可视，信息全面 掌控平台特色方案特点1-容器Docker非root用户使用授权问题调度管理器的资源限制无法施加到容器中MPI应用程序在Docker上性能不高网络栈对Docker私有导致对

9、Infiniband不完全支持SingularitySingularity对MPI支持的版本有限社区以及镜像市场没有Docker成熟和丰富Nvidia-docker一个可以使用GPU的Docker平台特色方案特点1-容器产品功能复杂运维解决运维人员不得不管应用，需要管理复杂场景的问题科研效率低解决各个学院建设时，用户需要对平台系统维护， 浪费时间研究平台，科研效率降低的问题需求爆炸性增长解决各个学科对计算需求爆炸增长，应用软件日新 月异，计算工具五花八门的问题人才培养解决社会对HPC、大数据、人工智能相关人才大量 需求，传统建设方案无法支持人才培养，问题日益 严峻的问题。平台容器化整个平台采用

10、统一的容器调度系统，Linux的软件、环境在 容器内实现，Windows的软件、环境以虚拟化形成实现。场景镜像化整合不同软件、不同环境、不同场景，打包成不同的镜像模板，通过应用商店形式发布，并可进行一键创建。场景共存化支持单机交互计算（命令行终端、图形桌面应用）、HPC调 度系统（Slurm、Torque、PBS ）、大数据、人工智能以 及预处理、数值计算、后处理工作流模式等场景共存。自主可控容器为自己开发，完全自主可控，可根据需求进行不同的功能定制和开发。解决方案平台创新OpenFOAM制造传统业架构TaiShanTaiShan传统生架命构科学 TaiShanCANU传气统象架海构洋WRF方案特点2 -基于自主可控CPU的计算集群性能提升TaiShan 2280V2 248=96核心平台测试方案测试联科CRCT容器、华为云泰山服务器测试CPU型号Intel(R)Xeon(R)Gold 6151 CPU 3.00GHz218 36核内存192G网络100G Infinband操作系统Centos7.3编译器Intel MPI应用Matlab 、 VASP 、 WRF 、PISM和COMOSOL服务器TaiShan2280V2(CPU ： 2 * 鲲鹏 9202*48核内存256G操作系统Centos7.3编译器Open MPI应用WRF算例2010年8月1日到30日 发生在青藏