超级计算中心的建设和运营模式

超级计算中心的建设和运营模式曙光信息产业(北京)有限公司2009年10月报告人：聂华建设超算中心成为国家/地区战略任务超算中心规划和建设方式云计算中心的运营服务模式探讨机遇与挑战主题9/18/202329/18/20233“战略计算”一词首次出现在1995年美国为了确保核库存的性能、安全性、可靠性而实施的“加速战略计算创新（ASCI）计划”。ASCI共投资10亿美元，主要参与者有Sandia、LosAlamos、Lawrence三个国家实验室和Stanford、Chicago等五所大学，在工业界选择了IBM、Intel、SGI和Cray四个合作伙伴。ASCI计划为DOE提供了5台10-100TFlops的超级计算机，其中包括我们熟悉的IntelASCIRed、IBMASCPurple等。20年来，美国最大的超级计算机全部部署于DOE的国家实验室。“超级计算”是美国的“国家战略”超级计算保障科技和技术领先活跃的经济创造超级计算需求超算中心是计算能力主要载体过去18个月美国利用超级计算机获得的主要科技突破：解密蛋白质表面结构的特殊作用，为新药研制提供用力的帮助理解火焰中气体/热能/化学反应燃烧三者关系，促进清洁能源研究高温超导材料获得一系列理论突破……上述成果将对生物、制药、新能源、新材料等工业领域产生深远影响，是美国未来竞争力的主要保障“计算科学利用先进计算能力去理解和解决复杂问题，是确保科学领导地位、经济竞争力和国家安全的关键。”——《美国总统信息咨询委员会》报告中国的“两弹一星”、“载人航天”、科技进步、经济腾飞也都离不开“超级计算机”的支撑。发达国家垄断超级计算机资源超级计算是国家/地区核心竞争力的重要标志9/18/20235主要国家均有由政府投资兴建营运超级计算中心

保障计算资源先进性保障计算资源使用的合理性

保障技术服务的专业性韩国超算中心30万亿次芬兰超算中心86万亿次美国圣地亚哥超算中心42万亿次美国国家超算应用中心164万亿次西班牙巴塞罗那超算中心94万亿次美国德州超算中心580万亿次德国尤利希研究中心1000万亿次美国新墨西哥超算中心170万亿次中科院超级计算中心140万亿次上海超级计算中心200万亿次日本东京工业大学GSIC

170万亿次国内外超算中心的建设和发展9/18/20236“超级计算机”的“中国力量”：曙光、银河、神威1983年，国防科大研制成功每秒1亿次“银河”巨型机。1992年，国防科大研制成功每秒10亿次“银河II”巨型机。1995年，中科院计算所研制成功每秒25亿次MPP计算机-曙光1000。1997年，国防科大研制成功“银河III”百亿次巨型机。1999年，国家并行机工程中心研制成功每秒3840亿次的“神威I”。2004年，每秒10万亿次“曙光4000A”超级计算机研制成功，列Top500第10位，标志中国继美、日后，进入世界超算领域前列。2008年，每秒230万亿次“曙光5000A”超级计算机研制成功，再次入围全球TOP500前10名。2009年，国防科大研制成功每秒1.2千万亿次的“天河一号”，受到国人瞩目。“超级计算机”在中国的发展9/18/20237超级计算工业创新科学研究商业金融社会与公众服务国家和社会安全超级计算日益成为现代社会运行的基柱9/18/20238超级计算工业创新科学研究商业金融社会与公众服务国家和社会安全广泛应用于汽车、飞机、船舶、钢铁、石油、新能源、集成电路等众多领域。增加材料产品率25%降低工程技术成本13%~30%降低人工成本5%~20%增加设备利用率30%~60%缩短产品研发周期30%~60%——美国国家科学院工程技术委员会报告工业创新超级计算日益成为现代社会运行的基柱9/18/20239超级计算工业创新科学研究商业金融社会与公众服务国家和社会安全物理，化学，天文，新材料，生物医药等众多领域的主要研究途径之一；宇宙行星、微观粒子、高温高压等难以实验领域进行创新研究的唯一途径。科学研究超级计算日益成为现代社会运行的基柱9/18/202310超级计算工业创新科学研究商业金融国家和社会安全社会与公众服务交易实时处理，金融模拟分析，商业数据挖掘，物流与生产排程规划等。在发达国家，金融是超级计算最重要的应用领域之一；美国有超过10%的超级计算机部署在各大金融机构。商业金融超级计算日益成为现代社会运行的基柱9/18/202311超级计算工业创新科学研究商业金融社会与公众服务国家和社会安全天气预报、传染病扩散、大型集会安全分析、社会动力学、宏观经济学等。基于数学模型使用超级计算机进行数值模拟是上述领域从定性到定量，获得更可信结果的唯一手段。社会与公众服务超级计算日益成为现代社会运行的基柱9/18/202312超级计算工业创新科学研究商业金融社会学国家和社会安全先进武器设计与测试，核物理模拟，密码情报分析，信号与图像处理等。国家安全和社会稳定的重要保障。国家与社会安全超级计算日益成为现代社会运行的基柱9/18/202313计算模拟与传统的理论分析和观察实验是当今进行科研创新的三大支柱计算，创造未来9/18/202314超算中心的建设，因为技术含量高、功能强，能够承载高端的科技应用，聚集高水平的人才，必将提升超算中心所在城市地方科技实力。超级计算中心建设一般规模较大，应用可以辐射周边区域，相邻区域重复建设难度大，所以抢占超算中心建设先机，争夺区域科技发展的引领地位、争取高端产业聚集对建设中心城市至关重要。高性能的超级计算中心建设，可以吸引聚集需要高性能计算平台的高端应用，提升区域科研水平，增强企业的核心竞争力，进而推动城市地方经济建设。超算中心所完成的关键性高端科研项目提升城市显示度和美誉度。具有高性能的超级计算平台，可以作为吸引、引进高端人才的硬件条件，提升城市的教育、科研水平和质量。高性能的超级计算机作为IT基础设施，可以改善区域投资环境，促进城市招商引资。超算中心建设因何成为城市争夺的热点9/18/202315曙光50005个中科院超算分中心曙光5000A上海超算中心已完成2期、3期曙光6000华南(深圳)超算中心曙光5000A成都超算中心曙光4000A甘肃超算中心已完成1期、2期曙光5000北京市计算中心互联网其他：广州超算中心、沈阳超算中心等建设规划已进行立项论证曙光机在国内超算中心中全面部署建设超算中心成为国家/地区战略任务超算中心规划和建设方式云计算中心的运营服务模式探讨机遇与挑战主题9/18/2023169/18/202317第一阶段：前期调研成立筹备组本地高性能计算需求分析厂商技术方案及案例调研第二阶段：可行性研究编写项目建议书，组织评审编写可行性研究报告及评审第三阶段：立项编写项目建设方案及评审政府批准立项第四阶段：土建及选型设备选型及签订合同土建招投标及施工（若有）第五阶段：安装调试机房基础设施准备超级计算机软硬件系统集成技术培训第六阶段：交付运行试运行正式交付超算中心的建设流程9/18/202318面向教育、科研、企业以及政府等单位提供随需应变的计算资源、存储资源和软件资源技术支持服务并行编程，程序移植高性能计算相关软件的应用高性能计算系统环境的使用（作业管理系统、开发环境）高级技术咨询服务和共性技术开发并行软件、专用软件、共享或商业软件的用户定制开发提供高级数学建模、算法设计服务提供虚拟产品设计中以CAE应用（结构分析，流体分析，热分析，电磁场分析，或多场耦合分析）为核心的工程咨询服务培训服务：系统技术，并行编程，计算方法，软件使用，网格计算等为高性能计算机硬件厂商、应用软件厂商提供演示体验中心、用户测试等外包服务为各类欲购置或自行搭建高性能计算平台的用户提供第三方技术咨询软件传播、交流和共享服务。超算中心的核心业务规划9/18/202319建设超级计算中心绝不等同于购置一台高性能计算机，还需要做多方面的系统、业务建设以确保服务质量和使用效率土建、基础设施建设、改造超级计算机系统软件、应用支持人员队伍建设服务运营机制超算中心建设的“复杂性”商业软件资源需求举例9/18/202320序号软件名称描述1FLUENT通用计算流体力学分析软件2LS-DYNA瞬态响应动力学分析软件3PAM-CRASH瞬态响应动力学分析软件4ANSYS.Multiphysics多物理场耦合分析软件5NASTRAN通用有限元分析软件6MARC非线性有限元分析软件7FEKO高频电磁场分析软件8STAR-CD通用计算流体力学分析软件9CFX通用计算流体力学分析软件10OPTIMUS过程集成与优化设计软件11HyperWorks有限元前后处理和优化设计软件序号软件名称描述12ABAQUS非线性有限元分析软件13IDEAS有限元分析及前后处理软件14ICEM-CFDCFD前后处理软件15AI*ENVIRONMENTCAE前后处理软件16GAMBITFLUENT配套前处理软件17MasterFEM有限元前后处理软件18Medina有限元前后处理软件19Oracle数据库软件20GEFEP-P汽车碰撞并行仿真软件21CADEM-P汽车覆盖件冲压并行仿真软件9/18/202321序号软件名称描述1QCHEM量子化学计算软件2NWCHEM量子化学计算软件3GAUSSIAN量子化学计算软件4MOLPRO量子化学计算软件5GAMESS量子化学计算软件6CPMD分子动力学从头计算程序7ABINIT电子结构计算程序8VASP分子动力学模拟9SIESTA分子和固体的电子结构计算10WIEN2K固体电子结构计算11ESPRESSO分子动力学模拟序号软件名称描述12SMEAGOL分子动力学模拟13NAMD分子动力学计算程序14EGO分子动力学程序15GROMACS分子动力学通用软件包16DOCK分子对接程序17BLAST序列相似性检索程序18MM5中尺度数值模式的计算程序19GRAPES全球和区域气象分析预报系统20FDS火灾模拟程序21COSMOMC天体物理计算科学软件资源需求举例9/18/202322建设保障超算中心业务正常运行的服务和运营团队外派技术和管理人员培训学习，掌握管理与应用的相关技术。招聘高性能计算领域博、硕士研究生到中心工作，以保证超级计算中心拥有较强的技术实力，可以进行多种业务的开展。超级计算中心财务部公共关系部人力资源部技术支持部研究开发部科学计算部办公室工程计算部人员队伍建设举例9/18/202323政府投资建设和运营服务于”长三角“地区制造业、高新技术企业以及教育科研等用户在气象预报、药物设计、生命科学、汽车、新材料、土木工程、物理、化学、航空、航天、船舶等十个应用领域取得了一批重大成果全程保障ARJ支线飞机全机外形、气动阻力、气动升力的设计支持大飞机公司完成翼型、机翼、翼身组合体、发动机吊挂等设计任务支持荣威750、550、奇瑞A3、A01D虚拟设计，A3获CNCAP五星安全大奖上海外环隧道、崇明过江隧道、过江大桥的安全评估和设计仿真对蛋白质-蛋白质相互作用准确预测，完成世界影响力的新药设计和研究船舶水动力特性的数值模拟支线飞机空气动力学设计分析船尾组合浆区域压力发布飞行器优化设计汽车碰撞与安全性评估金属催化过程药分子设计地质构造与抗震性能评估以上海超算为例分析典型超算中心运营模式9/18/202324服务于350家机构的2500名科技工作者支持各类国家和地方科研项目3000个孕育1000篇世界一流水平学术论文保障数百个企业新产品研发和工艺革新催生数十个国家级科技奖项上海超算中心对区域科技创新的巨大作用9/18/202325超算中心需要成功地运营，创造出效益，得到投资者认可，才能获得进一步发展的机会，以上海超算中心为例：超算中心的分期建设原则9/18/202326传统的超算中心主要作为公共计算平台，旨在提升区域科研能力和企业核心竞争力，通常需要财政补贴以维持正常运营。超算中心的收入来源计算资源按需服务高级技术咨询服务企业赞助超算中心的主要支出IT设施电力消耗人员工资等成本物业管理及其他费用超算中心的运营成本9/18/202327全面采用“绿色计算”方案采用高效能服务器系统采用刀片式服务器采用虚拟化技术采用电源管理技术采用水冷散热技术实际效果电费得到了有效控制管理运营人员没有扩编面临的主要问题和难题基础设施的分期改造带来的混乱服务器淘汰更新过快仍然“吓人”的电费账单仍然依赖政府的财政拨款曙光5000A—高度关注运营成本探索适合超算中心应用的新技术和新平台已投入大规模运行的GPGPU机群安装于中科院过程控制研究所业界首款全兼容SSI标准的TC36002009年旧金山IDF大会上正式发布PHPC推动HPC的普及基于龙芯CPU的主板设计PowerConf节能软件9/18/202329政府划拨2000年一期3.5年3000万元2004年二期3年4500万元2009年三期3年9000万元近几年情况2005年2006年2007年2008年2009年2010年总运营费用180020002200270050005000财政拨款150015001500030003000自筹经费300500700270020002000上海超算中心运维资金情况9/18/202330超级计算中心建成时间人员规模设备更新费用来源日常运营费用及来源（美元/每年）美国圣地亚哥超级计算中心1985400联邦机构6000万其中2000万来自NSF；其余主要来自联邦机构、州政府的各个研究项目美国国家超级计算应用中心1986500联邦机构超过2000万美元主要来自NSF，部分来自于州政府（700万）、大学及其他联邦机构芬兰科学计算中心1970140中央政府机构5000万其中65%来自教育部，20%来自合作项目，15%来自其他方面瑞士国家超级计算中心199140联邦机构900万其中850万来自联邦机构；仅有50万来自第三方韩国KISTI超级计算中心1988—中央政府机构3000万其中1000万来自韩国政府直接拨款；1000万来自与政府部门、高校的研究项目；另外1000万来自其他项目国际上超级计算中心维资金情况9/18/202331基础设施一次规划，避免分期改造广泛调研，全面设计，一次投入（总计投入超过7亿）设备分批入场，快速投入运营一期设备快速入场，在2010年直接服务于深交会二期、三期设备按业务需要规模入场，追求综合效益最大化先科学计算，再城市信息服务以现有的科学计算为先导，快速提供服务，快速出成果数字城市、电子政务是华南超算中心未来的主要方向注重公共基础设施服务属性，以政府支持为主强调超算平台对地方科技的强大支撑作用重点发挥超算平台的公益效应华南(深圳)超算中心的建设方式建设超算中心成为国家/地区战略任务超算中心规划和建设方式云计算中心的运营服务模式探讨机遇与挑战主题9/18/2023329/18/202333支持方观点：超算中心建设是一种先进的模式优化、集中IT软硬件资源，本身就是一种节约行为反对方观点：超算中心运营是政府的财政负担经济不足够发达地区，持续的财政拨款需求的确让政府头疼到底谁错了？如果没有超算中心，政府每年分散的IT投资浪费触目惊心虽然有了超算中心，大多数政府并没有改变原有的IT投资方式原有的投资没有减少，又有了新的需求，自然就产生财政负担！问题解决途径：集中投资后，分散投资必须得到有效控制按现有的政府财政申请和拨款模式，很难有效操作从超算中心的自我经营模式寻找突破点新模式的探讨：分散的IT投资，改由政府统一向超算中心采购服务超算中心运营模式引发的矛盾9/18/202334成立事业单位编制超算中心运营团队负责后期运营，主要资金来源为财政拨款，对外服务收入作为有益补充。政府及共建单位成立股份制合资公司进行企业化运营，并由政府提供基础运营费用补贴。政府设定基本运营指标外包第三方企业运营并提供税收减免等优惠政策，企业自负盈亏。在保证运营指标的前提条件下，企业可以利用超算中心进行相关的商业运作，以补充运营费用、提升运营水平。进一步的大胆设想：厂商投资建设超算中心并负责运营，政府定期、定量采购超算中心软硬件服务，以补贴厂商建设投资和超算中心运营费用。新型超算中心的运营模式探索9/18/202335全新建设运营模式：曙光投资建设超算中心并负责运营，政府定期、定量采购超算中心软硬件服务，以补偿建设投资和运营成本。用户收益政府消除了对未来不确定性的担忧。超算中心面向政府信息化应用，将大大提高政府信息系统的集中度，可节约大量经费。政府获得了招商引资的效果。超算中心亦成为城市的科技名片，有较强显示度。成都超算中心的大胆尝试将日常IT投入转化为服务采购9/18/202336利益模型分析超算中心厂商政府服务提供定期定量的服务采购承诺分期回报再投资服务提升优质的呈现达成战略合作协议将日常IT投入转化为服务采购分期回报9/18/202337基于硬件的租赁服务基于人力的技术服务

基于平台的

服务?网络和安全技术

HPC系统运维技术

HPC应用运维技术网格计算技术

并行编程技术

数据处理及可视化

HPC系统技术

应用领域技术基于平台的服务呈现？云计算模式！对成都超算中心建设模式的解读9/18/202338政府主导的新型超算中心建设将进入快速发展阶段超算中心是政府基础设施建设的一部分“公共服务”是未来超算中心的基本属性超算中心应用模式将不断拓展科研类：面向教育和科研领域用户的科学计算应用企业类：提供计算、存储和软件资源，对企业用户提供服务，按需付费政务类：IT投资集中化，建设成政务信息共享、交换中心金融类：面向金融、证券等行业的海量数据挖掘灾备类：面向政府或大型企业提供数据和应用的灾难备份与恢复服务。电子商务类：线上交易平台与商务智能数据处理类：海量互联网数据的处理和分析。超算中心的发展要求超算中心的兴起是IT产业的发展趋势IT资源由分布趋于集中，大型超算中心（乃至未来的云计算中心）的建设将进入快速发展时期资源整合提高使用效率并易于管理和更低的TCO保证最佳的应用水平和服务支持IT资源将以“按需服务On-Demand-Service”模式展现给用户以超算中心为平台支撑的“云计算中心”的呈现软件即服务Softwareasaservice基础架构即服务InfrastructureasaService平台即服务Platformasaservice云计算中心超算中心9/18/202339利用企业、品牌优势进行广泛联合合作，关注云计算技术趋势VMware战略合作关系，开展云计算虚拟化技术领域探索Microsoft战略合作关系，在云计算系统平台技术领域探索INTEL、AMD战略合作关系，在云计算硬件芯片级支持技术方面探索EMC战略合作关系，在云计算数据服务领域探索NOVELL战略合作关系，共同投资建设云计算展示平台SGI战略合作关系，提供大型主机、数据中心与计算解决方案级体验曙光应用体验中心对用户提供免费的云计算体验服务曙光具有云计算平台、云计算技术科研开发力量曙光具有提供多样化云计算硬件平台的优势曙光具有强大的云计算应用支持领域工程师队伍曙光具有提供云计算服务模式的基础曙光具有国内最成功的实战案例曙光迎接云计算时代的到来9/18/202340建设超算中心成为国家/地区战略任