千万亿次高性能计算中心建设可行性分析报告报告材料20100701

1、国家超级计算中心建设可行性报告一、建设超级计算机系统的必要性 超级计算机系统是科技实力和综合国力的重要标志。 超 级计算是采用计算、通信和数据处理能力强大的计算机进行 数据处理、信息服务、在线事物处理和科学工程计算。计算 模拟在新材料设计、新型纳米结构与分子器件设计、全球气 候变化研究、工业工程设计、航空航天器的制造等方面发挥 了重要作用。计算机辅助药物设计改变了药物筛选的模式， 使得新药研发周期缩短了 0.9 年，直接研发费用降低了 1.3 亿美元。事实证明，超级计算机为科学研究和发现提供了强 有力的实验与分析工具，已成为支撑科学研究和高新技术发 展的基础性交叉学科，为越来越多的科学研究和重

2、大工程中 的关键问题提供了新的研究途径，对增强国家安全、提升科 研水平、提高企业竞争力产生了广泛而深远的影响。超级计 算机的能力与水平是一个国家综合国力的重要标志。为适应现代科学与工程研究的发展要求，世界许多国家 都非常重视国家超级计算基础设施的建设，制定了国家层面 的战略计划，推动以超级计算为核心的科研信息化基础设施 建设和应用。 在 2008 年全球超级计算机 500 强中，美国 257 台，英国 53 台，德国 46 台，法国 34 台，日本 22 台，中 国 16 台（含 3 台）。在中国大陆上榜的 13 台计算机中，排 名最靠前的是曙光 5000A 超级计算机，峰值运算能力为每 秒

3、230 万亿次、 Linpack 值 180 万亿次， 位居世界超级计算 机前 10 (江南计算技术研究所未参加) 。对超级计算的持续 大力支持，使美国在超级计算机系统研制、运行维护、计算 应用及服务等方面一直保持国际领先地位，极大推动了高性 能计算在科学与工程应用，特别是在国防、能源、新材料、 气象与环境、宇航和太空科学等方面的发展。 Top500 排名 第 1 的 IBM 最新军用超级计算机 “Roadrunner ”每秒计算 能力超过了 1 千万亿次，主要用于解决军事问题，以确保美 国核武器储备的持续发展。此外，欧洲和日本也有类似的研 究发展。纵观国际发达国家高科技领域发展趋势，千万亿次

4、 高性能计算已成为当今科技竞争的热点。建设千万亿次超级计算中心是国家科技创新战略的重 大举措。 近年来， 我国对高性能计算进行了重要部署。 2002 年，国家 863 计划启动了 “高性能计算机及其核心软件 ” 重 大专项，支持了以中科院网络中心超级计算中心、超级计算 中心为主节点，共 8 个计算节点的网格试验床 “ 中国国家网 格 ”( China National Grid ，CNGrid )，开发网格软件，支 持建设了气象、 资源环境、 生物信息、 新药研发、 仿真应用、 城市交通信息、地质调查等 11 个应用网格，通过资源共享、 协同工作和服务机制，支持科学研究、资源环境、先进制造 和

5、信息服务等应用。国家自然科学基金委员会制定的“ 以网 络为基础的科学活动环境研究 ” 重大研究计划，在气候数值 模拟、大规模电力系统、高能物理、生物信息学、计算纳米 电子学、计算化学等领域开展了超级计算示应用。为了满足 用户的应用需求，进一步提高我国的计算应用水平，缩小与 国际先进水平的差距，我国 863 计划 “ 十一五 ”重大项目 “高效能计算机和网格服务环境 ” 已开展了新一代超级计 算机的研发。 2008 年研制完成两台百万亿次超级计算机， 分别作为中国国家网格的南北主节点（超级计算中心和中科 院网络中心超级计算中心）对全国的超级计算用户提供服 务。近期将启动研制千万亿次超级计算机计划

6、，拟在全国建 设3 个千万亿次超级计算中心， 科技部各安排经费 2 亿元予 以支持， 2010 年底进行验收。建设千万亿次超级计算中心已成为当前国发达省市科 技竞争的制高点。 近年来，国各省市政府对超级计算中心建 设给予了高度重视和大力支持。超级计算中心由市政府支持 建立，是我国第一个省级超级计算中心，是国家网格南方主 节点。超级计算中心联合中科院计算所国家智能计算机研究 开发中心、曙光信息产业（）研制的集群超级计算机曙 光 5000A 以峰值速度 230 万亿次、 Linpack 值 180 万亿次 的成绩跻身世界超级计算机前 10 ，不但让我国成为世界上第 二个可以研发生产百万亿次级超级计

7、算机的国家，同时也使 超算中心成为世界上最大的通用超级计算平台。 2008 年 12 月，市与中科院联合向科技部提交了国家华南超算中心建设 方案和可行性报告。今年 1 月，组建国家华南超算中心列入珠江三角洲地区改革发展规划纲要 ( 2008-2020 )和省 人民政府与中国科学院全面战略合作协议 。市政府承诺提 供项目配套经费 6.41 亿元，每年提供不低于 2000 万元运行 费用。天津市与国防科技大学也已联合向科技部正式提出申 请，、等省市的建设方案正在制定过程中，近期将向科技部 提交报告。建设千万亿次超级计算中心是提升我省科技创新能力、 保持经济社会可持续发展的重要途径。 我省的经济总量

8、居全 国前列，经济社会发展迅速，但科研实力和创新能力与在全 国的经济地位不相适应，特别是科研基础设施建设滞后，严 重制约我省经济进一步发展和创新能力的提高。生物医药、 海洋产业、现代农业、现代制造业、现代服务业等重点产业 对超级计算有非常迫切的需求。从我省科技、经济、社会发 展的需求来看，近几年对超级计算的需求将大幅度增加。此 次科技部安排 2 亿元专项资金支持研制 “千万亿次超级计算 机”，是我省计算科研能力跻身国最高水平，带动相关重点 产业跨越发展的绝好时机。通过该项目的实施，与我国超级 计算机研制的顶尖科研机构江南计算技术研究所建立长期 的合作关系，对参与国家“十二五”重大科技项目的实施

9、， 提升我省信息产业研发水平和 CIIIC 整体创新能力具有重要 意义。二、建设超级计算机系统的可行性(一) 基础条件2002 年省科技厅批准成立省高性能计算中心，依托大 学。 2004 年大学与高新区管委会共同投资，在大学软件学 院建设省高性能计算中心。经过五年的建设工作，中心已成 为科技部和教育部网格和高性能计算的主要节点之一，并作 为国家网络计算环境平台节点，参与了国家网络计算环境平 台建设。中心承担了“大学校园网格平台” 、“海量数据处理 应用网格”、“生物信息处理应用网格” 、“面向公共计算服务 的网格平台研究及应用”等重大科研课题。目前，整个系统 运行正常，有化学院、物理与微电子学

10、院、材料学院、生命 学院和数学院等单位的大量教师、博士生和硕士生在环境上 运行作业，平均运行利用率近 70% ，培育出王小云教授 “MD-5 破译”等一批重大的科研成果。围绕高性能计算环 境的建设，签署了大学和 IBM 、大学和 SGI 、大学和浪潮、 大学和 Intel 合作协议，签署了大学和省气象局联合共建实 验室的协议，使省高性能计算中心成为与国外知名公司合作 研发基地和服务的公共服务平台。 5 年的运营，省高性能计 算中心在研究开发、运行管理、技术支持、应用服务及人才 培养等方面积累了丰富经验，为我省建设千万亿次超级计算 机系统奠定了坚实的基础。国家信息通信国际创新园（简称 CIIIC

11、 ）是科技部、工 信部、商务部联合发文， 与省共同建立的国家创新园区。 CIIIC 将打造具有世界水平的软件、集成电路、网络通讯、数字装 备、信息服务等五大产业集群。将 CIIIC 建设成为整合利用 全球创新资源的领航区， 世界一流 IT 产业的聚集区， 我国自 主创新战略的核心区，推进科技机制体制创新的试验区。作 为国家信息通信国际创新园的重要组成部分，总投资 1.5 亿 元、建筑面积 3.7 万平方米的国家信息通信技术研究院已经 落成。建筑南侧地上 5 层，东、西两侧地上 7 层，东侧地下 1 层设置动力设备。 大楼坐落于齐鲁软件园正北端， 占地 50 余亩，整体为框架结构建筑，设计为 7

12、 度抗震。大楼供电系 统为 2 路高压进线 （发展线、 开潮线），容量为 2000 千伏安 （可扩充到 1 万千伏安），可确保大楼正常供电。大楼共配 备2 台“特灵牌”制冷机组，每台功率为 256 千瓦；供暖系 统为蒸汽热交换中央空调系统，另配有新风机组等辅助设 备，确保大楼研发办公环境舒适。一层西侧面积 2500 余平 米，大厅 1300 余平米。 该处位置无地下设施，承重能力强， 适宜做中心计算机系统机房。千万亿次高性能计算中心的研 发与办公场所均可满足。（二）技术可行性 千万亿次超级计算机的研制单位江南计算技术研究所 和浪潮集团有研制超级计算机的丰富经验，实力雄厚，先后 完成了国家和省、

13、部级重点科技攻关项目数百项，研制了高 新技术产品数百种。江南所先后获得了国家、省部级科技进步奖 500 余项， 并三次荣获国家科技进步特等奖。全所现有各类科技人员千 余名，其中中国科学院院士 1 人，工程院院士 2 名，博士生 导师 10 人，高级工程师 140 多人，形成了一支以科学院院 士、工程院院士、国知名专家为代表的科研队伍。通过多年 对超级计算机、网络、通信产品的研制，江南所已建立起一 套大规模专用芯片设计、模拟、测试、验证平台，软硬件设 计及工程应用经验丰富；具有国际一流水平的高密度多层印 制板设计、制造、组装生产线，建立了多芯片模块封装 （ MCM ）基地，工艺人员研发能力强，拥

14、有完善的电子元 器件、印制电路板、电子组装、整机例行试验的国家级检测 实验室。在计算机软件方面，江南所承担过多个国产大型并 行系统中的管理和编译器软件研制工作，包括高可用系统管 理软件、基于 MPP 体系结构的 HPF 编译器、并行 C/C+ 编译器， 基于 CC-NUMA 体系结构的 OPENMP 编译器、 超 级计算机正确性验证及软硬件协同模拟与评测软件。江南所 在高速互连网络、大规模并行计算系统的优化、大规模作业 调度软件的开发方面具有丰富的经验，对千万亿次超级计算 机上的并行环境、编程模型以及优化技术的研究具有深厚的 理论基础，其研制的神威超级计算机在军事科研领域已得到 广泛运用，综合

15、技术性能位居全国顶尖水平。浪潮集团是是我国最大的服务器制造商和服务器解决 方案提供商，在服务器领域先后获得 5 次省科技进步奖， 2 次国家科技进步奖，在大规模集成电路设计、高密度多层印 制板研制、高性能计算机系统设计、节点机开发、高性能存 储系统开发、大规模系统管理等方面具有丰富的经验。在超级计算领域，经过 10 年的技术开发和市场开拓，浪潮天梭 系列高性能服务器产品已广泛应用于生命信息、CAE （计算机辅助工程） 、气象预报、动漫等几十个应用领域,在全国高校、科研院所多个行业建设了数百个超级计算项目，并在沙 特成功建设了生命信息领域的超级计算。 2006 年浪潮联合 江南所参与了 863

16、计划百万亿次高性能计算机项目的申报， 凭借雄厚的技术基础、先进可行的技术方案，获得评审专家 高度认可，在项目答辩中排名第一。目前，浪潮集团正在建 设国第一个计算机行业企业国家重点实验室“高效能服务器 和存储技术国家重点实验室” ，将为本项目超级计算机的成 功研制提供可靠的组织和技术保障。从外部条件来看，超级计算机的技术发展迅速，成熟技 术很多，给我们提供了很好的借鉴。国际上可合作的企业有 成功的产品开发经验，可以利用他们的先进技术和成熟产 品，加快我们的研发进程。随着国家经济条件的改善和产业 化环境的完善， 计算机系统部件的设计、 生产条件相对成熟， 为完成项目研究提供了坚实基础。（三）我省应

17、用需求的基本分析1 、海洋与气候预报。我省是海洋大省，海洋科技资源 在全国处于优势，海洋经济居全国前列。海洋资源调查海量 数据处理、海洋生化仿真及分析对高性能计算有较大的需 求。气象与气候预报对工农业生产和人民生命财产的安全， 甚至对国家长期的发展战略产生重要影响。对大气和海洋运 动情况作出高实效性的预测，需要海量数值计算，我省海洋 科学研究中心首先要建设的就是超级计算中心。2、现代农业与创新药物筛选。我省是农业大省，在农 业科技上存在很多高性能计算问题，如基因育种、估产、水 资源调度、自然灾害监测与控制等。创新药物筛选涉及到生 物大分子结构设计与计算、结构功能预测和研究等方面，都 需要大量的

18、数值计算，计算机辅助制药已成为发现和验证新 型药物的重要手段，我省拟建设的“创新药物平台”就迫切 需要超级计算机的支持。3、现代制造业与创意产业。制造业是我省的工业基础， 在产品设计、仿真分析以及虚拟装配等方面对高性能计算有 较大的需求。我省 CIIIC 设立了集成电路设计中心，为我省 企业和研究单位提供专业的集成电路设计服务，在集成电路 芯片电特性、电失效分析、可靠性测试以及系统仿真等方面 对高性能计算机的并行处理能力要求很高。动漫产业是国家 文化创意产业的重要领域之一。我省动漫产业发展迅速，在 CIIIC 建有动漫基地。由于动漫渲染应用计算量巨大，必须 借助超级计算机进行分布式计算。4、信

19、息安全与金融风险分析。信息安全技术是保障国 家基础网络、电子政务、电子商务安全的强大技术支撑。我 省王小云教授领导的课题组在密码分析领域居国际领先水 平，随着软硬件技术的不断发展和新型计算技术的不断出 现，对安全强度方面的要求也在不断提高，需要超级计算和 海量存储的计算环境。现代金融风险度量已成为一个新兴的 科学领域。我省彭实戈院士在金融风险控制中的定量分析与 计算研究领域居国际领先水平。现代金融风险度量的量化是 一个大规模的科学计算工程，金融风险分析与监控，资产投 资决策研究与应用都需要海量存储和强大的计算能力。三、千万亿次超级计算中心初步建设方案（一）建设目标围绕我省的超级计算应用需求，

20、按照国家科技部 863 重 大项目要求，建设一个总计算能力为千万亿次级、存储容量 为 PB 级的高性能计算、存储和显示环境，研发一批面向超 级计算环境的服务平台支撑软件，开发一批具有自主知识产 权的应用软件，开展面向海洋资源调查海量数据处理、海洋 生化仿真及分析、农作物基因排序、创新药物筛选、金融分 析、信息安全、工程计算与分析等超级计算应用服务，带动 我省重点支柱产业的发展，培养一批面向超级计算关键技术 研究、开发、技术支持和应用服务的人才队伍，使之成为国 领先的超级计算研发、应用基地。（二）建设容1、超级计算环境。建设以多核 / 众核为基础的混合异构 的超级计算环境，建设高可用、高效能的海

21、量存储环境；2、关键技术研究与软件开发。攻克混合异构体系结构、 异构编程模式、高速互联、智能调度等一批关键技术，研发 一批面向高性能计算环境的部署、监控、调度、认证、安全 等服务平台支撑软件，开发一批面向海洋科学研究、创新药 物筛选、金融分析、信息安全等领域具有自主知识产权的应 用软件。3、技术支持和培训服务体系。以高性能计算环境为基 础，建设技术支持服务体系，开展高性能计算应用开发和培 训服务，依托大学软件学院招收面向高性能计算应用的软件 工程硕士；4、应用示项目。筛选一批高性能计算应用示项目，重 点支持，总结应用经验，推广应用。（三）基础设施与配套系统建设方案1 、基础设施规划计划建设地址

22、： CIIIC 研究院大楼总面积： 1 万平方米 功能区划分：中心机房、管理控制室、电源空调室、可 视化厅、管理中心、研发中心、培训教室、应用服务中心等中心机房：面积 2400 平方米，建设在 1 楼，以避免承 重问题以及利于建设散热系统2、配套系统配电系统： 中心机房总电力需求不低于 4000KW （系统 运行与空调按照 1 ：1 计算），关键设备（比如存储设备、胖 节点等）采用 UPS散热系统：高性能计算机本身采用高效的水冷散热方 式，水冷机组建设在中心机房外，与中心机房机柜系统通过 管道连接。 机房散热采用专用空调维持所需的温度 （低于 20 度）、湿度外部网络接入系统：多路光纤高速宽带

23、接入，以满足客 户快速接入、获得快捷服务需求集中监控与门禁系统： 系统运行监控、 电力监控、 安防、 报警等（四）进度安排1 、到 2009 年 6 月，确定研制、建设总体方案；2 、到 2010 年 9 月，完成基础设施及相关配套设施建 设。完成千万亿次高性能计算机研制，开始进场、安装、调 试；3 、到 2010 年 12 月，服务移植、测试，试运行。四、管理体制和运行机制 千万亿次超级计算机研制由江南所承担。我省以 CIIIC 研究院为主体，充分利用现有的基础设施加以改造，联合大 学、省科学院、高新区、浪潮集团等单位，分别安排资金共 同组建省千万亿次超级计算中心，进行超级计算的应用开发 和日常运营管理。省千万亿次超级计算中心设立理事会、专 家委员会，下设办公室、财务部、平台运维部、培训部、研 究开发部、应用推广部等部门。中心主任由 CIIIC 研究院选 派人员担任。省千万亿次超级计算中心 5 年由政府资助运行， 5 年后自主运行发展。管理和运行：（一）省千万亿次超级计算中心理事会成员由 CIIIC 、 大学、省科学院、高新区、浪潮集团等单位领导组成。理事 会负责中心重大问题