《高性能计算 分布式存储系统技术要求》编制说明_第1页
《高性能计算 分布式存储系统技术要求》编制说明_第2页
《高性能计算 分布式存储系统技术要求》编制说明_第3页
《高性能计算 分布式存储系统技术要求》编制说明_第4页
《高性能计算 分布式存储系统技术要求》编制说明_第5页
已阅读5页,还剩1页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

中国电子工业标准化技术协会

团体标准《高性能计算分布式存储系统技术要求》

(征求意见稿)编制说明

一、工作简况

任务主管部门:中国电子工业标准化技术协会

项目发布文件:中国电子工业标准化技术协会《关于公布2023年第五批团体

标准制修订项目的通知》(中电标通〔2023〕016号)

项目名称:《高性能计算分布式存储系统技术要求》

立项号:CESA-2023-063

项目牵头单位:曙光信息产业(北京)有限公司

主要参与起草单位:

曙光信息产业(北京)有限公司、中移动信息技术有限公司,北京青云科技

股份有限公司,北京星辰天合科技有限公司,中电元数智科技有限公司,合肥大

唐存储科技有限公司,北京大道云行科技有限公司,北京得瑞领新科技有限公司,

国家超级计算郑州中心,荣联科技集团股份有限公司,北京忆恒创源科技股份有

限公司,中研益企(北京)信息技术研究院有限公司,北京焱融科技有限公司,

极道科技(北京)有限公司,杭州朗和科技有限公司,中国科学院高能物理研究

所,融科联创(天津)信息技术有限公司。

2、主要工作过程

(一)标准预研

近来高性能计算的概念在技术和应用方面有一些进展和演变。随着数据的快

速增长和应用对大数据处理的需求,高性能计算正逐渐与大数据处理技术相结

合。高性能计算系统不仅关注计算能力,还注重数据存储、处理和分析能力,以

支持复杂的数据密集型应用和科学研究。

另外,人工智能和机器学习等领域的快速发展对计算资源提出了更高的要

求。高性能计算系统不仅要提供高性能的计算能力,还需要支持大规模训练和推

理任务,以加速人工智能应用的发展。

中国电子工业标准化技术协会

随着能源成本和环境意识的增加,高性能计算的能效和可持续性成为关注的

焦点。

2023年1月-3月,曙光信息产业(北京)有限公司研究分析了分布式存储系

统构成,并初步确定了分布式存储系统技术要求的标准草案结构和主要内容。通

过组织3次标准讨论会,对标准草案结构、内容,以及标准制定的必要性、可行

性、拟解决的问题进行了充分讨论,形成一致意见。

2023年4月,曙光信息产业(北京)有限公司向分布式存储厂商、存储产品

厂商、行业用户及科研院所等发起参编邀请,各意向参编单位对于该标准制定的

必要性、可行性、拟解决的问题表示一致认同并共同推进标准立项。

(二)标准立项

2023年5月,曙光信息产业(北京)有限公司作为发起方申请立项,并于2023

年6月通过立项评审,成为协会正式标准制定项目。

(三)标准编制

2023年6月20日,标准工作组组织召开了标准启动会(现场会议方式),对

标准制定的背景、参编单位及参编人员、标准推动计划进行了介绍,并就标准框

架展开讨论,在此基础上确定了草案进一步编写完善的分工计划。

2023年7月14日,标准工作组组织召开第二次讨论会(现场会议方式),对

标准结构进行完善,对标准技术要求范围进行明确,并确定了牵头汇总各章节内

容的分工计划。

2023年8月9日,标准工作组组织召开第三次讨论会(现场会议方式),重点

对高性能分布式存储技术要求、并发集群软件功能等相关章节开展讨论,并修改

完善。

2023年8月18日,标准工作组组织召开第四次讨论会(现场会议方式),重

点对高性能分布式存储系统架构、安全等等章节展开讨论,并进一步修改完善。

2023年8月30日,标准工作组组织召开第五次讨论会(线上会议方式),重

点对高性能计算分布式存储的物理基础设施、运维等章节展开讨论,并进一步修

改完善。

中国电子工业标准化技术协会

2023年9月8日,标准工作组组织召开第六次会议(现场会议方式),对标准

逐条讨论、修改,完成第1章至第10章内容定稿,并就编制说明内容进行介绍和

修改完善。

3、主要起草人及其所做的工作

本文件制订单位为曙光信息产业(北京)有限公司、中移动信息技术有限公

司,北京青云科技股份有限公司,北京星辰天合科技有限公司,中电元数智科技

有限公司,合肥大唐存储科技有限公司,北京大道云行科技有限公司,北京得瑞

领新科技有限公司,国家超级计算郑州中心,荣联科技集团股份有限公司,北京

忆恒创源科技股份有限公司,中研益企(北京)信息技术研究院有限公司,北京

焱融科技有限公司,极道科技(北京)有限公司,杭州朗和科技有限公司,中国

科学院高能物理研究所,融科联创(天津)信息技术有限公司等参与了技术细节

讨论,提供了修改意见和建议。

二、标准编制原则和确定主要内容的论据及解决的主要问题

1、编制原则

在标准编制过程中,遵循了以下四方面的原则。

a)规范性。本标准的制定完全遵守国家法律、法规等相关规定,制定过程

严格按照程序执行,且格式符合标准编写要求。

b)适用性。本标准的制定充分考虑了分布式存储技术在高性能计算场景中

的实际应用需求,既保证分布式存储技术的先进性,又与高性能计算数据中心建

设相关规范接轨,条款具备可操作性。

c)中立性。本文件制定过程中编制组成员单位对标准文本进行了充分讨论,

达成一致意见

d)科学性。本文件技术指标科学合理并可验证,试验方法具有稳定性。

2、确定主要内容的论据

针对高性能计算实现分布式存储的方式很多,一种是“通用服务器+并行文

件”来实现,一种是通过“全闪存盘阵+并行文件”实现。HPC应用中数据的存

储与调用必须与数据的计算能力相匹配,分布式存储系统的算法要与HPC算法在

中国电子工业标准化技术协会

性能上保持一致,并能随着HPC集群算力的提高,分布式存储集群也需要从性能

和容量上动态的扩容和提高。

本标准给出了高性能计算分布式存储系统架构,覆盖了从基础设施模块到功

能模块的整体技术架构要求的各个部分。同时,提出了对高性能计算分布式存储

系统的功能、运维和管理、绿色节能环保等方面的要求。

本文件可适用于高性能计算分布式存储系统架构设计与部署。

3、编制过程中解决的主要问题

由于分布式存储的架构各异,导致在高性能应用领域中计算、存储、网络

各模块无法有效衔接和管理,而且建设和运营的成本居高不下,有必要制定高性

能分布式存储系统技术要求的标准解决上述问题,填补高性能存储标准空白的同

时,促进高性能计算产业链上下游技术和产品的融合,推动建立成熟完善的存储

生态系统。

三、主要试验[或验证]情况分析

为在标准起草过程中,标准工作组对标准规定的高性能计算分布式存储系

统各构成部分的技术要求主要征集了存储厂商、服务器厂商、分布式存储行业用

户、相关领域科研院所等的意见,并充分考虑科技发展及应用。从市场符合性分

析,本文件规定的技术要求是合理的,切实给出符合产业实际需要的要求。

四、知识产权情况说明

本标准不涉及知识产权情况。

五、产业化情况、推广应用论证和预期达到的经济效果

标准发布后,牵头及参编单位将在国内外重量级会议进行推广。致力于高性

能设计的分布式存储厂商,软件厂商可参考本标准进行产品设计、测试,软硬件

件开发。

六、转化国际标准和国外先进标准情况

本文件未采用国际标准和国外先进标准。

七、与现行相关法律、法规、规章及相关标准的协调性

本标准与GB/T37737-2019《信息技术云计算分布式块存储系统总体技术

要求》相关要求协调一致,GB/T37737-2019标准基于云计算场景中,分布式块

中国电子工业标准化技术协会

存储的资源管理,兼容性和安全性的要求。本标准针对存储节点的管理及卷管

理的相关功能要求与GB/T37737-2019保持一致。

本标准与YD/T4029-2022行业相关标准,没有冲突。YD/T4029-2022规范

了计算存储分离架构的分布式存储方案的功能、性能、兼容性、运维、硬件、网

络等方面的技术要求,但针对高性能计算领域的高性能存储没有明确给出规范化

的要求,尤其在大规模的部署在数据中心时,从几十节点到几百节点的扩容,如

何构建整体架构,没有涉及。

本标准项目属于高性能计算机标准体系中“存储”领域,存储是高性能计算

机标准体系的重要组成部分,本标准将为高性能计算体系整体架构提供技术支

撑。

八、重大分歧意见的处理经过和依据

无。

九、贯彻标准的要求和措施建议

建议列为推荐性标准,在标准发布后尽快组织标准宣贯、试验验证。

十、替代或废止现行相关标准的建议

无需要替代或废止的现行相关标准。

十一、其它应予说明的事项

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论