《高性能计算 分布式存储系统技术要求》

ICS35.160

CCSL63

团体标准

T/CESAXXXX—202X

高性能计算分布式存储系统技术要求

Highperformancecomputing-Technicalrequirementsfordistributedstoragesystem

草案

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请

证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请

号和申请日期。

202X-XX-XX发布202X-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX—202X

高性能计算分布式存储系统技术要求

1范围

本文件规定了高性能计算分布式存储系统的技术要求，包括物理基础设施、集群软件能力、功能模

块、运维管理、安全性和绿色节能等方面的要求。

本文件适用于高性能计算分布式存储系统的设计与部署。

2规范性引用文件

本文件没有规范性引用文件。

3术语和定义

3.1术语和定义

下列术语和定义适用于本文件。

3.1.1

卷volume

块存储系统中物理空间的逻辑分区，为虚拟机（VM）或物理机提供裸设备方式进行数据存取。可

进行创建、删除、扩展等操作。

[来源：GB/T37737-2019，3.1.3]

3.1.2

存储节点storagenode

一台物理主机或是盘阵，主要用于存储数据，复制数据，平衡数据。

3.1.3

元数据节点metadatanode

用于分布式存储集群内部做数据管理的物理节点。

3.1.4

元数据metadata

描述数据的数据，规定数据的存放位置、修改时间、权限等信息，通过元数据可获取到用户方上

传的数据，元数据具有体量适中、更改频率适中、读取频繁的特点。

3.1.5

数据分层管理datalayermanagement

1

T/CESAXXXX—202X

将存储空间按存储能力划分成不同层级，允许用户根据业务具体需求来定义数据的目标存储层级，

并支持数据在不同层级间的按需流动，将数据及时灵活地分配至合理的存储空间，在性能和成本之间

取得最佳平衡。

3.1.6

绿色节能greenandenergy-saving

数据机房通过优化配置软硬件设施，使其在数据实现存储性能稳定可靠的条件下，实现能源、

资源利用率最大化和环境影响最小化。

3.1.7

存储算法节能storagealgorithmenergy-saving

对存储系统运维采取智能调度算法，在满足动态存储需求的前提下，有效降低存储系统的能耗。

3.2缩略语

下列缩略语适用于本文件。

CIFS：公共互联网文件系统（CommonInternetFileSystem）

CPU：中央处理器（CentralProcessingUnit）

ECC：纠错码（ErrorCheckingandCorrecting）

HDD：硬盘驱动器（HardDiskDrive）

HDFS：Hadoop分布式文件系统（HadoopDistributedFileSystem）

HPC：高性能计算/超算（HighPerformanceComputing）

IB：无限带宽（InfiniBand）

I/O：输入/输出（Input/Output）

IOPS：每秒读写次数（Input/OutputOperationsPerSecond）

IPMI：智能平台管理接口（IntelligentPlatformManagementInterface）

IP：网际协议（InternetProtocol）

IQN：ISCSI限定名称（ISCSIQualifiedName）

ISCSI：互联网小型计算机系统接口(InternetSmallComputerSystemInterface)

JBOD：将多个物理磁盘组合在一起形成一个大型逻辑存储空间（JustBunchofDisks）

JBOF：将多个物理闪存芯片组合在一起形成一个大型逻辑存储空间（JustaBunchofFlash）

MPI：消息传递接口（MessagePassingInterface）

NFS：网络文件系统（NetworkFileSystem）

NVDIMM：非易失性双列直插式内存模块（non-volatiledualin-linememorymodule）

NVMe：非易失性内存主机控制器接口规范（Non-VolatileMemoryExpress）

NVMe-OF:一种将NVMe存储设备通过网络连接的技术(NVMeoverFabrics）

PKI：公开密钥基础设施（PublicKeyInfrastructure）

POSIX：可移植操作系统接口协议(PortableOperatingSystemInterfaceforUnix）。

QoS：服务质量（QualityofService）

RAID：磁盘阵列（RedundantArraysofIndependentDisks）

RDMA：远程直接数据存取（RemoteDirectMemoryAccess）

RoCE：基于以太网链路层实现的RDMA（RDMAoverConvergedEthernet）

SAS：串行连接SCSI接口（SerialAttachedSCSI）

SATA：串行高级技术附件（SerialAdvancedTechnologyAttachment）

2

T/CESAXXXX—202X

S3：简单存储服务（SimpleStorageService）

SNMP：简单网络管理协议（SimpleNetworkManagementProtocol）

SMB：服务器消息块（ServerMessageBlock）

SSD：固态驱动器（SolidStateDrive）

VM：虚拟机（VirtualMachine）

4高性能计算分布式存储系统

4.1总体架构

高性能计算分布式存储系统的特点是节点数多（节点规模几十到上百个），总容量大（容量的规模

是PB级甚至EB级），具备高性能、高可靠及可扩展的能力，以满足大规模计算任务对数据存储和访问的

需求，支持高性能计算的有效运行。高性能计算分布式存储系统总体架构见图1。

图1高性能计算分布式存储系统架构

4.2部署模式

4.2.1分布式对称架构

分布式对称架构应支持存储节点同时部署分布式存储系统的元数据服务和数据存储服务，见图2。

3

T/CESAXXXX—202X

图2分布式对称架构

4.2.2分布式非对称架构

分布式存储非对称架构见图3，应符合下列要求：

a）节点角色有明确的功能划分；

b）支持独立的元数据节点，即只部署分布式存储系统的元数据服务；

c）支持独立的存储节点，即只部署分布式存储系统的数据存储服务。

图3分布式非对称架构

4

T/CESAXXXX—202X

5物理基础设施

5.1存储节点

5.1.1节点形态

符合下列要求：

a）应支持独立的服务器或服务器+盘阵（JBOD/JBOF）的组合；

b）应支持主流的处理器,如ARM、MIPS、C86、X86、RISC-V、LoongArch、SW64等；

c）应支持可扩展的内存配置；

d）宜支持存储网络与管理网络分离；

e）存储网络应支持25Gb、100Gb或更高速度的网络接口；

f）管理网络应支持1GbE、10GbE网络接口；

g）节点电源(PSU)应采用冗余配置，宜采用较高能效的产品；

h）元数据节点宜采用全闪存设计；

i）数据节点应支持固态盘(SSD)和机械硬盘(HDD)等主流存储介质；

j）数据节点应支持不同类型、容量的存储介质混合部署。

5.1.2节点高可靠性

符合下列要求：

a）应支持硬件冗余，如电源、风扇、网络接口等关键部件的双冗余设计；

b）应支持热备份和维护功能，可以在不影响系统正常运行的情况下进行硬件部件的更换和维护；

c）系统盘宜采用1+1冗余配置；

d）元数据节点应采用AllActive的集群方式工作，保证性能和可靠性。

5.2网络节点

5.2.1网络架构协议

符合下列要求：

a）管理网络应支持以太网协议，如1GbE、10GbE；

b）存储网络应支持25Gb、100Gb或更高速度的网络接口；

c）应支持RDMA等协议；

d）宜支持IB等协议。

5.2.2网络高可靠性

符合下列要求：

a）应具备冗余的硬件设计，包括冗余的电源、风扇和接口等；

b）应具备自动故障恢复能力，能够在故障发生时自动切换到备用路径或备用设备；

c）应支持负载均衡技术，根据实际负载情况对数据流进行均衡分配。

6集群软件能力

6.1软件高性能

符合下列要求：

5

T/CESAXXXX—202X

a）应支持系统并行处理，系统可以同时处理多个请求，提高处理能力；

b）应支持数据并发访问，允许多个客户端同时读写数据，提高系统的响应速度；

c）应支持数据并行访问，单客户端可同时连接并访问多个存储节点，提高读写速度；

d）应支持数据多节点分布及负载均衡，使性能随节点增加近似线性增长；

e）应支持采用多级缓存技术对IO进行聚合加速，提升系统整体IO性能；

f）应支持多个计算节点对元数据的同时访问和修改；

g）宜优化协议和通信模式（如批量传输、异步通信等方式），减少通信的开销和延迟，提高处理

性能；

h）宜支持压缩技术，减少数据的存储空间和传输带宽，提高系统的整体性能。

6.2软件高可靠性

符合下列要求：

a）应支持分布式高可用架构，确保快速故障转移和恢复；

b）应具备数据的冗余存储和容错机制，以确保在节点故障或数据损坏时进行数据恢复；

c）应通过一致性协议确保数据的一致性；

d）应通过校验机制确保数据在传输及存储过程中的完整性；

e）应支持系统状态和性能的监控，发现问题时发出警报。

6.3软件扩展性

6.3.1动态扩容

符合下列要求：

a）应支持存储集群容量纵向扩展和横向扩展方式；

b）应支持在线系统扩容，不需要更改应用程序，对客户业务无中断；

c）在存储集群扩容时，应支持数据分布再均衡；

d）在存储集群扩容时，应支持现有数据的冗余副本分布到新节点上。

6.3.2集群规模的支持

符合下列要求：

a）应支持通过增加集群节点的数量，实现集群规模的扩展；

b）应支持扩展至PB级及以上；

c）应支持扩展至百节点及以上；

d）应支持存储性能随节点数量的增加近似线性增长。

6.4代码开发和深度优化能力

符合下列要求：

a）应具备自主存储软件相关的研发能力；

b）应具备自主修改优化开源代码并二次开发的能力；

c）应支持国内外主流操作系统及芯片技术为平台的适配能力。

7存储功能模块

7.1元数据管理能力

6

T/CESAXXXX—202X

符合下列要求：

a）应支持数据精准检索和快速查询；

b）应支持通过多副本的方式，保证数据的可靠性；

c）应支持对海量数据的有效存储与管理；

d）应支持对用户自定义的业务元数据打标签，进行上述管理。

7.2全局缓存的设定

符合下列要求：

a）应支持设置基于各存储节点高速内存组成的全局缓存池或设置基于高性能NVMeSSD存储介质

的多个独立节点组成的全局缓存池；

b）应保证全局缓存池缓存数据一致性与高可用性；

c）应支持非缓存数据预读至全局缓存池，提升读请求的缓存命中率。

7.3数据一致性机制

应符合下列要求：

a）应支持统一命名空间，支持全局共享文件系统，对任意节点、文件的读写，在所有节点都能体

现；

b）应提供元数据一致性检查工具，可对全系统元数据进行元数据一致性检查，并且自动修复不一

致的元数据；

c）应提供对数据的一致性检查工具，保证落盘数据的一致性；

d）应支持高效锁机制，保证高并发读写数据的一致性；

e）应支持多副本数据的一致性；

f）应支持在故障恢复期间，保障数据的一致性，避免因故障导致的数据不一致问题。

7.4数据生命周期管理

符合下列要求：

a）应支持按照不同存储能力创建存储层级，如性能、成本或可靠性等级等；

b）应支持创建分层策略，可设定条件对数据进行区分，并根据区分结果定义数据的目标存储层级；

c）应支持根据分层策略，在创建数据时支持将数据写入对应层级；

d）应支持根据分层策略，支持将数据从当前层级迁移到对应层级。

7.5高可用及容错能力

符合下列要求：

a）应支持数据冗余技术（如纠删码、数据副本），将数据分散存储到不同的存储节点上，确保数

据的可用性；

b）应支持冗余路径访问等容错技术，提高访问可用性；

c）应支持自动检测故障，发现故障后，进行故障处理和数据恢复。

7.6远程复制能力

符合下列要求：

a）应支持基于时间策略的快照；

b）应支持异步远程复制功能；

c）应支持手动或自动的方式进行数据复制；

7

T/CESAXXXX—202X

d）应支持基于断点恢复数据复制及同步工作。

7.7多负载及多协议的支持

符合下列要求：

a）应支持标准POSIX协议和MPI接口访问；

b）应支持读密集型IO、写密集型IO、读写密集型IO的数据访问，并具备针对单一类型IO性能优化

的能力；

c）支持多应用程序间的文件共享，同时支持并发读写文件；

d）应支持限制各个应用程序的IO并发或资源占用，同时应对高并发、高带宽的场景。

e）应支持文件、对象、块的访问；

f）宜支持单一命名空间下通过不同协议（POSIX/NFS/SMB/S3/HDFS等）进行操作变更时，对其它

协议均可见；

g）宜支持通过私有客户端访问能力；

h）宜支持多种处理器对存储直接访问，如GDS等。

8运维管理

8.1性能管理

符合下列要求：

a）应支持可视化方式展示集群、存储池、节点及各存储系统的监控状态；

b）应支持监控集群运行状态、容量使用及性能状况，如CPU、内存、网卡、硬盘等；

c）应支持监控存储系统的性能状况（如IOPS、带宽、时延等）和容量使用情况；

d）应支持存储性能管理，通过监控存储系统的性能指标及存储空间的使用情况，优化存储配置、

调整数据分布，提高存储性能；

e）应建立数据分布均衡机制，通过监控数据分布进行数据迁移或调整，确保集群中数据的分布均

衡；

f）宜支持根据不同维度的信息形成统计报表，如硬盘容量、CPU占用率等。

8.2故障管理

符合下列要求：

a）应支持实时展示系统性能信息，存储服务的运行状态，保存和查询及支持日志分析；

b）应支持全面的故障监测和检测机制，包括但不限于节点状态监测、存储设备健康检查、数据完

整性检验等；

c）应支持高效的故障定位和诊断功能，能够快速确定故障发生的节点或设备，并提供详细的诊断

信息和日志记录，方便故障的分析和解决；

d）应支持完善的故障管理工具，包括但不限于故障管理系统、故障报告和跟踪工具、故障分析工

具等，以便进行故障的记录、跟踪和分析；

e）应支持不同故障处理机制，针对硬件，软件故障和漏洞补丁，设置不同的告警方式；

f）应支持当节点失效或节点重新加入时，存储业务基于节点自动负载均衡。

8

T/CESAXXXX—202X

8.3容量管理

符合下列要求：

a）应支持存储空间实时监控，及时发现容量不足，设置相应的报警机制并采取相应的措施，如扩

容或数据清理；

b）应支持对容量增长的监测，进行容量评估，预留足够的存储空间以满足未来的需求；

c）应支持数据压缩和去重，对于冗余数据和重复数据，进行压缩和去重处理，节省存储空间；

d）宜支持容量分析和预测，如存储资源的消耗趋势等；

e）应支持存储设备在扩容后，实现节点之间的容量负载均衡。

8.4智能化运维

符合下列要求：

a）应支持故障信息智能诊断，输出常见问题的故障分析报告；

b）应支持性能瓶颈和热点统计分析，智能分析业务的运行特点便于调整业务，更优发挥存储系统

的效能能力；

c）应支持用户业务深度学习及自动适配，不同的IO模型适配相应的参数优化配置；

d）应支持对整个集群有版本一致性检测，管理维护和一键升级能力；

e）宜具备故障预测和预防机制，通过数据分析、机器学习等技术，对系统状态进行实时监测和分

析，预测潜在的故障风险，并采取相应的预防措施；

f）宜支持收集和分析运维数据，应用机器学习和数据挖掘技术，预测设备性能下降，以提前采取

相应的措施；

g）宜支持自动化的故障检测和修复，自动识别问题、自动调整配置和自动修复故障，实现系统的

自愈性能，减少人工干预和修复时间；

h）宜支持自动化故障处理，能够根据故障类型和级别自动触发相应的操作，如节点重启、数据迁

移、冗余数据重建等。

9绿色节能

9.1软件和算法节能

符合下列要求：

a）应支持负载均衡、调度智能、算法高效，能够大幅提高数据利用效率，有效降低能耗；

b）应支持先进算法节能技术，包括数据重删技术、纠删码技术、数据压缩技术，显著降低存储

系统能耗；

c）应支持基于数据预测、动态计算、阈值设置等，合理执行智能调度策略。

9.2硬件节能的支持

9.2.1节点节能

符合下列要求：

a）应支持风扇节能调速技术，通过PID等调速算法实现风扇快速节能调速；

b）宜支持功耗封顶技术，改善数据中心的能源利用率。

9.2.2硬盘节能

9

T/CESAXXXX—202X

符合下列要求：

a）应支持提供相关接口，应用可实时查询当前功耗；

b）宜支持多级工作能耗模式设定，可根据业务需求选择适当的能耗模式，达到节能目的。

9.2.3CPU节能

符合下列要求：

a）应支持智能降频技术，根据不同的系统工作量自动调节工作电压、频率或活跃的核心数量，以