信息技术 分布式存储协议互联技术要求 征求意见稿

1GB/TXXXXX—XXXX信息技术分布式存储协议互联技术要求本文件给出了分布式存储协议互联技术架构，规定了分布式存储协议互联技术架构下的技术要求。本文件适用于分布式存储协议互联架构的设计和实现。对于集中式存储协议互联架构的设计和实现可参照使用。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1分布式存储distributedstorage通过网络整合分布在多台机器的存储空间资源，构成虚拟存储设备的一种数据存储技术。[来源：GB/T36074.3-2019，3.17]3.2存储协议storageprotocol主机和存储设备间进行传输、访问和存储数据的规则。注：分布式存储协议一般分为文件存储协议、对象存储协议、大数据存储协议和块存储协议。其中文件存储协议（NFS、SMB/CIFS、POSIX）、对象存储协议（S3、SWIFT）、大数据存储协议（HDFS、S3）主要应用于3.3存储协议互联protocolinterconnectionforstorage为实现兼容性，存储协议之间进行语义操作的技术。注：为满足一份数据被主机多样应用跨文件、对象、大数据存储协议实时访问，分布式存储基于全局可扩展数据对象层提供全局单一副本的数据共享存储方式，同时通过统一的存储协议语义映射处理，实现文件、对象、3.4元数据metadata定义和描述其他数据的数据。2GB/TXXXXX—XXXX注：本文件中的元数据包含来自主机应用产生的创建时间、修改时间、类型、访问权限等信息，也包含分布式存[来源：GB/T18391.1—2009，3.2.16，有修改]3.5统一元数据unifiedmetadata融合多协议元数据，形成具有一致数据结构的信息。3.6元数据组织organizationofmetadata按照一定的规则和方式对元数据对象进行归并、存储、处理的过程。3.7数据组织organizationofdata按照一定的规则和方式对数据对象进行归并、存储、处理的过程。[来源：GB/T39362—2020，3.7，有修改]4缩略语下列缩略语适用于本文件。ACL：访问控制列表（AccessControlList）AD：活动目录（ActiveDirectory）AK/SK：访问密钥/保密密钥（AccessKey/SecretAccessKey）API：应用程序编程接口（ApplicationProgrammingInterface）CIFS：通用网络文件系统（CommonInternetFileSystem）CPU：中央处理单元（CentralProcessingUnit）HDFS：Hadoop分布式文件系统（HadoopDistributedFileSystem）ID：标识符（Identifier)LDAP：轻型目录访问协议（LightweightDirectoryAccessProtocol）NFS：网络文件系统（NetworkFileSystem）NIS：网络信息服务（NetworkInformationService）POSIX：可移植操作系统接口（PortableOperatingSystemInterface）QoS：服务质量（QualityofService）SDK：软件开发工具包（SoftwareDevelopmentKit）SMB：服务器消息块（ServerMessageBlock）5技术架构为满足一份数据被主机多样应用跨文件、对象、大数据存储协议实时访问，分布式存储协议互联技术基于全局可扩展数据对象层，提供全局单一副本的数据共享存储方式，同时通过统一的存储协议语义映射处理，实现文件、对象、大数据存储协议同时关联接入及语义操作兼容。图1给出了分布式存储协议互联技术架构。3GB/TXXXXX—XXXX图1分布式存储协议互联技术架构分布式存储协议互联技术架构中各层技术的作用如下：——协议服务接入层：提供文件、对象、大数据服务同时接入以及鉴权认证、负载均衡等功能；——统一语义处理层：通过元数据映射转换和数据映射转换，提供统一的语义访问接口，实现协议间语义操作实时转换，实现语义兼容；——可扩展数据对象层：通过元数据组织和数据组织机制，提供具有一致数据结构的元数据对象和数据对象，以支撑多协议映射对应一份元数据和数据。来自文件应用的数据（文件A）由NFS协议写入并提供文件存储协议服务，文件A通过统一语义数据映射和数据映射后，形成可扩展数据对象层中全局统一的元数据对象和数据对象，并实现元数据组织和数据组织；当对象应用希望通过S3协议读取文件A时，S3协议通过统一语义处理层映射到文件A，然后从可扩展数据对象层访问到文件A，最终映射转换为指定S3协议格式的数据内容，实现文件A以NFS协议写4GB/TXXXXX—XXXX6技术要求6.1总体要求分布式存储协议互联技术架构的总体要求如下：a)支持文件、对象、大数据应用中的至少两类协议同时接入，支持协议标准接口，并提供鉴权认证，负载均衡等能力；b)提供协议统一语义访问接口，支持不同协议间语义实时转换；c)具有一致数据结构的元数据对象和数据对象，提供数据分布均衡及数据修复重构能力。6.2协议接入服务层6.2.1存储访问接口6.2.1.1文件存储访问接口对接文件存储应用时，文件存储访问接口要求如下：a)应支持的NFS（V3和V4版本）协议，支持对目录、文件（包括附属信息）的创建、打开、关闭、查找、遍历、查询、设置、删除、重命名、读、写、数据同步等常用操作；b)应支持的CIFS/SMB（V1、V2和V3版本）协议，支持对目录、文件（包括附属信息）的创建、打开、关闭、删除、查询、设置、读、写、数据同步、租约等常用操作；c)宜支持POSIX接口的私有客户端模式，支持对目录、文件（包括附属信息）的创建、打开、关闭、查找、遍历、查询、设置、删除、重命名、读、写、数据同步等常用操作。6.2.1.2对象存储访问接口对接文件存储应用时，对象存储访问接口要求如下：a)应支持S3API接口，并应符合：1）支持桶创建、列举、删除等常用操作，宜支持桶生命周期、桶策略、桶ACL等功能的设置、查询等操作；2）支持对象的上传、下载、删除、拷贝、移动、列举、查询、分片上传等常用操作；注：S3指亚马逊简单存储（AmazonSimpleStorab)宜支持Swift接口，并宜符合：1）支持账户的创建、查询、修改、删除、容器列举等常用操作，支持容器的创建、查询、修改、删除、对象列举等常用操作；2）支持对象的创建、查询、复制、删除等常用操作。注：Swift指对象存储协议标准（OpenStackObjectSto6.2.1.3大数据存储访问接口对接大数据存储应用时，大数据存储访问接口要求如下：a)应支持HDFS接口，以文件方式对接存储，支持对目录、文件（包括附属信息）的创建、查找、遍历、查询、设置、删除、重命名、读、写等常用操作，宜支持配额、快照、ACL等功能；b)宜支持S3接口，以对象方式对接存储，接口要求见6.2.1.2。6.2.2协议接入功能协议接入功能要求如下：5GB/TXXXXX—XXXXa)同一存储系统内，每个存储设备应提供多协议服务能力，支持多协议同时接入；b)应支持协议接入鉴权认证，各协议至少支持一种鉴权认证方式：1）NFS协议鉴权认证：本地用户、LDAP域或NIS域鉴权认证；2）CIFS/SMB协议鉴权认证：本地用户、AD域或LDAP域鉴权认证；3）文件私有客户端鉴权认证：本地用户、LDAP域或NIS域鉴权认证；4）HDFS协议鉴权认证：本地用户或LDAP域鉴权认证；5）S3协议鉴权认证：AK/SK或LDAP域认证；6）OpenStackSwift支持KeyStone用户认证方式；c)宜支持单个协议内负载均衡，文件、对象、大数据应支持单协议内的统一域名访问服务，单协议内支持负载均衡，提供轮询，连接数或资源负载（CPU、内存、带宽）等至少一种接入均衡方式；d)宜支持多协议全局的负载均衡，文件、对象、大数据宜支持协议间的负载均衡，提供连接数或资源负载（CPU、内存、带宽）等至少一种接入均衡方式；e)宜支持业务带宽及OPS的Qos功能，支持客户端、存储节点、用户、目录/桶等至少一种Qos策略控制，保障多协议业务性能的均衡稳定；f)支持协议服务异常自恢复机制，支持节点故障及恢复后协议服务切换迁移机制，切换迁移同时保证符合负载均衡要求。6.3统一语义处理层6.3.1统一语义访问接口对接文件、对象、大数据HDFS协议，满足协议全语义兼容。统一语义访问接口要求如下：a)元数据操作应支持创建、查找、遍历、删除、重命名、截断、设置、查询等操作，对应文件、HDFS协议的目录（文件）以及对象协议的桶/容器（对象）的基础语义操作；b)数据操作应支持：读、新写、修改写、追加写、删除、截断等操作，对应文件、HDFS协议的文件以及对象协议的对象的基础语义操作；c)元数据及数据语义操作接口支持携带协议本身的用户/权限等扩展的私有信息，语义操作结果符合扩展信息的要求或限制。6.3.2元数据映射根据协议元数据和统一元数据的相关性，多协议元数据通过映射转换成统一元数据；同样地，统一元数据也能通过映射转换为指定协议的元数据（元数据映射示意见图3）。元数据映射要求如下：6GB/TXXXXX—XXXX图2分布式存储系统协议互联元数据映射示意a)应支持文件、HDFS协议的目录、文件信息（目录（文件）名称、类型、属主、时间、大小、权限、私有信息等）映射转换为统一元数据路径及对象信息；b)应支持对象协议的桶（对象）信息（租户名、桶（对象）名称、属主、状态、类型、时间、大小、标签、私有信息等）映射转换为统一元数据路径及对象信息；c)应支持统一元数据路径/对象信息映射转换为文件、HDFS协议的目录（文件）信息或对象协议的桶（对象）信息；d)宜支持文件、HDFS协议的用户组、用户（包括域）和权限信息映射转换为统一元数据用户及权限信息；e)宜支持对象协议的租户、用户及权限信息映射转换为统一元数据用户及权限信息；f)宜支持统一元数据用户、权限信息映射转换为文件、HDFS、对象协议的用户/租户及权限信息。6.3.3数据映射将指定范围的不同协议格式的数据内容映射转换成全局统一的数据对象；同样地，数据对象也能映射转换为指定协议格式的数据内容（数据映射示意见图4）。数据映射相关要求如下：图3分布式存储系统协议互联数据映射示意a)支持文件、HDFS协议的文件数据内容映射转换为一个或多个数据对象的内容；b)支持对象协议的对象数据内容映射转换为一个或多个数据对象的内容；c)支持一个或多个数据对象的内容映射转换为文件、HDFS、对象协议的数据内容。7GB/TXXXXX—XXXX6.3.4扩展功能宜支持多协议下访问控制、配额、快照等功能的统一管理，如文件服务为目录设置的配额，对象服务对应的桶也会生效；或同一个本地用户，文件服务设置本用户访问目录为只读，则本用户访问对象服务对应的桶也为只读。6.4可扩展数据对象层6.4.1统一格式的元数据对象和数据对象基于元数据组织和数据组织，实现一种统一格式的可扩展元数据对象结构和数据对象结构，满足语义层的元数据及数据请求操作，要求如下：a)基于元数据和数据的信息量，提供多级索引组织结构，支持在限定信息下通过内部索引定位到具体对象来进行访问；b)通过统一语义处理层的元数据映射和数据映射，多协议的数据内容通过数据对象持久化存储为全局统一的单一副本；c)数据组织结构应支持创建、读、写、删除、截断、信息设置、查询、快照等操作；d)元数据组织结构应支持偏移长度方式或键值方式的创建、读取、删除、更新等操作。6.4.2元数据组织元数据组织应支持路径、对象、用户及权限三类信息，要求如下：a)统一元数据路径及统一元数据对象信息中包括但不限于：唯一名称、类型、属主、时间、大小、权限等基本信息，以及私有的扩展信息（私有协议信息、元数据/数据分布信息等）；b)统一元数据用户及权限信息包括但不限于：(域）用户组/用户ID、映射类型、基本权限映射关系、ACL权限映射关系等。6.4.3数据组织数据组织要求如下：a)全局数据对象信息包括但不限于：唯一ID、对应协议数据的偏移、数据长度以及私有信息；b)应