TZSA 178-2023 冷数据云存储系统通用技术规范

ICS01.040.35CCSL70团 体 标 准T/ZSA178-2023冷数据云存储系统通用技术规范Generaltechnicalspecificationforcolddatacloudstoragesystem2023-11-25发布 2023-11-26实施中关村标准化协会 发布T/ZSA178-2023T/ZSA178-2023PAGE\*ROMANPAGE\*ROMANIII目 次前 言 II引 言 III范围 1规范性引用文件 1术语和定义 1缩略语 3冷数据云存储系统基本架构 4基本架构图 4基本架构描述 55.4接口层 7要求 7模块功能要求 7性能要求 11安全性要求 12节能要求 13测试方法 13功能测试 13性能测试 20安全性测试 22节能测试 22参考文献 23前 言GB/T1.1—20201请注意本文件的某些内容可能涉及专利，具体名称及专利号在本文件的注释中给出。本文件由中关村标准化协会智能物联分技术委员会提出并归口。（中国）有限公司，中金数据集团有限公司，中国电信集团有限公司北京分公司，中国联合网络通信有限公司北京市分公司。本文件主要起草人：林绍福，高华龙，马一一，曹亚孟，徐飞，戴小勇，王小健，李海涛，铁伟，于波，王燕元。引 言（SAN）架构和网络接入存储（NAS）架构发展为分布式存储架构，进而发展为云存储架构。据统计全球数据只有10%-15T/ZSA178-2023T/ZSA178-2023PAGEPAGE10冷数据云存储系统通用技术规范范围本文件适用于冷数据云存储系统的开发和应用。规范性引用文件（包括所有的修改单适用于本文件。GB/T9813.3计算机通用规范第3部分：服务器GB/T32400信息技术 云计算 概览与词汇GB/T37939信息安全技术 网络存储安全技术应不低于此安全要求术语和定义GB/T32400-2015界定的以及下列术语和定义适用于本文件。ColdData指活动不频繁、不会被经常访问甚至永远不会被访问,但仍然需要长期保留的数据。注：通常一个数据集合中的数据只被写入一次，90%以上的数据保存时间超过6个月，并且在生命周期中平均被读取次数不超过3次，我们则可称这个数据集合中的数据为冷数据。热数据HotData相对冷数据而言，活动更为频繁，需要在近期经常被访问的数据。ColdStorage适用于保存冷数据的存储，提供大容量，低成本，低能耗的存储服务。HotStorage相对于冷存储而言，数据需要被更高频的访问，需要提供更高的性能，支持数据即时高速访问的存储。DataFever区分数据冷热的度量，用来描述数据最近一段时间的访问频次。FileSet以文件或对象为单位的数据集合。Snapshot卷在某个时间点的副本。[源自：GB/T37737-2019，3.1.4]DataFreezing标记数据从相对的“热数据”到“冷数据”状态的过程。DataThawing标记数据从相对的“冷数据”到“热数据”状态的过程。ErasureCoding一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置。SpinDown一种磁盘节电技术，该技术通过改变磁盘的磁头状态、电机转速、电机通电状态等磁盘内部状态，来调节磁盘运行功耗。压缩率 Compressionrate描述压缩文件的效果名，是文件压缩后的大小与压缩前的大小之比。注：压缩率的举例说明，把100MB的文件压缩后是90MB，压缩率为90/100*100%=90%，压缩率一般是越小越好，但是压得越小，解压时间越长。缩略语下列缩略语适用于本文件：RAI（ReundntArrysOfInepedentDik。NF（NetorkFileSyte。SMB：通信协议。（ServerMessageBlock）FTP：文件传输协议。（FileTransferProtocol）DAS：开放系统的直连式存储。(Direct-AttachedStorage)MAID（MassiveArraysofIldeDisks）API：应用程序程序接口.(ApplicationProgrammingInterface)RESTAPI：状态传输应用程序编程接口。（RepresentationalStateTransferApplicationProgrammingInterface）CLI：命令行接口。(CommandLineInterface)QoS：解决网络延迟（QualityofService）S3：简单存储服务（SimpleStorageService）SDK：软件开发工具包（SoftwareDevelopmentKit）冷数据云存储系统基本架构基本架构图图1：为冷数据云存储系统基本架构。总体架构包含计算系统、热存储系统、备份系统、冷存储系统，为了方便软件和硬件的管理还增设了资源管理平台及运维管理平台。图1冷存储系统基本架构图2：为冷数据云存储系统内部架构。内部架构应包括物理存储资源层、功能实现层、接口层，随着冷数据云存储技术的发展和系统功能的加强未来还可能增加新的层。图2冷存储系统内部架构基本架构描述物理存储资源层MAIDSpinDown等节电技术的本地直连存储，也可以使用虚拟磁带库。对于光盘塔/库这类低能耗的存储设备，对此层标准不做进一步的描述和规定。功能实现层热度管理用于调度管理文件热度的模块，采用分层等技术，实现数据的冷冻与解冻的调度。文件集管理用于管理文件集的模块，提供文件集相关基本的管理功能，如创建、删除、修改属性以及查看属性等。注：在文件集管理要求中涉及到如下5个专利：4654332；4899911；4791019；4729248；（该专利正在审核中）。快照管理用于管理文件集快照的模块，提供建立快照、删除快照、恢复快照等相关管理功能。监控告警管理配置管理日志管理QoS管理IOPS等性能指标进行限制管理。注：在QoS管理要求中涉及到如下1个专利：一种压缩处理方法、装置、存储介质及电子设备（该专利正在审核中）。数据压缩/去重注：数据压缩/去重要求中涉及到如下1个专利：数据去重处理方法、装置、设备及存储介质专利号：4853463。接口层概述4636917；资源管理接口针对资源管理系统的接口，采用RESTfulAPI、CLI等方式实现，提供文件集管理、热度管理、快照管理等与数据集直接相关的功能接口。运维管理接口RESTfulAPICLI文件（服务）接口（NFS/SMB/FTP/客户端方式对象（服务）接口为备份系统、热存储系统提供对象服务（S3/SDK/CLI）访问接口。要求模块功能要求热度管理冷存储系统提供的热度管理应满足下列要求：支持对文件集的冷冻，使整个文件集处于节能或离线状态；支持设置文件集开启自动冷冻功能，使文件集中的文件一段时间不被访问时自动进入冷冻状态；支持文件的解冻，单独解冻指定的文件到激活状态，解冻完成后，通过对象接口进行访问。注：热度管理要求中涉及到如下2个专利：数据缓存方法、装置、电子设备及存储介质专利号：4765438；文件缓存方法、装置、计算机设备及存储介质（该专利正在审核中）。文件集管理冷存储系统提供的文件集管理应满足下列要求：a）支持在创建时指定文件集的介质，冗余情况信息；b）支持创建、删除文件集；支持对文件集的扩缩容；支持修改文件集的共享协议，包括不限于NFS,SMB,FTP,S3等；f）快照管理冷存储系统提供的快照管理应满足下列要求：a）支持对文件集创建快照；支持快照的删除；支持将文集回滚到某个快照的状态；d）监控告警管理监控和告警管理应满足如下功能：支持用户的文件集、目录、桶、文件的监控；支持设置告警参数，参数包括但不限于告警类型、告警级别；支持实时监控系统的负荷和故障情况；d）e）支持按照多种条件筛选查看告警历史信息，包括但不限于告警类型、时间区间等。配置管理配置管理应满足如下功能：支持查看系统当前的配置信息；提供配置信息导出和导入功能；支持系统版本的查看和升级；支持存储、备份、和恢复配置数据。日志管理日志管理应满足如下功能：a）至少包括时间、时间内容等信息；b）支持日志的导出；c）支持日志记录的访问限制。QoS管理服务质量（QoS）管理应满足如下功能：a）支持指定性能指标为IOPS或Mbps；b）指定性能指标的上限；指定性能指标的下限；支持指定文件集的带宽访问上/下限控制。注：QoS管理要求中涉及到如下1个专利：a) （该专利正在审核中）。数据压缩/去重数据压缩数据压缩应满足如下功能：支持对文件进行压缩，并保存压缩后的文件；c）d）数据去重数据去重应需满足如下功能：支持开启、关闭去重功能；可扩展性冷存储系统的可扩展性应满足下列功能：a）支持存储容量和处理能力的动态在线添加或删除；b）支持存储容量的和处理能力的扩缩容的相互独立；c）支持动态扩缩容；支持单一的文件集的扩容，扩容规模可达到200PB。兼容性操作系统兼容性操作兼容性应满足下列功能：a）（不少于两条技术路线应用软件兼容性冷存储系统应能兼容支持主流的备份系统。接口兼容冷云存储系统的接口兼容性应满足如下要求：支持通用文件系统（NFS/CIFS/FTP/客户端方式）访问方式；支持对象服务（S3/SDK/CLI）访问方式；性能要求存储控制器性能存储控制器的数量存储控制器的硬件性能系统使用的存储控制器的硬件应符合GB/T9813.3-2017中4.1.1的规定。存储控制器性能存储控制器性能应符合GB/T9813.3-2017中的规定。本地存储设备性能系统中选用的本地存储设备应不少于12Gbit/s7200虚拟磁带库系统中选用的磁带库设备应不少于400Mbit/s的写入带宽。光盘塔/库系统中选用的光盘塔/库设备应不少于500Mbit/s的读写带宽。出口带宽冷数据云存储系统向外提供存储服务的出口带宽应不低于1GB/s。解冻性能单个文件解冻冷数据云存储系统中，对于已经转冷的单个文件进行解冻，解冻时间应不超过3分钟。对于同一时间段时间写入内容的解冻冷数据云存储系统中，对于同一天写入到系统中的多个文件，同时解冻时，解冻总时间应不超过3分钟。对于不同时间段写入内容的同时解冻10安全性要求访问安全访问鉴别应低于GB/T37939-2019中的规定。访问控制应低于GB/T37939-2019中的规定。系统安全设备可靠运行支持应低于GB/T37939-2019中的规定。设备工作状态监控应低于GB/T37939-2019中的规定。软件及软件运行安全应低于GB/T37939-2019中的规定。数据安全数据完整性应低于GB/T37939-2019中的规定。数据保密性应低于GB/T37939-2019中的规定。数据可用性防病毒应低于GB/T37939-2019中.1的规定。数据冗余应低于GB/T37939-2019中.2的规定。节能要求冷存储系统有如下节能要求：冷存储系统主存储介质应支持使用支持节电技术的直连存储、磁带库或光盘塔/库等低能耗存储介质中的一种或多种。能耗要求，在写入场景下，每PB每日耗电量不应超过8千瓦时。为降低每PB注：节能要求中分涉及到如下2个专利。节电存储方法、装置、设备及存储介质复审中；测试方法功能测试热度管理冷存储系统提供的热度管理应符合下列测试要求：测试方法：建立文件集，并对文件集进行冷冻操作，通过操作界面检查文件集的状态。测试预期：文件集进入节能或离线状态。测试结果：检查是否符合6.1.1a）的要求。测试方法：在文件集处于冷冻状态时，对文件集进行解冻操作，解冻完成后分别使用对象接口和文件接口对文件进行上传（写入）和下载（读取）的单个随机内容文件。测试预期：解冻后文件集最终进入激活状态，上传（写入）和下载（读取）文件功能正常。测试结果：检查是否符合6.1.1b）的要求。测试方法：设置文件集的自动冷冻功能，并设置自动冷冻时间为X秒，上传（写入）的一个随机内容文件，静置等待2*X秒后，查看文件状态。测试预期：文件进入冷冻状态。测试结果：检查是否符合6.1.1c）的要求。测试方法：通过自动冷冻使文件进入冷冻状态，对文件进行解冻，下载（读取）文件。测试预期：文件可以被下载。测试结果：检查是否符合6.1.1d）的要求。文件集管理冷存储系统提供的文件集管理应符合下列测试要求：测试方法：创建文件集，配置文件集指定介质，冗余情况。测试预期：创建时指定文件集的介质成功，指定冗余情况信息成功。测试结果：检查是否符合6.1.2a）的要求。测试方法：创建集、删除文件集。测试预期：创建文件集成功，删除文件集成功。测试结果：检查是否符合6.1.2b）的要求。测试方法：查看文件集属性。测试结果：检查是否包含6.1.2c）的要求中的信息；d)测试方法：对文件集进行扩容和缩容。测试预期：文件集扩容成功，文件集缩容成功。测试结果：检查是否符合6.1.2d）的要求。测试方法：修改文件集的共享协议，NFS、SMB、FTP、S3等。测试预期：修改文件集共享协议成功。测试结果：检查是否符合6.1.2e）的要求。测试方法：修改文件集共享的秘钥信息，修改后使用新的秘钥信息登陆。测试预期：修改文件集共享秘钥信息成功，修改后使用新的秘钥信息登陆成功。测试结果：检查是否符合6.1.2f）的要求；快照管理冷存储系统提供的快照管理应符合下列测试要求：a)测试方法：对文件集创建快照。测试预期：对文件集创建快照成功。测试结果：检查是否符合6.1.3a）的要求。b)测试方法：对文件集删除快照。测试预期：删除文件集快照成功。测试结果：检查是否符合6.1.3b）的要求。测试方法：对文件集使用快照，查看文件集状态。测试预期：对文件集使用快照，回滚到指定快照的状态成功。测试结果：检查是否符合6.1.3c）的要求。测试方法：查看文件集快照属性及状态。测试预期：查看文件集快照属性及状态信息显示正确。测试结果：检查是否符合6.1.3d）的要求。监控告警管理监控和告警管理应符合下列测试要求：测试方法：查看用户的状态监控，包括文件集、目录、桶、文件的状态测试预期：用户状态监控显示正确，包括文件集、目录、桶、文件的状态。测试结果：检查是否符合6.1.4a）的要求。测试方法：设置监控参数，查看告警类型、告警级别等。测试预期：设置监控参数成功，可查看告警类型、告警级别等。测试结果：检查是否符合6.1.4b）的要求。测试方法：实时监控系统，查看负荷和故障情况。测试预期：可对系统实时监控，显示负荷和故障情况正确。测试结果：检查是否符合6.1.4c）的要求。测试方法：设置监控告警，达到告警条件后，查看告警情况。测试预期：设置监控告警后，达到告警条件后，可收到告警通知。测试结果：检查是否符合6.1.4d）的要求。测试方法：查看监控告警日志，设置筛选条件告警类型、时间区间等。配置管理配置管理应符合如下测试要求：a)测试方法：查看系统的配置信息。测试预期：系统配置信息显示正确。测试结果：检查是否符合6.1.5a）的要求。b)测试方法：配置信息导入/导出。测试预期：配置信息导入成功且正确，配置信息导出成功且正确。测试结果：查看配置检查是否符合6.1.5b）的要求。c测试结果：检查是否符合6.1.5c）的要求。d)测试方法：对系统版本进行查看和升级测试预期：升级系统版本成功，查看系统版本显示正确。测试结果：检查是否符合6.1.5d）的要求。e)测试方法：对配置进行存储、备份、恢复，查看配置数据。测试预期：存储配置成功，备份配置成功，恢复配置成功。测试结果：检查是否符合6.1.5e）的要求。日志管理日志管理应符合如下测试要求：a)测试方法：查看日志展示信息。测试预期：日志信息展示正确，至少包括时间，时间内容等信息。测试结果：检查是否符合6.1.6a）的要求。测试方法：导出日志，查看导出的日志信息。测试预期：日志导出成功，查看日志显示正确。测试结果：检查是否符合6.1.6b）的要求。测试方法：配置不同用户的日志查看权限。测试结果：检查是否符合6.1.6c）的要求。服务质量QoS管理服务质量（QoS）管理应符合如下测试要求：a)测试方法：设定系统的性能指标为IOPS/MBPS。测试预期：设定系统的性能指标为IOPS/MBPS成功。测试结果：检查是否符合6.1.7a）的要求。测试预期：两个文件集的性能指标均应低于上限。测试结果：检查是否符合6.1.7b）的要求。测试预期：两个文件集的性能指标均应高于下限。测试结果：检查是否符合6.1.7c）的要求。测试预期：两个文件集的带宽均应在各自上下限之间。测试结果：检查是否符合6.1.7d）的要求。数据压缩/去重数据压缩数据压缩应符合如下测试要求：测试方法：建立一个文件集，开启压缩功能，上传（写入）一个可被压缩文件（如内容全零文件）观察文件增长容量，并计算压缩率。测试预期：计算得到的文件的压缩率小于100%。测试结果：检查是否符合a）的要求。测试方法：准备两个压缩率不同的文件，记压缩率大的文件为A，压缩率小的文件为B，建立一个文（写入测试预期：A的实际压缩率为100%，B的压缩率小于100%。测试结果：检查是否符合b）的要求。写入，观察文件增长容量，并计算压缩率。测试预期：文件的压缩率不小于100%。测试结果：检查是否符合c）的要求。数据去重数据去重应符合如下测试要求：a）测试方法：开启/关闭去重功能测试预期：开启去重功能成功，关闭去重功能成功。测试结果：检查是否符合a）的要求。b1)测试方法：建立一个文件集，开启去重功能，两次上传（写入）两个相同的文件，记录两次文件集容量增长情况。测试预期：第二次容量增长远小于第一次容量增长。测试结果：检查是否符合b）的要求。b2)测试方法：建立一个文件集，关闭去重功能，两次上传（写入）两个相同的文件，记录两次文件集容量增长情况。测试预期：两次容量增长情况相同。测试结果：检查是否符合b）的要求。扩展功能冷存储系统的可扩展性应符合下列测试要求：测试方法：添加或删除存储容量和处理能力。测试预期：添加和删除存储容量成功，添加和删除处理能力成功。测试结果：检查是否符合6.1.9a）的要求。测试方法：存储容量进行扩容和缩容任务；处理能力进行扩容和缩容任务。测试预期：独立扩容和缩容存储容量成功；独立扩容和缩容处理能力成功。测试结果：检查是否符合6.1.9b）的要求。测试方法：对存在正常业务的存储进行扩缩容，查看业务影响。测试预期：扩容和缩容均成功，且对业务无影响。测试结果：检查是否符合6.1.9c）的要求。测试方法：已有业务运行，扩容后查看业务状态。测试结果：检查是否符合6.1.9d）的要求。测试方法：对文件集进行扩容，对其扩容至200PB,查看扩容能力。测试预期：扩容成功，确认扩容后容量为200PB。测试结果：检查是否符合6.1.9e）的要求。兼容性操作系统兼容性操作兼容性应符合下列测试要求：（不少于两条技术路线）上安装、运行。测试预期：在不同的主流操作系统上安装、运行成功，且保持相近的性能。测试结果：检查是否符合a）的要求。软件兼容软件兼容性应符合下列测试要求：测试方法：基于主流备份系统的兼容测试，安装主流备份系统，后端存储配置为冷存储系统。测试预期：安装主流备份系统，后端存储配置为冷存储系统成功，且备份功能正常。测试结果：检查是否符合a）的要求。接口兼容接口兼容性应符合下列测试要求：测试方法：使用文件系统（NFS/CIFS/FTP/客户端方式）访问方式，查看访问结果。测试预期：使用文件系统（NFS/CIFS/FTP/客户端方式）可正常访问文件。测试结果：检查是否符合a）的要求。测试方法：使用对象服务（S3/SDK/CLI）访问方式，查看访问结果。测试预期：使用对象服务（S3/SDK/CLI）可正常访问。测试结果：检查是否符合b）的要求。测试方法：接口协议支持负载均衡、主备切换等模式，当冷存储单结点故障时，查看业务能力。测试预期：冷存储单结点故障时，业务不受影响。测试结果：检查是否符合c）的要求。性能测试控制器性能测试按照GB/T9813.3-2017中5规定的试验方法进行试验。本地存储设备测试本地存储设备应符合下列测试要求：a）测试方法：使用符合6.2.2要求的数据盘，查看本地存储设备对磁盘的兼容性。测试预期：本地存储设备对符合6.2.2的磁盘可兼容。测试结果：检查是否能够兼容识别。测试方法：使用1M的块大小对磁盘进行单独的顺序写入和顺序读取测试，并记录带宽。测试预期：读写带宽不少于200Mbit/s。测试结果：检查是否符合测试预期。测试方法：使用1M的块大小并发对至少10块磁盘分别进行顺序写入，并记录总吞吐量。测试预期：总吞吐不少于1.5Gbit/s。测试结果：检查是否符合测试预期。虚拟磁带库性能测试测试方法使用50MB的文件对系统选定的磁带库进行顺序写入测试根据设备提供 的最优参调整并发数和IO深度，并记录写入带宽。测试预期：写入带宽不少于400Mbit/s。测试结果：检查是否符合测试预期。光盘塔/库性能测试测试方法：使用50MB的文件对系统选定的光盘塔/库设备，进行顺序上传（写入）和下载（读取）测试，根据设备提供的最优参数调整并发数和IO深度，并记录读写带宽。测试预期：读写带宽不少于500Mbit/s。测试结果：检查是否符合测试预期。出口带宽性能测试测试方法：按照系统的最优性能创建一个集群的多个文件集，使用50MB的文件对系统进行顺序上传（写入）测试，根据系统提供的最优参数调整上传并发数和IO深度，并监控系统的出口带宽。测试预期：出口带宽应不低于1Gbit/s。测试结果：检查是否符合测试预期。解冻性能测试冷数据云存储的解冻功能应符合下列测试要求：（写入一个4MB测试预期：解冻时间应小于3分钟。测试结果：检查是否符合中的要求。测试方法：创建文件集，上传（写入）3个4MB文件，对文件集进行持续上传（写入），3天后，对这三个文件同时并发发起解冻，记录3个文件的解冻总时间。测试预期：解冻时间跨度应不超过3分钟。测试结果：检查是否符合中的要求。b）测试方法：创建文件集，设置文件集为自动冷冻，对文件集进行持续上传（写入）,每间隔10（写入并记录一个4M1000（写入测试预期：解冻时间跨度应不超过10分钟。测试结果：检查是否符合测试预期。注：4M的文件只是本文档的标准、实际需以真实业务的平均文件大小做为解冻性能测试参照物。安全性测试按照GB/T37939-2019中7.1.4规定的测试方法进行测试。节能测试冷数据云存储节能应符合如下测试要求：a)测试方法：检查冷存储系统主存储介质。测试预期：支持使用支持节电技术的直连存储、磁带库或光盘塔/库等低能耗存储介质。测试结果：是否满足6.4a)中的要求。b（千瓦时天后，77PB每日的耗电量。测试预期：计算结果每PB每日耗电量不应超过8千瓦时。测试结果：是否满足6.4b)中的要求。测试方法：检查存储系统的密度。测试预期：每42U的标准机柜提供存储空间不应低于10PB。测试结果：是否满足6.4c)中的要求。参考文献GB/T37737-2019 信息技术 云计算 分布式块存储系统总体技术要求ICS01.040.35CCSL70G r o u p S t a n d a r dT/ZSA178-2023GeneralTechnicalSpecificationforColdDataCloudStorageSystemPublishedon2023-11-25 Implementedon2023-11-26ZhongguancunStandardizationAssociationIssuedT/ZSA178-2023T/ZSA178-2023PAGE\*ROMANPAGE\*ROMANIIITableofContentsTableofContents IPreface IIIntroduction IIIScope 1Normativereferences 1Termsanddefinitions 1ColdData 1HotData 2ColdStorage 2HotStorage 2DataFever 2FileSet 2Snapshot 2DataFreezing 3DataThawing 3ErasureCoding 3SpinDown 3Compressionrate 3Abbreviations 3Basicarchitectureofcolddatacloudstoragesystem 4Basicarchitecturediagram 4Basicarchitecturedescription 6Interfacelayer 8Requirements 9Modulefunctionrequirements 9Performancerequirements 13Securityrequirements 14Energysavingrequirements 15Functiontest 15PerformanceTest 23Securitytest 25Energysavingtest 25References 27PrefaceThisdocumentisdraftedinaccordancewiththeprovisionsofGB/T1.1-2020"Directivesforstandardization--Part1:Rulesforthestructureanddraftingofstandardizingdocuments".Pleasenotethatsomecontentsofthisdocumentmayinvolvepatents.Thespecificnamesandpatentnumbersaregiveninthenotesforthisdocument.ThisdocumentisproposedbyandunderthejurisdictionoftheTechnicalCommitteeofZhongguancunStandardizationAssociation.Thisdocumentisdraftedby:BeijingInformationandCommunicationAssociationCapitalonlineDataServiceCo.,Ltd.BeijingZhiyeNetworkTechnologyCo.,Ltd.CapitalonlineDataServiceCo.,Ltd.BeijingUniversityofTechnologyAsiaInfoTechnologies(China)Co.,Ltd.CICCDataGroupCo.,Ltd.ChinaBeijingBranchChinaUnitedNetworkCommunicationsGroupCorporationBeijingBranch.hemandraferofhsdocuen:haofunHuaongGaYiaYamengaoeiXu，XaoongDai，XiaojianWang，HaitaoLi，WeiTie，BoYu，YanyuanWang.IntroductionWiththerapiddevelopmentofinformationtechnologysuchascloudcomputing,bigdata,InternetofThings(IoT),artificialintelligence(AI)andthetransformationoftraditionalindustrydigitization,thetotalamountofglobaldatahasshownexplosivegrowth,whichhasledtothedevelopmentofdatastoragesystemsfromthetraditionalstorageareanetwork(SAN)architectureandnetworkaccessstorage(NAS)architecturetodistributedstoragearchitecture,andthentocloudstoragearchitecture.Accordingtostatistics,only10%-15%ofglobaldataishotdataandwarmdatathatarefrequentlyaccessed,andmostofthemwillgraduallycooldownandbecome"colddata"withinafewyears.Althoughthecolddataisaccessedveryinfrequently,ithassignificantvalueandshallbestoredforalongtime.Thehugetotalamountandgrowthofcolddatadeterminesthenecessityofadoptingcloudstorage.Drivenbythetwomajorneedsofunlimiteddatastorageandcostreduction,the"colddatacloudstoragesystem"wasborn.CurrentlyChinahasdevelopedthefirstgenerationofcolddatacloudstoragesystem.Thesystemarchitectureincludesphysicalstorageresourcelayer,functionimplementationlayerandinterfacelayer.Withthedevelopmentofcolddatacloudstoragetechnologyandtheenhancementofsystemfunctionsinthefuture,newlayersmaybeaddedinthefuture.Thesysteminvolvesupto14patentsinhardwareandsoftwareandhasarchitecturaladvantagesovergeneralinternationaldistributedstoragesystemsandexcelsinenergyefficiency.ComparedwithtraditionalstoragesystemsthatfocusonenergysavingbysimplyusingtapeandBlu-ray,thissystemhasexcellentperformanceandiscurrentlyataleadinginternationallevel.Thisstandardwasformulatedinordertoimprovetheperformanceandreliabilityofthesystemandbettermeetmarketdemandstomakeitmorestandardizedandsafeindesign,development,andapplication.T/ZSA178-2023T/ZSA178-2023PAGEPAGE13GeneralTechnicalSpecificationforColdDataCloudStorageSystemScopeThisdocumentspecifiesthebasicarchitecture,functionrequirements,performancerequirements,securityrequirements,energy-savingrequirementsandtestmethodsforcolddatacloudstoragesystem.Thisdocumentisapplicabletothedevelopmentandapplicationofcolddatacloudstoragesystem.NormativereferencesThefollowingdocumentscontainprovisionswhich,throughreferenceinthistext,constituteessentialprovisionsofthisdocument.Fordatedreferences,onlytheeditioncitedapplies.Forundatedreferences,thelatesteditionofthereferenceddocument(includinganyamendments)applies.GB/T9813.3Generalspecificationforcomputer--Part3:ServerGB/T32400Informationtechnology--Cloudcomputing--OverviewandvocabularyGB/T37939 Informationsecuritytechnology--SecuritytechniquesrequirementfornetworkstorageTermsanddefinitionsForthepurposesofthisdocument,thetermsanddefinitionsgiveninGB/T32400-2015andthefollowingapply.ColdDataDatathatisinfrequentlyactive,notbeaccessedfrequentlyorevenever,butstillrequireslong-termretention.Note:Usuallythedatainadatasetiswrittenonlyonce.Ifmorethan90%ofthedataiskeptformorethan6monthsandisreadnomorethan3timesonaverageduringthelifecycle,thedatainthatdatasetcanbecalledcolddata.HotDataThedatathatismorefrequentlyactiveandneedstobeaccessedfrequentlyinthenearfuturecomparedtocolddata.ColdStorageThestoragesuitableforkeepingcolddata,providinghighcapacity,lowcost,andlowenergyconsumptionstorageservices.HotStorageThestoragethatrequirestobeaccessedmorefrequentlycomparedtocoldstorage,andrequirestoprovidehigherperformancetosupportimmediatehigh-speedaccesstodata.DataFeverAmetricthatdistinguishesbetweenhotandcolddataandisusedtodescribehowfrequentlydatahasbeenaccessedinarecentperiodoftime.FileSetAdatasetinfilesorobjects.SnapshotAcopyofthevolumeatacertainpointintime.[Derivedfrom:GB/T37737-2019,3.1.4].DataFreezingTheprocessoflabeleddatafromarelative"hotdata"toa"colddata"state.DataThawingTheprocessoflabeleddatafromarelative"colddata"toa"hotdata"state.ErasureCodingAdataprotectionmethodthatsplitsdataintosegments,expandsandencodesredundantdatablocks,andstorestheminadifferentlocation.SpinDownAdiskpowersavingtechniquethatregulatesthepowerconsumptionofadiskoperationbychangingthedisk'sinternalstatessuchasthedisk'sheadstate,motorspeed,andmotorenergizationstate.CompressionrateAnamethatdescribestheeffectofcompressingafile,beingtheratioofthesizeofthefileaftercompressiontothesizebeforecompression.Note:Forexample,tocompressa100MBfileinto90MB,thecompressionrateis90/100*100%=90%.Compressionrateisgenerallythesmallerthebetter,butthesmallerthecompression,thelongerthedecompressiontime.AbbreviationsForthepurposesofthisdocument,thefollowingabbreviationsapply:RAID:RedundantArraysofIndependentDisksNFS:NetworkFileSystemSMB:ServerMessageBlock(communicationsprotocol)FTP:FileTransferProtocolDAS:Direct-AttachedStorageforOpenSystems.MAID:MassiveArraysofIdleDisksAPI:ApplicationProgrammingInterfaceRESTAPI:RepresentationalStateTransferApplicationProgrammingInterfaceCLI:CommandLineInterfaceQoS:QualityofServiceS3:SimpleStorageServiceSDK:SoftwareDevelopmentKitBasicarchitectureofcolddatacloudstoragesystemBasicarchitecturediagramFigure1:basicarchitectureofcolddatacloudstoragesystem.Theoverallarchitectureincludescomputingsystem,hotstoragesystem,backupsystem,andcoldstoragesystem.Inordertofacilitatethemanagementofsoftwareandhardware,aresourcemanagementplatformandanO&Mmanagementplatformhavebeenadded.HotStorageManagementInterfaceExternalDataHotStorageManagementInterfaceExternalDataComputingSystemFileInterfaceHotStorageSystem BackupSystemFileInterfaceObjectInterfaceObjectInterfaceColdStorageSystemCold ManagementInterfaceO&M InterfaceO&MManagementPlatformResourceManagementPlatformFigure2:Internalarchitectureofcolddatacloudstoragesystem.Theinternalarchitectureshallincludethephysicalstorageresourcelayer,functionimplementationlayerandinterfacelayer.Withthedevelopmentofcolddatacloudstoragetechnologyandtheenhancementofsystemfunctions,newlayersmaybeaddedinthefuture.ColdStorageSystemColdStorageSystemVirtualTapeLibraryCD-ROMtower/libraryVirtualTapeLibraryCD-ROMtower/libraryLocalStorageDeviceDirect-AttachedStoragePhysicalstorageresourcelayerQoSManagementConfigurationManagementLogManagementMonitoringandAlarmManagementSnapshotManagementFile ThermalManagementDataCompression/DeduplicationFunctionimplementationlayerInterfaceLayerResourceManagementInterfaceFileServiceInterfaceObject InterfaceO&M InterfaceSystemDataFlowBasicarchitecturedescriptionPhysicalstorageresourcelayerThephysicalstorageresourcelayerprovidesspecificstoragefunctions.Itcanuselocaldirect-attachedstoragethatsupportspower-savingtechnologiessuchasMAIDorSpinDown,orvirtualtapelibraries(VTLs).ForlowenergyconsumptionstoragedevicessuchasCD-ROMtowers/libraries,thislayerofthestandardisnotfurtherdescribedorspecified.FunctionimplementationlayerGeneralThefunctionimplementationlayerprovidesinterfacesfortheinterfacelayerandprovidesunderlyingfunctionsupport.Itismainlydividedintoeightfunctionalmodules:thermalmanagement,filesetmanagement,snapshotmanagement,monitoringandalarmmanagement,configurationmanagement,logmanagement,QoSmanagementanddatacompression/deduplicationmodule.ThermalmanagementAmoduleforschedulingandmanagingfileheat,whichusestechniquessuchaslayeringtoenabletheschedulingofdatafreezingandthawing.FilesetmanagementAmoduleformanagingfilesets,whichprovidesbasicmanagementfunctionsrelatedtofilesets,e.g.creating,deleting,modifyingandviewingattributes.Note:Thefollowingfivepatentsareinvolvedinthefilesetmanagementrequirements:Dataprocessingmethods,apparatus,devices,andcomputer-readablestoragemedia.PatentNo.4654332;Datastoragemethods,apparatus,systems,electronicdevicesandstoragemedia.PatentNo.4899911;Datablockprocessingmethod,apparatus,device,andstoragemedia.PatentNo.:Datavalidationmethod,apparatus,deviceandstoragemedia.PatentNo.:Clusteredstoragesystemandmetadatarecoverymethod(Thispatentisunderreview).SnapshotmanagementAmoduleformanagingsnapshotsofafileset,whichprovidesrelatedmanagementfunctionssuchascreatingsnapshots,deletingsnapshotsandrestoringsnapshots.MonitoringandalarmmanagementAmoduleforsystemstatusdiscoveryandnotification,whichmonitorsandpresentstheoperatingstatusofthesystemandvarioushardwareandsoftwareindicators,andissuesanalarmwhenanabnormalityisfound.ConfigurationmanagementAmoduleforrecordingandmanagingthesystemconfigurations,whichreferstosystemoperationparameters,startupoptions,loglevelsandvarioustypesofpolicies,andismanagedmainlybypresentationandmodification.LogmanagementAModulebeingdividedintooperationlogmanagementandsystemlogmanagement.Bothtypesusethesamepresentationandquerymethodsbutservedifferentpurposes.Theoperationlogmainlyrecordsallkindsofmanagementoperations,whilethesystemlogrecordssystemevents.QoSmanagementAkindofmanagementusedtomanagetheQoSofthesystem,includingbutnotlimitedto,limitingthemanagementofbandwidth,IOPS,andotherperformancemetricsfordifferentfilesetsanddifferentusers.Note:Thefollowing1patentisinvolvedintheQoSmanagementrequirements:Acompressionprocessingmethod,anapparatus,astoragemedium,andanelectronicdevice(Thispatentisunderreview).Datacompression/deduplicationAmoduleforlosslessprocessingofdatainordertoincreasedeliverycapacity,whichusescorrespondingcompressionalgorithmsanddeduplicationalgorithmstoreducethestoragespaceoccupiedbythedata,respectively.Note:Thefollowing1patentisinvolvedinthedatacompression/deduplicationrequirements:Datadeduplicationprocessingmethod,apparatus,deviceandstoragemediumPatentNo.4853463.InterfacelayerGeneralTheinterfacelayerprovidesfileandobjectserviceinterfacesforthecomputingsystem,andprovidesO&MmanagementinterfacesfortheO&Mmanagementplatformandresourcemanagementinterfacesfortheresourcemanagementplatform,respectively.Note:Thefollowing2patentsareinvolvedintheinterfacelayerrequirements:Method,apparatus,deviceandstoragemediumforapplicationprogramfieldrestoration.PatentNo.4636917;Microservicestorageplatformapplicabletocolddataandmethodofusingit.ActualReviewinprogress.ResourcemanagementinterfaceAninterfaceforresourcemanagementsystem,whichisimplementedusingRESTfulAPI,CLI,etc.Itprovidesinterfacesforfunctionsdirectlyrelatedtodatasetssuchasfilesetmanagement,heatmanagementandsnapshotmanagement.O&MmanagementinterfaceAninterfaceforO&Mmanagementsystem,whichisimplementedusingRESTfulAPI,CLI,etc.,andprovidesinterfacessuchascollectionofmonitoringalarmdata,resourceconfigurationmanagementandservicepolicymanagement.File(service)interfaceAnaccessinterfaceprovidingfilesystem(NFS/SMB/FTP/clientmode)forthecomputingsystemandbackupsystem,whichsupportsbothphysicalmachinesystemsandvirtualizedhostsystems.Underthevirtualizationenvironment,thefilesystemcanbedirectlymountedtothevirtualmachinethroughthevirtualizationlayer,andthestorageandcomputingareinterconnectedviathenetwork.Object(service)interfaceAnaccessinterfaceprovidingobjectservice(S3/SDK/CLI)forbackupsystemandhotstoragesystem.RequirementsModulefunctionrequirementsThermalmanagementThethermalmanagementprovidedbythecoldstoragesystemshallmeetthefollowingrequirements:a）Supporttofreezethefilesetstokeeptheentirefilesetinanenergy-savingorofflinestate;Supporttothawthefilesetstobringthefrozenfilesetsintoanactivestateandprovideobjectandfileinterfacesafterthethawingiscomplete;Supporttosetthefilesettoenabletheauto-freezingfunction,sothatthefilesinthefilesetwillautomaticallyenterthefrozenstatewhentheyarenotaccessedforaperiodoftime;Supporttothawthefiles.Aspecifiedfileisthawedindividuallytoanactivestate,andisaccessedviatheobjectinterfaceafterthethawingiscompleted.Note:Thefollowing2patentsareinvolvedinthethermalmanagementrequirements:Datacachingmethod,apparatus,electronicdevice,andstoragemediaPatentNo.4765438;Filecachingmethods,apparatus,computerdevicesandstoragemedia(Thispatentisunderreview).FilesetmanagementThefilesetmanagementprovidedbythecoldstoragesystemshallmeetthefollowingrequirements:a）Supporttospecifythemedia,redundancysituationinformationofafilesetatcreation;Supporttocreateanddeletethefileset;Supporttochecktheattributesofafileset,includingbutnotlimitedtofilesetname,media,redundancyinformation,totalcapacity,occupiedcapacityandopenedprotocols,etc.;Supporttoscalethefileset;Supporttomodifythesharingprotocolsofthefileset,includingbutnotlimitedtoNFS,SMB,FTP,S3,etc.;Supporttomodifythesecretkeyinformationrequiredforfilesetsharing.SnapshotmanagementThesnapshotmanagementprovidedbythecoldstoragesystemshallmeetthefollowingrequirements:a）Supporttocreatethesnapshotsofafileset;Supporttodeletethesnapshot;Supporttorollbackafilesettothestateofasnapshot;Supporttocheckthesnapshotpropertiesandthestatusinformation.MonitoringandalarmmanagementThemonitoringandalertmanagementshallfulfillthefollowingfunctions:a）Supporttomonitortheusers'filesets,directories,bucketsandfiles;Supporttosetthealarmparameters,theparametersincludebutarenotlimitedtoalarmtypeandalarmlevel;Supporttomonitorthesystemloadandfaultconditionsinreal-time;d）Supportthealarmnotification;e）Supporttofilterandcheckthealarmhistoryinformationaccordingtovariousconditions,includingbutnotlimitedtoalarmtypeandtimeinterval,etc.ConfigurationmanagementTheconfigurationmanagementshallfulfillthefollowingfunctions:Supporttocheckthecurrentconfigurationinformationofthesystem;Provideexportandimportfunctionsforconfigurationinformation;Supporttoconfigurethefollowingconfigurationinformation:includingbutnotlimitedtonodeinformation,filesetinformation,objectinformation,filesharinginformationandtherelationshipbetweeneachother,etc.;Supporttocheckandupgradethesystemversion;Supportthestorage,bac