2023海洋大数据分级存储技术规范

海洋大数据分级存储技术规范II目 次前言 II112范引文件 13语定义 14略语 15据级 25.1分要素 25.2定规则 25.3分等及储求 26级储术求 36.1基要求 36.2分存实现 36.3数迁移 37级储理求 47.1设管理 47.2资管理 57.3策管理 57.4监运维 5PAGEPAGE1海洋大数据分级存储技术规范范围10PB（GB/T35295—2017信息技术大数据术语GB/T35295—2017界定的以及下列术语和定义适用于本文件。3.1大数据 bigdata具有数据巨大、种类多样、流动速度快、特征多变等特性，并且难以用传统数据体系结构和数据处GB/T37973—2019，3.1]3.2海洋数据 oceanbigdata具有大数据特征的海洋领域数据集。3.3数据级 dataclassification按照存储效能的分级规则对大数据进行定级。3.4分级储 hierarchicalstorage采用相应等级的存储要求对大数据进行存储。3.5迁移略 migrationstrategy根据大数据的分级等级及数据访问量要求所建立的分级存储实施策略。注：包括迁移触发条件、源存储设备、目标存储设备等。缩略语下列缩略语适用于本文件。CPU：中央处理单元（CentralProcessingUnit）ETL：数据提取、转换和加载（Extract-Transform-Load）IOPS：每秒读写次数（InputOutputOperationsPerSecond）ORC：列式存储（OptimizedRowColumnar）PB1PB=2的50（Petabyte）RCFile（RecordColumnarFile）SQL（StructuredQueryLanguage）海洋大数据分级等级分为三级、二级、一级，应按照表1进行海洋大数据的定级。表1 海洋数等条及定规则等级条件判定规则判定等级三级等级条件：高频率访问的海洋大数据。10三级二级等级条件：一般频率访问的海洋大数据。10～30数据。二级一级等级条件：访问频率较低，或不经常被访问的海洋大数据，或归档的历史海洋大数据。数据访问频次从高到低，排序30%～100%部分数据。一级注：根据对海洋大数据访问周期的统计结果，结合本机构的实际情况，对三级、二级、一级等级的存储空间比例进行适当调整。相应等级的海洋大数据的存储应符合表2的规定。表2 海洋数分等及储要求数据分级等级分级存储要求三级三级海洋大数据的存储应符合以下要求：应实现数据实时访问，访问延迟应小于5ms；系统的正常运行；可靠性：多种手段保护数据，确保数据10099.99999二级二级海洋大数据的存储应符合以下基本要求：可实现数据实时访问，访问延迟应小于100ms；可扩展性：具备一定的在线存储容量扩充能力，且不影响原存储系统的正常运行；可靠性：多种手段保护数据，确保数据10099.9999表2 海大据级级及储求数据分级等级分级存储要求一级一级海洋大数据的存储应符合以下基本要求：可实现数据延迟访问，访问延迟不高于5min；可扩展性：应支持离线扩展能力，且不影响原存储系统的正常运行；可靠性：确保数据10099.9999海洋大数据存储的基本要求：RCFile、ORC海洋大数据的分级存储实现：5.25.36.3的规定迁移准备工作应包括但不限于：ETL通过装载工具或自行编写的SQL程序将抽取、转换后的结果数据加载到目标存储系统中的存储设备。迁移后的质量校验要求：C