海洋大数据分级存储技术规范

海洋大数据分级存储技术规范范围本文件规定了海洋大数据的数据分级以及分级存储的技术要求和管理要求。本文件适用于10 PB级以XX洋大数据的分级存储与管理。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T35295—2017信息技术大数据术语术语和定义GB/T35295—2017界定的以及下列术语和定义适用于本文件。

大数据bigdata具有数据巨大、种类多样、流动速度快、特征多变等特性，并且难以用传统数据体系结构和数据处理技术进行有效组织、存储、计算、分析和管理的数据集。[来源：GB/T37973—2019，3.1]

海洋大数据oceanbigdata具有大数据特征的海洋领域数据集。

数据分级dataclassification按照存储效能的分级规则对大数据进行定级。

分级存储hierarchicalstorage采用相应等级的存储要求对大数据进行存储。

迁移策略migrationstrategy根据大数据的分级等级及数据访问量要求所建立的分级存储实施策略。包括迁移触发条件、源存储设备、目标存储设备等。缩略语下列缩略语适用于本文件。CPU：中央处理单元（CentralProcessingUnit）ETL：数据提取、转换和加载（Extract-Transform-Load）IOPS：每秒读写次数（InputOutputOperationsPerSecond）ORC：列式存储（OptimizedRowColumnar）PB：拍字节，1PB=2的50次方字节（Petabyte）RCFile：列存储文件（RecordColumnarFile）SQL：结构化查询语言（StructuredQueryLanguage）数据分级分级要素海洋大数据分级定级主要考虑的要素为海洋大数据的访问频率，即根据海洋大数据访问量从高到低来判断，可分为高频率访问的海洋大数据、一般频率访问的海洋大数据、低频率访问的海洋大数据。定级规则海洋大数据分级等级分为三级、二级、一级，应按照表1进行海洋大数据的定级。海洋大数据等级条件及判定规则等级条件判定规则判定等级三级等级条件：高频率访问的海洋大数据。数据访问频次从高到低，排序前10 %部分数据。三级二级等级条件：一般频率访问的海洋大数据。数据访问频次从高到低，排序前10 %～30 %部分数据。二级一级等级条件：访问频率较低，或不经常被访问的海洋大数据，或归档的历史海洋大数据。数据访问频次从高到低，排序30 %～100 %部分数据。一级根据对海洋大数据访问周期的统计结果，结合本机构的实际情况，对三级、二级、一级等级的存储空间比例进行适当调整。分级等级及存储要求相应等级的海洋大数据的存储应符合表2的规定。海洋大数据分级等级及存储要求数据分级等级分级存储要求三级三级海洋大数据的存储应符合以下要求：应实现数据实时访问，访问延迟应小于5 ms；可扩展性：应采用可扩展的存储架构，当存储资源不足时应具备在线扩展能力，且不影响原存储系统的正常运行；可靠性：多种手段保护数据，确保数据100 %不丢失，保证业务99.999 99 %高可用。二级二级海洋大数据的存储应符合以下基本要求：可实现数据实时访问，访问延迟应小于100 ms；可扩展性：具备一定的在线存储容量扩充能力，且不影响原存储系统的正常运行；可靠性：多种手段保护数据，确保数据100 %不丢失，保证业务99.999 9 %高可用。表2海洋大数据分级等级及存储要求数据分级等级分级存储要求一级一级海洋大数据的存储应符合以下基本要求：可实现数据延迟访问，访问延迟不高于5 min；可扩展性：应支持离线扩展能力，且不影响原存储系统的正常运行；可靠性：确保数据100 %不丢失，保证业务99.999 9 %高可用。分级存储技术要求基本要求海洋大数据存储的基本要求：应提供结构化、非结构化、半结构化数据存储和处理等功能；应支持分布式存储，包括分布式文件存储、分布式结构化数据存储、分布式列式数据存储、分布式图数据存储；应提供时序数据存储功能；应提供实时数据存储功能；应支持批处理计算功能，包括离线批量数据处理、在线批量数据处理等功能；应支持实时流处理/计算功能；宜提供数据压缩存储功能，支持压缩存储格式，包括文本格式、RCFile、ORC等；宜提供多副本存储功能，并确保数据存储完整性和多副本一致性；宜提供多种编程语言和脚本语言进行数据处理功能。分级存储实现海洋大数据的分级存储实现：应事先明确海洋大数据的数据分级等级，分级等级的判定应根据5.2的要求开展；应支持依据海洋大数据的分级等级将海洋大数据存储在相应等级的存储设备或系统中，海洋大数据分级等级及存储要求应符合5.3的要求；海洋大数据分级存储前应事先进行数据处理，应对缺失值数据进行补齐，支持差异数据、脏数据、冗余数据的清洗、去噪、过滤等；应定期评估海洋大数据的分级等级，分级等级发生变化的，应将海洋大数据迁移至相应等级的存储设备或系统，包括以下两种方式：归档的历史海洋大数据可直接拷贝至磁带库/光盘库等存储介质中；采用数据抽取方式将海洋大数据迁移至相应等级的存储设备或系统，应按照6.3的规定开展数据迁移。应支持根据海洋大数据的分级等级及存储要求、数据访问量，进行不同存储方式之间的迁移策略的设置、修改、删除等操作；应支持根据迁移策略实现对海洋大数据的组合查询；应支持根据海洋大数据的迁移策略实现海洋大数据的自动迁移，自动迁移应支持迁移日志。数据迁移迁移准备迁移准备工作应包括但不限于：制定待迁移数据源的详细说明，包括数据的存储方式、数据量、数据的时间跨度等；建立新旧系统数据库的数据字典；旧系统历史数据的质量分析；新旧系统数据结构的差异分析；新旧系统代码数据的差异分析；建立新旧系统数据库表的映射关系，并对无法映射的字段进行处理；开发、部署ETL工具，编写数据转换的测试计划和校验程序；制定数据转换的应急措施。迁移实施数据抽取应建立新旧系统数据库表的映射关系，采用合适的数据抽取工具将海洋大数据从源存储设备或系统抽取至目标存储设备或系统。数据转换应对迁移至新存储设备或系统的海洋大数据进行数据质量分析，以找出存在问题的数据。应对重复、错误、不完整、违反业务或逻辑规则等问题数据进行相应的操作。数据装载通过装载工具或自行编写的SQL程序将抽取、转换后的结果数据加载到目标存储系统中的存储设备。数据校验迁移后的质量校验要求：海洋大数据迁移后，应对迁移后的海洋大数据进行数据校验，可通过以下两种方式对迁移后的海洋大数据进行校验：新旧系统查询数据对比检查，通过新旧系统各自的查询工具，对相同指标的数据进行查询，并比较最终的查询结果；将新系统的数据恢复到旧系统迁移前一天的状态，并将最后一天发生在旧系统上的业务数据补录到新系统，检查有无异常，并和旧系统比较最终产生的结果。数据校验内容应包括但不限于：数据格式检查：检查数据的格式是否一致和可用；数据长度检查：检查数据的有效长度；区间范围检查：检查数据是否包含在定义的最大值和最小值的区间中；空值、默认值检查：检查新旧系统定义的空值、默认值是否相同；完整性检查：检查数据的关联完整性；一致性检查：检查逻辑上是否存在不一致的数据。分级存储管理要求设备管理支持分级存储系统或设备的磁盘、CPU、内存、电源、风扇、网口等信息的查询，以便实时了解分级存储系统或设备运行状态等；同时及时了解运行有误的分级存储系统或设备，若有必要应采取适当措施保证其正常运行。资源管理海洋大数据分级存储资源管理要求：应提供分级存储系统的各个节点的服务情况的查询功能，包括节点的主备、节点的容量和性能（IOPS、读流量、写流量）等信息，实时了解域内资源信息，运行状态；应提供用户权限范围内的节点管理功能，包括存储信息的添加、修改、删除等；应及时了解资源的异常，若有必要应采取适当措施保证其正常运行；应提供CPU、内存、存储等资源的调度和配置功能；应支持静态资源分配策略和动态资源分配策略；应提供资源视图查看功能，包括可用CPU、内存、存储等的利用率、分占比等；宜提供设置任务优先级的功能，并按任务优先级对资源进行调度；宜提供作业自动分配或手动分配功能；宜提供作业运行状态管理功能，包括开始、暂停、转移和重启等；宜提供资源扩展和预留功能，以及资源预警、告警功能。策略管理海洋大数据分级存储策略管理要求：分级存储策略管理：应提供灵活的分级存储策略，包括异地存储、加密存储、压缩存储、同步或异步等存储方式，不同分级等级海洋大数据的分级存储策略应符合5.3的要求；应支持对海洋大数据分级存储策略的设置、修改、删除和查询等。迁移策略管理：应支持对海洋大数据迁移策略的设置、修改、删除和查询等；应提供海洋大数据分级等级、分级存储要求和迁移策略三者间的映射关系。监控运维海洋大数据分级存储监控运维要求：应定期对海洋大数据的分级等级进行监测，海洋大数据分级等级发生变化时，应实现海洋大数据的自动迁移或人工迁移；应实时监控各分级等级的存储设备的剩余空间，当存储设备剩余空间达到预先设定指标时，应实现海洋大数据的自动迁移或人工迁移；应定期扫描海洋大数据的数据访