DB37T 4529-2022 海洋大数据分级存储技术规范

37Technicalspecificationforhierarchicalstorageofoceanbigdata2022-07-25发布I 2 2 2 2 3 3 3 3 4 4 5 5 5 6本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定1海洋大数据分级存储技术规范GB/T35295—2017信息技术理技术进行有效组织、存储、计算、分析和管4缩略语CPU：中央处理单元（CentralProcessingETL：数据提取、转换和加载（Extract-Transform2ORC：列式存储（OptimizedRowColSQL：结构化查询语言（StructuredQueryL来判断，可分为高频率访问的海洋大数据、一般频率访问的5.2定级规则数据访问频次从高到低，排序30%～1005.3分级等级及存储要求1)应实现数据实时访问，访问延迟应小于5ms；1)可实现数据实时访问，访问延迟应小于100ms；31)可实现数据延迟访问，访问延迟不高于5min；b)应支持分布式存储，包括分布式文件存储、分布式结构化数据存储、分布式列式数据存储、e)应支持批处理计算功能，包括离线批量数据处理、在线批量数据处理等功能；b)应支持依据海洋大数据的分级等级将海洋大数据存储在相应等级的存储设备或系统中，海洋c)海洋大数据分级存储前应事先进行数据处理，应对缺失值数据进行补齐，支持差异数据、脏d)应定期评估海洋大数据的分级等级，分级等级发生变化的，应将海洋大数据迁移至相应等级2)采用数据抽取方式将海洋大数据迁移至相应等级的存储设备或系统，应e)应支持根据海洋大数据的分级等级及存储要求、数据访问量，进行不同存储方式之间的迁移f)应支持根据迁移策略实现对海洋大数据的组合查询；g)应支持根据海洋大数据的迁移策略实现海洋大数据的自动迁移4a)制定待迁移数据源的详细说明，包括数据的存储方式、数据量、数据的时间跨度等；b)建立新旧系统数据库的数据字典；f)建立新旧系统数据库表的映射关系，并对无法映射的字段进行处理；h)制定数据转换的应急措施。应对重复、错误、不完整、违反业务或逻辑规则等问题数据进行相应的a)海洋大数据迁移后，应对迁移后的海洋大数据进行数据校验，可通过以下两种方式对迁移后1)新旧系统查询数据对比检查，通过新旧系统各自的查询工具，对相同指标的数据进行查2)将新系统的数据恢复到旧系统迁移前一天的状态，并将最后一天发生在旧系统上的业务2)数据长度检查：检查数据的有效长5支持分级存储系统或设备的磁盘、CPU、内存、电源、风扇、网口等信息的查询，以便实时了解分a)应提供分级存储系统的各个节点的服务情况的查询功能，包括节点的主备、节点的容量和性b)应提供用户权限范围内的节点管理功能，c)应及时了解资源的异常，若有必要应采取适当措施保证其正常运行；d)应提供CPU、内存、存储等资源e)应支持静态资源分配策略和动态资源分配策h)宜提供作业自动分配或手动分配功能；1)应提供灵活的分级存储策略，包括异地存储、加密存储、压缩存储、同步或异步等存储b)迁移策略管理：应支持对海洋大数据迁移策略的设置、修改、删除和查询等；c)应提供海洋大数据分级等级、分级存储要a)应定期对海洋大数据的分级等级进行监测，海洋大数据分级等级发生变化时，应实现海洋大b)应实时监控