版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
海洋数据治理需求方案海洋数据治理基于海洋业务需求出发,开展省海洋灾害综合防治体系建设项目信息化部分的数据治理工作,结合现有海洋基础地理信息数据的收集基础,对海洋观测调查数据和海洋管理数据开展数据治理工作,形成“采集、治理、管理”一体的数据汇聚治理机制。(1)海洋观测调查数据治理:面向海洋监测数据、海洋观测数据、海洋调查数据、海域海岛动态监测数据、海洋生态监测数据等海洋观测调查数据,开展数据探查、数据质量检查、数据处理、数据入库、数据发布、数据更新等数据治理工作。(2)海洋管理数据治理:面向海域海岛管理、海洋经济管理、海洋生态修复、海洋防灾减灾、海洋政策文化、海陆地形图等海洋管理数据,开展数据探查、数据质量检查、数据处理、数据入库、数据发布、数据更新等数据治理工作。海洋数据治理工作完成后,将建立一个涵盖域范围多专业、多要素、全过程的海洋数据库,建设成果将作为国土空间基础信息平台数据湖的一部分,实现各类海洋资源的统一管理与应用服务。海洋数据调研梳理海洋数据整理针对海洋观测调查数据治理和数据应用需求,从数据名称、数据类型、数据精度、空间范围、更新频率、存储格式、加工处理现状、共享提供模式等多方面,分类开展海洋监测数据、海洋观测数据、海洋调查数据、海域海岛动态监测数据、海洋生态监测数据、海域海岛管理数据、海洋经济管理数据、海洋生态修复数据、海洋防灾减灾数据、海洋政策文化数据、海陆地形图等海洋数据的收集、整理,包括对数据现有分类、数据存量、已有数据管理规范、与局资源目录映射关系等的梳理。数据需求调研对海洋监测数据、海洋观测数据、海洋调查数据、海域海岛动态监测数据、海洋生态监测数据、海域海岛管理数据、海洋经济管理数据、海洋生态修复数据、海洋防灾减灾数据、海洋政策文化数据、海陆地形数据等海洋数据的业务数据、空间数据、衍生数据的管理、展示、共享、应用等进行调研、分析,对于海陆地形图数据形成《地形图数据管理规范》。海洋数据质量评估针对海洋管理数据治理和数据应用需求,从数据名称、数据类型、数据精度、空间范围、更新频率、存储格式、加工处理现状、共享提供模式等多方面,分类开展海洋监测数据、海洋观测数据、海洋调查数据、海域海岛动态监测数据、海洋生态监测数据、海域海岛管理数据、海洋经济管理数据、海洋生态修复数据、海洋防灾减灾数据、海洋政策文化数据等海洋数据的质量评估,评估分析当前已有数据和质量是否满足海洋信息模型构建,明确是否存在数据空白区,以及缺失数据补充获取方式。海洋监测数据治理治理方案设计海洋水文数据、海洋气象数据等2类海洋监测数据的治理方案设计,对多源异构海洋监测数据成果进行梳理、汇总统计分析,整理形成汇交采集、数据建库、数据质检、数据建模、数据更新等的设计方案,形成海洋监测数据治理方案。数据采集海洋水文数据、海洋气象数据等2类海洋监测数据的数据采集,以离线汇交方式为主,辅以线上汇交、在线接入等方式。海洋监测数据的治理对象为建设的岸基、海基等海洋监测设施采集的数据,包括海洋水文指标(波浪、潮汐、海流、海水盐度、水色等)和海洋气象指标(风、气压、气温、相对湿度、能见度、降水量等)。海洋监测数据主要来源于建设的岸基和海基海洋监测设施。(1)岸基监测:岸基监测数据主要包括沿岸设立的潮位仪、地波雷达、警戒潮位、陆源入海污染监测站等设施设立以来采集的水文动力、海洋化学等数据。海基监测:海基监测数据主要为环境浮标、波浪浮标等设立以来采集的气象、水文水动力、水质数据。质量检查参照海洋数据相关结构规范,按照梳理的对照映射关系对数据进行规范化处理,使数据符合字段结构统一、内容值域统一、数学基础规范、文件命名规范、目录组织规范、数据关系建立等要求。根据海洋监测数据特点,构建潮位仪、地波雷达、警戒潮位、陆源入海污染监测站、环境浮标、波浪浮标等数据质量检查流程,订制数据流转路线,从元数据和原始数据开始,建立数据检查规则和方法,开展数据质量问题发现、溯源、治理及审核校验。质量检查主要对照《海洋数据质量检查规则说明》,形成各类数据的数据质量检查表。数据处理海洋水文数据、海洋气象数据等2类海洋监测数据的数据处理,根据各类监测数据质量检查表,针对性地进行数据分类整理、完善、排重、格式转换、坐标转换、审核修订。1、数据分类整理:优先按照监测手段类型进行分类整理,同时按照数据内容、数据来源、更新频率等进行数据统一目录规范,制定版本说明,根据数据库设计进行编目管理,为后期历史数据分析、数据规整、数据入库以及数据验证做好准备。2、数据完善:对于属性欠缺数据表,采用数据表链接、手动补充等方式完善数据资料的属性信息,确保规划基础地理空间数据统一规范、属性信息完整、精度可靠。3、数据排重:应用排重工具对不同部门提供的同类数据进行属性信息对比,删除内容不完善、信息不准确的数据,保证数据库内同类数据唯一性、准确性。4、格式转换:数据进行数据格式处理,数据格式统一要素类格式存入地理空间文件数据库,便于后续的数据管理与更新。5、属性录入:将监测信息录入空间数据,统一CGCS2000坐标系。6、审核修订:对处理后的数据进行审核,包括数据的名称、字段信息、属性信息、格式等内容,保证数据库内数据的完整性、准确性、唯一性和规范性。数据入库海洋水文数据、海洋气象数据等2类海洋监测数据的质量检查,根据不同数据类型分布选择数据清洗工具、关系型数据库导入工具、日志采集工具等,实现统一空间参考下的立体感知数据规范化预处理。完成海洋水文数据、海洋气象数据等2类海洋监测数据的数据入库,包括对海洋数据原始库、基础库、数据产品库的数据入库。其中:1、海洋数据原始库:存入潮位仪、地波雷达、警戒潮位、陆源入海污染监测站、环境浮标、波浪浮标各类调查观测设备的海洋监测原始数据,需自动更新原始库清单。2、海洋数据基础库:存入数据处理后的海洋监测关联数据集,数据分类需对照海促中心现有数据分类,开展整合与映射。3、海洋数据产品库:存入数据处理后的海洋调查监测融合数据产品,数据分类为专项规划-规划成果,数据分类需对照海促中心现有数据分类,开展整合与映射。数据融合海洋水文数据、海洋气象数据等2类海洋监测数据的数据融合,采用数据层融合整合海洋调查监测要素,将各类型海洋监测数据按照地区、管理部门、公共服务等几个方面形成适用于不同场景的融合数据集。将海洋观测预报数据与海洋防灾减灾、海洋生物调查等其他类型数据进行数据关联,形成海洋观测预报关联数据集。形成数据服务产品:基于融合后的数据,形成数据服务产品。这些服务产品能够为用户提供定制化的数据分析、预测和模拟服务。数据展示应用:基于数据关联融合形成的数据产品,提供前端灵活多样的数据检索、展示、统计、分析。观测数据报告算法库:为方便业务人员对数据进行统计分析,针对调和分析、均值统计、极值统计、累计值统计、绝对误差、相对误差、均方根误差、标准差、方差等相关统计需求形成各类统计所对应的要素数据集。服务发布海洋水文数据、海洋气象数据等2类海洋监测数据的数据服务发布,面向海洋监测数据服务需求,开展关系型数据库表接口研发,并提供WebServices、restful等类型服务调用接口。对数据服务接口进行分类分级管理,实现公用性、基础性的海洋监测信息资源共享发布。服务发布需按照相关海洋资源数据地图编制规范匹配海洋监测数据应用和展示的统计图表、符号及配色方案。数据建模海洋水文数据、海洋气象数据等2类海洋监测数据的数据建模,构建包含观测设备,观测手段,观测时间、观测要素等(包含数据集、分类、属性值等)的海洋监测要素的目标数据模型,对采集的数据利用整合工具需可直接导出数据模型文件,进而形成现状数据到目标数据模型的映射关系配置。数据更新海洋水文数据、海洋气象数据等2类海洋监测数据的数据更新,采用自动化的方式根据数据接入情况实时原始库中的海洋监测原始数据。同时采用程序定期更新形成月度和年度的监测数据集,数据集保存至产品库。数据治理工作内容及产出成果工作内容产出成果1.岸基监测数据治理:针对沿岸潮位仪、地波雷达、警戒潮位、陆源入海污染监测站等采集、分析数据开展治理。2.海基监测数据治理:针对环境浮标、波浪浮标等采集、分析数据开展治理。完成海洋监测数据治理。完成数据整合,存入数据资源湖(海洋监测数据库)。形成数据服务接口。海洋观测数据治理原始数据管理针对海洋站、锚系浮标、雷达、志愿船等各类观测平台,通过元数据方式,实现各类观测平台原始数据表及数据文件实体管理,解决原始数据文件实体的高效集中管理。提供如下管理:(1)原始数据文件编目管理。(2)元数据信息设计。(3)元数据信息制作。(4)元数据信息管理。基础数据管理针对海洋站、锚系浮标、雷达、志愿船等各类观测平台,采用数据库方式,对加载的各类观测平台数据进行管理,解决基础数据的高时效分析应用。提供如下管理:(1)观测字典信息管理。(2)观测数据管理。(3)观测仪器装备信息管理。(4)观测仪器状态信息管理。历史数据管理针对海洋站、锚系浮标、雷达、志愿船等各类观测平台的观测要素数据,采用数据库方式,面向基础数据的观测数据内容进行更新归档,保障基础数据的高时效、高效率运行。提供如下管理:(1)海洋站历史数据管理。(2)锚系浮标历史数据管理。(3)雷达历史数据管理。(4)志愿船历史数据管理。要素数据管理针对海洋站、锚系浮标、雷达、志愿船等各类观测平台的观测要素数据,采用数据库方式,按照学科要素进行抽取,实现表层水温、盐度、海流、海浪、气温、海面气压、相对湿度、能见度、降水、风等专题要素数据管理。提供如下管理:(1)表层水温要素管理。(2)盐度要素管理。(3)海流要素管理。(4)海浪要素管理。(5)气温要素管理。(6)海面气压要素管理。(7)相对湿度要素管理。(8)能见度要素管理。(9)降水要素管理。(10)风要素管理。产品数据管理针对数据整合处理形成的各类产品,通过元数据方式,实现各类产品数据表及数据文件实体管理,产品类型主要包括大面观测水文产品、定点连续水文产品、大面海洋气象产品、定点连续海洋气象产品。提供如下管理:(1)产品文件编目管理。(2)产品元数据信息设计。(3)产品元数据信息制作。(4)产品元数据信息管理。数据解析根据标准数据集、要素数据集文件的数据格式说明,配置海洋站标准数据集、锚系浮标标准数据集,水文气象要素数据集等各类文件的解析规则,实现数据文件实体的解析,并支持解析规则的预览、新增、修改和删除等操作。提供如下管理:(1)解析文件制作。(2)解析规则配置。(3)解析规则管理。(4)数据解析。数据加载基于数据解析和基础数据管理功能集成,研发灵活的元数据、数据加载模块,具备按照资料类型、文件格式、解析规则等信息的配置和发布,支持数据批量加载,实现元数据和基础数据的加载入库。提供如下管理:(1)加载规则配置。(2)加载规则管理。(3)数据加载。(4)元数据加载。观测数据转换任务管理面向实现基础数据、历史数据、要素数据之间数据的抽取流转需求,研发数据抽取调度功能,支持任务调度周期配置、自动启停时间配置,具备流程任务执行过程中异常或任务失败的用户提示、运行日志查看分析、重启或跳过等功能,根据数据类型和要素,提供自动化的任务调度器,包括基于时间或事件依赖触发机制,实现单点轮询或流程式轮询任务调度。提供如下管理:(1)数据源配置。(2)抽取规则定义。(3)数据转换处理。(4)任务执行。(5)监控与日志记录。元数据导航面向元数据库表提供信息资源目录树展示,按照业务领域、元数据、文件实体进行展示,提供模糊查询、关键字查询、组合查询等查询方式,将满足查询条件的元数据相关信息以列表形式显示,同时支持文件实体的导出。提供如下管理:(1)元数据模糊查询。(2)元数据关键字查询。(3)元数据组合查询。(4)元数据导出。数据查询针对基础数据、历史数据和要素数据等信息,提供数据模糊查询、数据属性条件查询和数据关联查询等多种查询形式功能。具备查询结果的图表展示,以及CSV、TXT等主流格式的导出功能。提供如下管理:(1)数据模糊查询。(2)数据属性条件查询。(3)数据关联查询。(4)数据导出。海洋观测数据质量控制1.质量控制参数配置根据海洋站、浮标、雷达等数据观测设备性能、仪器参数、观测要素类型、资料时空分布、要素数据分析特征等特点,以配置文件形式动态配置相应质量控制参数,实现对本省海洋观测数据的质量控制。提供如下管理:1)质量控制参数初始化。2)配置文件发布。3)配置文件修改。2.海洋站数据质量控制以海洋站观测数据为输入,根据观测要素类型、资料时空分布、要素数据经验范围等特点,使用包括连续性检验、海洋站多要素联合分布检验等方法。利用海洋环境历史数据特征分析,研究确定适用于不同海洋站的数据质量控制参数,实现本省海洋站资料质量控制。提供如下管理:1)数据调取。2)格式检验。3)缺测检验。4)时间检验。5)范围检验。6)连续性检验。7)尖峰检验。8)气候特性检验。3.锚系浮标数据质量控制以锚系浮标观测数据为输入,利用海洋环境数据的时空变化特性,通过分析确定不同区域位置锚系浮标数据适用的质量控制方法及参数,同时各个站点资料特点和实际观测要素类型和种类,选配相应的质量控制方法,实现对锚系浮标观测的海面温度、海面盐度、波浪等数据的质量控制。提供如下管理:1)数据调取。2)格式检验。3)缺测检验。4)时间检验。5)时间递增性检验。6)位置检验。7)全等性检验。8)范围检验。9)连续性检验。10)深度检验。11)气候学检验。4.雷达数据质量控制以雷达观测数据为输入,根据雷达资料观测设备性能、观测要素类型、资料时空分布、要素数据经验范围等特点,配置质量控制参数,采用格式检验、时间检验、位置检验、范围检验、尖峰检验、连续性检验和相关合理性检验等相应的质量控制方法,实现对海流、海浪和海面风等数据的质量控制。提供如下管理:1)数据调取。2)格式检验。3)时间检验。4)范围检验。5)连续性检验。6)尖峰检验。7)相关合理性检验。5.志愿船数据质量控制模块以志愿船观测数据为输入,根据志愿船数据观测设备性能、观测要素类型、资料时空分布、要素数据经验范围等特点,配置质量控制参数,采用数形结合和相关性检验的质量控制方法,实现志愿船观测海表面温度,气温、气压、风速、风向以及波浪等数据的质量控制。提供如下管理:1)数据调取。2)数据预处理。3)范围检验。4)连续性检验。5)相关性检验。6.多源观测数据质量控制执行模块针对海洋站、浮标、雷达等业务化海洋环境观测体系下的各来源数据,结合省海洋防灾减灾业务需求,进行数据提炼转换、数据质量整理和数据标准化输出,形成各类数据的数据集。提供如下管理:1)数据提炼转换。2)数据输出。3)数据质量整理。4)海洋数据整合处理。数据抽取。数据质量管理。数据加工。数据合并。任务管理监控。排重参数配置。重复检测。复杂度匹配。文件批量排重。人工审核支持。排重结果记录。资料预处理。资料标准化处理。资料整合重组。海洋调查数据治理治理方案设计海洋生物调查数据、海洋化学调查数据、海洋经济调查数据、海洋水文调查数据等4类海洋调查数据的治理方案设计,对多源异构海洋调查数据成果进行梳理、汇总统计分析,整理形成汇交采集、数据建库、数据质检、数据建模、数据更新等的设计方案,形成海洋调查数据治理方案。数据采集海洋生物调查数据、海洋化学调查数据、海洋经济调查数据、海洋水文调查数据等4类海洋调查数据的数据采集,以离线汇交各类报告方式为主,辅以线上汇交经济直报数据、在线接入遥感产品和再分析数据等方式。1、海洋生物调查数据:数据治理内容主要有浮游植物、浮游动物、潮间带生物、大型底栖生物、鱼卵仔鱼、游泳动物等6类。包括各类生物的种类、分布、数量等数据指标的采集。2、海洋化学调查数据:海洋化学调查数据主要包括要素和指标有:海溶解氧含量、营养盐含量、酸碱度(pH值)、化学需氧量、重金属含量、有机污染物等。3、海洋经济调查数据:海洋经济数据收集梳理主要是对海洋产业集群核算、国家分类标准核算、海洋经济运行监测等常规工作的成果进行梳理,包括涉海企业名录、海洋经济领域生产经营信息。同时梳理出海洋经济数据的元数据信息,包括数据名称、格式类型、生产方式等,补充到《海洋元数据填写规则说明》中。在收集时应筛选出无效的、错误的数据。4、海洋水文调查数据:水文数据的治理内容主要包括海水温度、盐度、海流、海浪、潮汐等5类,而海洋气象数据包括海面风场、湿度、气温、气压、降水量等5类。数据分析及标准化参照海洋数据相关结构规范,按照梳理的对照映射关系对数据进行规范化处理,需按照《海洋数据质量检查规则说明》对空间类进行数据质量分析和检查:针对数据完整性、逻辑一致性、属性完整性、数学基础、属性数据准确性、数据源有效性等方面进行质量检查。对数据命名、字段命名、字段长度、字段类型等内容进行严格控制,同时删除无效数据和冗余信息,形成质量规范、高利用率的数据。各类调查数据需参考相关国标、行标、地标等标准实施建库和数据校验。参照完善的质检方案输出详实的数据质量检查报告指导数据质量控制。确保数据符合字段结构统一、内容值域统一、数学基础规范、文件命名规范、目录组织规范、数据关系建立等要求。数据处理通过纸质文档电子化的方式,按年度整合不同地区的报告书,矢量化其海洋生物资源调查的结果。对海洋化学调查历史数据进行综合分析,并按时序、区域叠加海洋气象、海洋水文、海洋生物等数据进行比对分析、反演分析,旨在形成可以指导海洋资源数据应用的数据产品。将各类涉海企业名录、经济直报数据、经济核算数据整合处理为入库的结构化数据。利用脚本从海洋水文调查数据中提取各观测数据,根据数据情况处理异常值、抽稀,再整合到标准格网中生成TIFF栅格数据。质量控制及入库海洋生物调查数据、海洋化学调查数据、海洋经济调查数据、海洋水文调查数据等4类海洋调查数据的质量检查,针对数据完整性、逻辑一致性、属性完整性、数学基础、属性数据准确性、数据源有效性等方面进行质量检查。对数据命名、字段命名、字段长度、字段类型等内容进行严格控制。1、海洋数据原始库:收集的相关调查成果数据,需按照《海洋元数据填写规则说明》完成元数据的填写,并在原始库清单中补充数据路径、名称和数据分类。2、海洋数据基础库:存入处理好的海洋调查数据,需完成元数据的填写,并在基础库清单中补充海洋调查数据的路径、名称和数据分类。数据融合海洋生物调查数据、海洋化学调查数据、海洋经济调查数据、海洋水文调查数据等4类海洋调查数据的数据融合,根据数据收集和处理成果情况,结合现阶段数据应用需求,设计形成海洋调查数据融合方案,参照相关行业标准和现状需求情况,融合、整合各类海洋调查数据,用以形成可以直接支撑应用的数据产品或服务产品。同时,应结合海洋行业内外各类数据展开综合关联分析和评价,根据分析和评价结果设计和挖掘数据价值,形成数据产品成果。1、海洋生物、化学、水文调查数据:经过数据分析发现,海洋生物数据、海洋化学数据、海洋水文气象数据大多基于明确的调查站位,或是一定的海域区域进行调查监测,调查数据的统计值与站位名称、调查区域存在逻辑上的关联关系。通过调查站位与调查数据之间的空间关系的梳理,可以识别主体数据,根据海洋生物数据、海洋化学数据、海洋水文气象数据等主体数据关联其空间范围信息。如果有不同版本的数据,根据质检结果,对同种属性进行融合,形成准确唯一属性,并对其进行标签注记数据版本来源,形成标准版本以供对外发布和使用。2、海洋经济调查数据:将海洋经济类企业名录、企业直报数据与海洋经济核算数据关联融合,可以形成更加完整、准确的信息体系。通过名录筛选出关键企业,结合直报数据了解企业的实时动态,再利用核算数据评估整体发展状况,可以为和企业提供更加全面、深入的决策支持。此外,随着信息技术的不断发展,大数据、人工智能等新技术在海洋经济管理中的应用也日益广泛。这些技术的应用可以进一步提升数据处理和分析能力,提高数据的时效性和准确性,为海洋经济的监测和管理提供更加有力的技术支撑。服务发布海洋生物调查数据、海洋化学调查数据、海洋经济调查数据、海洋水文调查数据等4类海洋调查数据的数据服务发布,面向海洋调查数据服务需求,开展空间数据接口和关系型数据库表接口的研发,并提供WebServices服务调用接口。对数据服务接口进行分类分级管理,实现公用性、基础性的信息资源共享发布。服务发布需按照相关海洋资源数据地图编制规范匹配海洋数据应用和展示的统计图表、符号及配色方案。数据建模海洋生物调查数据、海洋化学调查数据、海洋经济调查数据、海洋水文调查数据等4类海洋调查数据的数据建模,构建包含海洋生物数据的种类、地点、时间、种类数、优势种、栖息密度信息和多样性水平信息,海洋化学数据的pH、溶解氧及其饱和度、总碱度、活性硅酸盐、活性磷酸盐,以及海洋水文、经济数据的相关重点指标等要素目标数据模型,对采集的数据利用整合工具直接导出数据模型文件,进而形成现状数据到目标数据模型的映射关系配置。1、海洋生物、化学、水文资源数据产品海洋生物数据与海洋化学数据进行融合,可以揭示化学因子对海洋生物生长、繁殖和分布的影响。这种融合有助于评估海洋污染对生物多样性的影响,以及预测生物资源的变化趋势。海洋化学数据与海洋物理数据的融合,有助于更全面地了解海洋环境的物理和化学状态。这种融合可以用于研究海洋环流的化学特征、海洋污染物的扩散和迁移规律,以及海洋生态系统的响应机制等。基于遥感监测数据和遥感产品数据来源的海洋水文气象调查数据与海洋化学调查数据的融合,可以分析气候变化对海洋化学环境的影响。2、海洋经济涉海企业知识图谱支持依据企业名和股东名,实现企业间和股东间功能相关和概念相关等查询。涉海企业知识图谱建库。涉海企业数据获取。涉海企业知识节点、关系梳理。涉海企业知识图谱入库。海洋企业知识图谱数据更新。数据更新海洋生物调查数据、海洋化学调查数据、海洋经济调查数据、海洋水文调查数据等4类海洋调查数据的数据更新,通过定期收集、人工增量更新等方式确定更新对象,收集到的新数据应按照数据治理成果中约定的数据治理方案执行更新,入库时同步更新原始库和基础库中相应元数据文件的维护信息,注明更新范围、维护内容以及维护日期等。数据治理工作内容及产出成果工作内容产出成果海洋生物调查数据:整理截至2023年底的海洋环境影响报告书,收集和统计浮游植物、浮游动物、底栖生物、潮间带生物、渔业、游泳动物的种类、分布、数量、生长发育、优势种、栖息密度、多样性水平、生态关系信息等。形成海洋生物调查数据,完成海洋基础地理数据、分析数据及成果数据治理。完成数据整合,存入海洋数据库。形成数据服务接口。海洋化学调查数据:收集海洋化学调查数据成果报告和相关数据,补充海洋化学调查数据体系内容,丰富数据属性。形成海洋化学调查数据,完成数据治理。完成数据整合,存入海洋数据库。形成数据服务接口。海洋经济调查数据:在涉海企业的直报数据中整理数据,统计出季度、年度的营业信息。统计截至2023年底各海洋产业季度、年度的总产值、总收入和增加值的信息。完成海洋经济调查数据及成果数据治理。完成数据整合,存入海洋数据库。形成数据服务接口。海洋水文调查数据:处理截至2023年底的海洋卫星数据和ECMWF、HYCOM等再分析数据,提取海水温度、盐度、海流、海浪、潮汐等要素数据。完成海洋水文调查数据及成果数据治理。完成数据整合,存入海洋数据库。形成数据服务接口。海域海岛动态监测数据治理治理方案设计编写海域海岛动态监测数据治理的详细设计方案,方案包括确权用海数据、疑点疑区数据、竣工验收项目、海监处罚数据、围填海历史遗留问题数据、海岸带核心管理区监测数据、岸线利用监测数据、视频监控点位信息等数据治理内容,形成《海洋数据治理方案》。数据采集对确权用海数据、疑点疑区数据、竣工验收项目、海监处罚数据、围填海历史遗留问题数据、海岸带核心管理区监测数据、岸线利用监测数据、视频监控点位信息的数据采集,以离线汇交方式为主,辅以线上汇交、在线接入等方式。需对海域海岛数据的基础信息、管理信息、更新信息、共享信息等元数据信息进行补充和完善,然后按照中心已有的分类规范形成统一的资源目录。在整理过程形成海域海岛数据资源的元数据定义和数据字典模板、数据库设计规范以及数据资源命名规范等数据标准。元数据信息指明数据身份信息,包括生产来源、责任部门、共享对象等,数据字典规定了数据的内容,包括每个数据属性的命名、值域、类型、单位等。数据库设计规范是对数据库更新备份机制以及数据表、字段统一约束。数据资源命名规范让用户快速理解资源信息,并快速检索。数据分析及标准化根据数据类型及数据情况,通过人工或自动化的手段了解海域监管资源数据内容、背景、结构、路径等内容,检查数据成分、数据关系及数据格式等问题。参照海洋数据相关结构规范,按照梳理的对照映射关系对数据进行规范化处理,使数据符合字段结构统一、内容值域统一、数学基础规范、文件命名规范、目录组织规范、数据关系建立等要求。数据分析后各类情况的拟解决方案:1、针对格式混乱、数据乱码、属性值缺失等情况可以通过查阅相关资料进行自主判断,更正混乱、错误数据项,补充缺失项。2、无法从其他来源获取的数据或者是无法进行判断的数据需要数据建设单位协助解决。针对数据不规范,格式不统一的问题,根据现有的国家标准及相应的行业标准进行数据的规范化整理。3、针对缺少总表及统计表,单个数据项存放多类数据不便操作的问题将会在数据处理时通过标准化工作解决。数据清洗处理对海域海岛动态监测数据开展数据处理,根据海域海岛监测数据质量检查表,开展数据清洗和标准化处理、图件矢量化、数据标签建立、数据分类处理等工作。海域海岛数据处理主要是对表格数据和空间数据进行处理。1、针对表格数据主要表现为数据空间化、数据解析和数据转换,针对表格数据的数据处理结果不降低原数据坐标精度。2、针对空间数据则根据数据的具体需要选择进行图件矢量化、空间数据解析、空间数据转换和栅格数据切片等相关操作,其中图件矢量化会产生坐标精度损失,需要参考国家标准减少误差,针对空间数据的其他数据处理结果不降低原数据坐标精度。数据质检评价与入库结合工作的实际情况,通过开展海域海岛监测数据全过程质量检查工作,对影响成果质量的资料、技术、流程等主要要素进行控制,加强防范并确保及时发现并解决生产中出现的质量问题,采用“预防为主、防检结合”的手段将成果的质量隐患消除在数据源头环节,保持数据成果的真实性、准确性和可靠性。规整海域使用监视监测资源数据并完成数据存储入库。1、质检流程与检查流程:在准备阶段、数据整合和成果检查阶段针对空间数据、非空间数据以及相应元数据进行质量检查与质量评价,保证数据成果的正确性与一致性。2、检查内容:海域海岛监测数据治理形成的阶段成果和最终成果分别开展内容检查,通过机器检查和人工检查的模式完成最终数据校验。对需要治理的所有数据都应进行质检。包括表格属性检查、逻辑性一致检查、栅格数据图形检查和矢量数据图形检查。3、数据评价:海域海岛监测数据的评价体系,首先确定要检测的数据质量指标和评估规则,然后编写对应的计算脚本对数据进行一般机检,然后再进一步开展分析质检和评价。对海洋数据质量的评估,需围绕着数据完整性、数据唯一性、数据有效性、数据一致性、数据准确性和数据时效性六个方面进行。数据融合采用数据层融合整合海域海岛动态监测数据,数据融合过程可以采用ETL操作,即在数据抽取过程中进行数据的加工转换,然后加载至存储中。数据发布面向海域监管资源数据使用和共享需求,提供WebServices服务调用接口,对数据服务接口进行分类分级管理,实现公用性、基础性的信息资源共享发布,提供统一、标准的海域海岛动态监测数据接口服务。服务发布需按照《海洋数据地图服务发布规范》匹配要素的符号及配色方案。数据关联关系构建通过采集、清洗、处理、质检的多源海域海岛数据建立标准统一、数据唯一、准确可靠的一体化主体数据,并将数据库与相关业务系统、业务需求开展业务交互,满足包括海域矿产监测、养殖用海监测、围填海历史遗留问题处置在内的各类海域海岛开发建设、问题处置和发展规划的使用需求。1、主体数据:建成标准唯一、数据唯一、数据准确、更新及时的海洋数据库。包括海域、海岛、海岸线、权属档案等数据。2、业务应用:对相关部门业务需求提供数据支持,与各应用系统开展数据交付,保证数据的规范性和一致性。包括海岛历史遗留问题专项调查、岛屿专项规划、海域矿产监测、养殖用海分布、围填海历史遗留处置等。3、构建方法:通过将主体数据进行标准化编目,赋予每条主数据独一无二的ID,同时将此ID链接在涉及该主体数据的业务数据编码中。在用户点击某一主体数据时便可以显示出所有与之关联的业务应用。数据更新建立海域监管资源数据更新规则,涉及实时更新场景与定期更新场景,对具有较强的时间特征的数据需采用全量更新的模式,更新入库时同步更新元数据文件的维护信息,注明更新范围、维护内容和维护日期等。更新频率采用实时更新、定期更新及动态更新相结合的形式,更新策略为数据联动策略,实时监测如视频监测数据为实时更新,并形成月度和年度的更新成果,过程数据保留基础库,保留时长为三年,在每个月最后一天更新一次,即保持一个月的定期更新频次,过程数据保留原始库,保留时长为半年。遥感监测数据为月度定期更新。调查数据以调查时间为更新节点。数据治理工作内容及产出成果工作内容产出成果1.海岸线监督管理数据:包括岸线监测数据、岸线监测统计数据。2.海域动态监视监测数据:包括空间数据、遥感监测数据、图集、报告、统计数据。3.海岛动态监视监测数据:包括空间数据、遥感监测数据、图集、报告、统计数据。完成海域海岛使用监督管理数据治理。完成数据整合,存入海洋数据库。形成数据服务接口。海洋生态监测数据治理治理方案设计编写海洋生态监测数据治理的详细设计方案,方案最终成果集成到《海洋数据治理方案》中。数据采集红树林监测数据、海湾河口监测数据、沿海滩涂监测数据、生物监测数据、珊瑚空间分布、海藻场空间分布等6类海洋生态监测数据的数据采集,以及收集实验室仪器监测数据检测报告,以离线汇交方式为主,辅以线上汇交、在线接入等方式。1)红树林监测数据数据治理内容主要有红树林生态系统范围内的海洋生物监测数据、海洋水文监测数据、海洋气象监测数据、海洋化学监测数据、土地利用变化监测数据。2)海湾河口监测数据数据治理内容主要有海湾河口生态系统范围内的海洋生物监测数据、海洋水文监测数据、海洋气象监测数据、海洋化学监测数据、土地利用变化监测数据。3)沿海滩涂监测数据数据治理内容主要有沿海滩涂生态系统范围内的海洋生物监测数据、海洋水文监测数据、海洋气象监测数据、海洋化学监测数据、土地利用变化监测数据。4)生物监测数据对生物多样性指标和生物标记物指标的治理。包括海洋生态系统中物种的丰富度和多样性。例如浮游植物、浮游动物、潮间带生物、大型底栖生物、鱼卵仔鱼、游泳动物等物种丰富度、物种多样性指数、优势度指数等都是常用的生物多样性指标。5)珊瑚空间分布数据数据治理内容主要有珊瑚礁生态系统范围内的海洋生物监测数据、海洋水文监测数据、海洋气象监测数据、海洋化学监测数据、土地利用变化监测数据。6)海藻场空间分布数据数据治理内容主要有海藻场生态系统范围内的海洋生物监测数据、海洋水文监测数据、海洋气象监测数据、海洋化学监测数据、土地利用变化监测数据。数据分析及标准化海洋生态监测数据治理前进行预处理。在对数据收集梳理之后,需要对海洋生态监测数据进行质量分析,以便于为后续质量控制和数据处理方案制定提供依据。包括:按照数据类型对海洋生态监测数据进行问题筛查及标记、报告提取与信息落图等。参照海洋数据相关结构规范,按照梳理的对照映射关系对数据进行规范化处理,使数据符合字段结构统一、内容值域统一、数学基础规范、文件命名规范、目录组织规范、数据关系建立等要求。1、按照数据类型对海洋生态监测数据进行问题筛查及标记空间数据:针对海洋生态监测数据如红树林分布等空间类型数据,检查内容重点在于检查空间数据是否缺失、空间数据版本问题、核心字段是否缺失、数据坐标是否正确、字段取值是否不符合标准要求、属性信息是否存在丢失、空间位置是否偏移等。非空间数据:针对海洋生态监测数据中的报告文本、图件、表格成果等非空间类数据,检查内容重点在于检查非空间数据是否缺失、与空间数据关联性与一致性、重要内容信息是否填写、文件结构是否依照标准要求、数据时效性等。2、报告提取与信息落图数据收集梳理后,需要将成果报告文本资料中相关有用信息进行提取和信息落图,主要分以下两个步骤:报告属性数据提取。属性关联空间数据和符号化。3、图件矢量化要明确和分类现有数据格式,需将所有地理空间数据统一为可在国产化GIS软件中进行处理和统一管理的矢量数据格式,对于现有数据中数据格式不是空间矢量的数据进行图件矢量化处理,以备后续数据标准化整合及统一入库。数据处理通过纸质文档电子化的方式,按年度整合不同地区的报告书,然后矢量化其海洋生物动态监测的结果,以生成海洋生态系统监测shp数据。将对近5年海域确权项目的海洋环境影响报告书进行分析,对各类监测数据需针对性的进行数据分类整理、完善、排重、格式转换、坐标转换、审核修订。治理过程中的主要重点难点问题是收集近5年海域确权项目的海洋环境影响报告书。各类监测数据需针对性的进行数据分类整理、完善、排重、格式转换、坐标转换、审核修订。质量控制及入库按照《海洋数据质量检查规则说明》对空间数据和业务数据进行数据质量检查:针对数据完整性、逻辑一致性、属性完整性、数学基础、属性数据准确性、数据源有效性等方面进行质量检查。对数据命名、字段命名、字段长度、字段类型等内容进行严格控制,同时删除无效数据和冗余信息,形成质量规范、高利用率的数据。其中:1、海洋数据原始库:存入海洋环境影响报告书,按照《海洋元数据填写规则说明》完成元数据的填写,并在原始库清单中补充海洋环境影响报告书资料的路径、名称和数据分类,存入海洋站、浮标、地波雷达、标准海洋断面各类调查观测设备的调查观测原始数据,自动更新原始库清单,数据分类对照《海洋数据资源管理分类与代码》。2、海洋数据基础库:存入处理好的海洋生物监测数据,完成元数据的填写,并在基础库清单中补充海洋生物资源数据的路径、名称和数据分类。数据融合采用数据层融合整合海洋生态监测数据,数据融合过程可以采用ETL操作,即在数据抽取过程中进行数据的加工转换,然后加载至存储中。构建海洋生物数据、海洋环境数据以及海洋生态系统监测数据的目标数据模型,对采集的数据利用整合工具直接导出数据模型文件,进而形成现状数据到目标数据模型的映射关系配置。通过数据标准化治理和数据管理融合等过程,形成一系列的海洋生态调查监测产品,应用在海洋生态调查监测领域,辅助海洋生态相关工作开展。预计形成海洋生态专题数据集和海洋生态调查监测专题图等数据产品,提供数据通过组合条件筛选导出报表的能力,形成展现海洋生态现状情况的专题图。服务发布面向数据应用服务对海洋生态监测数据的需求,开展空间数据接口研发,并提供WebServices服务调用接口。对数据服务接口进行分类分级管理,实现公用性、基础性的信息资源共享发布,为平台用户、已有系统、建设系统提供统一、标准的海洋生态监测数据接口服务。此外,需按照《海洋资源数据地图编制规范》匹配不同生物资源的符号及配色方案。数据建模构建红树林生态系统范围内、海湾河口生态系统范围内、沿海滩涂生态系统范围内、珊瑚礁生态系统范围内、海藻场生态系统范围内的,包含监测设备,监测手段,监测时间、监测要素等(包含数据集、分类、属性值等)的海洋调查观测要素的目标数据模型,对采集的数据利用整合工具直接导出数据模型文件,进而形成现状数据到目标数据模型的映射关系配置。数据更新海洋环境影响报告书中的生态监测数据采用人工的增量更新模式,每月更新一次,整合当月内的新增的海域确权项目产生的海洋环境影响报告书,入库时同步更新原始库和基础库中相应元数据文件的维护信息,注明更新范围、维护内容以及维护日期等。数据治理工作内容及产出成果工作内容产出成果海洋生态监测数据治理:整理近年的海洋环境影响报告书和海洋生态常规监测数据,收集和统计红树林生态系统范围内、河口海湾生态系统范围内、沿海滩涂生态系统范围内、珊瑚礁生态系统范围内、海藻场生态系统范围内的海洋生物数据、海洋水文数据、海洋气象数据、海洋化学数据、土地利用变化数据。完成海洋生态监测数据原始数据、分析数据及成果数据治理。完成数据整合,存入海洋数据库。海域海岛管理数据治理治理方案设计编写海域海岛管理数据治理的详细设计方案,方案最终集成到《海洋数据治理方案》中。数据采集海域海岛开发利用数据涉及海域海岛技术审查数据、海域海岛开发利用管理数据、海域海岛使用监督管理数据。数据来源于海域使用信息系统、海域动态监管平台、相关涉海单位及管理部门。1、海域海岛技术审查数据,主要包含海域使用技术审查数据、海域使用权用海预审技术审查数据、海域使用权初始审核审批技术审查数据、海域使用权转让审批技术审查数据、海域使用权变更审核审批技术审查数据等。2、海域海岛开发利用数据,主要包含海岸线开发利用管理数据、海域开发利用管理数据、海岛开发利用管理数据、海洋地名管理及勘界数据。3、海域海岛使用监督管理数据:主要有海岸线监督管理数据、海域动态监视监测数据、海岛动态监视监测数据。数据质量评价及标准化对于前期已整理的数据进行统筹分析,包括一般性的属性信息数据和空间地理信息数据。海域海岛各业务数据间存在交叉、重叠的部分,数据分析是数据规范化管理的基础,包括数据溯源以及数据内容分析。并参照海洋数据相关结构规范,按照梳理的对照映射关系对数据进行规范化处理,使数据符合字段结构统一、内容值域统一、数学基础规范、文件命名规范、目录组织规范、数据关系建立等要求。需完成工作:1、梳理清楚数据来源、数据生产单位或数据来源单位、数据生产方式、数据生产标准、数据汇交及更新方式、数据版本。2、从数据内容、数据格式和参考坐标、数据质量状况、数据差异性等方面详细考察数据情况,摸清各类数据现状,评价各数据的整合工作量和难度系数,为数据融合做准备工作。数据处理对海域海岛技术审查数据、海域海岛开发利用管理数据、海域海岛使用监督管理数据等海域海岛管理数据开展数据处理,根据各类监测数据质量检查表,针对性地进行数据分类整理、完善、排重、格式转换、坐标转换、审核修订。规整数据并完成数据存储入库。1、海域海岛技术审查数据:根据对应的质量检查表,针对性地进行数据分类整理、完善、排重、格式转换、坐标转换、审核修订。包括技术审查空间数据、技术审查文档类及图件类数据的处理。2、海域海岛开发利用管理数据根据对应的质量检查表,针对性地进行数据分类整理、完善、排重、格式转换、坐标转换、审核修订。包括开发利用管理空间数据、文档类及图件类数据的处理。3、海域海岛使用监督管理数据根据对应的质量检查表,针对性地进行数据分类整理、完善、排重、格式转换、坐标转换、审核修订。包括使用监督管理空间数据、使用监督文档类及图件类数据的处理。数据入库对照入库方案,统一按照《海洋元数据填写规则说明》完成元数据填写,数据分类参照《海洋数据资源管理分类与代码》分类,规整数据并完成数据存储入库。数据融合采用数据层融合整合海域海岛技术审查数据,决策层融合整合海域海岛开发利用数据与海域海岛使用监管数据,数据融合过程可以采用ETL操作,即在数据抽取过程中进行数据的加工转换,然后加载至存储中。需将技术审查数据流程数据成果与海域海岛监管数据、海洋经济发展数据形成数据高度关联的综合分析评价数据成果。将海域海岛开发利用管理数据成果与项目审查审批、项目实施监督、项目调查监测融合成以项目为对象的项目管理融合数据。海域海岛开发利用管理数据成果与海洋资源开发利用数据、用途管制与生态保护修复数据进行两个层级的数据关联,形成项目审查关联数据集。将海域海岛使用监督管理数据成果纵向上与项目审查审批、项目实施监督、项目调查监测融合成以项目为对象的项目监督管理融合数据。服务发布面向海域海岛开发利用数据服务需求,开展空间数据接口研发,并提供WebServices服务调用接口。对数据服务接口进行分类分级管理,实现公用性、基础性的信息资源共享发布,为平台用户、已有系统、建设系统提供统一、标准的海域海岛管理数据接口服务。服务发布需按照《海洋数据地图编制规范》匹配相关要素的符号及配色方案。数据建模构建包含项目名称、项目类型、项目主体、利用现状、现状条件等字段(包含数据集、分类、属性值等)的海域海岛技术审查要素的目标数据模型。包含使用主体、更新日期、巡查日期等字段(包含数据集、分类、属性值等)的海域海岛技术审查要素的目标数据模型。对采集的数据利用整合工具直接导出数据模型文件,进而形成现状数据到目标数据模型的映射关系配置。数据更新对海域海岛技术审查数据、海域海岛开发利用管理数据、海域海岛使用监督管理数据等海域海岛管理数据开展数据更新,实时更新与定期更新相结合的形式,更新策略为数据联动策略。1)海域海岛技术审查数据以实时更新与定期更新相结合的形式,更新策略为数据联动策略,一旦有了新完成审查的用海用岛项目,后台自动检查并生成新时间节点文件,并保留旧时间节点数据。在每个月最后一天定期更新一次,即保持一个月的定期更新频次,过程数据保留基础库,保留时长为半年。2)海域海岛开发利用管理数据,采用月度更新与年度更新相结合的定期更新的方式,在每个月最后一天定期更新一次,每年的最后一天更新一次,形成月度和年度的更新成果,过程数据保留基础库,保留时长为三年。3)海域海岛监督管理数据以实时更新、定期更新及动态更新相结合的形式,更新策略为数据联动策略,实时监测如视频监测数据为实时更新,在每个月最后一天更新一次,即保持一个月的定期更新频次,过程数据保留原始库,保留时长为半年。遥感监测数据为月度定期更新。专项监管调查数据以调查时间为更新节点。数据治理工作内容及产出成果工作内容产出成果海域海岛使用项目在技术审查用海预审技术审查、初始审核审批、转让审批、变更审核审批、续期审核审批的流程信息(json、txt文本格式),项目附件中文档类、图件类、空间数据类数据。完成海域海岛技术审查数据治理。完成数据整合,存入海洋数据库。形成数据服务接口。1.海岸线开发利用管理数据:包括岸线分类保护数据、岸线节约利用数据、岸线整治修复数据。2.海域开发利用管理数据:包括海域开发利用现状数据、权属数据、各类开发利用活动数据。3.海岛开发利用管理数据:包括海岛开发利用现状数据、权属数据、各类海岛开发利用活动数据。4.海洋地名管理及勘界数据:包括海域、海岛、海底地名管理数据,省市县海域勘界数据。完成海域海岛开发利用数据治理。完成数据整合,存入海洋数据库。形成数据服务接口。1.海岸线监督管理数据:包括岸线监测数据、岸线监测统计数据。2.海域动态监视监测数据:包括空间数据、遥感监测数据、图集、报告、统计数据。3.海岛动态监视监测数据:包括空间数据、遥感监测数据、图集、报告、统计数据。完成海域海岛使用监督管理数据治理。完成数据整合,存入海洋数据库。形成数据服务接口。海洋经济管理数据治理治理方案设计对海洋经济评估、海洋经济发展报告等海洋经济管理数据的治理方案设计,编写海洋经济管理数据治理的详细设计方案,方案最终成果集成到《海洋数据治理方案》中。数据采集海洋经济管理数据主要有海洋经济规划资料、海洋经济分析数据,具体为:海洋经济规划资料数据源以海洋发展研究促进中心现有的经济规划资料为主。海洋经济分析数据数据源以海洋发展研究促进中心管理的历年间的海洋经济分析评估报告为主。数据采集需覆盖:(1)海洋创新指数数据。(2)海洋经济统计公开数据。(3)上市企业公开数据。(4公开采购信息。(5)涉海企业经营信息等。数据标准化参照海洋数据相关结构规范,按照梳理的对照映射关系对数据进行规范化处理,使数据符合字段结构统一、内容值域统一、数学基础规范、文件命名规范、目录组织规范、数据关系建立等要求。数据标准化需从数据内容、数据格式和参考坐标、数据质量状况、数据差异性等方面详细考察数据情况,摸清各类数据现状,评价海洋经济管理数据整合工作量和难度系数。需根据数据分析情况,结合收集的标准、规范、政策文件等资料,制定数据层级数据标准和字段层级数据标准。数据层级数据标准包括:数据资源中文名称、数据分类、数据格式、数据质量标准、数据资源英文名称、数据编码、空间坐标、数据安全标准等。字段层级标准包括:数据字段数量、字段中英文名称、数据类型、数据值域、字段是否敏感等。便于指导后续海洋经济管理数据清洗、标准化具体实施。数据处理海洋经济规划数据:根据海洋经济规划方案,通过人工矢量化的方式生产海洋经济发展空间布局示意图、海上风电产业发展示意图、海洋工程装备产业发展示意图、海洋石油化工产业发展示意图、海洋旅游产业发展示意图、交通运输产业发展示意图、海洋渔业发展示意图、重点产业功能布局示意图等规划数据。海洋经济规划数据治理过程的重点难点是需要设计合适的图例来表达规划中的核心重点要素。经济分析数据:海洋经济分析评估报告中阐述了海洋经济运行基本概况,分析重点海洋产业发展特征,以及所面临的问题与困境。数据处理流程大致为:以报告为单位,根据报告中重点海洋产业发展特征分析的描述研判该产业的发展状况,从文中摘取造成该情况的原因,最后整合到excel文件中。经济分析数据治理过程中的重点难点问题是需要在数据治理前形成一套产业发展状况研判的标准。质量控制海洋经济管理数据治理前需要按照《海洋数据质量检查规则说明》对空间类进行数据质量检查:针对数据完整性、逻辑一致性、属性完整性、数学基础、属性数据准确性、数据源有效性等方面进行质量检查。对数据命名、字段命名、字段长度、字段类型等内容进行严格控制,同时删除无效数据和冗余信息,形成质量规范、高利用率的数据。对质量检查通过的数据,按要求进行入库。针对海洋经济核算数据、海洋创新指数数据等经济管理数据的质检过程,可以确保数据的准确性、完整性、一致性和及时性。包括但不限于以下数据质检流程。1、数据来源验证:验证数据的真实性,确保数据来源可靠。2、数据一致性检查:对比不同来源的数据,确保核算结果的一致性。3、时间序列检查:检查年度、季度和月度数据的时间序列,确保数据的连续性和正确性。4、统计标准检查:确保使用统一的统计标准和分类编码,验证数据是否符合预定标准。5、异常值检测:检测和处理异常值,如突出的极端值或不合理的增长率。数据融合采用决策层融合整合各类海洋经济规划数据、经济分析数据等数据融合形成经济管理专题成果,同时,结合海洋经济发展数据与海域海岛开发利用数据可形成数据高度关联的综合分析评价数据成果。包括:1、涉海企业基本名录库数据融合融合形成涉海企业名录库数据,包含涉海企业的基本信息、经营状态、主营业务等。并可通过整合国家统计局、地方海洋经济统计数据、企业年报等资料来更新维护该融合产品。2、海洋经济规划数据融合融合国家海洋经济政策和地方的海洋经济发展规划,将这些规划的目标、策略、项目等信息与实际海洋经济活动数据相结合。服务发布面向海洋经济管理数据应用的需求,开展空间数据接口和关系型数据库表接口的研发,并提供WebServices服务调用接口。对数据服务接口进行分类分级管理,实现公用性、基础性的信息资源共享发布,为平台用户、已有系统、建设系统提供统一、标准的海洋经济接口服务。服务发布需按照《海洋资源数据地图编制规范》匹配海洋经济发展表达的统计图表、符号及配色方案。数据关联关系构建数据关联关系构建整合过程中,数据治理技术人员应严格按《海洋数据治理方案》要求,进行海洋经济数据的业务数据关联和融合,主要包括:数据结构标准化。以图挂表、以表挂图查找缺失的数据。数据融合等。1、数据结构标准化依据海洋经济数据治理成果标准规范,对空间落图的数据字段结构属性进行标准化处理。2、以图挂表、以表挂图查找缺失的数据通过以图挂表将转换后的企业矢量数据与经济年报、季报、月报进行挂接,可以找出缺失的涉海企业。通过以表挂图按照《海洋经济统计调查制度》中的分类进行表格挂接可以找出对应缺失的涉海企业经营信息。3、数据融合将海洋经济数据按照不同年份、不同产业、不同地区等相关分类进行清洗与融合,可形成海洋经济专题进行展示,如涉海企业分布专题、海洋经济年度变化趋势专题、各区块涉海企业经济分布专题、海洋经济规划专题等。数据更新海洋经济规划数据采用人工的增量更新模式,2024-2025年视新增海洋经济规划项目情况同步更新。经济分析数据采用人工的增量更新模式,在2024-2025年内视新增海洋经济分析评估报告情况同步更新。入库时需同步更新原始库和基础库中相应元数据文件的维护信息,注明更新范围、维护内容以及维护日期等。数据治理工作内容及产出成果工作内容产出成果海洋经济规划数据、经济分析数据:整理海洋发展研究促进中心截至2023年的历年海洋经济规划数据和海洋经济分析评估报告,提取报告中海洋经济运行基本概况和重点海洋产业发展特征信息。完成海洋经济管理数据、分析数据及成果数据治理。完成数据整合,存入数据资源库(海洋经济管理数据库)。形成数据服务接口。海洋生态修复数据治理治理方案设计开展生态本底评估、生态修复规划等2类海洋调查数据的治理方案设计,编写海洋生态修复数据治理的详细设计方案,方案最终集成到《海洋数据治理方案》中。数据采集海洋生态修复数据采集主要包括海洋生态本底调查、海洋生态修复规划、海洋生态修复项目、海洋生态修复监测有关的空间矢量数据、文本资料、规划图件和实时监测数据。其中生态修复规划数据与生态修复项目数据由海洋发展研究促进中心提供,其中生态修复项目数据包含2010年以来由中央财政资金与省财政资金支持的海洋生态修复项目。生态本底调查与生态修复监测数据来自生态修复项目实施、与监测报告中记录的相关数据以及其他调查监测部门提供的调查监测数据。海洋生态修复数据收集梳理中应注意的重点问题:1、数据是否为最终成果的问题收集海洋生态数据资料时,必须与提供数据资料的人员确认该数据是否为最终成果。如果不能确认,则可通过相关部门或人员协助的方式,来确认该数据是否为最终成果。若还是不能确认,则可通过中心内会议讨论决定该数据是否有使用价值,以及是否要进行整合。2、数据是否完整的问题需分析各类数据资料中必要的文件是否齐全,如果不完整则需从该数据提供科室进行补充收集。可以借助档案管理资料,理清业务数据清单,进行有目标式的收集整理。如果实在提供不了,则只能将现有的不完整的数据进行整合。3、数据是否采用统一坐标系的问题收集到数据资料后,需检查地理信息建库数据是否采用要求的大地2000坐标系。如果不是,则判断数据现有数据坐标系是否是现有常用坐标系,如WGS84、西安80等可通过坐标转换工具直接进行转换。现有数据采用地方坐标系则需要协调相关设计院或规划单位进行坐标转换,若协调不到相关单位,则只能按照现有转换参数进行转换。4、数据不全、技术问题或者难以核实时借助遥感影像、历年的业务档案等多方面进行分析、推断和核实。或者通过对比生态修复项目和生态系统空间数据与对应的多媒体附件数据,查看是否存在多媒体附件中有但空间数据中没有的情况,两者没有一一对应,便能分析出数据是否齐全。数据标准化参照海洋数据相关结构规范,按照梳理的对照映射关系对数据进行规范化处理,使数据符合字段结构统一、内容值域统一、数学基础规范、文件命名规范、目录组织规范、数据关系建立等要求。标准化包括:(1)字段标准化:统一不同数据来源中的字段名称和类型,包括数据字段格式规范、数据字段清洗方法等。(2)编码标准化:遵循国际和国内相关的海洋数据编码标准,如国际海洋数据和信息交换标准(IODE)等。编码应具有唯一性、稳定性、可扩展性和易读性。对每个参数设定唯一的编码,便于数据的存储、查询和分析。编码可以采用数字、字母或数字与字母组合的形式。数据处理包括报告属性数据提取、属性关联空间数据和符号化等工作。海洋生态修复数据治理按照动态数据与静态数据大类进行区分,对于实时接入的动态数据采用后台处理程序自动化检查处理,简化入库流程。对于静态数据采用自动化与人工辅助相结合的治理手段。数据收集梳理后,需要将成果报告文本资料中相关有用信息进行提取和信息落图,主要分以下两个步骤:1、报告属性数据提取主要是对海洋环境保护“十三五”规划、海洋生态修复项目成果和红树林调查数据中的成果报告等进行分析判断,筛选整理出可以表示和量化海洋生态修复情况的相关属性信息包括数据来源、数据版本、责任单位、生产方式、数据自身属性等数据信息然后提取出来整理为可与矢量数据连接的属性表格文件。2、属性关联空间数据和符号化给提取的报告信息配置可以进行信息落图的空间矢量数据,对提取的报告信息表格与对应的空间矢量数据进行分析并标识核心字段,使用GIS软件进行关联,通过关联将提取的报告信息录入矢量数据的属性表中,给关联进来的字段设置符号系统进行符号化渲染或者空间分析,将报告信息在地理空间上可视化表达,实现报告信息空间落图处理。数据质检及入库数据入库前须对采集数据进行全面质量检查,并改正数据质量错误。对质量检查通过的数据,按要求进行入库。其中生态修复相关规划文本与图件、生态修复项目实施方案等调查报告原始数据按照《海洋元数据填写规则说明》完成元数据填写,存入海洋数据原始库。处理好的海洋生态修复相关规划、生态修复项目、生态监测、生态本底调查等数据,按照《海洋元数据填写规则说明》完成元数据填写,存入海洋数据基础库。数据质检包括针对数据完整性、逻辑一致性、属性完整性、数学基础、属性数据准确性、数据源有效性等方面进行质量检查。对数据命名、字段命名、字段长度、字段类型等内容进行严格控制,同时删除无效数据和冗余信息,形成质量规范、高利用率的数据。其中:(1)空间数据:针对海洋生态修复各类规划项目矢量数据等空间类型数据,检查内容重点在于检查空间数据是否缺失、空间数据版本问题、核心字段是否缺失、数据坐标是否正确、字段取值是否不符合标准要求、属性信息是否存在丢失、空间位置是否偏移等。(2)非空间数据:针对海洋生态修复数据中的规划文本、图件、表格成果等非空间类数据,检查内容重点在于检查非空间数据是否缺失、与空间数据关联性与一致性、重要内容信息是否填写、文件结构是否依照标准要求、数据时效性等。数据融合海洋生态修复项目数据采用数据层融合与决策程融合相结合的方式对其进行数据整合。该方式保持了尽可能多的原始信息,同时又能更加有效地反映目标各个侧面的不同类型信息,形成信息量相对全面的生态修复项目数据。海洋生态修复监测数据采用决策层融合的方式对其进行数据整合。通过数据标准化治理和数据管理融合等过程,需形成一系列的海洋生态调查监测产品,应用在海洋生态调查监测与保护修复领域,为海洋生态政策制定提供依据,指导海洋生态相关工作开展。服务发布面向海洋生态修复数据应用服务需求,开展数据服务接口研发,并提供WebServices服务调用接口。对数据服务接口进行分类分级管理,实现公用性、基础性的信息资源共享发布,为平台用户、已有系统、建设系统提供统一、标准的海洋生态修复数据接口服务。需按照《海洋资源数据地图编制规范》匹配海洋资源资产数据要素的符号及配色方案。服务需支持多种方式:(1)空间数据接口:对于生态修复规划、生态修复项目点等空间分布数据,应用GIS制图软件进行数据符号化配置,并发布成符合OGC标准的WFS、WMS等格式的数据接口服务,在系统中实现数据的二三维可视化展示。(2)关系型数据库表接口:对于海洋生态修复监测报表等报表形式数据,研发rest接口服务,返回JSON、TXT等格式数据,在系统中实现数据的查询展示。(3)数据文件接口:对于海洋生态修复规划文本、生态修复实施方案、验收报告等文件类数据,研发rest接口服务,供系统调用展示。数据建模构建含有生态修复项目名称、修复类型、承接单位、资金类型、项目资金等字段的海洋生态修复项目点目标数据模型,对采集的数据利用整合工具直接导出数据模型文件,进而形成现状数据到目标数据模型的映射关系配置。构建含有生态监测点名称、监测要素、监测数值等字段的海洋生态修复监测点目标数据模型,对采集的数据利用整合工具直接导出数据模型文件,进而形成现状数据到目标数据模型的映射关系配置。数据更新海洋生态修复数据依照海洋数据库要求根据数据对象特性实现数据及时更新,更新方式主要为定期更新。所有更新数据入库时同步更新原始库和基础库中相对应的元数据文件的维护信息,注明更新范围、维护内容以及维护日期等。1、海洋生态修复规划数据采用动态更新和全量更新的更新模式,需对图件及文本进行人工数字化,形成更新数据包,利用更新包对旧版数据进行全量更新,形成动态更新成果,同时历史数据保留。2、海洋生态本底数据采用年度更新和全量更新的更新模式,利用海洋生态专项调查成果数据在每年最后一天针对各类本底数据进行全量更新,形成年度更新成果,同时保留历史数据。3、海洋生态修复项目数据采用定期更新和增量更新的更新模式,增量更新为通过海洋生态修复管理应用对项目申报与实施情况进行上报,系统对上报数据进行自动整合,形成增量数据包,并对历史数据进行更新,形成周更新成果,同时需保留历史数据。4、海洋生态修复监测数据采用实时更新和定期更新相结合的更新方式,其中实时监测数据利用数据接口对实时监测数据进行上传,系统对数据进行自动整合,形成最新的监测数据集。定期监测数据利用海洋生态修复管理应用对监测成果进行上报,人工对数据进行自动整合,形成最新数据集,各历史数据均需保留。数据治理工作内容及产出成果工作内容产出成果海洋生态修复规划数据治理:针对海洋生态修复规划图集进行矢量化,针对各类规划文本数据,通过GIS软件实现数据上图。海洋生态本底调查数据治理:通过入海河口地名普查表等数据提取海草床、河口、海湾分布信息及其详细属性信息,并通过矢量化软件实现文本数据上图。通过对高分辨率遥感影像建立影像识别规则提取砂质海岸数据。生态修复项目数据治理:针对截至2023年的生态修复项目进行治理,建立生态修复项目库,完成对各类项目进展的统一管理与监测。完成各类海洋生态本底调查数据、生态修复规划数据、生态修复项目数据、生态修复监测数据与资料收集。完成海洋生态修复数据分析,形成分析报告。完成数据整合,存入海洋数据库。完成数据服务接口。海洋防灾减灾数据治理治理方案设计对目标精细化预报、数值预报、灾害预警、海洋灾害承灾体、灾害应急规划、风险等级评估等6类海洋防灾减灾数据以及海洋灾害预警和应急决策业务模型和海洋AI大模型需求数据的治理方案设计,编写海洋防灾减灾数据治理的详细设计方案,方案最终集成到《海洋数据治理方案》中。需对当前海洋防灾减灾数据现状深入分析,结合业务运行的实际情况与未来发展趋势拟定本次数据治理目标,编写完成海洋防灾减灾数据治理的详细设计方案。数据采集海洋预报预警产品:数据源以海洋预报部门制作的日常基础海洋环境预报产品、精细化海洋环境预报产品及海洋灾害预警报产品为主。日常基础海洋环境预报产品每日更新沿海海域的未来72小时每隔24小时的海面风、海温、表层流、潮位、海浪等5个及以上要素的预报信息。精细化海洋环境预报产品每日更新重要海湾、重点海水浴场、重要航线等以上区域的未来72小时每隔24小时的潮位、浪高、海温等要素预报信息。海洋灾害预警报不定期更新沿海海域、重点岸段的风暴潮、海浪、海啸3个重要海洋灾害的警报信息和灾害期间加密专报信息,同时汇集截至2023年底严重影响的台风过程期间的风暴潮、海浪、海啸灾害预警报产品。海洋生态预警监测产品:数据源以的赤潮监测预警专报、海洋生态预警专报成果为主,成果覆盖沿海及其周边海域。海洋灾害调查评估成果数据多源异构,主要汇集的数据情况如下:1)截至2023年底历史海洋灾害数据来源以海洋发展研究促进中心收集、调查、整理的每年更新的沿海风暴潮、海浪灾害、海啸等海洋灾害过程信息为主。2)海洋灾害风险评估与区划结果数据来源于自然资源部预警监测司2019年组织开展的风暴潮、海浪、海啸、海平面上升四个灾种市尺度的风险评估和区划工作成果、前期开展的海洋灾害风险评估与区划成果,以及“省第一次全国自然灾害综合风险普查”中成果。3)警戒潮位核定成果以海洋发展研究促进中心针对沿海重点岸段完成的四色分级警戒潮位核定值、警戒潮位标识物的坐标、现场照片、智能警戒潮位标识物的实时警戒潮位等级等信息为主。4)海洋灾害重点防御区划定成果数据来源于“省第一次全国自然灾害综合风险普查”成果的海域范围,包括图件成果、报告成果等。5)承灾体调查和隐患排查成果数据主要来源于省前期开展的承灾体调查成果以及“省第一次全国自然灾害综合风险普查”的重点隐患调查与评估成果中海域范围。其中,“省第一次全国自然灾害综合风险普查”成果包括数据成果、图件成果、报告成果等。6)灾情信息统计成果数据来源以自然资源主管部门以及海洋发展研究促进中心每次风暴潮、海浪、海啸灾害过程后统计的灾情、灾害损失调查情况、海洋观测设施损坏情况为主。7)持续监控在线接入数据实时更新,优化数据接入流程,提升数据处理的速度与精确度,为海洋防灾减灾决策提供强有力的信息支撑,确保能够及时响应并有效应对各类海洋灾害风险。8)收集业务新增成果数据:需持续补充收集海洋观测预报部门和资源监测部门防灾减灾业务新增项目成果数据、业务部门内部编制报告、外部收集数据、实验室数据、对外数据共享数据等。9)收集标准规范:包括灾害预警产品、海洋灾害风险评估和区划及重点防御区划定数据、海平面变化影响调查评估数据、海洋灾害调查数据、警戒潮位核定、再分析数据、海洋生态预警监测等数据以及数据治理领域涉及的国家、地方、行业、市等部门的标准、规范、政策文件等。10)外部数据收集:为服务海洋灾害预警业务模型构建,需通过数据申请、互联网数据抓取、项目成果提取、系统对接等补充收集各单位数据。11)通过HYCOM、哥白尼气候变化服务(CopernicusClimateChangeService,C3S)数据平台等网站数据下载、系统对接等补充收集服务海洋大模型需求的数据,并按要求进行入库。质量检查与标准化对海洋防灾减灾数据开展质量检查,包括数据比对分析与融合、问题标记与处置等,在数据问题标记过程中要与数据提供方进行及时有效的沟通,将数据存在问题进行反馈,共同商讨数据处置方法。参照海洋数据相关结构规范,按照梳理的对照映射关系对数据进行规范化处理,使数据符合字段结构统一、内容值域统一、数学基础规范、文件命名规范、目录组织规范、数据关系建立等要求。包括:1、数据比对分析与融合在对数据收集之后,需要进行数据分析,并形成数据分析报告,为后续标准优化和方案制定提供依据。海洋防灾减灾数据分析主要从三个方面进行:数据格式、图属关联、数据版本。针对海洋灾害普查数据,对不同版本的空间数据可从数据属性结构、空间坐标、核心字段、重要内容信息等进行详细全面的对比分析。通过对数据的分析可形成一份对比分析报告记录不同版本数据的一个差异化。2、问题标记与处置在对数据收集梳理之后,需要对海洋灾害普查数据进行质量分析,以便于为后续数据处理方案制定提供依据。按照数据类型对海洋灾害普查数据进行问题筛查及标记。数据清洗处理根据海洋预报预警产品、海洋生态预警监测产品、海洋灾害调查评估成果以及海洋灾害预警和应急决策业务模型和海洋AI大模型需求数据的数据特点,构建数据质量控制流程,实现海洋灾害数据的识别、度量、监控、预警等一系列数据控制活动。主要工作有:空间落图、数据格式转换、坐标系转换、属性处理、量纲转换、文本数据预处理、矢量数据处理、栅格数据处理等一系列清洗步骤。具体包括但不限于对以下数据处理内容进行处理:1)海洋灾害调查项目成果中表格数据空间化。2)海浪、海啸海洋灾害风险评估和区划及重点防御区划定项目成果报告空间数据提取。3)空间数据坐标系转换。4)历年风暴潮、海浪灾害预警报产品规范化处理。5)台风视频监控数据整理。6)中心历年业务数据库表标准化。7)海洋灾害预警业务模型、海洋大模型需求数据处理。数据质检入库数据入库前对采集数据进行全面质量检查,并改正数据质量错误。对质量检查通过的数据,按要求进行入库。数据治理完成后需要按照《海洋数据质量检查规则说明》进行数据质量检查,对质量检查通过的数据,按要求进行入库。需对数据规范性、完整性、准确性和一致性等方面进行质量检查。对数据命名、字段命名、字段长度、字段类型等内容进行严格控制,同时删除无效数据和冗余信息,形成质量规范、高利用率的数据。同时数据质检应关注数据问题分类,区分原数据本身产生的质量问题、数据传输过程产生的质量问题以及数据治理过程产生的质量问题,并进行分类整改。数据融合采用特征层融合的方式整合不同来源的海洋预报预警产品、海洋生态预警监测产品、海洋灾害调查评估成果,以压缩信息,提高数据质量。对按照标准规整后的海洋防灾减灾数据,充分挖掘数据间关联关系,通过空间位置、核心属性等构建数据关联关系,形成数据成果,按要求进行入库。包括但不限于以下数据关联融合:(1)图-属-档关联。(2)海洋要素极端特征、历史重现期统计。(3)灾害预警产品异常数据、空值标记。(4)台风专题数据。(5)历史台风路径图集。(6)海洋灾害预警模型专题数据。(7)
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高一家长会教学课件
- 山东省德州市2023-2024学年高三物理上学期10月月考试题含解析
- 《突破思维定势》课件
- 作文书的教育课件
- 过敏性休克的临床特征
- 古诗劝学教育课件
- 珐琅课件教学课件
- 昆明理工大学津桥学院《影视特效制作》2021-2022学年第一学期期末试卷
- 绘画艺术模板
- 昆明理工大学《城市能源系统》2022-2023学年第一学期期末试卷
- 三年级上册数学脱式计算大全500题及答案
- 投影基础习题
- (完整文本版)作文格子模板(500字一页)
- 工程采购管理课件
- 眼科护理滴眼药水论文
- 环境材料学材料的环境影响评价课件
- 婷美祛斑体验活动策划
- IT技术行业团队建设工作方案
- 电子游戏行业市场调研报告
- 个人形象塑造计划书
- 《中国边疆概论》课件
评论
0/150
提交评论