海陆一体化数据管理能力建设需求

海陆一体化数据管理能力建设需求一、项目概况针对海洋数据的来源多样性、类型多样性、时间尺度多样性、用途多样性、格式多样性等海洋数据科学研究和灾害预警的挑战难题，需综合运用多种方法和技术来收集、整合、分析、解释海洋数据，构建海陆一体的数据管理能力和海洋数据治理能力，提升海洋应用支撑能力。海陆一数体数据管理能力是海洋和陆地资源合理利用和保护的重要基础。通过构建覆盖数据归集、数据治理、数据分析、数据共享、安全防护等方面的能力，提供海陆一体化的数据管理力，加强对海洋业务数据、海洋公共数据和海洋社会数据的统筹管理，提升数据质量管控能力，保证数据的真实性、准确性、可用性，为海洋和陆地资源的可持续发展提供有力支持。通过建立统一数据管理机制、数据管理能力和物联网平台，提升海洋应用支撑能力，推动海洋资源环境管理、海洋灾害预警预报的建设工作。通过物联网管理平台，增强观测设备安全接入能力，实现实时、准确采集，确保数据的完整性，实现快速集成应用，整合各海洋要素的监测感知数据，实现一数一源、一源多用，为海洋多源大数据服务提供可靠的数据来源。面向不同来源、不同类型的数据开展针对性的数据清洗转换、标准处理、质量控制、检验评估、智能分析等处理整合工作，加强海洋数据质量管理和质量评价，完善形成海洋数据资源质量评估和反馈机制，提升海洋数据质量。海洋灾害应急管理和公共服务涉及多类部门，且海洋灾害对涉海企业、社会公众影响极大，目前海洋灾害相关信息需通过工作群、邮件、短信等方式进行人工转发，部门、涉海企业、社会公众无法第一时间自动接收灾害公共服务数据。因此项目建设需开展系统之间的对接，完成与各委办局海洋防灾减灾相关平台及系统的对接工作，共享海洋防灾减灾预警报数据，实现海洋防灾减灾数据支撑和业务支撑。同时为确保现有系统的历史数据升级后能正常检索、展示、应用，需完成海洋防灾减灾现有系统的历史数据迁移工作，确保历史数据迁移后的正常调阅。系统对接和数据迁移将持续支撑海洋防灾减灾业务数据与各委办局的对接和共享，为全局提供海洋防灾减灾数据统一、集约建设、对接高效、开放共享的信息化数据支撑和业务支撑。二、技术要求（一）总体要求落实国家、部、省、市的相关政策方针，结合我局信息化顶层规划和基础设施一体化、数据资源一体化、业务服务一体化、安全管理一体化等项目建设一体化管理要求，升级国土空间基础信息平台，开展海陆一体化数据基础管理能力建设和海洋数据治理，有效提升提供海洋数据应用支撑能力。（二）建设内容建设内容包括：海陆一体化数据管理能力建设、海洋物联网管理能力建设、海洋数据治理、系统对接和数据迁移以及应用开发基础支撑软件采购，建设清单如下。序号一级目录二级目录1海陆一体化数据管理数据抽取集成2API管理3API发布集成定制4指标模型管理5海洋数据基础应用能力建设6空间数据抽取集成运营服务7非空间业务服务运营8数据处理相关正版软件采购9海洋物联网管理平台建设全域感知模块10运营可视模块11数字集成模块12数据质量控制模块13运维监控模块14应用开放模块15可视化管理中屏16视频图像信息共享模块17软网关模块18物联感知可视化数据大屏模块19无人机模块20接入开发21海洋监测数据分析处理服务22海洋数据治理海洋数据调研梳理23海洋监测数据治理24海洋观测数据治理25海洋调查数据治理26海域海岛动态监测数据治理27海洋生态监测数据治理28海域海岛管理数据治理29海洋经济管理数据治理30海洋生态修复数据治理31海洋防灾减灾数据治理32海洋政策文化数据治理33海洋数据治理工具构建34系统对接和数据迁移系统对接35数据迁移36应用开发基础支撑软件国产文档中台采购37国产GIS平台软件采购38国产语音平台软件采购39国产文件云系统软件采购（三）项目依据及参考的标准1、项目依据国家政策：《国家海洋事业发展规划纲要》。《关于促进海洋经济高质量发展的实施意见》。《海洋观测资料管理办法》。《海洋观测预报和防灾减灾“十三五”规划》。2、参考标准海洋生态预警监测数据集质量控制技术规程（HY/T0396-2024）。GB/T14914.2-2019海洋观测规范第2部分:海滨观测。《自然资源统一调查监测技术体系总体设计方案》。《海洋监测规范（GB17378-2007）》。《海洋调查规范（GB12763-2007-T）》。《无居民海岛开发利用审批办法》。《全国重要生态系统保护和修复重大工程总体规划（2021—2035年）》。《海岸带综合保护与利用规划（2018-2035）》。《海洋环境保护规划（2018-2035年）》。《自然灾害防治能力提升行动方案》。《海洋生态文明建设实施方案》。《海洋综合管理示范区建设实施方案》。《海洋数据资源管理分类与代码》。《海洋数据在线共享交换技术规范》。《海洋数据地图服务发布规范》。《海洋资源数据地图编制规范》。《海洋数据质量检查规则说明》。《海洋元数据填写规则说明》。GB/T32424-2015 系统与软件工程用户文档的设计者和开发者要求。GB/T9385-2008 计算机软件需求规格说明规范。GB/T15532-2008 计算机软件测试规范。GB/T9386-2008 计算机软件测试文档编制规范。GB/T25000.23-2019 系统与软件工程系统与软件质量要求和评价（SQuaRE）第23部分：系统与软件产品质量测量。GB/T39788-2021 系统与软件工程性能测试方法。GB/T20157-2006 信息技术 软件维护。GB/T41905-2022 软件与系统工程 软件测试工具能力。GB/T38634.2-2020 系统与软件工程 软件测试 第2部分：测试过程。GB/T38634.4-2020 系统与软件工程 软件测试 第4部分：测试技术。GB/T43578-2023 信息安全技术通用密码服务接口规范。GB/T43207-2023 信息安全技术信息系统密码应用设计指南。GB/T43206-2023 信息安全技术信息系统密码应用测评要求。GB/T35274-2023 数据安全技术大数据服务安全能力要求。GB/T41479-2022 信息安全技术网络数据处理安全要求。（四）技术要求1.基础环境说明和系统实施技术要求本项目须基于局国土空间基础信息平台提供的运行支撑环境开展开发工作，项目实施需遵循局国土空间基础信息平台技术管理规范。2.成果要求（1）采购人拥有本项目的所有中间成果和最终成果，以及与之相关的所有权利。（2）项目需要提交最终成果包含以下内容，并符合数字化交付要求：序号成果内容形式要求1项目实施方案电子、纸质完整描述项目实施的整体工作方案。2系统需求规格说明书电子、纸质项目相关业务领域业务需求分析说明文档。3系统概要设计说明书电子、纸质项目各业务领域概要设计说明文档。4系统详细设计说明书电子、纸质项目各业务领域详细设计说明文档。5数据库设计说明书电子、纸质项目数据库设计说明文档（含数据库标准等）。6系统（非核心知识产权的）完整源代码（采购的软件除外）电子要求简单、高效、可读性强、异常处理严密等，提交电子成果及说明。7完整可运行程序电子要求简单、高效、可读性强、异常处理严密等，提交电子成果及说明。8系统功能测试计划电子、纸质提交电子成果及说明。9系统测试报告电子、纸质提交电子成果及说明。10系统测试用例电子、纸质提交电子成果及说明。11系统试运行方案电子项目试运行工作方案，提交电子成果及说明。12系统试运行报告电子项目试运行工作报告，提交电子成果及说明。13系统部署说明书电子、纸质系统部署说明文档，方便系统部署与运维。14系统操作手册电子、纸质具体使用帮助文档，方便用户操作。15历史数据迁移总结报告电子、纸质历史数据迁移情况总结，说明迁移技术路线。16系统培训视频及培训PPT电子涉及相关系统培训视频。17数据资源目录登记表电子、纸质提交电子成果及说明。18培训及售后服务文档电子、纸质提交电子成果及说明。19系统接口清单说明文档电子、纸质系统接口清单说明文档。20数据治理工具插件电子不少于8个，要求简单、高效、可读性强、异常处理严密等，提交电子成果及说明。21用户权限矩阵电子对接市局统一身份认证系统，获取其用户和组织架构体系，统一用户信息和登录认证信息。22离线空间数据详细接入清单电子、纸质收集海洋离线空间文件数据，摸清其真实的数据结构，分类整理和分析，设计数据源接入方式和元数据模型。23在线数据和在线系统接入清单电子、纸质梳理所有需要取数对接的系统数据库访问地址和接口地址。24非空间数据连接清单电子梳理所有需要取数对接的系统数据库访问地址和接口地址。25ETL任务清单电子、纸质梳理数据ETL抽取任务，包括离线同步数据和实时同步数据。26数据质检规则电子、纸质梳理形成空间数据和非空间数据的质量检查规则。27数据质量报告电子、纸质梳理形成空间数据和非空间数据的质量情况分析报告。28海洋数据现状调研报告电子、纸质调研现有系统基础环境，梳理数据供需关系。29海洋防灾减灾数据需求分析报告电子、纸质调研数据对接需求，梳理数据供需关系、数据开放、质量稽查的需求，分析建设内容、工作范围、建设方法。30海洋地图功能API现状调研报告电子、纸质调研地图功能API的现状及需求。31海洋地图功能API需求分析报告电子、纸质分析建设内容、工作范围、建设方法。32海洋数据常见数据问题及处理办法电子、纸质分析海洋数据常见问题，梳理海洋数据清洗规则，分析数据处理方法。33海洋数据治理工作标准和规范电子、纸质提供指导海洋数据治理实施的海洋数据治理工作标准和规范不少于7个：1)海洋数据管理制度（修订版）。2)项目数字化交付指引（修订版）。3)海洋数据基础标准（分类编码、目录标准、时空基准、元数据等）。4)海洋数据管理规范（采集、汇交、入库、交换、更新、服务等）。5)地形图数据管理规范（采集、汇交、入库、交换、更新、服务等）。6)海洋数据安全规范（安全、分类分级、脱敏脱密、运维等）。7)海洋数据质控规范（质控与检测、质量评价等）。8)海洋数据共享服务规范（应用服务接口、分发服务接口、交换格式、注册发布等）。34海洋数据治理成果数据集电子提供海洋数据治理数据集不少于9套（包含海洋监测、海洋调查、海域海岛动态监测、海洋生态监测、海域海岛管理、海洋经济管理、海洋生态修复、海洋防灾减灾、海洋政策文化等）。35海洋数据治理方案电子、纸质提交电子成果及说明。36地图API定制清单及API说明电子、纸质梳理地图功能API的清单，以及相应的说明。37地图功能API的运行监测报告电子、纸质提供API运行状态、调用频次、执行时间、服务器运行状态等内容的运行监测报告。38运维工作清单电子、纸质提供现场服务情况提供工作记录。39运维工作报告电子、纸质提供对系统、网络、数据库等关键资源的监控工作结果的报告。40物联网平台接入流程指引电子提交电子成果及说明。41感知设备接入规范电子提交电子成果及说明。42感知数据质量运营分析报告电子提交电子成果及说明。43感知数据质量整改意见电子、纸质提供感知数据质量的日常监测分析结果。44感知设备档案数据分析报告电子、纸质提供感知设备接入数量、在线数量、长时间离线等情况，及时发现和处理异常设备情况。45项目过程管理文档电子、纸质完整记录项目实施过程中的各项工作安排、项目周报、项目月报、调研报告、需求分析报告等过程文档。46项目总结报告电子、纸质项目总结报告。3.其他要求开展本项目所涉及的数据、软件系统、安全等工作，以及集成工作。服务单位所提供的最终成果，须符合投标人及主管部门的项目数字化交付要求，涉及数据成果格式应提交便于入库和共享利用的通用数据格式，空间坐标系统采用2000国家大地坐标系（CGCS2000），高程基准为1985国家高程基准，深度基准（海洋数据）采用当地理论最低潮面，远海地区根据实际情况可以采用当地平均海平面。须在提交数据成果的同时提交数据成果所依据或参考的数据标准或技术规程，包括国家标准、行业标准、地方标准、项目自定义标准等。其中，结构化数据（含空间数据）的，还须提供数据结构说明文件（包含但不限于数据命名规则、字段类型、字段长度、字段精度、阈值等内容）。三、服务要求1.项目采购范围（1）服务名称海陆一体化数据管理能力建设。2.项目服务期限项目服务期限自合同签订之日起18个月。3.组织实施要求项目合同签订后，服务单位应立即启动项目工作，并按照采购人要求组织人员驻场开展项目工作，于项目合同规定日期内完成全部项目采购工作内容。针对本项目组建相应的项目团队，项目团队人员不少于80人（含海陆一体化数据管理23人，海洋物联网管理平台建设12人，系统对接3人，海洋数据治理42人）。（1）项目团队要求工作细致严谨有耐心，具备较强责任心和服务意识，有较强的自学能力和一定的文档编写能力。具有团队合作精神，有责任感，能承受一定的工作压力。工作积极主动，有较强的沟通、创新和学习能力，执行力强。遇突发紧急工作任务时需可抽调人员临时补充。（2）投标人应按投标文件列明的项目人员清单，组成项目团队，参与本项目实施工作。项目团队成员在项目实施期间不得随意更换，如确需更换，应得到采购人同意。项目成员无法胜任岗位工作的，采购人可要求更换项目成员。4.验收要求：服务单位需要按照要求完成项目全部建设内容，提交全部项目成果后，由投标人组织专家开展项目的验收。5.培训技术要求（1）培训内容：就系统的各项功能和使用方法对系统用户进行培训。对系统管理员进行运维培训。（2）培训方式及数量：服务单位应根据采购人安排，组织不少于6次现场培训（包含数据抽取模块1次、数据API模块1次，空间数据抽取和服务发布模块1次，指标模型管理模块1次，海洋数据基础应用1次，海洋物联网管理平台1次）。（3）其他要求：服务单位在培训过程中积极与用户沟通，了解用户需求，及时优化和改进系统功能。6.售后服务内容、要求和期限（1）从项目成果验收之日起三年内免费提供售后服务。（2）在售后服务期内，服务单位应安排人员驻场服务，其中驻场人员不少于12人（含数据抽取集成运维1人，数据API运维1人，空间数据抽取和服务发布2人，指标模型管理2人，海洋数据基础应用维护1人，海洋物联网管理平台运维2人，海洋数据治理3人）。根据实际工作需要，服务单位应增加驻场人员。（3）在售后服务期内，服务单位对采购人的合理需求给予响应。服务单位应在接到严重故障（如：异常宕机、异常停止服务、安全漏洞等）通知后2小时内到达现场对故障进行处理。对管理系统一般性故障（一般性故障指管理系统运行过程中出现的不影响管理系统运行或业务流程进行的错误），应在24小时之内给予响应。（4）服务单位应安排专人负责售后技术支持，并提供联系手机、电话、Email。如人员需要调整应及时通知采购人。四、详细建设内容项目服务内容主要有：海陆一体化数据管理。包括空间数据抽取集成、API管理、API发布集成定制、指标模型管理、海洋数据基础应用能力、空间数据业务服务运营、非空间业务服务运营、数据处理相关正版软件采购。海洋物联网管理平台建设。海洋数据治理。系统对接和数据迁移。应用开发基础支撑软件。正版软件采购，包括国产文档中台、国产GIS平台软件、国产语音平台软件、国产文件云系统软件等。序号一级目录二级目录1海陆一体化数据管理数据抽取集成API管理数据API发布集成定制指标模型管理海洋数据基础应用能力空间数据业务服务运营非空间业务服务运营数据处理相关正版软件采购2海洋物联网管理平台建设全域感知模块运营可视模块数字集成模块数据质量控制模块运维监控模块应用开放模块可视化管理中屏视频图像信息共享模块软网关模块物联感知可视化数据大屏模块无人机模块接入开发海洋监测数据分析处理服务3海洋数据治理海洋数据调研梳理海洋监测数据治理海洋观测数据治理海洋调查数据治理海域海岛动态监测数据治理海洋生态监测数据治理海域海岛管理数据治理海洋经济管理数据治理海洋生态修复数据治理海洋防灾减灾数据治理海洋政策文化数据治理海洋数据治理工具构建4系统对接和数据迁移系统对接数据迁移5应用开发基础支撑软件采购国产文档中台国产GIS平台软件国产语音平台软件国产文件云系统软件详细服务内容如下：海陆一体化数据管理数据抽取集成对海陆一体化空间地理信息相关的数据源，包括但不限于地形图、遥感影像、三维模型、空间专题等数据进行归集、转换、抽取和集成，以便统一汇入国土空间基础信息平台数据湖实现标准化管理，为开展空间分析、地图绘制、地理信息可视化以及其他业务应用奠定数据基础。空间数据库连接管理为便于集成各类异构空间数据库，实现多源异构数据共享，需提供基于中间件连接的方式实现对异构数据的浏览、更新等应用。提供空间数据库引擎SDE管理空间数据，支持达梦、人大金仓、Oracle、PostgreSQL等主流关系数据库引擎与HBase、Elasticsearch、MongoDB等分布式数据库引擎，以及本项目采购的国产GIS平台软件、ArcSDE、ArcGISFileGDB等异构GIS中间件。文件型空间数据连接管理针对各类文件型空间数据，平台支持通过数据源连接或附加的形式实现数据的连接和使用。支持连接包括本项目采购的国产GIS平台软件的矢量数据源，及ArcGISPersonalGDB、FileGDB等，以及msi/tif栅格、img、jpg、png等格式的栅格数据源。空间元数据管理地理空间数据中元数据可以描述数据的内容、质量、条件、源和其他特征信息。对于传统的纸质地图，它的元数据主要表现为地图的类型、图例，包括地图名称、空间参照系、比例尺、图廓坐标、地图内容说明、精度、编制出版单位、日期等信息。空间元数据的使用，有利于空间数据的共享管理，有利于实现一些特定的功能。需提供空间元数据的存储、导入、导出、编辑，并通过“同步元数据”功能，将空间数据和元数据关联起来，实现元数据的共享。包括元数据编辑功能、元数据导入\导出、元数据同步、元数据验证、动态元数据管理等功能。数据集管理数据集管理功能需包括矢量数据集管理、栅格数据集管理。抽取过来的空间矢量数据类型以数据集的形式统一集中呈现，支持矢量要素数据集的创建，并在要素数据集节点下，进行创建（要素类、对象类等）、导入导出数据、删除、查看属性操作。抽取过来的空间矢量数据类型以数据集的形式统一集中呈现，并支持栅格数据集创建，基于创建好的栅格数据集，支持栅格数据的删除、导入导出、查看/编辑空间参照系、复制等操作。数据离线抽取针对海陆一体化的离线空间数据抽取，需提供空间数据输入输出、数据抽取对比检查、空间数据安全脱敏、数据安全加密解密、数据接口解析、生成接口数据等功能。提供空间矢量转换插件与空间栅格数据转换插件，实现各类空间数据的便捷化输入与输出。（1）空间矢量数据转换插件支持文本文件（*.txt），MapGIS文件（*.mapx）、SuperMap文件（.smw、.sxw）、我国标准矢量交换格式vct（*.vct）、Excel数据（.xls或.xlsx）、CSV数据（.csv）、ArcInfo文件（*.e00）、ArcViewShape文件（*.shp）、AutoCADDXF（*.dxf、*.dwg）、OpenGISGML（*.gml）、OpenGISKML（*.kml）等常用的GIS格式数据的输入与输出。（2）空间栅格数据转换能够支持msi、tif、img、jpg、gif、bmp、jp2、png等20多种栅格数据格式，以及bil，Arc/Info明码Grid、SurferGrid等多种Dem数据格式的输入与输出。（3）数据抽取对比检查内容包括：入库数据元数据检查、数据数量检查、坐标序列检查、坐标参照系检查、栅格影像色差检查。（4）数据涉密管理需要提供空间数据安全脱敏相关功能，包括：涉密要素属性删除、涉密要素空置删除、空间位置精度降低、空间位置转换、图层裁切等。（5）提供数据安全加密解密服务，为保障空间数据的共享、传输和应用安全，提供多种数据加密解密技术，包括哈希处理、MD4/MD5处理、算法加密、公开密钥加密及相应的解密。（6）数据接口解析需提供各类异构数据源的数据接口解析功能，包括WebService接口解析、HTTP接口解析、XML解析、Json解析等内容，以增强不同来源和格式的空间数据的互操作能力，促进数据资源的整合与利用。数据实时抽取提供空间数据实时抽取功能，需包括空间数据库表实时抽取、文件数据实时抽取、日志数据实时抽取以及空间数据库增量同步、实时同步数据对比检查等内容。（1）提供空间数据表的流式输入与输出功能，即在不将数据数据加载到内存的情况下处理相关空间数据，在节省内存资源的同时提高处理大规模数据集的效率。（2）针对文件数据提供实时抽取与监控功能，包括普通文件数据和矢量文件数据。（3）基于CDC变化数据捕获技术，实现日志数据的实时抽取与日志解析。（4）针对空间数据库增量同步需求，支持以同步任务管理的形式增量数据的获取。具体提供空间数据同步规则配置以及同步任务创建、调度、监控、同步日志管理、同步流程各节点配置管理相关功能。（5）针对空间数据库实时同步需求，要求数据同步的时延在1分钟之内。（6）实时同步数据对比检查内容包括空间数据元数据检查、数据数量检查、坐标序列检查、坐标参照系检查、栅格影像色差检查。数据质量监测为保障空间数据抽取集成的质量，提供全面的空间数据质检功能，包括数据质检算子管理、质检规则配置、完整性质检及质检过程监控、质量分析等内容。（1）针对各类点、线、面状空间数据要素，提供全面的数据质量检查算子，提供灵活、易扩展的质检规则配置功能，提供属性完整性与属性结构完整性提供检查功能。（2）数据质量检查算子至少包括重叠点、多线、微短线、重叠线、相交线、悬挂线、多面、面缝隙、重叠面、碎小面检查等。（3）针对空间数据的质检过程监控功能包括质检方案设计与质检结果监控。针对不同专题数据的质检要求，提供质检方案设计功能，支持用户利用可视化界面自行配置各类检查的项目。（4）结合空间数据质检结果开展数据质量分析，提供数据质量检查报告、趋势分析与可视化看板功能。数据融合处理数据融合清洗是指将不同来源的数据开展合并、清洗以及规范化等处理，以提高海陆一体化空间数据质量，为后续的数据分析、数据挖掘等提供可靠的数据基础。需包括空间数据清洗、数据脚本、空间数据标准管理、矢量数据处理和栅格数据处理功能。（1）空间数据清洗功能包括空间基准转换和空间数据缺失值清洗、异常值清洗、重复数据处理、噪音数据清洗等内容。（2）提供一系列执行脚本处理组件，以辅助实现各类数据清洗操作，包括数据映射、数据丰富、数据计算、数据验证、数据排序、数据合并、数据拆分、数据生成、数据去重、数据分组、行列转换等复杂处理场景，实现用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。（3）针对海陆一体化空间数据提供数据标准管理功能，包括空间数据标准文件管理、空间基准标准管理、时间基准标准管理、矢量数据格式标准管理、栅格数据格式标准管理等内容。（4）针对各类点、线、面状空间矢量及栅格数据提供丰富多样的投影变换、量算、空间分析和拓扑处理等功能。API管理管理地图通用功能API和定制的地图功能API，基于API管理系统提供API管理的相关接口，进行地图功能API的发布、授权、下线和运行操作。地图功能API管理针对服务访问的安全应用，需提供基于Token（盾牌）的服务安全认证策略和Token账户管理功能。并提供地图功能API发布和下线功能。提供统一的数据服务发布管理，根据数据服务类型将发布任务转发到不同的发布平台，并将发布好的数据服务在局数据编目系统进行服务登记。通用地图功能API开发通用地图功能API开发模块需为地图应用提供一套全面的开发工具，使得开发者能够构建功能丰富、交互性强的地图应用。包括图层目录服务API、文档目录服务API、瓦片目录API、地图数据服务API、专题图服务、几何分析服务和要素服务等。定制地图功能API开发通过流程搭建的模式，为用户提供自定义的地图功能API来进行特定的地图功能开发，满足客户的特定需求，比如定制化的地图展示、路线规划、地点搜索、地理围栏等。需包括流程式定制开发构造器、定制API流程模板管理、定制地图功能API分类管理和定制地图功能API参数设置功能。API调用统计分析API调用统计分析模块需提供一种有效的方式来监控API的使用情况，帮助开发者和系统管理员了解API的使用模式和趋势，从而可以对API服务进行优化和改进。同时，这些统计信息也可以帮助识别潜在的性能瓶颈或需求高峰，进而做出相应的调整和资源分配。API发布集成定制API管理定制API全生命周期管理（管理门户）需对API的需求、设计、开发、测试、发布、调用和维护等整个过程中，对各个阶段进行管理和控制。API服务生命周期管理主要通过平台中内置的质量规则进行约束，通过静态和动态质量分析来给API进行评估并不断提升API服务的质量。服务接入规范约束主要是制定相关的API接入和发布规范，用来约束API服务发布者和API服务消费者按照规范约定进行API服务的共享，方便在数据对接时能按照标准规范进行对接从而降低数据对接的成本提升效率。项目管理定制项目管理展示了API的总览、团队动态、项目动态、开发者资源、统计分析等相关信息，以满足企事业单位内部开发部门和生态合作企业在API接入和使用过程中的需求。需包括项目管理、应用管理、请求历史、项目文档、模拟数据、环境管理、项目设置等功能。能力管理定制需对所有的能力接口进行监控操作，需对能力产品、能力目录、能力地图、业务应用进行管理。提供能力接入审批、能力沉淀统计、能力调用统计、能力复用统计的功能。并为用户提供一个API和其他技术能力的集中平台。通过能力开放门户，组织可以将自身的核心能力以API形式对外暴露，并允许开发者和合作伙伴利用这些能力构建新的应用、服务和解决方案。服务规范治理治理服务包含并不局限于管理标准和技术标准。管理标准应包括：标准体系总体要求、服务设计管理规范、服务实施管理规范、服务上线发布管理规范、服务下线发布管理规范、运维管理规范。技术标准应包括：平台总体技术规范、服务能力技术规范。服务能力治理API服务能力分析是一种对API服务的性能、可靠性、可扩展性和安全性等方面进行评估和分析的过程。通过API服务能力分析，企业和开发团队可以及时发现和解决API服务中存在的性能、可靠性、可扩展性和安全性等方面的问题，提升API服务的整体能力和质量，为用户提供更好的服务体验。API服务能力涉及以下几个方面的评估治理：规范性、安全性分析、性能分析、稳定性、共享性、可理解性。服务能力监测服务能力监测主要针对本平台运行的所有API服务进行监控操作，包括API实时请求的流量监控、API实时运行数据记录、API实时链接数记录、API执行异常监控等功能。并提供自动化运营报表、API质量是评估、API服务能力运营、API质量分析、静态质量分析、动态质量分析、调用安全分析和运营管理规范的功能。数据管理能力集成做为海陆一体化数据管理能力中心，需要从海洋各业务系统抽取数据进行汇集，数据治理后形成的成果数据以数据API和功能API的形式发布，实现海洋数据在局内外以及市内外形成数据交换共享的目的。与已有系统及平台集成与市局电子业务平台集成，按照统一身份认证技术要求对接，实现组织权限和代办通知等。与市局微服务管理平台集，按照微服务管理平技术要求对接，实现服务注册及服务订阅。根据数据使用或业务管理需要，还需与市海洋物联网数据管理平台、局流程调度引擎、局对象存储管理系统、局PLOSERVICE后台管理系统、局SDE组件、市海洋观测预报系统、市陆源监测系统、市海洋经济直报系统、市海域动态管理系统、局地图融合发布系统、市海洋数据资产管理系统、数据资源目录系统、数据抽取管理系统成品软件、API管理系统成品软件进行对接。定制开发能力要求定制开发需与API管理软件同一品牌厂商，与管理软件需无缝融合。指标模型管理指标模型管理旨在提供以指标定义、指标版本管理以及指标统计报表的指标管理系统和从算子库管理到模型管理、模型构建、任务管理、服务发布、运维看板、以及系统管理的全流程支持的模型管理系统。指标定义创建指标，统一标准定义指标。指标定义支持修改，修改痕迹会被记录。指标信息包括基本信息（名称、描述、编码等）数据源信息、空间定义信息、指标关系定义、标签定义、指标标签管理、权限定义、指标定义扩展、指标体系定义和指标目录管理，以及指标填报、指标纠错。支持指标的上架申请、申请审核、发布（并可设定共享范围）、共享，以及指标的查询、指标详情、使用申请、申请审核、应用监测等能力构成的“指标超市”，并支持按照维度建模的方法进行指标定义，支持指标之间的血缘分析，和甲方已经建设的数据可视化工具打通。指标版本管理包括指标定义版本与指标数值版本两个模块功能，通过该功能，用户可以创建、存储和比较不同版本的指标定义与数值，并记录每次修改的详细信息，包括修改时间、修改人员和修改内容，以确保指标变更的追踪和可溯源性。对每次修改的记录进行监控，监控指标的值更新是否异常。此外，指标版本管理功能还支持权限控制，可以根据用户角色设定不同的修改权限，从而确保指标定义的安全性和合规性。指标统计报表该功能模块需涵盖自定义报表和自动汇聚报表中不同指标数据的功能。用户首先可根据需求自定义报表，选择报表模板和布局，以确保报表结构符合业务需求，用户能够灵活设置报表中包含的具体指标，不论是手动选择还是通过预设规则自动生成相关指标数据。系统支持定时任务和实时数据更新，以确保指标数据的及时性和准确性。在所有数据准备完毕后，系统将按照预先设定的要求将各类指标数据进行汇总处理，并支持导出为多种格式的报表，以便于分享和存档。按照设置的报表定义规则，系统自动生成报表，汇交到领导确认。可通过系统内定义的计算规则进行指标计算，也可通过调用外部接口、模型、SQL注入计算规则等方式实现系统外指标计算。算子库管理集中存储、注册、配置和管理各种算子。这些算子包括用于数据处理、转换、分析的基础算子，以及针对特定领域（如空间处理）的专用算子。支持自定义算法文件的上传，用户可以上传Python脚本、Java类文件等，并可配置算法的输入输出接口，包括参数类型、默认值等。模型创建模型创建功能为用户提供了一个直观且灵活的环境，用于从数据输入到结果输出的整个模型搭建过程。包括模型数据输入配置、节点数据流转配置、模型可视化流程搭建、模型结果保存和模型结果可视化的功能。模型管理模型管理功能用于全方位地管理和维护数据处理和分析模型。该功能旨在满足用户对模型生命周期的完整控制，从模型的编辑、分类，再到最终的删除，都能得到高效地处理。支持模型的上架申请、申请审核、发布（并可设定共享范围）、共享，以及模型的查询、模型详情、使用申请、申请审核、应用监测等能力构成的“模型超市”，支持模型打标签，和甲方已经建设的数据可视化工具打通。模型服务发布根据模型参数信息、名称等相关信息，将模型在中心微服务平台上提交注册发布为可供外部调用的服务，外部系统或应用程序可以通过HTTP或其他协议的URL来调用模型服务。模型任务管理方便用户管理和调度模型的执行，实时监控模型的运行状态和执行结果，从而确保模型能够按照预期运行并产生准确的结果。包括模型调度配置、模型调度任务管理、模型日志查看功能。模型运维看板提供集成模型热度、状态监控、总体概览和新增情况分析等功能的可视化看板。系统管理系统管理模块的主要功能包括日志审计和模型权限控制。记录了系统中用户或系统本身执行的所有操作或活动的详细信息，为系统管理员提供了丰富的数据来分析和审计系统行为。基于统一认证体系的权限接口，对用户访问和操作模型的权限进行精确控制。海洋数据基础应用能力建设（即海洋灾害数据资产管理系统）海洋数据应用海洋数据应用由海洋数据管理门户、海洋数据综合展示、海洋数据资源服务、海洋数据地图服务、海洋数据产品服务、海洋数据应用评价等六个模块组成。为便于海陆一体化数据管理，海洋数据应该同时包含陆地地形数据，成果数据统一纳入海陆一体化的全空间数字底板，实现陆海统筹、海陆一体化的全空间集成展示。海洋数据管理门户海洋数据管理门户模块提供门户数据资源中心、数据产品、个人中心、通知公告等子模块。海洋数据综合展示模块围绕海洋数据服务，提供海洋数据综合展示，实现海洋灾害防御工程，助力海洋资源高水平保护、高效率利用提供辅助决策。需提供海洋灾害防治一张图、海洋三维展示、海陆地形图符号化和可视化配置管理功能。其中海陆地形图符号化应参照国家基本比例尺地形图图示制定符号，可视化配置管理需支持图表组件、web交互类组件、图片类组件、文本组件、功能样式组件、二维地图组件、三维地图组件。并可以对组件属性样式批量设置、组件组合编排。海洋数据资源服务模块为满足海洋灾害数据共享需求，有必要对各类海洋数据资源进行有序组织，建设规范化的数据资源目录体系。海洋数据资源服务面向业务人员需提供资源目录、资源注册、资源检索、资源浏览、资源审批等子模块。支持数据资源登记页面个性化布局。支持国产空间数据库、云盘文件数据、数据标准等管理。支持数据目录自定义分类管理。支持批量或者单个数据服务注册登记、自动关联原始图层及其元数据信息、即时预览。支持自动同步到微服务平台供订阅，并可查看单个服务的订阅使用状况、运行状态。支持地形图、遥感影像、三维模型等数据的自动发布注册登记。提供目录发布校核规则库，在目录发布时按照校核规则库对目录元数据及其关联文件进行校核。提供目录与关联数据、服务与微服务平台联动异常监控与告警展示管理。开展存量海洋编目数据整合迁移。海洋数据地图服务模块海洋数据地图服务模块面向业务人员需提供通用地图服务、地图浏览、数据查询、通用制图、空间分析、辅助工具等子模块。海洋数据产品服务模块海洋数据产品服务模块配置并发布海洋灾害防御业务过程中生成的数据产品。提供海洋数据产品配置、信息查询、生态海岸带评价产品管理模块，提供数据产品的编目、注册、查询、预览、申请、审核、运行监测等功能。海洋数据应用评价模块海洋数据应用评价模块对海洋数据汇集情况、分发情况、使用情况、支撑情况和数据应用情况进行统计，需提供数据汇集情况信息、数据分发情况信息、数据使用情况信息、数据支撑情况信息、数据应用情况信息等子模块。海洋数据管理基于国土空间基础信息平台扩展的海洋大数据管理模块，提供海洋数据采集、海洋数据初步质控、海洋数据监控、海洋预警预报产品准确度检验、系统管理等功能，还应包括海陆地形图数据的入库检查、更新入库、按需导出、数据库版本管理等功能，实现多源、异构海洋时空大数据的汇聚、存储和一体化统一管理，支持构建海洋大数据时空底座。海洋数据采集模块充分利用国土空间基础信息平台的空间数据和非空间数据抽取功能接口提供的能力，实现海洋原始文件采集、海洋数据解析管理以及入库预处理等子模块的管理需要，满足海洋数据快速、稳定采集。（1）海洋原始文件采集，需基于国土空间基础信息平台的空间数据和非空间数据抽取功能接口，提供海洋数据采集工具，实现海洋原始文件的数据采集方案管理。（2）海洋数据解析管理，需基于数据抽取管理系统的任务管理功能，创建数据解析任务，配制解析规则，对海洋观测数据、海洋生态监测数据进行解析并入库。（3）海洋数据入库预处理，采集的数据中如果包括文档、图片数据，需要进行信息的提取，并建立索引，以数据方式存储在数据库中，以支持全文检索的功能。海洋数据国家标准化参照国家标准《GB/T14914.2-2019海洋观测规范第2部分:海滨观测》将文件进行分类并标准化处理实时和历史数据，输出标准化文件，包括文件的命名、文件内容的格式等。海洋数据监控数据解析、处理、回传、入库等环节进行监控埋点，监控海洋数据各个处理环节的过程是否出现问题。包括事件追踪埋点、数据监控信息统计。海洋预警预报产品准确度检验按照《海洋预报结果准确性检验评估方法》中的相关要求，对常规预报、数值预报、风暴潮、海浪警报的各类指标进行质量评估的年月评估统计。数值预报评估包括相对误差、平均相对误差。对警报级别的正确率、高报率、低报率进行评估。系统管理针对海洋数据安全运营，基于国土空间基础信息平台统一权限功能，提供权限管理和日志管理的功能，有效地保证系统各类服务资源的安全性。海陆地形图数据库增加版本管理功能，可以随时查看历史节点的地形图数据库，可与现势地形图数据库进行对比分析，可以将现势数据库还原到对应的历史节点数据库。空间数据抽取集成运营服务为确保空间数据抽取集成能力正确运行，并适配海洋数据的空间位置要求，投标方需提供相应技术支持服务，围绕空间数据采集、检查、汇聚、清洗、治理、分析、共享、利用等数据全生命周期，提供涉及全市持续的海洋空间数据运营服务，以保障平台持续进行有效的业务服务运营。同时服务商应协助业主开展数据供需关系的梳理工作，通过数据开放、测试、质量稽查的工作，保证数据需求产品准确、安全、可信，推动数据跨部门共享利用。空间数据需求调研分析围绕海洋防灾减灾业务，对市局现有的空间数据类型、存储数据库类型、在线运行系统，以及国土和海洋部门数据治理质量标准的需求调研。对建设内容、工作范围、建设方法进行分析，并输出《海洋空间数据现状调研报告》、《海洋防灾减灾数据需求分析报告》。地图功能API调研分析围绕海洋防灾减灾业务，对市局现有的地图功能API的现状及需求调研。对建设内容、工作范围、建设方法进行分析，并输出《海洋地图功能API现状调研报告》和《海洋地图功能API需求分析报告》。离线数据整理对接收集海洋离线空间文件数据，摸清其真实的数据结构，并进行分类整理和分析，根据调研需求，设计数据源接入方式和元数据模型。对建设内容、工作范围、建设方法进行分析，并输出《离线空间数据详细接入清单》。在线数据对接对接与市海洋物联网管理平台、局资源目录编目系统、市海洋观测预报系统、市陆源监测系统、市海洋经济直报系统、市海域动态管理系统，配置所有需要取数对接的系统数据库访问地址和接口地址，为数据抽取做准备。对建设内容、工作范围、建设方法进行分析，并输出《在线数据和在线系统接入清单》。基础平台系统集成配置开发对接市局统一身份认证系统，获取其用户和组织架构体系，统一用户信息和登录认证信息。按业务需求配置各类审批工作流并将结果同步市局流程调度引擎。对接局微服务管理平台，调用其服务注册接口，按照UUDI的要求，将每个本系统的API以统一WSDL的形式注册到微服务管理平台，服务需求方通过局微服务平台来发现和调用本系统发布的API服务。对建设内容、工作范围、建设方法进行分析，并输出《用户权限矩阵》、《系统集成开发设计说明书》。空间数据抽取任务设计配置数据抽取任务，包括离线同步数据和实时同步数据，实现陆地、海洋数据统一存放管理，完善国土空间数据库与海洋空间数据库的融合。对建设内容、工作范围、建设方法进行分析，并输出《ETL任务清单》。空间数据质检配置配置数据质检规则，执行自动化数据质量检测，保证数据准确可靠。输出《空间数据质检规则》、《空间数据质量报告》。空间数据治理清洗配置数据清洗规则，包括矢量和栅格数据的清洗规则。输出《海洋数据常见数据问题及处理办法》。地图API定制配置根据地图功能API的定制需求，通过流程搭建的模式，为用户提供自定义的地图功能API来进行特定的地图功能配置，满足客户的特定需求。输出《地图API定制清单及API说明》。地图API运行监测实时监控API运行状态、调用频次、执行时间、服务器运行状态等，并定期形成运维报告，以文本报告的形式发布出来。了解API的使用模式和趋势，识别潜在的性能瓶颈或需求高峰，进而做出相应的调整和资源分配。输出《地图功能API的运行监测报告》。试运行期系统运维及优化日常维护平台开发配置的内容，保证系统可持续的稳定运营。对系统、网络、数据库等关键资源的实时监控，及时发现并定位潜在的故障，通过预警功能提前通知运维人员，以便在故障发生前采取相应措施。通过调整系统设置、优化资源配置、改进软件代码等方式，提升系统的性能和稳定性。非空间业务服务运营日常维护平台开发配置的内容，保证系统可持续稳定运营。对系统、网络、数据库等关键资源的实时监控，及时发现并定位潜在的故障，通过预警功能提前通知运维人员，以便在故障发生前采取相应措施。通过调整系统设置、优化资源配置、改进软件代码等方式，提升系统的性能和稳定性。记录并输出《运维工作报告》。非空间数据抽取集成运营服务为确保本期建设项目平台有效使用和项目实施成果，需要投标方提供相应的技术支持服务，围绕数据采集、汇聚、清洗、治理、分析、共享、利用等数据全生命周期，提供涉及全市持续的数据运营服务，以保障平台持续进行有效的业务服务运营。同时投标方应协助采购人开展数据供需关系的梳理工作，通过数据开放、测试、质量稽查的工作，保证数据需求产品准确、安全、可信，推动数据跨部门共享利用。本次项目按照需求重要程度，针对做好分级分类，科学制定实施计划，坚持做到一次规划、分步实施、重点先行。数据需求调研分析围绕海洋防灾减灾业务，对市局现有系统基础环境调研，市局业务部门使用需求调研，相关数据对接需求调研，协助客户开展数据供需关系的梳理工作，通过数据开放、测试、质量稽查的工作，保证数据需求产品准确、安全、可信，推动数据跨部门共享利用。对建设内容、工作范围、建设方法进行分析，并输出《海洋数据现状调研报告》，《海洋防灾减灾数据需求分析报告》。系统初始化和集成对接配置开发对接市局统一身份认证系统，同步市局统一的用户账号，设计符合需要的权限矩阵，按业务需求配置各类审批工作流并将结果同步市局流程调度引擎。配置所有需要取数对接的系统数据库访问地址和接口地址，制定数据接入管理规范，并按照规范要求接入各类数据，实现数据源、数据接口统一管理。对建设内容、工作范围、建设方法进行分析，《用户权限矩阵》、《系统集成开发设计说明书》、《非空间数据连接清单》。数据抽取任务设计通过配置数据抽取任务，包括离线同步数据和实时同步数据，实现海洋数据统一存放管理，完善国土空间数据库海洋业务数据。对建设内容、工作范围、建设方法进行分析，输出《ETL任务清单》。数据质检配置制定数据质量管理机制、流程、办法来规范数据质量管理实施服务，配置数据质检规则，执行自动化数据质量检测，定期形成数据质量专项报告，保障海陆一体数据中心数据质量稳步提升。对建设内容、工作范围、建设方法进行分析，输出《数据质检规则》、《数据质量报告》。数据治理清洗数据清洗能够补充数据缺失的部分、纠正或删除数据不正确的部分、筛选并清除数据重复多余的部分，最后将数据整理成便于被分析和使用的“高质量数据”。数据运营过程中，需根据实际情况选择不同数据清洗模式，并根据数据的不同类型选择有针对性的清洗方法。最后制定清洗规则，以支持实际清洗工作的顺畅有序进行。对建设内容、工作范围、建设方法进行分析，输出《海洋数据常见数据问题及处理办法》。平台运营指标1、高可靠性和可用性系统能够长时间稳定运行，要求平台在标准硬件资源上，以年度为单位：运行时效达到：99.99%。2、可扩展性系统应具有很好的可扩充性、可扩展性、适应性和可伸缩性，可以根据不同的配置方案，支持较大规模的用户数，至少满足2000以上用户数，不低于200个并发用户的稳定使用。3、离线数据传输采用主动方式和被动方式采集数据。具有数据快速采集能力，通用DDL语句（insert/delete/update/select）50字段以内满足50条/S数据入库，多表联合语句50字段以内满足20条/S多表数据更新。文件导入(excel为例)：20000行数据（50个字段）入库<3Min。单户数据离线迁移场景支持百万数据秒级迁移，亿级数据2小时内完成迁移。采集数据时支持同步容错机制和异步采集数据的性能高可用性，数据传输安全保证。4、CDC实时传输CDC实时数据单条延时（目标库写入时间-源库读取时间）不超过10s，10万级单表数据增量同步<1Min延迟。5、Kafka性能要求接收数据从Kafka（数据量100万，50字段为例）：配置通用校验规则接入不超过1h,不配置任何规则接入不超过20Min。分发数据往Kafka（数据量100万，50字段为例）用时不超过20Min。6、数据质量校验性能要求以业务数据（数据量亿级，阈值范围及正则规则校验为例）,数据校验及质量报告生成时效<60Min。试运行期系统运维通过驻场及多级服务机制，主动、及时的发现、分析系统缺陷，解决平台运行过程中的各类问题，提升应用系统的可用性，确保系统的稳定、高效运行，同时应设立安全事件处置及应急预案机制保障平台运行。对建设内容、工作范围、建设方法进行分析，记录并输出《运维工作清单》。运营服务人员要求运营服务的时长由投标人结合自身服务能力与实际项目需求并充分考虑实际情况后综合评估给出，要求不少于20人月，并体现在报价中。运营服务应积极响应项目组需求，协助项目组完成方案中相应工作并给出合理性建议。运营服务人员必须按照投标文件中提供的人员名单投入项目的实施。考虑到项目范围较大，投标方可提供不同领域的运营服务人员清单，在不同的项目阶段及不同建设内容方面灵活调整，由擅长该领域的技术服务人员参与支持。运营服务以人月形式提供，如人月消耗完毕，采购人可以按照单价继续增补采购运营服务。投标方应及时响应增补采购的运营服务，不得以有其它安排为由更换服务人员。数据处理相关正版软件采购三维时空数据统一管理软件需求1.多源数据汇集从多个不同的数据源获取、处理并整合三维数据，以构建完整、准确且高分辨率的三维数据模型。支持包括DEM、DBM、DSM、Mesh模型、LiDAR、BIM等多源三维数据汇集。2.数据格式兼容兼容各种数据格式，如NetCDF、HDF5、CSV、GeoTIFF、OSGB、OBJ等，确保数据可以无缝接入。3.数据标准化转换对不同来源的数据进行标准化转换，确保数据的一致性和可用性。支持数据格式和单位的转换。将不同来源的数据转换为统一的格式，以便于后续的数据处理和融合。进行坐标系转换，确保所有数据在同一坐标系统下，保证数据的空间一致性。4.元数据管理通过记录数据的来源、采集时间、分辨率、格式等基本属性，按类型和主题进行分类，提供版本控制和权限管理，确保数据的可追溯性和安全性，同时记录数据质量评估结果。5.大数据存储架构设计高效的分布式数据存储架构，支持海量数据的存储和管理。通常采用分布式存储和计算技术，其核心包括数据存储层、计算层和管理层。数据存储层负责存储数据，常采用分布式文件系统或NoSQL数据库。计算层进行数据处理和分析，通常使用分布式计算框架如Hadoop、Spark等。管理层负责资源调度、任务调度和监控管理。实现数据的高可靠性、高性能和可扩展性，适用于处理各种类型和规模的大数据应用场景。6.数据压缩与分幅通过使用各种压缩算法对数据进行压缩，减少存储空间占用和传输带宽消耗，同时提高数据的传输效率。将大数据集按照一定的规则划分为多个小块，以便于并行处理和分布式计算，同时降低单个任务的复杂度和计算负载，提高处理效率和系统的扩展性。7.数据分类管理将海量数据按照一定的规则和标准进行分类和组织，以便更有效地管理和利用数据资源。通过数据分类，可以将数据按照不同的属性、主题或用途进行划分，形成清晰的数据结构和组织体系，使用户能够快速定位和获取所需的数据，提高数据的可用性和可发现性。8.多层存储策略根据数据的访问频率和重要性，采用多层存储策略，如数据分离存储。通常分为热数据层、温数据层和冷数据层，热数据层存储访问频率高且对性能要求较高的数据，如实时数据和经常访问的数据。温数据层存储中等访问频率的数据，如历史数据和周期性访问的数据。冷数据层存储访问频率低且对性能要求较低的数据，如归档数据和备份数据。这种策略能够优化存储资源的利用，提高存储效率和成本效益。9.数据备份机制数据备份机制是确保数据安全和可恢复性的关键措施，通过定期备份数据，防止数据丢失或损坏。备份策略应考虑数据重要性和变化频率，采用完整备份、增量备份或差异备份等方式，并确保备份数据的存储安全性和完整性。10.数据恢复功能数据恢复功能是数据管理系统中的重要组成部分，用于在数据丢失、损坏或意外删除时，通过备份或其他手段将数据恢复至先前状态。包括定期备份数据、快速恢复数据的能力以及灾难恢复计划的制定。通过数据恢复功能，系统可以最大限度地减少数据丢失对业务造成的影响，并保障数据的完整性和可用性。11.数据共享机制在安全、高效、透明的基础上，设计数据共享机制，支持数据的跨部门、跨机构共享与协作，使不同组织或个人之间能够共享数据的一套规范和流程。包括数据提供方确定数据可用性和访问权限，确保数据的隐私和安全。数据接收方遵循规定的访问方式和权限，保证数据的合法使用。同时，利用技术手段如API接口、数据交换协议等，实现数据的传输和整合。12.数据权限管理通过灵活的数据权限管理机制，对数据访问和操作权限进行有效控制和管理，确保数据共享的安全性和可控性。只有经过授权的用户能够访问和操作特定数据，以保护数据的安全性和隐私性。这包括对用户、用户组或角色进行身份验证和授权，设置不同级别的访问权限，如读取、写入、修改和删除等，以及对数据访问记录进行监控。13.API接口提供丰富的数据服务API接口，用于与数据交互，支持第三方系统的集成与调用。通过API接口，可以请求特定数据或执行特定操作，并获取相应的结果。数据API接口通常提供标准化的请求和响应格式，如JSON或XML，以便于不同系统和应用程序之间的数据交换和集成。通过数据API接口，用户可以轻松地访问、查询和操作数据，实现数据的共享、分析和应用。14.数据订阅服务提供实时数据更新和推送的订阅服务，用户可以根据需求订阅所需的数据，并在数据更新时接收到通知或数据推送。包括数据发布平台、订阅管理和数据推送等功能，选择订阅数据的类型、频率和格式，实时获取最新的数据，以支持各种实时数据分析、监控和应用场景。多源三维数据处理及加工软件需求1.数据清洗提供数据清洗工具，去除数据中的冗余、错误和噪音，确保数据质量。包括对原始数据进行噪声去除和异常值处理，提高数据的质量和准确性。对数据进行几何校正、辐射校正等处理，确保数据的空间位置和辐射值的准确性。2.数据转换支持多源异构空间数据一键轻量化，支持数据处理：将各种来源、各种格式的输入数据,处理为三维GIS上能够渐进加载的切片文件格式。支持分发服务：本地数据分发为HTTP服务,可以在CesiumJS/CesiumForUE/CesiumForUnity平台上直接调用。支持三维可视：预览各种切片成果数据服务，场景整合，开发调试等功能。3.三维建模将航天摄影、航空摄影、地面采集的数据进行三维建模软件，根据外业采集的多角度航空摄影数据、激光点云数据，可以快速生成三维Mesh模型、DOM等产品。支持存量多源数据自动化提取体块模型，实现集建筑轮廓图元自动提取与人工采集相结合、体块模型自动构建、属性编辑、智能纹理贴图一体化的作业流程。4.数据标注提供数据标注功能，对数据进行人工或自动化的标记、注释或分类，便于数据的管理和分析。通过数据标注，可以为数据添加语义信息、标签或标记，例如对图像进行对象检测、分割和分类。5.更新融合针对实景三维数据的汇交、局部更新、区块合并等场景中，为空间参考、原点、瓦块大小不统一、重叠区域处理等问题提供的工具集。将空间数据与属性数据（如环境参数、物理特性等）进行结合，提供更丰富的数据表达。6.模型修复与编辑针对实景三维数据后处理的智能化处理软件，具备实景三维模型修饰、手工单体化等两大模块。模型修饰模块可实现碎片剔除、补水、补路牌、道路抹平、纹理修复、边界裁切等功能，手工单体化可实现手工建模、全自动纹理映射、合并或单体导出等功能。7.点云处理激光点云后处理及应用软件，实现多源(点云、影像、栅格、矢量、模型)数据的精密融合、拼接，支持各类主流的数据类型，支持检校纠偏，支持去噪&噪声滤波、重采样、平滑等预处理，支持测量、裁剪、分幅等功能。8.时间序列分析支持对时间序列数据的分析，如趋势分析、季节性、周期分析等，揭示数据的内在规律和特征，帮助理解数据的时序变化。9.空间分析对数据在空间上的分布、关联和趋势进行分析，提供空间数据分析工具，如叠加分析、空间聚类等，支持空间数据的深度挖掘。可用于城市规划、资源管理、环境监测等领域，帮助决策者深入理解空间数据的特征和变化趋势。10.统计分析通过收集、整理和分析大量数据，揭示数据之间的关系和规律，以支持决策制定和问题解决的过程。它涵盖数据清洗、数据可视化、描述性统计、推断性统计等多个方面，利用统计方法和工具对数据进行深入挖掘和解释，从而发现数据中的潜在信息和趋势，为业务发展提供有力支持。11.智能分析利用数据挖掘、机器学习、人工智能等技术对数据进行深度分析，提供智能化的数据分析和预测功能，如异常检测、模式识别、预测模型等。12.图表展示通过可视化手段将数据转化为图表形式展示，支持多种图表形式，如折线图、柱状图、饼图、散点图等，帮助用户直观地展示和分析数据。每种图表类型适用于不同类型的数据分析和展示需求，可以快速发现数据中的模式和异常，支持数据驱动决策和业务分析。13.地图展示通过地理信息系统（GIS）技术将数据可视化展示在地图上，将数据与地理空间信息相结合，以图形化的方式呈现数据分布、关联和趋势，快速了解数据的地理位置、空间关系和分布情况，从而进行地理信息分析、决策和规划。14.3D模型展示支持3D数据展示，提供三维海洋环境和地形的展示功能，帮助用户更直观地理解数据。15.交互操作提供丰富的交互操作功能，如数据筛选、缩放、平移等，帮助用户灵活地操作和分析数据。16.可视化配置提供可视化配置工具，允许用户根据需求自定义数据的展示形式。数字水印加密1.数据传输加密使用安全的传输协议（如HTTPS）对数据进行加密传输，防止数据在传输过程中被窃取。2.数据存储加密针对DLG、DRG、DEM、DOM、三维模型等数据采用混合密钥以SM4算法对地理信息数据内容进行加密处理，实现单位内部数据使用过程中自动加密处理，加密数据在安全环境下正常流转、交互，加密数据私自拷贝到外部环境无法打开。数据安全环境实现数据透明保护，不影响日常的工作习惯及应用程序的任何功能。有效防止人员流动、恶意拷贝导致的数据泄露。3.不可见数字水印嵌入在数字高程模型、三维模型和文档等多种数据类型和格式地理信息数据中嵌入不可见的数字水印，包括数据版权、用户、发单编号、人员、备注和时间等信息，一旦出现安全问题，系统能够从数据中检测出嵌入的水印信息，从而发现数据违法和泄密源头，有效解决数据版权溯源难问题。4.可见文字水印嵌入将版权信息通过可见文字的方式的嵌入，可实现数据版权快速、准确的核定和追溯，保护数据版权。并通过嵌入不同的用户单位信息，可以区分不同用户，明确泄密数据的来源，追溯违法源头，明确泄密责任，并警示和处罚泄密、侵权等非法行为，达到防微杜渐的效果。5.可见图片水印嵌入将版权信息通过可见图片的形式嵌入，实现数据版权快速、准确的核定和追溯，保护数据版权。并通过嵌入不同的用户单位信息，可以区分不同用户，明确泄密数据的来源，追溯违法源头，明确泄密责任，并警示和处罚泄密、侵权等非法行为，达到防微杜渐的效果。6.数据服务管控可应用于数据对外分发、外包生产和外业作业等场景。系统支持BS和CS两种架构，并支持分布式运行。同时兼容Windows和国产操作系统。数据抽取集成标准产品1.总体需求数据作为新型生产要素，是数字化、网络化、智能化的基础，已快速融入生产、分配、流通、消费和社会服务管理等各环节，深刻改变着生产方式、生活方式和社会治理方式。通过数据集成抽取中台系统建设，实现海洋资源和陆地资源数据归集应用，打破部门“壁垒”和数据“鸿沟”，对敏感信息建立健全脱密脱敏应用技术规范和数据安全管理举措，确保在安全前提下最大程度共享应用数据资源。对问题数据及时质检，完成“脏”数据清洗治理，让海洋减灾防灾工作能基于及时、准确、有效的数据做决策支撑。2.具体需求需提供数据的ETL处理功能，支持通过配置从业务系统抽取数据信息，或直接访问JDBC数据源、XML数据源、Excel表格、文本文件等导入数据信息。能够提供多种数据处理组件用于完成数据传输、清洗、转换、加载。要求提供支持易用的可视化界面进行作业流设计，即全拖拽式流程设计器，用户只需简单拖拽的方式就能够完成创建ETL过程，实现“零”编码，易操作、易阅读、易维护。需支持以图形化的带方向的连线方式配置作业的前驱后继关系，支持缩略图显示，支持根据ETL作业的名称进行图形的搜索。在序列选中的每一个ETL过程都能自定义相关的计划任务、失败重做次数和优先级。需支持通过事件、文件到达及手工触发等多种方式进行实时增量抽取。支持基于触发器、时间戳、日志、全文比对等增量数据抽取策略。支持开放接口，可够使用其他平台、技术语言的系统进行调用。同时数据ETL处理支持对导入的原始数据进行抽取、清洗与整合后构建不同主题模型的数据信息库，通过人工干预与确认，完成数据初始化工作。数据ETL处理过程中，需对数据生命周期的每个阶段（包括数据的获取、存储、共享、维护、应用和消亡）中可能出现的各类问题进行识别、度量、监控和预警等一系列管理活动。此外，数据质量管理还涉及到数据质量的评估、改进和提高，确保数据满足业务运行、管理与决策的需求，从而保证数据应用的效果。有效实施数据质量管理对于任何需要进行一致数据分析的领域都是必不可少的，因为数据的质量对于获得准确和可操作的见解至关重要。具备数据清理功能，功能采用系统自动扫描清洗与人工干预相结合的模式进行数据清洗，自定义清洗规则，具备满足不同场景下的数据清洗方案和工具，数据清理过程中支持映射策略定义，界面操作友好。调度功能支持到秒级，支持同时调度上百个作业的能力。调度管理支持对所有数据处理任务、调度任务进行分级、分类别进行管理，并提供基于浏览器的管理界面。支持节点作业流量监控、节点作业日志查询、统计分析，并具备数据处理操作的日志记录功能，并且对日志具备分级、分模块输出的能力。3.授权及服务需求提供3年的软件升级和技术咨询服务，三年的免费运维服务。具体需求描述如下：平台技术需求产品设计应采用市场领先和成熟的技术，使系统具备较高程度的技术和思想领先性。系统具有较高的可管理性、可维护性和可配置性，集成于系统的管理平台，系统的设计中必须要考虑系统从安装到系统的配置以及日常维护都应提供友好的基于图形（GUI）的管理界面。同时为了提供良好的系统性能，系统需支持硬件资源水平扩展，水平扩展不是简单的累加服务器，系统性能就可以直接线必增加，需要在技术架构各层进行可水平扩展的设计，例如基于微服务架构和Docker云原生技术的架构。平台支持运行在主流的Windows、linux操作系统上稳定运行,包含且不限于redhat7.X，采用java生态相关技术组件,业务数据库支持oracle等主流数据库类型，JDK支持64位1.8.0_271及以上版本。平台支持在国产化软、硬件环境中运行，支持在飞腾CPU服务器上的银河麒麟操作系统2.14.2及以上版本、达梦数据库8.2及以上版本、东方通中间件6.1.5及以上版本、浏览器支持360极速浏览器（内核v78及以上版本）和客户端操作系统银河麒麟2.14.2及以上版本环境上稳定运行。平台支持通过浏览器访问报表平台，兼容IE9及以上浏览器，如chrome、safari、火狐等，系统需保证没有采用未签名的ActiveX或者其他类型控件。数据基础配置1、数据库连接管理支持多种数据库类型接入，包括但不限于，关系型数据库：PostgreSQL、oracle、阿里云RDSMysql版、SQLServer、SAPHana。国产数据库：达梦数据库、GaussDBDWS、openGauss、南大通用、KingbaseES、华宇ArteryBase、优炫。MPP数据库：Greenplum、Clickhouse。同时需支持管理与数据集成平台进行交互的的大数据，支持的大数据包括但不限于：Impala、Maxcompute、华为河图、Hive、Hbase、Petabase、星环Transwarp、HDFS、Kafka。2、其他类型数据连接管理支持导入以文件形式存储的数据，方便入库数据进行分析，可以创建文件数据源，管理非结构化文件，支持文件源类型包括但不限于：excel、txt、csv、db等。需支持获取业务系统提供的标准接口数据，将数据转化成规整的格式。支持添加各种API接口，将从接口中传递过来的数据存库，实现与其他业务系统的通过接口方式传输数据传输，支持标准API接口等。支持创建FTP、SFTP数据源，满足非结构化数据的查看和获取需求，以便后续数据共享提供更丰富的数据类型。3、数据源页面查询管理提供页面化数据源管理工具，可通过统一界面访问数据库连接中配置的所有数据源，并在页面上执行SQL查询等数据库操作，方便数据管理员快速操作查看各类数据。4、数据集管理支持在数据集中进行主题表定义、维表定义等数据建模工作。支持根据数据库表创建主题表、根据数据库标准创建主题表。维表支持单级维、代码层级维、通用维和螺旋维。支持定时更新维表数据。数据离线抽取数据交换应包括数据库表、文件、接口等多种方式，并且在抽取过程中可支持对数据的安全脱敏及加解密功能。同时离线抽取需支持大数据量的迁移、多张库表/文件的批量迁移，以提高抽取的工作效率。需要质检的数据，还应支持调用已配置的质检方案。1、数据输入输出表交换输入用于选择指定系统，可从系统数据库连接池中选择源表进行数据的抽取，从不同系统选择数据源以达到数据交换的目的，作为后续数据融合加工的数据来源。表交换输出用于将前置工作获取到的结果集，加载到目的系统的连接池的数据库表中。如果勾选临时表，交换任务执行结束后，应当删除掉临时表。同时需支持批量交换表，可选择一个或者多个连接池下的表，将其批量设置表名后交换到另外一个数据库中，或者批量交换到文件，选择一个或者多个连接池下的表，将其批量以TXT、EXCEL的文件格式输出。因Excel文件属于半结构数据，其的输入输出需增加更多可操作方式，如可对EXCEL的拆分格式进行设置，包括sheet页字，起始行和起始列，设置首行为字段行，明确EXCEL拆分的分割方式。中文字段转拼音首字母，在读取Excel文件时，字段名为中文，将自动转为拼音首字母。可对模板进行检查，模板检查会根据字段列表设置中的字段详情来对EXCEL文件进行检查，如果按照格式设置中的起始行，起始列读取到的字段个数与字段列表中的字段个数不一致，则检查不通过。也可选择字段，字段过滤可根据字段列表设置中的字段详情来对EXCEL文件中的字段进行过滤，如果按照格式设置中的起始行、起始列读取到的字段名称不与字段列表中的任何一个字段的字段名称（或字段标题）相同，则忽略该字段，如果所有字段都不相同，则忽略该文件。2、文件传输文件交换表输出是将数据源中对接到的文件目录下的文件交换到目标数据库中，可以读取服务器上的TXT/CSV等文本文件作为数据源，进行数据抽。现在越来越多的单位都会建立自己的大数据平台，大部分都会采用Hadoop生态组件进行架设，同时大数据平台要求能与其他业务系统数据、外部数据等进行数据之间交，所以HDFS数据的交换也需要支持。3、数据安全脱敏为有效规避敏感数据泄露，更好地管理数据，支持对指定数据字段进行安全脱敏处理，脱敏方式支持固定值替换、前后缀增补、数据模糊化、数据裁切、MD5处理、哈希处理、随机填充、偏移值加密等方式。4、数据安全加解密为保证数据传输的安全性，支持对选择的字段进行加密或解密，根据输出设置将字段进行输出。加解密算法支持国标要求的SM2、SM4。5、数据解析可通过页面配置，生成一个JSON串。配置对象至少包括对象，数组，字段和常量四种，可以将读取的JSON数据，推送到接收的http接口。支持通过选择接口数据源下的WSDL格式接口，读取接口返回结果，将结果保存到临时表的一个字段中，供后置数据加工使用。6、生成接口数据支持根据输入设置XML结构的数据。支持根据设置输出一个JSON串。7、大数据迁移支持对Hadoop、HDFS文件进行输入、输出、迁移。Hadoop文件输入组件可将本地文本文件输出到Hadoop目标表，如cdh、impala、petabase等。hadoop迁移组件可将关系型数据库(例如oralce，sqlserver)中的数据导入到Hadoop目标表，如:cdh、impala、petabase等。Hadoop输出组件可将经过处理后的数据写入Hadoop目标表，如:cdh、impala、petabase等。HDFS文件输入组件支持从文本文件中读取数据到任务中，与表输入组件一样作为输入端。HDFS文件输出组件支持将数据写入到文本文件中，与表输出组件一样作为输出端。8、批量数据交换支持多种组件进行批量数据交换。批量交换到表组件，选择一个或者多个连接池下的表，将其批量设置表名后交换到另外一个数据库中