运输数据资源建设要求

运输数据资源建设要求

数据采集要求对运输业务管理和遥感地图相关的数据进行补充采集和整理，主要包括数据采集录入类、数据迁移清洗类和数据购买。数据采集录入类包括规划项目数据、历史规划岸线数据、已建路段数据、路况基础信息、服务区基础信息、桥梁基础信息、隧道基础信息、收费站基础信息、公路资产数据、路线数据、历史规划数据、历史公路建设项目数据、水运工程建设项目数据、枢纽建设项目数据、信息化建设项目数据。数据迁移清洗类包括科技标准历史数据、公路养护管理平台数据、普通干线公路项目信息平台数据、公路水运工程建设安全生产监督管理系统数据、公路水路建设与运输市场信用信息服务系统数据、干线公路情况调查系统数据、邮政数据。数据购买基础地理信息数据基础地理信息数据包括范围内行政区划、水系、城镇、注记、地名、山名、铁路、绿地、行政区界、行政点、行政单位、文教卫生、医疗单位等空间和属性数据；基础地理信息数据比例尺1:10000，基础地理信息数据将作为地理信息基础平台的基础地图。基础地理信息数据采集方式通过本次工程购买的具有测绘资质的厂家购买基础地图数据、导航数据、影像数据等数据，人工将数据导入基础地理数据库，并进行分类、标准化、接边、叠加、属性资料编辑等处理，完成基础地理信息空间数据处理制作。基础地理信息数据采购时需提供纠偏算法，用于车辆卫星定位数据的纠偏。高程数据高程数据采集方式为购买，DEM分辨率不低于90米，通过与本次工程购买的基础地图数据、影像数据等完成基础地理信息空间数据处理制作与融合，导入基础地理数据库。卫星影像数据卫星影像数据主要用于高速公路建设进度形象管理，普通公路、农村公路规划核查、港口岸线建设动态监管等。高分辨率卫星影像数据为各类应用提供基础地理底图服务支持，同时通过与基础参照空间信息的叠加，使各类地物能够在地图上能够直观显示。通过与现有基础地图数据等相关数据进行分类、标准化、接边、叠加、属性资料编辑等处理，完成基础地理信息空间数据处理制作与融合，并通过人工将该数据导入基础地理数据库。数据底座建设要求购置数据治理系统、数据库管理系统、数据可视化展示工具，以上数据支撑软件共同搭建运输综合业务信息管理系统数据底座，提供数据治理、数据库管理、数据交换共享、数据可视化展示等服务。数据治理系统数据治理包括数据门户管理、元数据管理、主数据管理、数据指标管理、数据质量管理、数据安全管理。数据门户管理数据门户管理实现数据分布与地图管理，建立可信源及拥有者管理、数据目录树、数据实体、数据项、数据标签为基础的数据资产目录，打破信息孤岛和部门边界，实现组织范围内的数据关联与分析管理，实现数据的便捷查询、浏览，实现数据分级分类，为数据战略、数据管理策略的落地打下基础。数据资产管理包括可信源及拥有者管理（单位/业务域/信息系统/数据库等）、数据目录树构建、数据实体管理（标识、名称、时效性、描述、组成、子实体定义等）、标签管理（打标、分类等）、敏感数据管理（安全标识、访问权限）。数据关联与分析管理包括实体关联管理（表、字段映射等）、全文检索（实体、标签、分类等）、数据实体展示（实体、逻辑关系、数据集）、数据图谱展示（实体、关联、来源等）。元数据管理元数据管理是对数据采集、存储、加工和展现等数据全生命周期的描述信息，帮助用户理解数据关系和相关属性。元数据采集支持从传统关系型数据库和大数据平台中采集到数据产生、加工处理、应用等全量元数据，包括过程中的数据实体（系统、库、表、字段的描述）以及数据实体加工处理过程中的逻辑。元数据管理实现元数据的模型定义并存储，在功能层包装成各类元数据功能，最终对外提供应用及展现；提供元数据分类和建模、血缘关系和影响分析，方便数据的跟踪和回溯。元数据展示能够根据类别、类型等信息展示各个数据实体的信息及其分布情况，展示数据实体间的组合、依赖关系，以及数据实体加工处理上下游的逻辑关系。元数据应用包括数据地图、数据的血缘、影响分析、全链分析等。元数据搜索可根据数据源库、类型等搜索元数据信息。主数据管理具备主数据存储、整合、清洗、监管以及分发等五大功能，并保证这些主数据在各个信息系统间的准确性、一致性、完整性。主数据存储、整合实现主数据整合、清洗、校验、合并等功能，根据主数据标准和业务规则和主数据质量标准对收集到的主数据进行加工和处理，用于提取分散在各个支撑系统中的主数据集中到主数据存储库，合并和维护唯一、完整、准确的主数据信息。主数据管理支持对主数据的操作维护，包括主数据申请与校验、审批、变更、冻结/解冻、发布、归档等全生命周期管理。主数据分发与共享实现主数据对外查询和分发服务，前者用于在其它系统发出针对主数据实时响应类查询请求时，返回所需数据；后者则用于提供批量数据分发服务，通过现有企业服务总线（ESB）实现。主数据分析实现对主数据的变更情况监控，为主数据系统管理员提供对主数据进行分析、优化、统计、比较等功能。数据指标管理数据指标定义包含指标主题分类、各业务域具体指标定义、指标属性及模型管理，实现对指标的批量管理以及主题（即指标树）维护。指标维度管理主要是生产层面设置的时间维度、空间维度、物料维度以及层次维度四个维度的信息和所含具体维度进行管理。指标维护包括指标新增、修改、删除、审批、冻结、解冻、发布（分发）、导出等。指标的查询提供对数据指标主题、属性、维度、指标以及导入表的按条件查询、模糊查询、树状查询数据等。指标值的管理实现对指标数据的集成及存储管理，定期发布指标值。数据质量管理数据质量管理主要包括数据质量初步分析、数据质量精度检查、比对和验证检查、检查结果处理。数据质量初步分析包括全库初步探测、数据库表基本信息分析、表基本信息分析的统计信息等分析。数据质量精度检查提供数据质量检查服务对数据库表做指定规则检查，提供逻辑表达式检查，提供相似重复记录检查，提供复合检查，提供可视化定义界面，提供数据质量检查方法接口、相似度检查方法接口，方便增加数据质量检查方法。数据质量检查服务对数据库表做指定规则检查，包括格式检查、范围检查、缺失记录检查、相似重复记录检查、精度检查、逻辑表达式检查、复合规则检查等。在数据质量检查服务可视化配置出单字段多规则检查，也可以配置出多字段同规则检查，还可以配置出多字段之间的关联检查。相似重复记录检查包括完全重复记录检查、相似记录检查。完全重复记录检查可以根据一个字段或者多个字段的比对，得到重复记录，能可视化配置；相似记录检查是指先检查一个或者多个字段相似度，然后得到记录相似度，根据记录相似度的值得到相似记录，可视化选择多种字段相似算法和可视化定义记录相似算法及属性。比对和验证检查提供比对和验证功能，对于数据目标和数据源做一致性检查，发现其差异，主要包括数据库表的比对、数据文件的比对。对源库表和目标库表做一致性比对检查，包括表结构比对、数据一致性比对，能发现并展示不一样的结构、不一致的数据（包括增加、修改、减少的数据）对源和目标文件夹下的文件做比对和验证检查，能发现并展示不一致的文件，包括增加、修改的文件。支持数据源和数据目标位于不同网段的一致性检查。检查结果处理数据质量检查服务完成后，生成检查结果，数据质量检查结果存储到指定数据库中，每个数据质量检查服务的存储表结构根据选择的检查字段、定义的检查规则自动生成，并提供可视化界面，方便修改信息配置。系统提供问题数据统计针对每个数据质量检查服务提供数据质量检查结果报告，包括异常数据、异常数据检查的规则描述，并能做问题数据统计、修改情况统计、检查规则统计。数据安全管理数据治理管理提供安全共享管控机制，保证数据资源的安全管理及共享，主要包括数据的授权、数据脱敏、数据访问安全、数据服务的发布/申请/审核管理、服务的接入控制等。数据授权数据授权给不同的用户提供数据结构、数据库数据、文件等的数据的安全授权，包括对数据结构模型的授权、数据库表和字段的访问授权、数据文件的访问授权等。可以对要授权的对象分别设置允许访问、不允许访问等权限。数据脱敏对来源于文件、数据库表等数据中的敏感内容设置数据脱敏处理，可以对不同的字段内容设置不同的数据脱敏规则，包括数据加密、数据的模糊化处理等。数据访问安全数据共享是通过数据服务的方式对外提供，通过数据服务屏蔽数据源，数据访问者不知道数据的存储位置、数据的物理结构等敏感信息。通过工具可视化定义数据服务共享的数据字段、数据内容、转换策略、数据加密、数据查询条件等，进而保证了数据的安全，使用者调用数据服务时，只有通过身份鉴定、访问控制的用户才能使用授权的数据。数据服务的发布/申请/审核管理具有描述属性的数据服务是以目录的方式对外发布，使用者可以查询到相应的数据服务，申请使用，经过审核审批管理后，使用者才能使用数据提供者的数据服务。数据服务的接入控制数据使用者通过数据提供者提供的用户名、密码、安全授权等信息访问数据提供者提供的数据服务，数据提供者将对数据的访问实施身份鉴定和访问控制等安全策略。数据可视化展示工具数据可视化展示工具提供丰富的可视化模板，满足综合运行监测、预警、分析决策等多种业务的展示需求。主要功能如下：（1）提供业务监测、预警、分析、汇报展示等多种场景模版。（2）支持多种分析组件，支持表、交叉表、自由式表格、透视表、图表、文本、仪表盘、选择列表、过滤器、范围、选项卡、填报等组件。（3）支持多种图表，支持实时曲线图、点图、词云、气泡、折线图、柱状图、地图、3D柱图、线图、面积图、饼图、雷达图、帕累托图、瀑布图、组织架构图等。（4）支持多种图表组件和多种数据类型的分析展示，包括绘制海量数据的地理轨迹、地理飞线、热力分布、地域区块、三维地图、运输专业图层数据的多层叠加。（5）支持多种导出格式，支持PDF文件、Excel、csv和word文件格式导出，支持页面属性编辑。（6）支持数据源管理，支持接入分析型数据库，关系型数据库，本地CSV上传和在线API的接入。（7）支持拼接大屏端的展示分辨率优化，能够适配非常规拼接分辨率适配优化，提供软件界面拼接系统，保证每个界面以独立进程稳定运行。（8）提供二次开发环境，可以导入使用二次开发的JavaScript组件。数据库管理系统数据库管理系统，用于系统数据管理。具体要求如下：（1）数据库管理语句符合国际标准；支持多媒体数据类型。（2）提供各开发阶段的维护、编码环境，便于复杂软件的开发、维护。（3）具有性能评估（响应时间、数据单位时间吞吐量）、性能监控（内外存使用情况、系统输入/输出速率、SQL语句的执行，数据库元组控制）、性能管理（参数设定与调整）等功能，适用于数据仓库和在线事物处理，适于海量数据处理。（4）支持分布式应用，具有数据透明度与网络透明度。不论用户处于网络什么节点，数据库管理系统均可自动搜索网络，提取所需数据；用户在应用中无需指出网络所采用的协议；（5）具有并行处理能力，支持多CPU模式的系统，负载的分配形式，并行处理的颗粒度、范围。（6）具有可移植性和可扩展性；（7）新平台支持低版本平台，数据库客户机/服务器机制支持集中式管理模式。（8）具有数据完整性约束。数据完整性指数据的正确性和一致性保护，包括实体完整性、参照完整性、复杂的事务规则；（9）具有并发控制功能，具有保证查询结果一致性方法、死锁的检测和解决方法等。（10）具有安全性控制功能，包括安全保密的程度（账户管理、用户权限、网络安全控制、数据约束），获得最高认证级别的ISO标准认证。数据处理要求数据资源编目要求数据资源分类数据资源分类在业务范围内从管理对象、行为主题和信息类别三个不同维度定位信息分类。数据资源元数据信息资源核心元数据包括必选项、可选项和扩展项三部分。必选项包括信息资源分类、信息资源名称、信息资源代码、信息资源提供方（信息资源提供方、提供方内部部门）、信息资源提供方代码、来源系统、信息资源摘要、信息资源格式（信息资源格式分类、信息资源格式类型）、信息项信息（信息项名称、数据类型、数据长度）、共享属性（共享类型、共享条件、共享范围）、共享方式（共享方式分类、共享方式类型、共享服务方式）、更新周期、发布日期。可选项主要包括来源数据库、信息项信息（数据精度）、关联资源代码和数据元编号。扩展项指根据目录编制单位的实际情况和需要添加的元数据项。数据资源目录编制利用数据资源规划理论完成本项目涉及的行业政务信息资源的梳理和目录编制，同时建立信息资源数据字典，对运输管理业务各个对象进行统一的、唯一的定义，明确数据定义、约束条件、业