智慧城公共数据共享交换平台建设方案

智慧城市公共数据共享交换平台建设方案2018年3月目录TOC\o"1-5"\h\z\o"CurrentDocument"项目概述 5\o"CurrentDocument"平台建设目标 5.\o"CurrentDocument"总体需求分析 6.\o"CurrentDocument"平台需求分析 9.\o"CurrentDocument"平台建设思路 9\o"CurrentDocument"一套架构平台 9.\o"CurrentDocument"两类构建框架 10\o"CurrentDocument"页面构建框架 10\o"CurrentDocument"安全构建框架 10\o"CurrentDocument"三种工具组件 10\o"CurrentDocument"日志组件 10\o"CurrentDocument"消息组件 11\o"CurrentDocument"单点登陆组件 11\o"CurrentDocument"四项基础服务 11\o"CurrentDocument"文件分布式存储服务 11\o"CurrentDocument"文档在线阅读服务 11\o"CurrentDocument"流媒体服务 12\o"CurrentDocument"任务调度服务 12\o"CurrentDocument"五个运行引擎 12\o"CurrentDocument"工作流引擎 12\o"CurrentDocument"数据接口引擎 12\o"CurrentDocument"报表引擎 13\o"CurrentDocument"全文检索引擎 13\o"CurrentDocument"权限分级引擎 14\o"CurrentDocument"平台总体设计 14\o"CurrentDocument"平台建设原则 14\o"CurrentDocument"平台架构设计 15\o"CurrentDocument"平台功能设计 17\o"CurrentDocument"数据采集 19\o"CurrentDocument"数据清洗加载 20\o"CurrentDocument"数据共享交换 21\o"CurrentDocument"资源目录管理 23\o"CurrentDocument"元数据管理 24\o"CurrentDocument"数据资源管理 25\o"CurrentDocument"目录管理与服务 25\o"CurrentDocument"资源统一调度 27\o"CurrentDocument"数据质量管理 28\o"CurrentDocument"运行监控管理 29\o"CurrentDocument"接口开发与服务 29\o"CurrentDocument"服务总线 30\o"CurrentDocument"云应用引擎 30\o"CurrentDocument"平台详细建设方案 31\o"CurrentDocument"数据采集 31\o"CurrentDocument"元数据管理 33\o"CurrentDocument"采集字段管理 33采集目录资源库管理 34\o"CurrentDocument"数据源管理 34\o"CurrentDocument"数据采集管理 34采集策略管理 35\o"CurrentDocument"采集任务管理 36\o"CurrentDocument"调度与监控 37\o"CurrentDocument"离线数据采集 38\o"CurrentDocument"日志管理 38\o"CurrentDocument"数据清洗加载 39\o"CurrentDocument"数据清洗 39数据转换规则配置 39\o"CurrentDocument"数据转换 40\o"CurrentDocument"数据去赃 40数据批量清洗 41\o"CurrentDocument"数据加载 41\o"CurrentDocument"日志管理 41\o"CurrentDocument"数据共享交换 41交换桥接 45\o"CurrentDocument"前置交换 46\o"CurrentDocument"交换传输 48\o"CurrentDocument"交换管理 48\o"CurrentDocument"资源目录管理 49\o"CurrentDocument"专项资源目录库 49\o"CurrentDocument"共享资源目录库 49\o"CurrentDocument"资源目录管理 50\o"CurrentDocument"目录生产 50\o"CurrentDocument"目录管理 50\o"CurrentDocument"目录查询 52编目管理 53\o"CurrentDocument"元数据管理 54\o"CurrentDocument"元数据定义 56\o"CurrentDocument"元数据存储 56\o"CurrentDocument"元数据查询 57\o"CurrentDocument"元数据维护 57\o"CurrentDocument"元数据检查 57\o"CurrentDocument"元数据分析 58\o"CurrentDocument"数据资源管理 58\o"CurrentDocument"模型管理 59\o"CurrentDocument"数据查询 59\o"CurrentDocument"同步和迁移 59\o"CurrentDocument"导入导出 59\o"CurrentDocument"计划任务 60\o"CurrentDocument"目录管理与服务 60\o"CurrentDocument"资源目录服务 60\o"CurrentDocument"目录共享统计分析 61\o"CurrentDocument"数据订阅 61\o"CurrentDocument"资源统一调度 62\o"CurrentDocument"任务调度配置 62\o"CurrentDocument"智能调度运行 62\o"CurrentDocument"资源控制 63\o"CurrentDocument"优先级管理评估 63\o"CurrentDocument"调度策略管理 63\o"CurrentDocument"调度全面监控 64\o"CurrentDocument"作业告警与错误反馈 64\o"CurrentDocument"调度变更 64\o"CurrentDocument"数据质量管理 65数据质量控制 65数据质量评估 66自动化评估 66\o"CurrentDocument"评估报告 66\o"CurrentDocument"数据稽核管理 66\o"CurrentDocument"运行监控管理 67运行监控 67\o"CurrentDocument"数据采集过程监控 68\o"CurrentDocument"监控告警 68\o"CurrentDocument"日志管理 69\o"CurrentDocument"接口开发与服务 69服务总线ESB 69\o"CurrentDocument"权限校验 70\o"CurrentDocument"服务治理 71\o"CurrentDocument"协议转换 71\o"CurrentDocument"消息格式转换 72\o"CurrentDocument"服务路由 74\o"CurrentDocument"监控和运维 75\o"CurrentDocument"服务等级 76\o"CurrentDocument"日志管理 76\o"CurrentDocument"异常处理 76\o"CurrentDocument"云应用引擎 771.项目概述平台建设目标智慧城市是城市信息化发展的阶段演进，是相对数字城市、互联城市而言，城市信息化发展的高级阶段。“数字城市”以计算机、办公软件、虚拟现实技术等为主要特征，实现从纸面化的到数字化，将现实物理世界转化为用电脑数据代表的虚拟状态；“互联城市”以互联网、软件技术、城域网快速发展为主要特征，实现从数字化到网络化，通过对分散的、局部的虚拟信息处理，对物理世界做出反应；而进入“智慧城市”阶段，强调从网络化到云中枢化，通过充分运用信息通信技术手段，更好的感测、分析、整合城市核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能的响应，为人类创造更美好的城市生活。随着新型城镇化建设逐步发展成为中国最大的内需潜力和实现现代化的重要任务，起来越多的城市开始开展智慧城市的规划、设计与建设工作，希望能够有效应对新型城镇化进程中的各类挑战，实现城市的和谐宜居、产为转型和高效运营的可持续发展。通过智慧城市项目的建设，实现城市内的智慧应用数据互融互通，如智慧交通、教育医疗、智慧管网、智慧环卫、智慧综治、智慧城管、智慧教育、智慧审批、智慧农业等数据信息通过公共信息平台打破信息孤岛。实现数据信息应用价值的同时，并形成良好的服务运营模式。市场的生活品质得到明显提升，城市建设和管理的科学化水平明显提高。以信息、知识和脑力资源为支撑，通过透明、充分的信息获取，广泛、安全的信息传递，有效、科学的信息处理，均衡而有效地提高城市运行和管理效率，改善城市公共服务水平，从而跨越式地提高城市发展的创新性、有序性和持续性，形成低碳城市生态圈，构建城市发展的新形态，使整个城市像一个有智慧的人那样，具有较为完善的感知、认知、学习、成长、创新、决策、调控能力和行为意识，使绝大多数市民都能享受到智慧城市的服务和应用。总体需求分析智慧城市(SmartCity),是新一轮信息技术变革的产物，是信息资源日益成为重要生产要素和信息化向更高阶段发展的表现。它以互联网、物联网、无线宽带、云计算、大数据等新技术为基础，更加广泛深入地推进基础型与应用型信息系统开发建设和各类信息资源的开发利用，形成技术集成、高端发展、综合应用的现代化、信息化、智能化城市。为城市规划、建设、调控、预测提供了革命性的手段，具有广阔的发展前景。自2008年IBM首次提出“智慧地球"(SmartEarth)这一概念以来，国外许多城市都在进行智慧城市建设的筹划与尝试，有相当一部分城市已经开始实施示范性工程。中国已有北京、上海、无锡、宁波、广州、沈阳、南京、西安、重庆等近百个地区提出要建设智慧城市。“智慧城市建设”也已被列为中国“十三五”社会发展战略的重点之一。当前，信息技术发展突飞猛进，信息技术创新层出不穷，以“大数据”为主导的信息化浪潮正席卷全球，成为全球范围内加速企业技术创新、推动政府职能转变、引领社会管理变革的利器。大数据既是一种海量的数据状态及其相应的数据处理技术，也是一种新的思维方式，是一系列新理念、新方法、新要素的集中体现。它不仅是信息化的一种手段、一项设施，而是已经成为信息化社会发展演进的重要目标之一，以及实现发展目标的重要路径。在大数据时代，数据就是财富，就是资源，就是竞争力。近年来，多市县被列为国家新型城镇化综合试点地区。各市紧紧围绕“精致、独特、典雅、生态”目标，秉承“以人为本、以史为脉、以和为魂、以绿为韵”理念，高位规划，统筹建设，精细管理，全力推进新型城镇化建设，城乡建设品位明显提升。目前，被列为智慧城市建设试点的地区，将按照《国家新型城镇化综合试点总体实施方案》中明确的各项试点任务总体要求，坚持突出地方特色，推动建设功能好、交通畅、环境优、形象美的新型、美丽城镇，努力打造成全国新型城镇化和城乡统筹发展示范区。而智慧城市的建设和实施，是打造国家新型城镇化的重要途径。近两年，被列为试点政府工作中明确提出，深化智慧城市建设，将各委办局数据实现共享，将是智慧城市建设的第一步，也是最为重要的一步。将公安的人口数据、医院的卫生健康数据、综合治安的治安数据等进行抽取共享形成公共交换数据中心，为各委办局提供基础数据的支撑。构建精确、高效、全时段、全方位的城市治理模式。在智慧建设建设过程中，将整合汇集各部门的信息资源，采用云计算、大数据等技术建成公共数据共享交换平台及各委办局业务应用平台，以实现强政、利企、惠民的建设目标。按照总体建设要求，把握全域城市化、新型工业化和高新技术产业化的内在需求，全面促进城市运行管理创新机制的形成、构建功能完善的信息通信基础设施和城市信息资源高效融合的公共信息服务支撑平台，催生一批成熟助力经济产业发展、城市管理、政务建设和民生保障服务的重点应用，培育一批具有竞争力的智慧产业集群。建成信息通信技术基础设施环境区域领先、城市管理运营与民生服务质量明显提高、产业结构与创新能力优化发展的智慧型现代化城市，实现以生态、高端、活力、宜居为重要特征的现代城市。融合科学发展理念，创建生态城市通过“智慧城市”的建设，从创新城市发展理念、创新城市发展形态、创新城市组合功能、创新城市产业形态、创新城市要素集成方式、创新城市管理模式等方面创新城市发展方式。着眼城市功能，进一步提高生态建设标准，打造生态文明示范区，完善高端商务、休闲、居住及公共服务等功能，丰富城市文化内涵。促进经济发展，实现活力城市通过“智慧城市”的建设，着眼产业功能，着力破解制约服务业发展的关键环节和体制机制性障碍，探索以现代服务业引领区域经济发展的新模式，稳步发展现代服务业重点领域，把城市打造成为全国深化服务业综合改革的先行区和样板区。提升民生服务水平，构建宜居城市通过“智慧城市”的建设，提高公共服务、公共治安、城市管理等诸多方面，为政府管理和决策提供支撑。完善管理和服务体制、优化资源配置、加强部门间协作，提高政府的管理效率。充分利用现代信息技术，促进政府工作透明度、丰富公共服务手段、优化公共服务内容、提高公共服务质量，满足群众在生活、工作等方面的需求，真正做到“权为民所用、利为民所谋”。1.3.平台需求分析建设公共数据共享交换平台，采用虚拟化等新技术，通过整合、扩展、完善，建设公共数据共享交换平台，广泛推行基础设施共享服务、平台共享服务、应用共享服务，实现技术资源整合共享。公共数据共享交换平台目标是实现全县的共性问题的统一处理，解决某一个应用单位或机构难以独立完成的公共能力，为政府、企业和公众的各类应用及其协同提供平台支撑。公共数据共享交换平台是智慧城市系统的基础设施，是系统流转的核心。公共数据共享交换平台是城市公共数据进出的通道，实现城市公共数据的交换、清洗、整合和加工；实现城市公共数据的组织、编目、管理以及城市公共数据应用绩效评估；实现城市公共数据的共享服务，为城市政府专网和公共网络上的各类智慧应用提供基于城市公共数据库的服务、时空信息承载服务、基于数据挖掘的决策知识服务等。.平台建设思路智慧城市的逻辑层次要通过提供基础服务与工具组件，为业务管理系统提供统一的基础功能支持，各服务之间通过平台服务总线进行交互通信。一套架构平台基于SOA架构应用开发平台，为各种复杂应用系统提供标准、安全、集成、高效的开发平台。两类构建框架页面构建框架符合W3C标准是Web页面设计的发展趋势，更代表了高端网页构建技术。平台基于B/S架构设计的，浏览器的种类繁多，如IE、Firefox、Safari、Opera、Chrome等，因此终端用户的使用体验很大程度上取决其所使用的浏览器。如果单纯针对某一种浏览器，如IE，进行Web页面设计和优化，那么当用户使用其他浏览器时，可能会出现显示效果不佳甚至某些组件功能不可用的情况，这与平台的灵活适应特性背道而驰。安全构建框架作为业务基础平台，平台需要可靠支撑企业的业务运行环境，保证企业的商业机密资源等信息的安全。因此平台需要构建安全保密的网络运行环境，提供准确可靠的身份鉴别机制，具备粒度适中授权访问控制机制和完善的日志管理和审计功能。三种工具组件日志组件日志组件是平台提供的日志管理服务组件，作为一个独立的服务组件，它能够完成模块注册、日志表管理、日志字段维护、日志的查询和审计等功能。消息组件消息组件是平台之间各个模块进行互相通信的一种外部体验。同样作为一个独立的服务组件，模块之间可以设置消息通信，通过页面消息给予用户明确的提示信息，以便用户即时处理待办信息。单点登陆组件单点登陆组件完成各个子系统之间的单点登陆，用户无需在各个系统中重复登陆。四项基础服务文件分布式存储服务平台支持件存储时采用分布式存储的方式，将文件存储在不同的文件服务器上，再通过分布式管理服务进行文件调用和查阅。这样既处理了海量数据的存储问题，同时在数据查阅和处理时又提升了计算速度，提高了系统数据访问性能。文档在线阅读服务文档在线阅读服务打破了以往在线阅读需要安装插件的技术限制，用户只需要安装好在线阅读服务，无论进行哪种格式的文档的查看都不需要在安装任何第三方插件，使用简单、操作方便。流媒体服务流媒体服务也和以往不同，主要采用MP4技术，这一特点使得在手机、平板电脑等移动终端上也一样能够很好地兼容使用。任务调度服务任务调度服务的运行能够实时的监控正在运行的各项任务，包括后台运行的程序、正在进行中的工作流等等，系统管理员可以通过任务调度服务将这些正在运行中的任务取消或暂停，并进行更加合理的资源调配。五个运行引擎工作流引擎工作流是工作流程的计算模型，其将工作流程中的工作以一定的逻辑和规则组织起来，并使用恰当的计算模型进行表示以实施计算。在计算机中，工作流系统解决的主要问题是：为实现某个业务目标，在多个参与者之间，按照预定规则自动传递文档、信息或者任务。通过使用工作流引擎的这些支撑工具，一方面降低了平台业务流程的开发和维护成本，另一方面加快了平台的业务流程开发速度。数据接口引擎智慧城市的业务平台一定会需要和各种各样现有的信息系统进行数据交换，平台设计研发数据接口引擎，用以处理各种复杂的数据交互。数据引擎主要提供三种类型的数据接口，分别是：基础数据整合接口、业务数据交互接口和外部平台接口。报表引擎平台作为业务基础平台，需要能够支撑运行多种业务流程，为方便用户查询和统计各业务流程产生的数据，平台构建报表引擎。报表引擎以企业熟悉并经常使用的表格为建模和设计工具，为平台提供一种精确管理和深入分析业务数据的途径。报表引擎融合Excel电子表格和数据库软件的优势，既具备电子表格展示形式的灵活多样性和操作简洁高效性，又具备数据库软件的大规模存储和便于实施统计分析的能力。全文检索引擎在平台中，各组件模块均为用户提供基于数据库的本模块内容信息的查询和检索服务，方便用户查询相关业务信息并分析生成统计数据。然而，这种针对组件模块业务信息的查询和检索服务是有局限的：首先，查询和检索服务需要针对不同的组件模块分别设计开发，缺乏统一的接口和机制，从而造成各组件模块的检索功能参差不齐，用户友好性差；其次，这种查询检索服务只能针对结构化信息进行，如数据库中各数据表的关键字段，而对文本附件等非结构化信息无法检索，因此无法全面地展示信息资源特征；再次，这种信息查询和检索机制对数据库系统依赖较高，使用简单的字符串匹配算法，效率低下。为此，平台要有全文检索技术，用于对平台上的各种资源实施统一的全文检索，与针对组件模块的简单查询和检索服务相比，技术具备结构清晰、简单易用、用户体验好的优势。权限分级引擎权限分级引擎是提出的业务系统权限管理功能，它通过详细的权限级别定义，使系统安全员在给用户或者角色赋权时能够通过级别来设置。权限分级引擎的提出给系统带来的优势包括：灵活的权限划分机制；便捷的权限分配方式。.平台总体设计平台建设原则1、平台独立性平台采用基础型平台的视角进行规划和建设，采用统一、松耦合的技术集成方式与接口，面向业务提供标准化的接口和服务，实现平台独立、标准、统一、共享等特性。2、统一性系统的建设坚持统一规划、统一标准、统一实施为原则，既要注重平台本身的建设要求，也要兼顾业务不断集成的需求，还要考虑日后基于精细化使用和管理的需要。3、实用性以满足业务需要为首要原则，在满足功能实现的前提下，尽可能降低技术实现难度，提供方便的系统管理与维护、节约建设投资，提高运行效率。在硬件规划上，利用通用性更强的基于X86平台的PCServer或云平台，对于数据存储，可以选用扩展性和并行计算性能更强的Hadoop分布式文件系统架构。这些硬件和软件的选择，兼顾了经济、扩展和维护便利及成本。4、先进性平台利用Hadoop分布式大数据架构构建，存储结构化和非结构化数据。通过HDFS、Hbase等组件实现非结构化数据的安全存储和备份，其灵活的横向扩展能力支持海量数据的持久化管理；其次利用ES等组件实现数据的快速索引、全文检索等。5、可扩展性平台基于当前，放眼未来，在架构设计、功能设计、性能设计、客户体验等方面充分考虑可扩展性，满足不断发展变化的业务和技术需求，拥有灵活、平滑的升级方式和广阔、长远的扩展空间，可适应未来3至5年业务的不断发展及业务规模的扩张。6、高可靠性平台通过集群设计、负载均衡设备等应用实现系统运行无单点故障，具备连续、稳定运行的高可靠性。平台架构设计公共信息平台是基于微服务的技术架构设计理念来做的总体架构设计。具体的架构设计如下图所示：基础设施层基础层是公共信息平台的运行网络及软硬件环境。网络依托智慧城市项目所搭建的数据中心、运维中心和指挥中心等基础设施。平台支撑层平台支撑层是基于基础设施层构建的为数据管理和数据共享提供支撑的中间件和应用引擎。平台支撑层包括大数据采集、清洗和加载的ETL；ESB企业服务总线、统一的搜索引擎、统一的接口服务和云应用引擎。数据管理层公共信息平台数据管理层由元数据管理、资源目录管理、数据资源管理、目录服务管理、资源调度管理、运行监控管理、数据质量管理组成。数据交换层数据交换层是为内外部业务应用系统提供数据交换的系统。数据交换系统由交换桥接、前置交换、交换传输、交换管理等子系统组成，作用在于实现信息资源的统一交换，通过交换桥接子系统将政府部门需要交换的信息送到前置交换信息库，在交换管理子系统的流程控制下，通过交换传输子系统、前置交换子系统，把需要交换的信息定向传输到接收部门，同时把共享信息实时交换到共享信息库。平台功能设计公共信息平台目标是实现全县的共性问题的统一处理，解决某一个应用单位或机构难以独立完成的公共能力，为政府、企业和公众的各类应用及其协同提供平台支撑。公共信息平台是智慧城市系统的基础设施，是系统流转的核心。公共信息平台是城市公共数据进出的通道，实现城市公共数据的交换、清洗、整合和加工；实现城市公共数据的组织、编目、管理以及城市公共数据应用绩效评估；实现城市公共数据的共享服务，为城市政府专网和公共网络上的各类智慧应用提供基于城市公共数据库的服务、时空信息承载服务、基于数据挖掘的决策知识服务等。智慧城市项目的建设对公共信息平台提出了如下的要求：

数据;匚聚与整合加服务与妾口数据管理与眼务平台互联公共信息平台的功能设计如下图所示运营维护Concept数据;匚聚与整合加服务与妾口数据管理与眼务平台互联公共信息平台的功能设计如下图所示运营维护Concept峥密信清洗U蹒娱"志袈麴覆海管理五底月引擎峥密信清洗U蹒娱"志袈麴覆海管理五底月引擎元电据度理交换平台数据采集采集5谶据管理采集资源目录管理采饯数据源管理采案数据字型管理采集策暗酉覆管理离线采蒙管理数据采集管I采集5谶据管理采集资源目录管理采饯数据源管理采案数据字型管理采集策暗酉覆管理离线采蒙管理数据采集管I里H采集调蟠制管理果集日志管理视据管理数据采集管理采集模块支撑大数据平台数据源的采集工具，支持各类结构化和非结构化数据的采集；平台实现可视化的数据采集，采用元数据管理的办法，由用户或专业技术人员在界面上操作实现数据采集；于专网或其他原因的用户，通过客户端应用实现数据采集功能实现；并提供线上或线下的导入功能；对政府各机构业务，以及数据进行标准化定义，建立数据字典，并建立目录资源库；实现数据和业务的唯一解释；支持离线采集及实时数据采集模式；手段包括但不限于“推”模式、“拉”模式、web上传模式、直连模式；数据更新方式包括但不限于快照模式、触发器模式、日志模式、API模式、影子表法模式、时间戳模式；提供采集节点监控和异常处理机制，包括：采集任务中断、采集数据失败等相关异常现象时，实现相关的补采机制，并通过告警的方19式通知系统用户以保障源数据采集的可靠性；支持采集周期配置，可按实分、小时、天、月等不同的时间周期进行配置。支持采集数据的存储路径配置。数据清洗加载数据处理日志数据清洗数据加载数据转换数据清洗加载大数据清洗加载模块通过大规模，可扩展算法的数据处理日志数据清洗数据加载数据转换数据清洗加载大数据清洗加载模块通过大规模，可扩展算法的ETL实现数据的清洗、转换、加载功能；保障采集的数据正确、完整、规范地加载到目的地；实现数据整合过程中的传输异常、数据加载异常、数据结构与质量异常等问题。数据清洗功能包括但不限于：数据转换、数据去脏和转换规则的计算，批量分布式清洗和实时不落地清洗，数据转换规则配置，数据处理过程日志，数据清洗转换处理多组件设置，硬编码数据转换、库外数据转换。数据加载功能包括但不限于：全量数据加载、增量数据加载、流式（实时）数据加载、数据加载过程控制、数据校验、异常处理等。清洗、加载模块通过可视化的数据处理工具实现，该工具应该提供新的数据源加入大数据平台体系；并可根据不同的清洗规则进行可视化配置；数据共享交换数据共享交换模块涉及的核心业务即交换数据。交换数据是指数据交换过程中产生的信息，包含消息路由信息、流程管理信息、异常管理信息、监控管理信息、参数管理信息和交换临时库中的数据等。数据共享交换系统由交换桥接、前置交换、交换传输、交换管理等子系统组成，作用在于实现信息资源的统一交换，通过交换桥接子系统将政府部门需要交换的信息送到前置交换信息库，在交换管理子系统的流程控制下，通过交换传输子系统、前置交换子系统，把需要交换的信息定向传输到接收部门，同时把共享信息实时交换到共享信息库，实现人口、法人、宏观经济、空间地理等信息资源的同步更新。大数据交换与共享模块负责各委办局相关业务信息资源数据的传输、交换、格式转换的工作，实现信息资源在全县范围内的交换与共享。采用SOA架构，能够在多个异构系统（如不同的数据库、消息中间件、数据文件等）之间进行数据和应用集成，实现互连互通、数据共享交换、应用集成等功能，同时支持分布式多节点部署。在网络不可达的情况下，可采用前置机部署。应用中间件应提供JavaEE架构支撑服务，符合GB/T26232-2010国家标准。通用文件共享、交换、传输服务中间件：应提供非结构化文件交换，满足点对点、路由、业务域、单向、双向、广播的交换部署要求，提供基于交换任务、交换域的文件到文件、文件到文件夹、文件夹到文件夹的多排列式交换，支持双向同步交换。数据交换管理监控系统应提供交换中心、交换接入、中间件软件、数据交换量的统一监控，并支持用户管理、组织管理、多维数据交换量统计分析。通过数据交换与共享平台将各个参建部门的业务信息资源数据汇总到城市大数据中心，城市级数据交换与共享平台可支撑多个交换域，从而形成政务信息资源交换体系框架。利用交换平台实现异构系统的数据采集、可靠信息传输等功能。资源目录管理信息资源目录管理系统包括专项资源目录库和共享资源总目录库。各部门可以根据协同应用的需要建立部门间共享指标项目目录库；可以对数据中心的所有基础库和专题库资源的进行管理。资源目录管理系统包括针对全县统一资源目录的生产、管理、查询及维护功能。目录管理功能包括目录设计、目录提交、目录审核、目录发布、目录数据检索等功能。目录子系统的建设，以目录方式实现资源共享，是公共信息平台实现信息资源共享的有效手段，使用目录体系可以以更灵活的方式实现更多应用单位、更多资源的接入与共享。目录管理子系统作为公共服务平台信息资源目录体系的载体，采用一种非落地的信息共享模式，是对交换共享模式的补充。在目录式共享中，各应用单位对各自共享的资源有完整的控制权，可有效地解决交换模式中各应用单位因担心违反相关规定而不愿意批量提供数据的问题。

元数据管理建照存储建据分析建鹤定义,据检查元数据建照存储建据分析建鹤定义,据检查元数据元数据是描述资源的数据，是信息共享和交换的基础和前提，用于描述数据集的内容、质量、表示方法、空间参考、管理方式以及数据集的其他特征。元数据库用于存储元数据。元数据与数据目录密切相关，良好的元数据管理是目录管理的有效基础和前提。元数据的范围包括数据源数据结构、数据词典、字段维度、程序映射逻辑、数据生命周期等。元数据管理包括元数据定义、存储、查询、维护、检查和分析应用等功能。数据资源管理资源数据备份i十划酉覆资源模型管理资源数据查询数据数•碣同步资源数据备份i十划酉覆资源模型管理资源数据查询数据数•碣同步资瞰据迁移数据资源数据资源管理模块功能需包括但不限于：模型管理，构建专业的模型设计器，创建、修改和设计所有数据对象；数据查阅，构建视觉化数据查阅工具使运管团队高效创建和编辑数据查阅方案；同步和迁移，保证分布式应用环境下多服务器间数据结构的一致性、安全性，实现字段对应、代码转换、量纲转换、数据合并、数据拆分等功能；导入导出，完成从不同格式的文件导入数据到数据中心，以及数据到各种格式导出控制；计划任务，设置计划并在指定的时间运行，实现不同数据库在同一批处理作业中的统一调用。目录管理与服务目录管理与服务主要是指资源目录的共享管理与服务。主要包括有资源目录服务、目录共享统计分析、数据订阅等模块。数据共享服务系统是公共信息平台的基础设施之一。它以资源目录为核心，共享平台作为数据支撑，形成信息资源管理、识别、检索、定位和共享的应用服务体系，将应用服务功能集中在同一服务平台中。不同机构、不同机构下的各级单位、不同权限用户通过系统依需获取相应的应用服务，从而提高管理效率和公共服务水平。目录管理与服务涉及的业务逻辑如下图所示：共享辍源局业务数据库公共基础数据摩公共数据库应用单粒请求查询星符/里邙：广用国势接口前置环境公共服务数据库元散据除合运营中心管理数据/——/期叵目录管理与服务涉及的业务逻辑如下图所示：共享辍源局业务数据库公共基础数据摩公共数据库应用单粒请求查询星符/里邙：广用国势接口前置环境公共服务数据库元散据除合运营中心管理数据/——/期叵弋昌应用堂也业务生产库资源统一调度调度优先级配置调度运行监控运彳堂警管!里调度变更配置调度配置管理调度资源控制调度策略配置f调度优先级配置调度运行监控运彳堂警管!里调度变更配置调度配置管理调度资源控制调度策略配置f度资源统一调度模块完成数据中心所有数据处理工作的统一执行调度，统一调度提供以下功能：所有任务统一调度配置、智能调度运行、资源控制、优先级管理评估、调度策略管控、调度全面监控、集中的作业告警与错误反馈等；调度管理根据业务需要可以进行变更。数据质量管理数据核查封里数据质量评估数据质里控制数据质量管理大数据质量管理模块包含数据质量控制、数据质量评估及数据稽数据核查封里数据质量评估数据质里控制数据质量管理大数据质量管理模块包含数据质量控制、数据质量评估及数据稽核管理三部分。数据质量控制部件支持数据质量规则需求的手动配置和自动化优化建议，依据历史运行信息自动调整算法、阀值、优先级建议；支持数据质量执行周期配置；支持数据质量的数值、波动、平衡性、关联性、一致性监控。数据评估部件支持数据质量自动化评估，动态出具数据质量报告、数据质量优化建议报告。数据稽核管理部件支持数据质量稽核管理规则配置、稽核任务调度配置、稽核结果分析等。运行监控管理运行日志管理采集过程监控♦运行监控运行日志管理采集过程监控♦运行监控运行监控运行监控，从数据库、软件、硬件等维度进行系统实时监控、运行平台性能（包括CPU、内存等使用情况）实时监控和预警，以反应数据中心运行的整体状况。日志管理，实现日志信息查询统计与分析管理，包括但不限于：登录登出日志、访问日志、操作日志、日志统计、用户状态管理；数据采集过程监控，实现对交换过程监控的数据依据执行中的任务、未启动的任务、执行失败的任务进行分类筛选监控。接口开发与服务为了实现社会管理服务指挥平台资源的整合，集成其他独立运行的系统以及需要新建的各个业务系统，实现政务服务和社会化服务的统一接入、统一发布、统一治理，需要在公共信息平台的基础上基于面向服务的技术体系（SOA）来建立一套接口与服务系统，以解决资源整合、互联互通的问题。接口与服务系统将公共信息平台中数据分析、共享交换等服务组件和信息资源注册到服务总线上，由服务总线实现所有系统的集成和管理，并以服务接口的方式开放到门户系统上，提供给内外网用户或各类智慧应用来使用。服务组件可根据业务发展需要而动态调整。公共信息平台同时也提供开发接口服务，支持开发者或应用开发商调用平台提供的服务和自己的业务应用进行集成，或是开发基于公共信息平台的应用系统。服务总线大数据交换与共享系统需包含应用集成ESB中间件、应用集成ESB中间件适配器、数据集成中间件、消息中间件、通用文件传输中间件、应用中间件、数据交换管理监控系统。数据服务为数据共享提供基础支撑，主要包括接口服务、服务编排、发布服务、日志查询、日志分析等功能。云应用引擎云应用引擎是为各种服务提供数据存储、应用托管及开发工具的支持，可以通过微服务管理治理，实现统一应用、服务管理，包括注册、删除，可以对服务进行监控和保护等，另外还支持将各种应用程序部署到容器上，并对应用程序进行管理，如查看监控状态、性能统计报告等。.平台详细建设方案为了使公共信息平台具备良好的可扩展性，充分适应未来变化的数据管理要求，系统提供了高可扩展性的数据适配框架。WebService的Server端、Client端，以及其它适配器，都作为数据适配框架的插件而存在。未来如果出现需要扩展的其他适配技术，只需要增加新的插件即可。无论插件的增加、移除，均不影响适配框架的正常运行。数据采集数据采集支持对组织机构域、公共域、平台域、基础设施域、业务应用域和综合域等多领域的信息数据进行采集。针对不同的采集方式提供相应的WebService适配器、文件适配器、数据库适配器等适配器进行数据采集、管理。对数据源数据结构进行选择性采集；定制采集ETL策略；数据采集模块详细的功能设计如下图所示：襟字葭售理合目超曝:数据源管理调触渤报限苣电口心湄圉隹控三点凋例控子主题4采集告警设置元数据管理采集字段管理采集目录资源库管理数据源管理数据字典管理元数据管理采集字段管理采集字段管理是将需要采集的数据字段进行可视化的创建、维护、移除等管理操作。可以根据用户方的实际应用需要进行处理，采集字段管理分为手工管理、自动管理两种。手工管理：管理员利用手工维护的方法进行注册字段或修改字段，主要包括创建、修改、删除、审核、发布等功能。自动管理：管理员完成数据源的配置后，并配置字段自动管理属性；系统即可根据要求对数据源进行自动采集，并完成其自动字段的创建、发布、自动审核等操作。采集目录资源库管理采集目录资源库是对采集目录的资源的统一、规范化管理。通过资源库对采集目录以可视化的界面呈现方式供用户查看并可查询。数据源管理数据源管理是对所需要采集的数据源地址进行统一的创建管理。包括数据源的名称、采集地址、归属单位或部门等信息进行详细的描述和管理。数据采集管理为了使系统具有更好的灵活性，系统采用基于策略的采集技术和任务化的采集方式，支持管理员灵活设置采集周期、执行时间、采集接口等参数，同时对于采集任务，支持增加、修改、删除、启用、停用等操作。

全量采集采集策略管理采集任务管理调度与控制c离线数据采集令一次性凝一次调度控权限管理中心调全量采集采集策略管理采集任务管理调度与控制c离线数据采集令一次性凝一次调度控权限管理中心调度监捽节.调度监控采集告警发置.采集策略管理全量采集对数据源中的数据进行完全复制。该复制将产生与源数据完全一致的数据副本，该采集方式主要应用在初始化数据采集的时候，用于建立数据源和目标数据的一致视图，然后在此基础上进行增量抽取。增量采集只捕获源数据中被修改的数据，实现数据源的变化能够反馈到目标数据中，使得目标数据能够随着数据源的变化而改变。此类数据采集方式支持触发器、MD5、时间戳三种方式捕获变化的数据。支持双向数据同步，能够避免双向同步产生的循环触发问题。一次性采集一次性采集是系统初次上线运行前，将数据源中的所有数据一次性的采集到目录数据库中用于建立数据源和目标数据的一致视图。采集任务管理采集任务管理是将数据采集的任务与数据采集的策略相配合进行数据采集，对采集任务进行分类管理，采集任务包括定时采集、周期性采集和一次性采集三种。定时采集定时采集即设置数据采集任务执行的时间。当到达指定采集时间时，采集任务将会自动执行。周期性采集对采集任务设置周期性采集间隔。采集任务从第一次执行，间隔所设置的时长后，将会自动进行采集任务，形成周期性采集。可按实分、小时、天、月等不同的时间周期进行配置。支持采集数据的存储路径配置。一次性采集一次性采集是通过手动执行的采集方式。当数据采集需要进行一次性采集的时候，由管理人员进行手动操作，根据数据源、采集字段等信息完成数据的一次性采集。调度与监控调度与监控，分为中心调度监控和节点调度监控；中心控制整个网络系统；节点仅仅控制自身的采集任务与调度；权限管理权限管理功能主要提供基于机构、用户、权限和服务等方面的综合配置管理功能，其主要包括资源权限等级定义、系统参数管理、机构环境管理、用户角色管理、分类方式管理、服务类型查询和权限管理等功能。在此，权限和用户机构管理均为托管方式，由平台运维系统中的用户管理系统进行统一权限认证。权限管理对于调度任务，权限相应的角色权限进行授权。所有的调度任务只有经过中心授权后才能实现任务的调度操作。中心调度监控中心调度监控是为管理中心权限的用户对整个应用平台的网络数据采集的任务运行状态进行监控节点调度监控节点调度监控是为各节点的调度、监控管理权限的角色提供的调度监控功能。节点调度监控功能只监控自己所需要的数据采集任务的执行状态。采集告警设置对采集采集进行有效的中心监控和节点监控两级调度监控过程中，如果数据采集任务状态异常或采集任务失败，可以通过采集告警设置功能将此类异常情况做相应的反馈方式设置。采集告警设置包括重新执行采集任务的次数设置、采集任务异常状态的声光报警灯、报警声音提醒等提醒方式。采集异常处理当数据采集任务状态发生异常时，系统会自动根据采集告警设置中用户所设置的方式进行执行。用户在收到异常报警后，通过采集异常处理功能对发生异常的任务进行手动的检查或删除、重新执行等异常处理。离线数据采集离线数据采集的主要手段是数据的批量上传接口。通过制定数据采集上传的规范、统一的采集模板。将数据通过数据源导出后，经离线数据采集模块将数据源导出的数据进行批量的上传。在数据离线上传的过程中，同样需要执行数据校验规则以验证数据的规范性。4.1.3.日志管理采集日志管理系统自动记录数据采集接口的日志，主要包括接口名称、接口地址、采集时间、采集结果等参数。同时，系统提供支持

管理员对采集日志进行查询和导出。数据清洗加载数据清洗加载模块包括数据转换、数据去脏和转换规则的计算，批量分布式清洗和实时不落地清洗，数据转换规则配置，数据处理过程日志，数据清洗转换处理多组件设置，硬编码数据转换、库外数据转换。数据加载功能包括但不限于：全量数据加载、增量数据加载、流式（实时）数据加载、数据加载过程控制、数据校验、异常处理等。清洗、加载模块通过可视化的数据处理工具实现，该工具应该提供新的数据源加入大数据平台体系；并可根据不同的清洗规则进行可视化配置。数据清洗加载重点功能如下图所示：数据转换规则设置数据转换数据去赃数据批量清洗数据清洗转换妥蛆件设置数据加载日数据批量清洗数据清洗转换妥蛆件设置数据加载日志管理数据清洗.数据转换规则配置以图形操作模式配置数据整合参数，实现进行清洗、转换、比对、

数据导出、数据拆分等数据整合规则的动态配置。.数据转换数据转换是探测和去除（修正）数据库来增加数据精确性的过程，实现减少冗余和提高已经结合了分散数据库的不同数据集的一致性。数据转换与清洗能通过列映射、派生列、条件性拆分、排序、联接、聚合、SQL脚本、Java脚本等多种手段完成以下任务:（1）把多个不同数据源的数据合并。（2）不同数据集的转换和同步。（3）数据类型和格式的转换。用于不同目标表的数据分离。（4）（1）把多个不同数据源的数据合并。（2）不同数据集的转换和同步。（3）数据类型和格式的转换。用于不同目标表的数据分离。（4）.数据去赃数据云赃是对采集到的数据中存在的重复性数据、不完整且不可补充的数据、空数据等赃数据进行删除操作。.数据批量清洗数据批量清洗是根据数据转换规则配置模块中所设置的数据清洗规则,对所采集到的数据按照规则进行大批量的检查,将不需要数据规则的数据一次性的查找并显示出来供用户进行二次检查。数据加载完成数据清洗形成规则、可用的数据后，通过数据分类、批量的输入形成最终可供各业务应用平台所使用的数据。日志管理在数据清洗加载的过程中，系统执行的每一步操作，在日志管理模块中均有详细的执行时间、所执行的操作、执行结果、执行人等信息记录。管理员可以通过信息查询将所需要的操作日志查找出来，并提供下载操作。数据共享交换数据共享交换是通过集成不同应用系统之间形成松耦合连接，实现信息交换、路由、分发、转换等功能。数据交换系统主要以消息和异步通讯技术为手段，面向服务体系为框架，服务总线为基础，XML为信息描述语言，实现各应用系统间的集成。数据共享交换由基础服务、消息服务、消息代理服务三部分组成。内置安全和目录管理提供安全认证、信息加密传输和资源访问控制等功能。同时，提供系统管理工具，实现系统的分布式远程管理和监控。数据交换系统的主要功能有以下5个子功能构成1．基础服务基础服务主要包括MBean服务、SOAP服务、Web服务、XML消息封装、目录服务和基于PKI技术的安全认证系统。基础服务提供用于管理服务的MBean服务，实现组件的可管理（包括远程管理和部署）。利用Web服务、SOAP服务、XML消息封装实现基于Web服务技术的信息封装、信息交换和应用整合，以服务描述语言格式封装业务系统，对外提供Web服务接口。基础服务提供LDAP或UDDI等目录服务，实现服务的注册、查询、检索等功能。基础服务提供符合PKI规范的安全认证系统，实现消息摘要、身份认证和消息加密功能；同时，提供和外部安全支撑系统的接口，连接符合PKI规范的外部安全支撑平台。基础服务还提供消息队列存储、事务控制、双机热备、错误处理等服务，以保障基础服务的稳定性和可靠性。2．消息服务消息服务将数据以“点到点（PeertoPeer）”方式或“发布/订阅（Pub/Sub）”方式传送，支持基础服务提供的HTTP、HTTPS、RMI、SMTP、SOAP等多种传输协议。消息服务的主要功能是：支持亚©6服务和消息队列两种消息传输机制，保证平台对不同系统的适应性；信息以XML格式表示，数据交换和传输通过HTTP等传输协议，数据打包采用SOAP技术标准。提供可靠的信息传输，支持大规模信息发布、消息队列的存储保护、传输确认、断点续传、一次性传输和消息压缩传输。提供符合PKI规范的安全信息传输功能，支持551传输、消息报文和消息内容加密等不同级别的安全保护措施，支持消息摘要、数字签名、消息加密。支持局域网（LAN）和广域网（WAN）消息通信，支持静态和动态IP地址。基于消息软总线的体系结构，利用智能化的信息路由传输机制，动态地实现点到点、点到多点和多点到多点等不同的信息通信方式，支持多播功能。提供灵活方便的应用开发接口，便于二次开发；提供易于使用的部署工具，方便系统实施。提供易于使用的远程管理接口和图形化界面，实现集中管理。提供和其他消息系统之间的消息传输和转换。3．消息代理服务消息代理服务提供消息的传递、转换、过滤、映射和路由等功能。根据设定的消息格式规则和转换规则，进行消息格式的转换。同时，根据消息路由规则，实现消息的路由，并将消息传递给相应的应用系统。4．消息转换消息转换根据转换规则，实现不同数据存储格式和表示格式的转换。消息转换规则支持乂511语言，用户可自定义消息传输格式。消息传输提供图形化的转换工具，利用图形化界面，将一种应用数据格式“映射”到另一种数据格式，转换工具能够自动生成转换规则文件（XSLT文件）。转换功能支持乂乂1和数据库之间、不同数据库之间、不同XML之间的转换。转换规则文件可以动态地部署到数据交换系统中。5．消息路由根据消息路由规则，消息路由服务实现消息在不同的数据交换系统之间和不同消息队列之间的路由。消息路由支持两种路由规则：基于内容的路由根据消息的内容，消息路由按照定义的规则将特定内容的消息路由到不同的数据交换系统或消息队列中。基于消息头的路由根据消息头中的目的地进行消息路由。

数据共享交换的交换桥接功能指由各业务数据库（或文件等数据）到前置交换数据库（或文件等数据）之间的信息交换桥接接口，以完成两个数据库（或文件等数据）之间的在线实时交换的系统。之所以采用桥接系统是为了保护业务系统的安全性和独立性，信息交换平台通过前置机与业务系统相连，在前置机上建立交换库，用于存储各节点想外发布的信息和从其他节点交换过来的信息。桥接功能的实现可以利用集成中间件提供的编程接口，但业务系统接口的编程是必不可少的，必须像适配器提供一个透明的数据提供源。考虑到业务系统的复杂情形，有时并不一定是提供数据接口，也可以是文件的格式，提供给前置交换系统，再通过交换平台进行传递。交换桥交与数据交换中心的网络系统，交换前置机的操作系统、前置交换数据库、数据交换通讯接口、数据交换桥接接口、前置交换安全管理模块等组成。交换前置机的主要任务是由部门业务数据库到前置交换机数据库之间的信息交换桥接接口，以完成两个信息库之间的在线实时交换。数据交换前置机是该系统的重要组成部分，从功能上，可以看作是一个小型的中转平台。数据交换前置机担负着来自数据交换平台的数据抓取、数据转换、数据封装和消息监听、消息处理等功能。前置交换前置机交换主要通过以前置数据库为载体，实现与数据交换平台的桥接。前置交换系统主要通过交换平台传输和接收各部门或委办局的交换数据，保证数据的安全准确及时传输。资源初始化提供前置与平台中心之间的初始化设置，通过初始化可以实现前置与平台中心之间的通信和目录同步，主要包括前置节点注册、用户权限认证等相关服务。结构化数据编目前置编目系统提供对异构数据库等结构化数据进行手工或自动编目，应支持主流数据库，包括:Oracle、DB2、MSSQL、MYSQL等异构数据库。非结构化数据编目前置编目系统除了可以对数据库等结构化数据进行编目外，也可以对非结构化的数据进行编目，如文件、图片、视频等进行编目，通过文件交换系统实现文件的共享服务。编目信息查询提供前置编目信息的查询服务，支持快速查询和自定义查询，可以通过资源标示符、资源名称、关键字、分类方式、编目日期等多种条件进行查询，并支持查询结果的目录详细信息查看，从而让用户快速定位信息资源位置。编目信息提交提供前置编目信息提交至平台中心的服务，编目信息经过提交后，在编目中心等待审核人员进行审批，并最终发布。提供编目信息批量发布功能，并能够查询已提交的编目信息。编目信息审核编目信息审核主要提供给编目前置管理员使用，编目信息经审核后方能向编目中心提交，在编目信息审核后可以进行该条编目信息的查看。编目信息注册编目信息注册主要提供前端编目信息提交至编目中心的服务，通过编目信息注册服务，前置编目信息会被注册至中心的信息资源目录中供多个应用单位进行目录访问和资源申请。编目信息管理编目信息管理提供编目信息的修改和删除功能，前置编目人员可以对编目的信息进行修改，包括编目信息的核心元数据项、核心表数据项、字段数据项等内容。修改完毕后，可以对编目重新进行提交、审核和注册。同时，前置编目人员也可以通过编目信息删除的方式删除多余的编目信息。交换传输交换传输提供数据同步的监控和手动执行传输的功能，其主要是针对系统参数管理中的参数进行手动执行传输，通过目录传输，将前置子系统修改的参数与共享数据交换系统进行同步。交换管理交换管理提供交换队列管理、交换规则定义等功能，主要包括交换队列查询、交换队列管理（添加、删除、查看、修改）、交换规则定义等。资源目录管理资源目录管理数据库用于存储基础数据、业务数据、模型数据等平台资源的目录信息。专项资源目录库专项资源目录库是根据各业务平台所专属的资源形成不对处共享，只应用于专属业务平台的资源目录库。共享资源目录库共享资源目录库是为了实现各业务平台间的资源目录共享而设计的共享资源目录库。各业务平台所需要的外部资源目录均通过各自的数据共享接口，根据资源目录的应用权限从共享资源目录库中抽取相应的共享资源。资源目录管理生产目录收集目录收集是通过对各业务应用平台在数据采集的过程中，将采集到的数据形成目录进行批量的收集形成资源目录。目录生产目录的生产是相关权限的用户通过手动创建的资源目录进行归类管理。目录生产包括资源目录的创建和资源目录的维护。元数据关联对采集的数据库根据数据间的业务关联关系实现元数据的关联，通过元数据的关联，增加实体数据的维度，将单个的数据扩展成行业信息资源，提高数据的价值。管理目录审核目录审核功能是规范的目录管理流程，提供合理的确认管理流程，允许政府信息管理部门对各单位用户录入的目录信息进行审批确认，并对未满足条件的信息进行回退操作，提高信息质量。提供批量审核、审批及退回功能：为了提高用户操作操作效率，简化操作流程，系统应支持政府信息管理部门批量审核、审批单位用户上报的信息，批量退回未通过审核的信息。目录发布对审核通过的目录数据，填写有关的发布参数（发布信息类型、更新时间、优先级等），然后通过网络接口对外发布。同时支持提供以网站方式的目录发布和以HTTP+XML接口的形式发布。以网站形式的目录发布是把信息资源目录以网页的形式发布到网站上。用户通过登录网站访问网页，查询和检索信息资源的目录信息。用户根据需要选择多种风格的网页界面模版，美化发布效果。分系统发布的目录资源是和业务应用相关的信息内容。以HTTP+XML接口的方式进行发布则是其他分系统通过调用这套接口实现目录资源信息的查询和检索等功能。所提供的接口大致包括：目录查询、安全认证等内容。目录权限管理目录权限管理是对目录的生产、审核、发布、利用等操作权限，根据用户的角色、工作职责等设置相应的权限，以确保资源目录的安全性和管理的规范性。.目录查询多维度目录查询资源目录信息建立索引划分为索引信息的规划和索引信息的建立。索引信息的规划是建立在目录资源信息元数据的基础上，根据用户查询和检索的需要，设定需要建立索引的信息。比如：标题、内容、类型、来源等；索引信息的建立是在索引信息规划的基础上，根据数据更新的规则建立索引信息。可以建立的索引信息类型有：目录资源信息的元数据中描述性字段文本文件HTML文件Word文件中的文本内容Excel文件中的文本内容PowerPoint文件中的文本内容等索引信息的建立，按照数据范围可以划分为全文索引信息的建立、指定目录索引信息的建立、全文增量索引信息的建立和指定目录增量索引信息的建立；按照建立的方式可以划分为手动建立索引信息、定时建立索引信息和触发式建立索引信息。索引信息的建立，按照数据范围划分全文索引信息的建立。清除原来所有的索引信息，按照索引信息的规划为所有目录的数据建立索引信息。指定目录索引信息的建立。清除指定目录原来所有的索引信息，按照索引信息的规划，为指定目录的数据建立索引信息。全文增量索引信息的建立。按照索引信息的规划为所有目录的发生变化的数据建立索引信息。这些数据包括删除的数据、新增加的数据和发生改动的数据。指定目录增量索引信息的建立。索引信息的建立，按照建立方式划分手动建立索引信息。通过操作界面建立索引信息。定时建立索引信息。设置好建立索引的时间和周期，建立索引的参数；系统根据这些设置自动建立索引信息。触发式建立索引信息。设置建立索引的触发条件，如：数据更新维护以后设置建立索引的参数，系统根据这些设置在触发条件成立的时候自动建立索引信息。列表查询以列表的方式对目录信息进行查询，且查询到的符合查询条件目录信息以音序的顺序排列列表方式进行呈现。信息资源访问信息资源访问提供对目录信息进行查询检索。点击信息资源访问，进入信息资源页面，进行查看信息资源的详细描述。编目管理编目管理包括编目信息发布、编目信息撤销和编目状态同步操作。编目信息发布主要提供注册至编目中心的编目信息的发布功能（同时支持批量及指定），在发布时可指定允许访问资源或目录的应用单位列表及资源访问权限要求，通过编目信息发布，可以将前置编目信息发布到全市统一的门户中供各级应用单位进行检索、查看和申请。针对无效的编目信息或需要进行下线的目录信息，系统提供编目信息撤消的功能，该功能可对已发布的编目信息进行撤消和下线，该编目信息撤消后可重新进入待发布状态，如需发布可以重新进行发布。编目状态同步主要提供平台门户与后台数据的手动同步功能，系统提供自动同步检测的功能，能够自动检测目录状态不一致的状况，通过选对相应的编目数据手工进行同步，可实现目录状态的同步修正更新。元数据管理元数据通常是指关于数据的数据(DataaboutData)。从共享平台的角度，是关于信息资源的描述数据，主要描述信息资源管理与应用所需的核心数据。共享平台的元数据除管理业务公用基础数据外，还要管理各个部门子系统可以共享数据的元数据，为实现数据的集成提供服务。元数据模型如下图所示：

元数据可以分为资源位置元数据、服务元数据、数据库元数据、文件元数据四大类，其中资源位置元数据主要描述信息资源所在位置，以信息系统为基本单元，包含服务器和数据源；服务元数据主要描述信息系统中服务器可以提供的服务，如WebService；数据库元数据主要描述数据库的组成结构及其相互关系；文件元数据主要描述文件数据的相关信息，如类型、所有者、创建时间基于元数据模型可以有效地管理信息资源，并为应用软件提供元数据驱动的机制，也就是说应用软件通过元数据访问系统的数据，系统的数据的调整与修改，只需修改元数据，而无须修改应用软件。元数据管理详细功能如下图所示:元数据管理元数据定义元数据存储元数据查询元数据维护元数据检查元数据分析元数据定义公共信息平台的元数据定义提供对核心元数据的定义管理，包括核心元数据查询、添加、编辑和删除功能，同时提供核心元数据详细信息查看的功能。元数据存储通过元数据定义功能对元数据进行创建和信息完善后形成最终审核后的元数据信息并进行保存、存储。在元数据存储过程中，以元数据目录树的形成分级别进行存储，且存储的元数据目录树可导出。元数据查询在公共信息平台应用的过程中，随着对元数据的逐步增加，将会形成数量庞大的元数信息库。在元数据管理模块中，为解决元数据快速定位的问题，特提供了元数据查询的功能。元数据查询功能可以通过元数据名称和模糊查询、元数据的类别等方式进行快速的查找和定位。元数据维护随着各智慧城市应用系统的运行，对于元数据的理解也越来越深入或者对于有疑问或有二义性的元数据需要做出相应的修改。为解决此类问题，元数据管理模块提供了元数据维护功能。元数据维护功能是主要是针对需要进行维护和修改的元数据信息。通过元数据维护功能对其进行完善和维护。元数据检查元数据的名称、类型、基础信息等属性信息可以通过可视化的元数据检查功能进行详细的检查。元数据检查功能通过点击需要检查的元数据，可以显示出此元数据的所有信息及类似名称、类似基础信息的类似元数据供用户进行关联分析，以对此元数据进行检查。元数据分析元数据分析是对元数据的类型、生成日期，启用时间、使用时长、利用率、元数据用户等信息进行综合性统计分析并以图表的表示方式呈现给元数据管理人员查看、分析使用。数据资源管理数据资源管理模型管理数据查阅同步和迁移导人导出模型管理模型管理是通过可视化的操作界面，由用户通过拖拽控件的方式去构建专业的模型设计器。包括对所有的数据对象模型进行创建、修改和设计等操作。数据查询数据查询功能提供数据资源管理中数据资源的各种服务状态的查询，如数据信息评价、访问量统计等信息，数据信息评价主要提供各应用单位对已发布数据信息的评价信息查询功能，访问量统计能够根据各应用单位对该数据信息的浏览数量进行统计。过程信息查询提供数据信息在数据资源管理的过程信息记录。同步和迁移对数据资源可以通过同步和迁移操作来保证数据资源的一致性和安全性。现字段对应、代码转换、量纲转换、数据合并、数据拆分等功能数据资源的同步即将数据源数据完成数据采集的目录数据通过数据同步实现数据的一致性；数据资源的迁移是将数据进行一次性的批量迁移，以确保数据的安全性。导入导出导入导出功能是通过制定统一的数据资源导入模板和数据资源导出模板，完成从不同格式的文件导入数据到数据中心，以及数据到各种格式导出控制。计划任务计划任务通过数据库的统一调用规则，通过界面操作的方式设置计划并在指定的时间运行，实现不同数据库在同一批处理作业中的统一调用。目录管理与服务目录管理与服务，以目录方式实现资源共享，是智慧城市公共信息平台实现信息资源共享的有效手段，使用目录体系可以以更灵活的方式实现更多应用单位、更多资源的接入与共享。共享信息库资源目录服务资源目录服务作为智慧城市公共信息平台信息资源目录体系的载体，采用一种落地的信息共享模式，是对交换共享模式的补充，在目录式共享中，各应用单位对各自共享的资源有完整的控制权，可有效地解决交换模式中要求各应用单位因担心违反相关规定不愿意批量提供数据的问题。通过构建共享信息库，将各单位需要共享给其他业务应用的数据进行汇集并设置相应的应用权限，以保证数据的安全性。数据共享信息服务是对各业务应用平台和手机APP等应用等第三方应用系统提供访问系统内数据的服务。目录共享统计分析目录共享统计分析是对资源目录对外部各业务应用平台共享过程中的各资源目录的利用次数、利用率、所涉及的业务等数据进行多维度的统计分析并以图表的形式呈现给相关人员。数据订阅数据订阅是供各业务应用平台订阅数据资源所使用的功能模块。各业务应用平台在使用共享目录资源数据前，需要先通过数据订阅模块将所所需要的资源目录进行订阅申请，待申请审核通过授权后，方可在共享数据资源目录中调用订阅的数据目录信息。数据订阅功能主要以表订阅和整合信息订阅的方式为主，主要包括表订阅查询、表订阅管理、表订阅审批、表订阅启动、整合订阅查询、整合订阅管理、整合订阅审批和整合订阅启动。资源统一调度统一资源调度任务调度配置智能调度运行资源控制优先级管理评估调度策咯管理调度全面监控作业告警与错误反馈调度变更统一资源调度任务调度配置智能调度运行资源控制优先级管理评估调度策咯管理调度全面监控作业告警与错误反馈调度变更任务调度配置任务调度配置功能主要提供基于机构、用户、权限和服务等方面的综合配置管理功能，其主要包括资源权限等级定义、系统参数管理、机构环境管理、用户角色管理、分类方式管理、服务类型查询和权限管理等功能。在此，权限和用户机构管理均为托管方式，由平台运维系统中的用户管理系统进行统一权限认证。智能调度运行智能调度运行功能是由系统根据任务调度配置所设置的调度任务在不需要人工干预的情况下，进行智能调度。智能调度运行功能提供可视化的调度运行状态的显示供用户进行查看任务的执行状态及执行的详细信息。资源控制对应用的信息，包括对应服务，资费等进行维护。系统定义每一种业务为一种系统支持的服务，每种服务加上相应不同的资费策略在系统中定义为应用，是用户可以最终定购的。应用管理就是对应的分类、定义设置。定义服务类别、服务子类别。服务提供商发布应用，给平台审核；平台对服务提供商的应用进行审核，审核通过的应用才能够被用户订购使用。应用审核包括对应用的服务、价格进行审核。优先级管理评估对资源统一调度的任务通过调度评估管理模块对任务的优先级进行评估。完成优先级评估的任务，在执行过程中，遇到同时执行且数据不支持同时使用的任务，系统将根据优先级标签按顺序提供相应的服务。调度策略管理采用缓存技术，具有良好的可靠性，当系统断电、数据源连接断开等情况发生后，系统具有响应的保护措施，保证消息传输不丢失。系统具有故障自主监测配置策略，当数据转换过程中出现故障时，系统可以记录运行日志并可以自动恢复。调度全面监控系统提供图形化监控功能，实现对数据处理各流程的监控管理，出现问题时主动报警，便于数据管理员及时处理。作业告警与错误反馈资源统一调度模块具备完整的作业告警监控和错误反馈能力。能够将计算框架的每个作业进度、状态、资源利用情况进行监控，并通过可视化图形界面进行展示。作业告警与错误反馈模块提供作业运行状态检测的功能，通过周期性巡检的方式，对各数据采集接口和数据服务的接口进行检测，当发现接口异常时，自动记录日志便于维护人员进行分析。同时，对于数据服务的接口支持自保护的功能，当接口检测发现数据服务接口异常时，通过自动重启该接口服务的方式，快速恢复数据服务运行。调度变更调度变更功能是对资源统一调度的任务进行维护、变更的功能模块。当资源统一调度任务在长时间应用的过程中，遇有突发情况需要进行变更时，通过调度变更即可完成资源统一调度任务的重新设置，进行相应的变更操作。数据质量管理4.9.1.数据质量控制数据质量规则配置管理包括对采集到的数据进行语法检查、语义分析、格式转换、持久化存储等环节，具体来说：语法检查：根据数据接口规范的要求，系统对采集的数据进行语法检查。检查的内容主要包括：数据格式的正确性、数据的完整性、数据类型的正确性、数据是否可空等。如果检查不通过，则在记录本批次的数据异常信息，以便后续的分析。语义分析：系统对采集到的数据进行语义解析和处理。格式转换：将数据从元数据模型转换为物理模型可接受的数据，同时对数据进行统一化处理，转换单位、保留小数等。持久化存储：对转换为物理模型的数据进行数据库存储。数据质量评估自动化评估根据数据质量监测规则，通过数据质量检测引擎，对数据表中的增量数据进行扫描，调用规则算法或扩展程序进行数据质量检测，并提供问题数据库的建立、数据质量报告的生成、问题数据的处理、以及对问题数据的通报和反馈来保证数据的质量和实效性等功能。评估报告对采集、交换的数据通过数据质量控制与自动化评估的过程中，以电子文件报告的形式形成评估报告供用户查看。数据稽核管理系统采用ETL工具对数