政务数据集成解决方案

经典word整理文档，仅参考，双击此处可删除页眉页脚。本资料属于网络整理，如有侵权，请联系删除，谢谢！政务资源集成解决方案目录1总体要求加工0122I1作为电子政务信息化建设的重要组成部分，政务数据互联互通共享集成平台以电子政务网络为基础，通过构建覆盖多个部门、多个政务应用系统、多等次的政务级别等多级政务信息资源交换体系技术总体平台，围绕跨部门的业务协同，以部门业务信息为基础，确定部门间交换信息指标及信息交换流程，实现不同部门间异构应用系统间松耦合的信息交换，形成部门间政务信息资源物理分散、逻辑集中的信息交换模式，提供部门间横向按需信息交换服务，提高各级政府行政管理效率和公共服务水平，满足各级政府履行职能的需要。随着政府机构改革和职能转变的不断深入，政务应用不断的进行改进和优化，更好的创造工作价值。政务数据集成平台需要能够实现不同的、分级次的多个部分之间的数据集成的松散耦合，以灵活敏捷的方式，实现政务信息的互联互通，从而从根本上解决政务应用系统业务流程发生变化，而需要不断的重新建设的难题。而目前，SOA要能够体现SOA的思想，真正做到灵活、敏捷，快速适应业务变更需要。同时，随着应用信息系统的不断建立，基于数据层面的共享慢慢将难以应对对共享信息实时、多样、可变的需求，信息的互联互通进入应用系统减的集成和整合是必然的发展趋势。通过SOA框架的指导，以服务化的方式，完成政务应用系统之间的数据集成、应用集成、流程集成，是政务信息集成平台的发展目标。政务数据集成平台由信息库系统和信息交换系统组成。信息库系统由若干交换信息库以及政务应用系统的各种公开业务接口组成；信息交换系统由交换桥接、前置交换、交换传输、交换管理等子系统组成。信息库系统：组成信息库系统的交换信息库是政务部门为实现信息交换而建立的中间存储信息库，或者在SOA体系下，由各个政务应用系统所公开的服务接口，可被外界所访问。交换信息库中包括提供和接收的交换信息。2❖口，以实现两个信息库之间的信息交换。3❖❖整个信息交换系统运行进行监控、管理。这样的体系平台，通过集成政务应用系统，不同政务应用系统之间形成松散耦XML系统之间的集成。完成这样的一个成体系的数据交换平台，需要有如下的一些产品组件：4统一部署、监控和管理这几个关键步骤相辅相成，一个环节作为另外一个环节的基础，实现部门间信息的互联互通。1.3.1交换数据信息构造5部门的信息化建设比较健全，存在自身独立的业务应用系统，数据存储在关系OralceSQLServerAccessFoxProx中。对于这样的部门信息存储方式，通过建立前置数据库的方式，构造需要进行交换的数据信息。在部门的政务网内，部署前置数据库。该数据库得数据目录信息，将符合国家给定的数据目录标准。通过将生产库的数据，以既定的规则，同步到前同时，也需要能够将前置交换数据库中的数据，同步到生产库中。数据桥接组件，将负责完成这部分的工作。数据桥接组件，需要具备如下的基础功能特点：6同时，考虑由于部门的应用系统，建设时间较早，数据目录结构不是按照国家目录标准的方式构建，而前置交换数据库，按照国家目录标准构建。在双方的目录结构中，存在差异。在双向的数据同步过程中，需要能够对数据进行数据加工、比对、清洗、影射等数据操作，完成数据的转换。并且，在数据清洗、比对的过程中，需要能够产生数据差异结果集，方便供给其他的应用调用，并且能够进行统一的管理、跟踪和回朔。1.3.1.2不存在生产库在实际的情况中，会存在有些部门，没有建立生产业务数据库，数据信息是保存在Excel文件或其他格式的文件中。针对这样的场景，需要提供一个快速录入界面生成平台，能够根据用户的数据目录信息，快速生成数据录入界面，可以让用户直接通过这样的录入界面，以数据录入终端的方式，将数据录入到部门的前置数据库中。对于录入终端平台，需要具备如下的功能特性：具备模板定制、下载以及模板管理功能根据模板，快速生成基于Web的数据录入界面具备上报数据暂存以及数据审核功能具备离线数据批量上传功能Excel文件，录入终端平台，需要能够提供根据Excel批量导入数据的功能。通过这样的方式，可以大大提供数据录入的效率。1.3.1.3公开数据服务接口出于安全、保密等方面的考虑，某些高度机密部门的数据，必须经过筛选与审核，通过数据导出的方式，产生交换数据。对于这样的部门，在进行数据交换时，7往往通过公开服务接口的形式，对外暴露数据资源。这些服务接口，是符合WebService规范的应用接口，向部门外公开，并可由部门外的其他应用系统所调用。或者，这样的部门，会采取数据导出的方式，提供数据信息资源。将自身的业务数据导出成ExcelXML使用。1.3.2前置数据采集当数据资源已经产生之后，整体数据交换平台，需要能够对这些将被进行交换的数据资源进行数据采集，并且进行封装，并发送到整体交换网络中去。由于数据资源的产生有多种模式，可能存在于前置交换数据库中，也可能是一个公开的Web服务接口，也有可能是报备上来的资源文件。针对多种不同的数据资源模式，数据采集也将会有多种不同的模式。这些模式，将通过各种丰富的、针对不同存储介质进行访问的适配器来完成。1.3.2.1前置数据库数据采集的数据采集。数据库入站适配器需要提供如下的功能：支持主流关系数据库的主流版本，如Oracle9iOracle10gSQLServer2000SQLServer2005DB2MySQL5等能够自动分析前置库中的变化量数据能够从前置库中提取变换量数据，并且，将数据封装成XML的标准格式同时，考虑到存在一些应用场景，数据库中存放的是附件路径数据，而附件本身保存在文件系统中，数据库入站适配器需要能够在采集数据的同时，采集附件。81.3.2.2Web服务接入部门将自身的数据资源信息以WebWeb服务入Web服务的接入和调用。Web服务入站适配器需要提供如下的功能：WebService全面支持XMLWebServiceSOAPLDAPUDDI等当前受到普遍支持的国际开放标准，保证系统能够与其它平台的应用系统、数据库等相互交换数据并进行应用级的互操作性和互连性支持WebService访问身份认证，确保WebService接入的安全性能够将访问调用获取的数据封装成XML的标准格式1.3.2.3文件介质数据采集部门报备上来的文件介质，可能是多种多样，普遍存在如下的几种文件格式：Excel格式化TxtXML针对这些不同的文件介质，需要提供不同类型的适配器，完成对文件介质的采集。这些适配器包括ExcelTxtXML些适配器，需要具备变化量数据分析的能力，保障每次采集的都是变化量数据。同时，这些适配器需要能够将采集到的数据封装成XML的标准格式。1.3.3数据清洗比对加工由于需要进行数据集成的各方，是异构的数据模型。数据从一个部门被采集出来之后，需要进行数据的处理，进行影射、转换，才能同步到另一个部门或者中心中。同时，由于各个部门的数据存在差异，在数据集成的过程中，需要整理这些数9据差异，并且根据一个指定的标准数据，进行数据比对和清洗，最终产生业务高度一致的数据。理组件需要具备如下的功能特性：能够实现数据端到端的影射，影射包括数据名称影射和数据，也包括数据类型影射能够实现数据转换过程中的计算操作，例如数据字段的四则运算能够以一方的数据为标准，对多方汇集的数据，进行数据比对，查找出数据的差异点。能够产生数据比对结果，并且数据结果可以下发到各个来源系统需要支持动态脚本扩展数据处理组件，又一个或者多个不同的组件一并构成，形成完整的数据处理业务。1.3.4数据路由数据信息需要通过安全、稳定、可靠的数据路由方式，以异步的消息模型，不漏、不错、不重、不丢的方式，发送到各个数据的接收端。XML方式或者SOA体系中的SDOServiceDataObject数据路由基础设施，需要具备如下的功能：支持消息切分，将一个大的消息切分成多个小块发送，在目的端重新组合成完整的消息支持断点续传10支持消息压缩，以最大可能的利用网络带宽支持消息加密，保障消息传输过程中的安全和保密支持一次性发送保障，保障消息一旦被发送，一定可以可靠的传输到目的地支持集群，保证稳定可靠支持安全传输功能，支持各类加密传输协议，消息分级安全保护支持备份路由支持智能路由，能够综合考虑路径的长度及负载情况，选择最佳路径，提高消息传输效率。支持集群，能够承受大并发，避免单点故障支持安全传输功能，支持各类加密传输协议，消息分级安全保护支持点对点、点到多点双向通信支持广播模式接口支持消息队列机制支持消息订阅发布1.3.5数据推送持久数据信息在被路由到接收端之后，需要能够从交换网络中被接收，并且持久到目的端的存储介质中。XML中拆装，并且写入到数据库中去，需要支持主流关系数据库的主流版本，如Oracle9iOracle10gSQLServer2000SQLServer2005DB2MySQL5等11ExcelTxt或者XML文件中，通过ExcelTxtXML做，将数据写入的相应的文件中去。另外，在一些场景下，数据被接收后，需要通过部门应用系统公开的Web服务完成数据的推送，通过WebWeb服务SOAPWeb服务，将数据作为参数传入。完成数据推送。1.3.6流程化特征数据的路由规则和各种出战适配器的数据推送，松耦合的有机结合在一起。完成完整的数据交换业务。通过流程化的方式，可以实现能够实现基于内容的数据路由，同时可以轻易的实现多种数据交换模式：点对点组播台将具备高度的灵活性、敏捷性和可扩展性。1.3.7统一部署、监控和管理对于整体交换平台来说，是一个高度分布式的应用平台。对于这样的一个高度分布式的体系，统一的部署和管理就显得尤为重要。必须能够在一个中心点，就可以对整体分布平台进行统一规划、统一调度、统一管理。统一管理的内容包括：12统一部署和监控日志管理分析报表1.3.7.1统一部署需要提供可视化、界面化的工具，完成整体交换平台的部署、监控。通过可视化的界面，能够定义各个分布在平台端点的适配器，并且部署到平台中。同时可以对这些适配器的状态进行监控。通过可视化的工具，还需要能够对数据传输组件进行监控和管理，包括队列创建、参数修改等功能。通过统一的部署和管理，实现交换平台各交换节点的管理，集中管理各个交换节点，灵活的增加、删除或修改被监控节点的相关信息，监控各个交换节点的运行状态，可以控制各个节点的启动、停止和重启。通过统一部署，可以设置各种数据交换的调度周期，包括：定时实时复杂周期每个调度都可独立存在，相互不影响。1.3.7.2详细的日志管理交换平台中的日志管理，也分为两个部分系统运新日志这部分的日志，记录了系统运行的状况，能够反映系统的健康状态。日志的内容包括系统启动时间、系统地状态以及一些可用于系统错误察看的底层系统日志13数据交换日志对于交换平台中的任何一个组件，包括各种适配器、数据路由组件，没发生的一笔数据同步情况，都需要记录详细的数据交换日志，日志的内容包括❖发生时间❖数据源端❖数据目的端❖数据内容❖数据操作类型❖数据意图❖数据实际执行情况❖数据错误信息通过这些信息，可以做到对整体交换平台中发生的任何一笔数据交换情况，了如指掌。1.3.7.3分析统计在详细的数据交换日志的基础上，需要提供基础的交换数据分析统计的功能，系统提供全面的查询、统计分析功能。包括单个节点的数据传输统计报表、节点到节点的数据传输统计报表、按时间段产生统计报表。这些统计报表，将作为领导决策、数据审计的基础。142金蝶中间件ApusicESB解决方案ApusicESBSOA架针对政务集成业务模型中的各个关键步骤，金蝶ApusicESB都提供了相应的模块，能够完全满足对应的业务需求。针对部署前置交换数据库的场景，ApusicESB主流的关系型数据库的主流版本，并且能够支持初始数据同步和增量数据同步两种数据同步模式。针对部门通过暴露Web服务的方式提供数据的场景，A