ES数据交换平台白皮书_第1页
ES数据交换平台白皮书_第2页
ES数据交换平台白皮书_第3页
ES数据交换平台白皮书_第4页
ES数据交换平台白皮书_第5页
已阅读5页,还剩29页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、ES数据交换共享平台产品技术白皮书 34 产品技术白皮书目 录一、概述3二、技术架构3三、技术路线7四、产品功能交换服务13(一)路由服务13(二)转换服务14(三)安全服务15(四)消息通讯服务MQ15(五)发送接收传输服务17(六)接入服务18五、产品功能管理平台22(一)资源管理22(二)共享管理26(三)授权管理30(四)运维管理31(五)平台管理32六、产品特点33七、主要技术指标和性能指标35八、环境要求37一、 概述为有效整合分散异构的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平,基于易尚数据交换平台,可灵活实现不同系统间的信息交换、信息共享与业务协同,加强信息资源

2、管理,开展数据和应用整合,进一步发挥信息资源和应用系统的效能,提升信息化建设对业务和管理的支撑作用。易尚数据交换平台,遵循标准的、面向服务架构(SOA)的方式,基于先进的企业服务总线ESB技术,遵循XML技术标准和规范,为跨地域、跨部门、跨平台不同应用系统不同数据库之间的互连互通提供包含提取、转换、传输和加载等操作的数据整合服务,实现扩展性良好的“松耦合”结构的应用和数据集成;利用易尚数据交换平台,通过分布式部署和集中式管理架构,可以有效解决各节点之间数据的及时、高效地上传下达,在安全、方便、快捷、顺畅的进行信息交换的同时精准的保证数据的一致性和准确性,实现数据的一次采集、多系统共享;基于易尚

3、数据交换平台节点服务器适配器的可视化配置功能,可以有效解决数据交换平台的“最后一公里”问题,快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享,为各种应用和决策支持提供良好的数据环境。二、 技术架构数据共享交换平台中包括五项关键服务:共享资源目录服务、数据交换中央服务、基于适配器的交换服务、Webservice交换服务、前置机控制台。1、 共享资源目录服务数据共享交换平台的共享资源目录服务系统包含目录服务和目录资源两部分内容:n 目录服务提供目录、元数据注册、发布、审核、修改、维护以及编目服务等相关内容;n 目录资源通过将现有各类资源(元数据)的合理分类,重组资

4、源,并通过XML Tree以资源导航树的方式完成资源目录服务系统的开发建设工作。2、 数据交换中央服务交换中央服务器主要分为两个部分,首先是数据交换服务部分功能,包括ESB中标准的一系列交换服务功能,如:消息接收、存储、转发、数据映像、格式转换以及消息路由的定制等功能;其次是平台集中对中心节点以及远端前置机节点的统一管理,包括运行管理、文件分发、远程配置、安全服务、状态监控等功能,通过数据交换功能服务以及平台运行维护管理服务两部分提供数据共享交换服务体系。中央服务器是数据交换平台信息控制中枢。中央服务器主要完成适配器以及各类服务组件的组合服务、远程部署、管理配置、监控管理、安全管理等功能。适配

5、器以及各类服务组件组合服务是系统的核心。系统根据由服务组件组合成的业务流程和服务组件配置的运行节点,远程将服务组件部署运行于节点服务器上,并在节点服务器上建立若干个消息队列作为XML数据传输的通道,实现点对点、一点对多点的信息传递。中央服务器主要包括以下几个部分:n 用户管理配置:管理连接到控制台的用户,设置访问系统用户的权限信息。n 组件组合应用:连接服务组件的输入输出端,形成应用之间的数据通道。n XSL管理配置:设置不同的XML格式之间转换的所用的XSLT,所生成的XSLT数据转换服务运行于节点上,充分利用节点的计算能力。n 管理服务:包括适配器组件库管理和组件(适配器)本身的配置管理、

6、适配器之间连接的管理(创建、删除、改变等),以及系统运行管理(开启服务、应用等)。n 监控管理为用户提供系统的运行状况信息,包括组件运行状态监控、数据流监控,日志等管理功能。3、 基于适配器的交换服务适配器是根据应用或者前置机节点的数据共享交换需求而定制的,为构建在数据共享交换平台之上的应用提供简单易用的数据接入服务组件。它的主要功能是实现与应用或者文件等共享内容的对接,并把抽取和接收XML封装的数据文件基于主题的方式以JMS消息发送到数据交换平台实现数据路由和数据转换。适配器可重用、可配置、可管理、可维护的特性。适配器从应用场景来说主要分为文件、数据两类主流适配器,同时提供适配器模板支撑用户

7、针对特性应用开展其它适配器的开发建设;就应用模式而言,适配器主要分为发送、接收两类适配器;通过文件适配器、数据适配器、以及其它根据适配器模板开发的特性适配器与发送、接收适配器的组合,方便支撑服务全集团的数据交换服务平台的建设。需要说明的是在文件交换过程中,针对数据库数据采集建设(即交换数据的中心落地工作),将在文件发送、接收的基础上,通过触发器自动调用文件解析适配器,完成上载文件的格式解析(PDF、Excel、TXT等),由文件非结构状态直接转化为结构化数据(目标数据库格式:Oracle、SqlServer、MySql、DB2、Sybase等),同时将数据直接插入相应专题库中,自动化的完成数据

8、采集、交换、解析、入库的一系列流程。文件自动交换解析服务同样可应用于不同下属单位之间端对端的数据交换流程中。同时在以上适配器应用类型之外,平台还提供传统Web服务组件以及消息发布组件等一系列服务,满足平台在复杂、异构应用环境下的通用性和完整性。4、 WebService交换服务以web服务方式将数据库交换请求信息发送到共享交换平台,共享交换平台根据交换请求完成数据库的交换。具体WebService组建交换流程是首先以web服务方式将文件交换请求发送到共享交换平台,共享交换平台根据交换请求完成文件的交换。文件传输采用MTOM解决方案,即SOAP消息传输最优化机制(SOAP Message Tra

9、nsmission Optimization Mechanism,MTOM)。MTOM是一种二进制信息附件传输标准,正在被所有的Web Service供应商所支持。节点应用作为WebService体系的Client端,将通过HTTP、HTTPS等网络标准协议,基于SOAP网关动态接入集团数据共享交换平台,中央服务器作为WebService体系的的Agent,提供请求代理中转服务,而每个交换子节点控制台均将作为WebService体系的Server端存在,一旦通过JMS接收到中央服务器的Web服务请求,则将调用本地适配器服务完成资源的发送(可按Adapter模式按消息或者主题两种方式进行),底层

10、基于JMS框架完成内部消息的发送,最终通过WebService将应用请求内容反馈,基于WebService的交换服务框架将对于提供集团数据交换平台在自适应性、扩展性以及兼容性等各个层面的服务品质。5、 适配器控制台适配器控制台运行在各前置机节点服务器上,通过在客户端控制台容器中运行针对不同数据交换共享需求的适配器配置文件,底层调用JMS实现数据的交换共享服务,系统建设过程中,在各个节点控制台中将预制数据库适配器、文件适配器两类通用型适配器模板,即通过数据库适配器以接口表的方式完成本地应用系统数据库中数据的采集、封装和发送;或者通过文件适配器完成本地文件的上载以及自动发送,支撑远端节点与中央服务

11、器之间的数据交换共享。节点前置机作为适配器服务运行的容器存在,即各节点前置机与中心平台之间一起构成分布式的服务运行环境,并提供事件管理功能如消息队列机制和数据持久层可靠事件的传输管理机制等,与各节点应用关联的接口适配器(Adapters)运行于节点前置机上。节点前置机为运行其上的服务组件提供两部分主要功能:1)容器服务和日志采集:通过为适配器配置XML文件提供标准的运行环境容器,各适配器文件通过统一的运行环境容器(即节点适配器控制台)将Adapter服务等组件运行其上,并将有关服务的运行状态、发送接收数据日志等发送到中央服务器,中央服务器通过节点服务器开启实时、定时或手动服务。2)数据传输持久

12、层保护:为Adapter之间的数据传输提供基于事务验证机制的可靠传输保障服务,包括断点续传等功能。三、 技术路线数据交换产品遵循J2EE、SOA、WebService、JMS、元数据等技术标准框架,应用适配器组件和数据服务总线架构,以可扩展标记语言XML作为消息传输的底层通用标准,平台通过消息传输的方式支撑集团内部各类数据的交换共享,采用“ESB服务总线”实现数据发送、接收和交换处理中远端应用系统和中央服务器、远端应用与中心落地数据库之间的松散耦合。1、 SOA架构标准Web services架构把SOA(基于服务的架构)推到了主流市场。在SOA架构下,数据和业务逻辑融合成模型化的业务组件,且

13、具有文档接口,这种明确的设计和简单和方式有助于开发和进一步扩展,一个SOA应用可以很简单地与异构的、外部的遗留系统、外购的应用集成。随着Web services的发展,SOA的优势会更快地被认识到,新的工具会使SOA应用的开发更简单,在主流软件设计市场主导40年的集成点对点的集成方式将会退出市场。Garner预测,随着Web services和SOA工具逐步实现易用性和完成整体功能,SOA必然会占据主流市场,所有的中间件产品和相关开发工具,包括应用服务器、门户产品、和集成套件,都会大力支持Web services和SOA部件。SOA是一种应用技术,应用的业务逻辑清楚地被组织成模型(服务),访问

14、接口、服务成为一个黑盒。在SOA中,结构师要尝试由单个实体来提供一系列特定的任务。该实体接收服务请求并返回处理结果;或返回因尝试失败而导致的错误。这些服务,以及规定它们应如何组合来构成一个完整应用程序的指导原则,就构成了一个SOA。SOA有数十年系统工程的很好的实践,但是目前还缺少标准和专业工具,只在技术非常先进的项目中采用。SOA能让应用提高灵活性、重用性,但是在开发之前需要设计、洞察和协商。Web services是SOA的基础标准。随着基本的Web services服务(HTTP, DNS, XML and SOAP) 的普遍发展,和Microsoft,IBM及其它领先的IT厂商的认可,

15、大量的中间件和工具厂商已经更新了他们的产品或提供Web services架构的新产品。到2007年,Web services的采用将开创新的技术和商业契机。下图是SOA重新定义的中间件平台结构。SOA平台中间件结构图至2006年,基于服务的开发会改变软件开发、组装、销售的方式。Garner预测,到2007年75%的企业应用服务器的新功能都会成为无客户端的平台,在其它平台上应用只需要一个用户界面。新的、大型应用系列如果想有更长的生命周期,就应该开始使用SOA。忽视SOA的潜势或计划在早期阶段先不考虑的企业,将会发现他们自己已被那些先进的、敏捷的服务架构所摈弃。到2007年,SOA将成为市场的主流

16、,SODA是SOA的开发架构。业务平台应该重视此潮流。2、 ESB技术ESB(Enterprise Service Bus,即企业服务总线)是传统中间件技术与XML、Web服务等技术结合的产物。ESB提供了网络中最基本的连接中枢,是构筑企业神经系统的必要元素。企业服务总线ESB就是一种可以提供可靠的、有保证的消息技术的最新方法。ESB中间件产品利用的是Web服务标准和与公认的可靠消息MOM协议接口。ESB产品的共有特性包括:连接异构的MOM、利用Web服务描述语言接口封装MOM协议,以及在MOM传输层上传送简单对象应用协议(SOAP)传输流的能力。大多数ESB产品支持在分布式应用之间通过中间层

17、如集成代理实现直接对等沟通。企业服务总线(Enterprise Service Bus,ESB)的概念是从面向服务体系架构(Service - Oriented Architecture,SOA)发展而来的。SOA描述了一种IT基础设施的应用集成模型,其中的软构件集是以一种定义清晰的层次化结构相互耦合,其中,一个ESB是一个预先组装的SOA实现,它包含了实现SOA分层目标所必需的基础功能部件。(1) 企业服务总线(ESB)可以有那些用处ESB不是万能的,他不是一个应用程序框架,也不是一个企业应用的解决方案。它只是一个基于消息的调用企业服务的通信模块!你可以把它嵌入到你的应用程序框架中,例如嵌入

18、到spring容器里面,或者嵌入到工作流系统中。它的作用是对企业里面的SOA服务的调用提供一个框架和简便的方法。(2) 企业服务总线(ESB)的应用特征大规模分布式的企业应用需要相对简单而实用的中间件技术来简化和统一越来越复杂、繁琐的企业级信息系统平台。面向服务体系架构(SOA)是能够将应用程序的不同功能单元通过服务之间定义良好的接口和契约联系起来。SOA使用户可以不受限制地重复使用软件、把各种资源互连起来,只要IT人员选用标准接口包装旧的应用程序、把新的应用程序构建成服务,那么其它应用系统就可以很方便的使用这些功能服务。支撑SOA的关键是其消息传递架构企业服务总线(ESB)。ESB是传统中间

19、件技术与XML、Web服务等技术相互结合的产物,用于实现企业应用不同消息和信息的准确、高效和安全传递。ESB的出现改变了传统的软件架构,可以提供比传统中间件产品更为廉价的解决方案,同时它还可以消除不同应用之间的技术差异,让不同的应用服务协调运作,实现不同服务之间的通信与整合。ESB在不同领域具有非常广泛的用途:电信领域:ESB能够在全方位支持电信行业OSS的应用整合概念。是理想的电信级应用软件承载平台。电力领域:ESB能够在全方位支持电力行业EMS的数据整合概念,是理想的SCADA系统数据交换平台。金融领域:ESB能够在全方位支持银企间业务处理平台的流程整合概念,是理想的B2B交易支撑平台。电

20、子政务:ESB能够在全方位支持电子政务应用软件业务基础平台、信息共享交换平台、决策分析支撑平台和政务门户的平台化实现。(3) 企业服务总线(ESB)的结构和功能ESB提供了一种开放的、基于标准的消息机制,通过简单的标准适配器和接口,来完成粗粒度应用(服务)和其它组件之间的互操作,能够满足大型异构企业环境的集成需求。它可以在不改变现有基础结构的情况下让几代技术实现互操作。通过使用ESB,可以在几乎不更改代码的情况下,以一种无缝的非侵入方式使企业已有的系统具有全新的服务接口,并能够在部署环境中支持任何标准。更重要的是,充当“缓冲器”的ESB(负责在诸多服务之间转换业务逻辑和数据格式)与服务逻辑相分

21、离,从而使得不同的应用程序可以同时使用同一服务,用不着在应用程序或者数据发生变化时,改动服务代码。(4) InterESB的功能特点n 多种通信技术的综合应用n 高度灵活、可分布部署的信息总线n 便捷、标准的企业应用集成模式n 灵活的适配器技术n 与CORBA、J2EE技术的结合n 广泛的平台支持(5) 企业服务总线(ESB)的应用前景企业级应用系统一直是中国软件产业发展的主要方向之一,占有至关重要的地位。同时,它也受到整个世界IT发展潮流的影响,当前IT软件领域的主要技术趋势是SOA和ESB,原因是信息技术的不断发展和成熟使各个企业有机会在更大的范围内整合自己的资源,提高经营运行效率。二十一

22、世纪信息共享与整合对企业的变革发展日趋重要,而企业对网络环境的依赖及应用创新的追求,将是我们面临的主要挑战。3、 J2EE技术J2EE是主流的技术体系,J2EE已成为一个工业标准,围绕着J2EE有众多的厂家和产品,其中不乏优秀的软件产品,合理集成以J2EE为标准的软件产品构建新建业务系统,可以得到较好的稳定性、高可靠性和扩展性。J2EE技术的基础是JAVA语言,JAVA语言的与平台无关性,保证了基于J2EE平台开发的应用系统和支撑环境可以跨平台运行。J2EE平台包含有一整套的服务、应用编程接口(API)和协议,可用于开发基于Web的分布式应用。它定义了一套标准化、模块化的组件规范;并为这些组件

23、提供了一整套完整的服务、以及自动处理应用行为的许多细节-例如安全和多线程。由于J2EE构建在Java 2平台标准版本上(J2SE),因此,它继承了Java的所有优点面向对象、跨平台等。随着越来越多的第三方对Java 2平台企业版(J2EE)提供支持,Java已经被广泛用来开发企业级应用。基于J2EE技术的应用服务器(Application Server)主要是用来支持开发基于Web的三层体系结构应用的支撑平台,这一类的产品包括BEA Web Logic、IBM WebSphere等。4、 Web services技术Web services是为了让地理上分布在不同区域的计算机和设备一起工作,以

24、便为用户提供各种各样的服务。用户可以控制要获取信息的内容、时间、方式,而不必像现在这样在无数个信息孤岛中浏览,去寻找自己所需要的信息。利用Web services,公司和个人能够迅速且廉价地通过互联网向全球用户提供服务,建立全球范围的联系,在广泛的范围内寻找可能的合作伙伴。随着Web服务技术的发展和运用,我们目前所进行的开发和使用应用程序的信息处理活动将过渡到开发和使用Web services。将来,Web services将取代应用程序成为Web上的基本开发和应用实体。WebService规范了应用程序组件的包装、接口标准,应用系统之间可以通过SOAP协议进行访问,通过XML来交换数据,这为

25、分布式应用之间提供了简单、开放、标准的耦合新途径,已经得到越来越多业界的支持。5、 元数据及目录技术“元数据”是从英文单词“metadata”的中文意译,也有翻译为“元资料”(常见于东南亚、台湾等地的文献中)。元数据的直译为关于数据的数据,一般属于计算机领域中的术语。我们可以用一个简单的例子来说明;有一本书政治经济学,我们对它的书名、作者、出版社等信息做一个简单的摘要,那么这个摘要信息就可以称作元数据。同样的,关于物质世界的和初始事物的简单(相对于源)再描述所得到信息都可以称作元数据,这就是元数据的一般定义。元数据最基本的用途就是管理数据,从而实现查询、阅读、交换和共享。元数据的编写是有标准的

26、,对于不同领域一般都会根据需求来定义一个标准或几个标准。标准的设定是为了实现领域中的数据信息交换和共享,为研究和生产服务。元数据在不同研究领域中有不同提法,在政务信息资源管理领域主要关注以下基本问题(3WH),What有什么?Where位置在哪?Who谁提供?谁使用?How如何发布?如何查找?如何使用?政府信息资源目录体系就是一种信息资源的组织、整合和管理体系,解决有什么信息资源、在哪里、谁提供的问题,实现信息资源的管理、共享、查询和定位服务。四、 产品功能交换服务数据交换服务是数据共享交换平台的核心,数据交换系服统件包括六部分:路由服务、转换服务、安全服务、消息通讯服务、发送接收服务、接入服

27、务。(一) 路由服务路由服务可使用像业务名称这样的地址,在服务之间路由消息,控制消息的存储和分发,并对每个消息启动正确的处理流程;实现数据交换路由解析功能,可实现数据的多步多级传输。 路由可以是显式的:使用输入数据提供的显式地址或映像中的显式地址; 路由服务也可以是基于内容的:分析输入数据或输出数据的内容以确定需要在哪里对输出进行路由; 基于主题的消息路由,支持发布订阅机制:主题是消息目的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性。(二) 转换服务转换服务包括协议转换、格式转换、数据

28、转换,通过转换解决交换节点间协议差别、异构、数据项差异等问题1、 协议转换在请求方和服务方之间进行协议转换,解决异构系统之间由于通讯协议不同而不能互联互通的问题;2、 格式转换在请求方和服务方之间进行消息格式转换,解决异构系统之间由于数据描述方式不同而不能互联互通的问题,解决不同企业应用程序的本体和语义的异类问题。 支持各种主流关系型数据库之间的数据交换,如Oracle、SQL Server、DB2、Sybase、Access、Excel、MySql等。 支持数据表名称和字段名称转换,可以实现不同表名、字段名的数据表之间的数据交换3、 数据转换指通过数据项定义功能,实现选择源数据表的全部数据接

29、入或选择源数据表的部分字段接入;筛选数据记录或定义接入条件,实现只有符合条件的数据记录才被接入数据交换平台。数据表转换的实际内容是数据记录的拆分、组合,数据交换平台通过主健定义,多转换关系表定义等环节,实现各种记录处理。(1) 一表对一表交换数据交换平台可以实现基本的一个数据表到一个数据表的交换,并且在一对一交换中支持一个源数据表的一个记录的不同字段在目标表中生成两条或多条记录。(2) 一表对多表交换数据交换平台可以支持“一对多”交换。实现一个源数据表中的一条记录的不同字段组合交换为多个目标表中的记录。(3) 多表对一表交换数据交换平台可以支持“多对一”交换。实现多个源数据表中的数据记录组合转

30、换为一个目标表中的一条记录。(三) 安全服务能够基于产品自带的安全服务功能,对敏感信息交换进行MD5、DES、SSL加密,根据数据加密应用途径进行交换信息内容的加密(可逆或不可逆),保障数据交换传输过程中的安全。同时还将具有数据合法性验证功能,能够对交换平台与应用系统之间以及交换系统之间的两类合法性验证,确保数据可信交换。(四) 消息通讯服务MQ消息通讯服务为数据共享交换平台提供强健的消息中间件基础平台,它的主要功能如下:1、 支持同步或异步通信同步处理是指每一步骤必须等待下一步骤完成后才能继续进行;异步处理建立在系统间异步、基于消息的交互上,基于“存储转发”或消息队列服务,采用“松散耦合”的

31、方式连接,这使得分布式系统具有更高的可用性和可伸缩性。(1) 即时传输基于事件驱动,由系统运行时动态产生和控制的会话方式。对于没有网络占用时段限制或要求实时传输数据的交换可以定义为即时传输模式,即时传输模式可以将接入数据即时发送到接收节点。(2) 定时传输由系统定时器根据预设的定时策略产生和控制的会话方式。对于有网络占用时段限制或不要求实时传输数据的交换可以定义为定时传输模式,定时传输模式可以在指定时间将接入数据发送到接收节点。即时传输模式支持定点传输和指定间隔时间轮询启动传输。(3) 手工启动传输系统运行时由用户手工产生和控制的会话方式2、 支持多种传输模式数据交换平台支持多种方式的数据分发

32、,即可实现基于交换服务器的一对一的队列传输和一对多的发布订阅传输,也支持两个适配器的直接消息传输。(1) 订阅平台基于主题的消息路由,支持发布订阅机制:主题是消息目的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性(2) 队列平台支持队列方式,方便实现一点对一点的数据传输。3、 支持多通讯模式:支持数据的发布/订阅、请求/应答通信模式;发布/订阅通信模式完全是一种“推”(Push)的技术;而请求/应答通信模式是对传统Client/Server通信模式的支持,即支持“拉”(Pull)技术。用

33、户可以根据具体应用的信息处理流程来选择合适的通信模式。(1) 推:点到点或点到多点的主动信息推送方式(2) 拉:点到点或点到多点的被动信息获取方式(3) 组播:在一个域或群组范围内的多点群发方式4、 可靠传输支持断点续传、分块传输;保证消息传输一次且仅需传输一次,确保数据可靠传送。当以主题发布消息时,保证每个订阅者都可以接受到消息,而且每个订阅者只能接受一次。另外,由于发布者产生的消息是按时间顺序放在相当于队列的消息队列表中,可以保证按消息产生的时间序列依次发送,同样,也按时间序列接受和处理消息,所以,整个架构不仅可保证消息传递的可靠性而且可保证消息处理的时序性。5、 事务支持发送方只有成功地

34、发送消息时,才删除消息队列中的消息,否则回滚事务;只有在受到接收方确认消息(Point/Point时)或所有订阅者确认消息(Publish/Subscriber时)之后,才删除持久性存储的消息;接收适配器只有成功地将消息映像到目标数据库后,才给消息通讯服务器发送确认消息。6、 解码/编码将数据转换到与数据交换平台相同的代码页,编码服务则可将输出数据的字符集编码为系统的代码页。7、 数据压缩/加密解密支持数据传输过程中的数据压缩/加密处理,保证数据传输安全。8、 序列化/反序列化序列化服务获取输出数据结构并将其序列化到可通过网络传输的纯文本文件中,反序列化服务执行相反的操作。9、 地址转换在分配

35、给集成服务目的地的逻辑业务地址与网络协议所需要的网络地址间转换。(五) 发送接收传输服务执行数据的传输或接收,提供JMS、WebServices、FTP、HTTP/HTTPS、IIOP、RMI、File、Socket等多种方式数据传输。 (六) 接入服务数据共享交换平台的接入包括采集接入(相关单位到中心基础数据库)和共享接入(中心基础数据库到相关单位),数据接入功能提供可视化配置与管理,支持多种接入方式和接入模式,支持基于元数据的可视化数据接入。1、 接入方式数据共享交换平台支持多种接入方式,接入方式包括中间数据表接入、原始系统表接入、文件目录树接入、Web services接入、文件解析接入

36、、数据表单接入等。可根据不同需要配置各种接入方式。(1) 中间数据表接入对于可以推送交换数据的节点,可采用中间表接入方式接入,这种方式最简单,接口界面清晰,利于排查问题,并且可以保证原始系统不受交换平台的影响,保证原始系统数据的安全。中间数据表接入方式即根据实际业务需要,定义所需交换数据的表结构,建立接口数据表,原始应用系统负责向接口表中传送需要的数据,交换平台负责将接口表中的数据交换到目标节点。中间数据表接入方式要求原始应用系统提供数据推送服务,每个接入节点的实施将有一定的工作量。(2) 原始系统表接入对于不可以推送交换数据并对数据共享交换平台信任的节点,可采用原始系统表接入方式接入,这种方

37、式比较复杂,接口界面不清晰,不利于排查问题,并且涉及到原始系统数据库会受交换平台一定影响,要靠严格的授权机制来保证原始系统数据的安全。原始系统表接入方式即根据实际业务需要,在原始应用系统数据表中选择需要的数据项,直接交换到目标节点。原始系统表接入方式不要求原始应用系统提供数据推送服务,每个接入节点的实施工作量很小,可以方便的增加、减少数据表和数据项,但是需要提供完整的原始系统表结构说明。(3) 文件目录树接入平台提供文件目录接入功能,可实现各节点间指定目录节点中文件的传输和同步,这种方式可简单的实现两台服务器间目录文件的同步。(4) Web Service接入平台提供Web services接

38、入接口,原始系统可通过调用Web services接口将数据推送到交换平台,同时,交换平台也提供Web services调用功能,通过调用原始系统的Web services服务获得数据。(5) 文件解析接入平台提供文件解析接入功能,将系统或者其它方式生成的Excel、TXT、PDF、DOC等各类格式的数据文件解析入库,再以数据库的方式交换。(6) 数据表单接入为用户提供数据表单,用户直接在表单上输入数据,提交后系统直接入库并传输。(7) GIS数据接入平台支持gis数据的交换,GIS数据库中将存在Tab空间图像数据,平台将库中图像数据定义为标准的二进制数据文件(以Blob、Clob等模式通过底

39、层二进制完成存储转发),借助JMS消息完成数据的交换服务。(8) 适配器模板服务接口数据共享交换平台能在以上各类通用接口的基础上,提供数据交换服务适配器模板,用户可根据模板形成特殊数据交换服务适配器组件的开发和使用。2、 接入适配器系统通过丰富的内置适配器和组件支持上述的多种接入方式。3、 触发模式数据共享交换平台对各种接入数据的传送触发提供三种模式:数据库触发器触发模式、数据库轮询触发模式、目录监听触发模式。(1) 数据库触发器对于支持触发器的数据库,可以采用触发器触发模式,原始数据的任何变化都可以触发接入动作,实现即时的数据接入。(2) 数据库轮询对于不支持触发器、数据采集时间受限制(如:

40、白天的上下午不能影响业务系统正常运行)并且数据量不大的数据库接入,可采用轮询触发模式,数据库轮询模式可以实现指定时间间隔的数据库数据采集动作。(3) 目录监听目录接入方式采用目录监听方式,指定目录内任何文件变化都可以触发数据交换平台的接入动作。4、 交换模式(1) 单向传送平台可实现数据库、文件目录的单向数据传输,保证数据源的任何变化都传送到目标节点。(2) 双向同步平台可实现数据库、文件目录的双向数据传输,保证数据源和目标节点数据的同步。五、 产品功能管理平台数据共享交换平台的管理功能包括五部分:资源管理、共享管理、授权管理控制、运维管理、平台管理。数据共享交换平台的的管理功能部署在三个控制

41、台上:中央管理控制台、前置机控制台、交换与传输控制台。在物理部署上,前置机控制台将随适配器部署在前置机或业务系统服务器上;交换与传输控制台部署在核心交换服务器上;中央管理控制台可以独立部署也可以部署在核心交换服务器上。数据共享交换平台提供功能强大的可视化管理控制功能,实现便捷的平台监控、配置、授权等平台管理控制工作。可监控各种数据的交换情况,统计交换数量,灵活方便的处理系统异常情况。另外,在数据交换的基础上实现对所交换数据资源的目录化管理和资源共享管理过程的管理。具体管理功能如下:(一) 资源管理平台提供共享资源目录服务管理功能,资源目录节点的内容为数据资源的元数据描述,用户可以在平台上注册、

42、更新数据资源目录,并可通过资源目录导航查询到需要的数据资源。1、业务模型共享信息资源库均依托于各单位信息资源库建立,提供者从中提取出共享信息资源的特征信息,编目形成共享信息资源核心元数据,注册到共享信息资源元数据库中,生成共享信息资源目录。使用者通过数据共享交换平台一站式服务对共享信息资源进行目录查询。共享资源目录系统的业务模型如下图所示:数据共享交换平台从概念上存在三类角色:信息资源提供者、信息资源使用者、信息资源中心。信息资源提供者负责向使用者提供资源,并向共享资源目录发布目录;信息资源使用者向共享资源目录查询资源,通过交换系统使用提供者的资源;共享资源目录负责分类管理提供者的共享资源目录

43、,向信息资源使用者提供查询服务。在应急情况下,信息资源使用者也可以不通过共享资源目录查询直接与信息资源提供者进行信息交换。目录系统与交换平台的关系模型如下图所示:各单位对共享信息资源元数据编目,并通过元数据注册系统向管理者注册。管理者经审核后,发布已注册的目录内容。信息资源使用者(以下简称使用者)通过共享信息资源目录一站式查询信息资源。共享信息资源目录服务业务流程如下图所示:2、功能模块1) 资源注册系统提供数据资源目录服务及数据资源元数据注册功能,用户可以注册全部数据资源在一棵目录树上2) 分类查询目录建设为了便于用户查询资源,平台除提供资源目录之外,还提供分类查询目录服务,用户可以按照不同

44、的查询习惯建成不同的分类查询目录3) 资源挂接基于资源目录和分类查询目录,将资源目录节点挂接到分类查询目录,用户便可通过不同的分类查询目录查询到需要的资源信息。4) 资源浏览用户可以通过分类查询目录浏览数据资源的元数据信息。(二) 共享管理数据共享交换平台提供流程管理功能,支持各单位共享需求的申请、审核、批准、反馈等审批流程,实现共享需求审批的无纸化办公。1、业务流程各部门各单位申请资源共享的流程为:需求方首先通过共享交换平台目录服务查找所需资源,如果没有找到所需信息资源,可以向信息中心提出需求申请,信息中心根据需求进行相关协调工作,扩大共享范围;如果有,则向平台(信息中心)提出共享申请,申请

45、的审查为三级管理,及信息中心、相关处室和单位领导,先由信息中心根据信息共享的对象及范围等情况,反馈通过、提交相关处室或不通过的结果,相关处室根据申请的情况反馈通过、提交单位领导或不通过的结果,最终由单位领导作出决定,通过或不通过。得到任何一级通过的申请均可以获得数据共享的权限,平台管理员进行相应的配置后即可实现共享。详细共享工作业务路程见下图:2、数据流程设计信息资源交换体系由一系列交换节点组成,依托广域网和信息安全基础设施,通过采用信息资源交换标准,实现跨跨部门应用系统之间的信息资源交换。交换体系的概念模型如下图所示。业务信息:是由各部门、各单位产生和管理的信息资源。交换节点:是交换体系中信

46、息资源交换的起点或终点,完成业务信息与交换信息之间的转换,并通过交换服务实现信息资源的接收和发送。交换信息:是交换节点用于存储参与交换的信息资源。中心交换节点:主要为交换信息提供点到点、点到多点的信息路由、信息传送功能和工作流机制。在两个端交换节点之间可以有0个或若干个中心交换结点。共享信息库:是可以为多个端交换节点提供一致的信息资源的信息集中存储区,包括基础信息资源、共享信息资源等。任意一个端交换节点可以按照一定的规则访问共享信息库。在交换体系中,共享信息库是可选的。交换服务:是支持交换节点间执行交换信息资源的操作集合。通过不同交换服务的组合支持业务协同。共享交换的数据流程依托于共享工作流程

47、。数据首先由数据提供方存放到节点上,节点上的数据对共享平台开放,由共享平台控制,信息资源必须经过共享交换平台授权才能传给需求方。共享交换平台能够随时获取任一节点的信息。集团共享交换数据流程如下图所示:共享交换平台实现两种数据交换方式: 交换共享(数据“落地”集中)模式:各单位之间通过交换平台实现交换,交换的数据通过数据共享平台存储在基础数据库中,形成需要共享的基础数据。 对等交换(数据“不落地”)模式:各单位之间通过交换平台实现透明的点对点对等交换,交换的数据不需存储在交换中心节点中。这种模式实际上建立了一种数据交换通道或交换总线。数据资源共享交换有以下四个数据流程:n 共享目录中有,基础数据

48、库中亦已有的数据资源:共享需求获得批准后,直接将基础数据库数据交换到需求节点,数据来源节点实时更新基础数据库,基础数据库更新需求节点。n 共享目录中有,基础数据库中没有的数据资源:共享需求获得批准后,协调数据来源单位提供数据到前置机节点上,分析数据是否需要充实到基础数据库,如果需要,将数据交换到基础数据库,再由基础数据库交换到需求节点;如果不需要,直接将来源数据交换到需求节点。n 共享目录中没有,基础数据库中也没有的数据资源:共享需求获得批准后,补充资源目录,协调数据来源单位提供数据到前置机节点上,分析数据是否需要充实到基础数据库,如果需要,将数据交换到基础数据库,再由基础数据库交换到需求节点

49、;如果不需要,直接将来源数据交换到需求节点。n 应急情况下,直接将来源数据交换到需求节点。3、功能模块1) 共享申请各单位及各部门可以在管理平台上申请所需的数据资源,可以申请资源目录中已有资源也可申请资源目录中没有的新资源。系统提供部门或单位领导审核的功能,申请单位或部门可以查看本部门或单位申请审批的进程。2) 送审管理信息中心可查看所有单位及部门提出的共享申请;可将申请转发相关部门或公司领导审核,并汇总审核意见作出是否共享资源的决定;可将通过审核的申请安排技术人员配置;最终将通过或未通过的申请至于结束状态。3) 共享审批相关部门或公司领导对信息中心转发过来的申请进行审核,提出本部门或本人处理

50、意见。4) 共享配置平台配置管理人员查看共享配置任务,回复工作状态和配置结果(三) 授权管理数据共享交换平台的权限管理使用平台自身的授权系统实现,数据共享交换平台的授权控制管理包括:分级授权管理、用户管理、目录服务授权、交换管理授权、共享管理的授权等。1、分级授权管理系统管理员可以将平台的授权管理权限分配给不同的二级系统管理员,实现管理分工。2、用户管理数据共享交换平台拥有完整的用户管理系统,可以进行用户目录的增、删、改、查。平台支持以目录同步方式实现与统一用户及认证系统的对接,平台用户目录分为两部分:与统一用户系统同步部分、私有用户部分,数据共享交换平台用户认证通过调用统一用户及认证系统实现

51、,进而实现与CA的对接。3、目录服务授权授权系统支持对共享资源目录的授权,可以控制每个分类查询资源目录节点查看权限。4、共享管理授权共享授权是指共享管理中审批流程的授权,可定义每种角色甚至每个人在共享需求审批流程中的权力。5、交换管理授权交换管理授权是指对交换平台管理范围的授权,可以定义哪些用户可以维护交换平台,哪些用户可以对交换情况进行监控和统计,哪个用户可以维护某个前置机等。(四) 运维管理运维管理是对数据交换运行情况的监控。通过内置的日志服务代理(Agent),可定义底层代理握手轮询时间片,并基于Agent日志分析提供异常情况报警功能;支持对经过交换平台(含各个交换节点)的数据流量进行查

52、询、统计;记录数据交换服务的使用情况;对数据交换任务进行跟踪和事后审计;对操作员的每一步操作进行日志记载;提供查询分析手段,为管理人员对整个系统的管理提供依据。1、 节点状态查询管理人员可以通过管理平台查看各前置节点的运行状态,及时发现故障节点,保障交换服务稳定。2、 交换情况监控管理人员可以通过一个列表查看当天(或某一天)全部交换通道的交换情况,包括发送量、接收量、参考量等。3、 数据交换比对管理人员可以通过一个列表查看一个时间段内某个交换通道的交换情况,包括发送量、接收量、参考量等。4、 统计数据跟踪当管理人员通过交换情况监控、数据交换比对功能发现交换异常时,可以通过统计数据跟踪功能查询具

53、体数据表的交换情况,帮助管理人员分析交换异常原因。5、 统计分析统计分析功能通过各个交换节点收发交换数据的频率、内容、流量进行数据库、文件交换的统计分析功能,包括文件/数据发送统计、文件/数据接收统计、文件/数据交换综合统计,统计维度包括:发送文件/数据数量排名、发送文件/数据大小排名、发送/数据对比统计排名、接收文件/数据数量排名、接收文件/数据大小排名、接收文件/数据对比统计以及文件交换明细日志(文件/数据名称、发送方、接收方、发送方式、文件/数据大小、发送时间、接收时间等),并基于饼图、柱状图、折线图等多种方式予以展现。(五) 平台管理平台支持两级管理:中央管理控制台和二级交换节点管理,

54、中央控制台可实现全局的平台管理,二级交换节点完成本节点管理。平台管理功能基于BS结构,可实现对各个二级交换节点的远程配置和管理。1、 节点配置节点配置的主要功能是将已建各交换节点前置机服务接入管理平台进行宏观管理和监控。2、 参数设置参数设置功能主要是为运维管理、统计分析等功能提供参考参数,如:发送频率、数据比对参考值、记录平均大小等。3、 配置备份管理实现平台各项配置管理数据的存储、备份功能。4、 软件分发管理软件分发管理的主要目的是远程升级节点前置机,功能包括软件上载管理和站点升级管理5、 节点配置管理节点配置管理的主要目的配置维护交换节点的主要参数,包括:控制台配置、适配器配置、服务器配

55、置。6、 节点适配器管理适配器管理主要包括适配器状态查询、安装、启动、停止适配器、数据初始化等功能。7、 节点交换管理节点交换管理的目的是在运维管理功能中确定哪个数据表交换出现问题后,有系统管理员在此功能模块中查询日志,近一步分析原因,并可重新传输数据库和文件。8、 日志管理数据交换过程中产生的各类消息日志、平台运行日志被记录成日志文件,便于对数据交换任务进行跟踪和事后审计。日志管理功能主要是对这些日志文件进行归档、备份、清空等管理,并可浏览日志文件。六、 产品特点1. 基于面向服务的架构(SOA)、支持Web Services标准:遵循标准的、面向服务架构(SOA)的方式,基于先进的企业服务

56、总线ESB技术,遵循XML技术标准和规范,实现Web Services的方式启动路由,传送文件和调用远程Web Services。2. 可配置的预制接口适配器,有效解决数据交换的“最后一公里”问题拥有可重用的数据交换和文件交换适配器,支持Oracle、DB2、MS SQL Server、Sybase、MySQL等多种主流数据库类型,支持Excel、Word、PDF、TEXT等多种文件类型;提供前置交换节点、目录管理节点、部门平台节点和应用系统节点四种接入方式。通过在节点服务器的可视化配置功能,即可实现各节点本地多类型数据库结构的自动读取、数据自动采集、交换共享工作,用户可无须进行编码工作即可通

57、过直观、简便的操作完成本地数据的交换共享,实现对节点应用系统和数据库的对接,有效解决数据交换的“最后一公里”问题,快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享。 灵活的部署方式和集中式的管理架构:支持集中和分布式部署,部署方式灵活,系统扩容方便,保护用户投资;平台提供集成一体化的统一软件分发、完善的安装、远程服务组件部署、配置、远程监控、跟踪、日志功能,适应不同的管理模式。3. 安全可靠的数据传输:拥有断点续传、分块传输功能,保证消息传输一次且仅需传输一次,即不重传、不漏传、断点续传,确保数据可靠高效传输;实现数据传送的事务性,保证数据安全。4. 支持多种共享交换方

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论