智能中台数据底座解决方案_第1页
智能中台数据底座解决方案_第2页
智能中台数据底座解决方案_第3页
智能中台数据底座解决方案_第4页
智能中台数据底座解决方案_第5页
已阅读5页,还剩77页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、智能中台数据底座解决方案一、前言错误!未定义书签。 TOC o 1-5 h z 1概述41.2我们对标书的理解41.3系统建设原则61.4系统建设总体目标81.5系统平台的技术指标 9二、XXXX决策大数据平台解决方案131需求分析132. 1. 1数据交换142. 1.2数据流引擎152. 1.3数据中心182.2系统总体结构202. 3数据交换系统(数据交换/数据流引擎)设计221需要解决的问题222.3.2系统体系结构242.3.3数据交换标准262. 3. 4数据交换中心系统结构设计312.3.5 CIP数据交换器的作用351数据流引擎352. 3. 5. 2 XML数据(表单)处理3

2、82. 3. 5. 3交换标准管理392.3.6数据交换节点(各委办局)数据交换适配器配置402.3.7 CIP IESD平台构建智能中台数据底座数据交换系统的特点422. 4数据中心系统设计431需要解决的问题432. 4. 3数据中心数据库类型划分472. 4. 4数据中心基础数据库服务器的选择492.4.5数据中心功能体系结构511 UDDI 注册中心532. 4. 5. 2基于XML和Web Service的元数据共享服务系统 562. 4. 5. 3动态数据管理系统 655.4数据挖掘和决策支持系统732. 4. 5. 5运行管理系统792. 5平台的集成822. 6数据中心的安全8

3、3前言1.1项目概述根据实际情况编制。1.2我们对标书的理解我公司对于所提出的项目建设总体目标、XX市智能中 台数据底座建设的现状及数据交换、数据流引擎和数据中心 系统的技术要求以及项目实施的总体规划进行了认真的研 读和分析,对任务书的内涵进行了充分的理解。1、数据交换、数据流引擎和数据中心系统的建设必须基 于成熟、可靠的平台产品。数据交换、数据流引擎和数据中心系统是协作式智能中 台数据底座应用平台的核心基础服务模块,负责实现跨系统 的数据交换、流程控制和分布式数据存储服务。因此,这些 系统的开发,必须基于成熟、可靠、遵循国际通行标准的相 关平台产品。2、数据交换、数据流引擎和数据中心系统的建

4、设是一个 复杂的系统工程数据交换、数据流引擎和数据中心系统的建设也并非采 用和配置一两套现有的产品软件就可以完成的,它是一个综 合的应用支撑平台,担负着与智能中台数据底座软件平台中 其他后台系统和服务的集成和接口。从项目所要实现的功能和性能来看,数据交换、数据流 引擎和数据中心系统必须与服务门户、安全体系、管理系统 等XXXX平台核心服务紧密集成;必须为139个局委办的众 多业务系统和协同办公系统提供安全可靠的数据交换和存 储服务;必须为海量XXXX数字的发布和查询提供方便的管 理。从技术实现过程中所采用的技术来看,它包括了软件开 发技术、互联网技术 webservice与XML技术、中间件技

5、术、 数据库和数据仓库技术等当今最先进的计算机技术。因此,数据交换、数据流引擎和数据中心系统的建设是 一个复杂的系统工程。3、项目成功的关键因素取决于管理和协作提高管理和协作水平是本项目成功的最为关键的因素。 首先,XXXX系统的建设不仅仅取决于技术,更重要的是人的 因素和管理方法,而这些又具体体现为一整套严谨的、规范 化的工程实施和管理方法;第二,智能中台数据底座系统建 设的复杂性决定了数据交换、数据流引擎和数据中心系统建 设必须与其他平台服务系统和业务应用系统建设的紧密协 作和配合,这也是项目建设的关键之所在。4、先进实用与安全可靠是本系统成功的重要因素任务书中的技术要求,充分体现了采用当

6、今世界先进计 算机技术与保护现有投资的结合,在各项技术指标满足要求 的前提下,对于现有的计算机设备、应用系统和数字资源进 行合理的利用,充分发挥投资效益。在任务书中对于系统的安全可靠提出了全面的要求,这 也是智能中台数据底座数据交换、数据流引擎和数据中心系 统的核心技术要求,必须将智能中台数据底座数据交换、数 据流引擎和数据中心系统建设与智能中台数据底座安全体 系建设紧密集成,才能保证各个系统全部范围的安全可靠和 数据安全。1.3系统建设原则作为XX市智能中台数据底座系统的核心服务层,XXXX 数据交换、数据流引擎和数据中心系统的建设必须遵循以下 基本原则:1、安全可靠第一原则数据交换、数据流

7、引擎和数据中心系统所处理、传送和 管理的数字,可能涉及到政府、企业、社会经济和个人隐私 等秘密或敏感数字,此类数字处理和传递的任何环节如果出 现漏洞,其损失将是巨大的。因此,系统的安全性将是十分 重要的原则。其次,数据交换、数据流引擎和数据中心系统 承受着大批量的关键性数据的流转、交换和存储,系统的可 靠性将是系统建设需要重点考虑的问题。2、经济、实用原则确保系统具有友好的用户界面、便于掌握、使用和维护, 且能解决具体的实际问题。在保证系统性能并达到要求的前 提下,尽量使系统投资最省。3、灵活、高效原则确保系统具有良好的系统性能、较高的处理效率,且配 置和使用灵活,响应速度快。4、先进、规范原

8、则采用符合国际标准的、先进而且成熟的数据平台产品, 使系统具有较高的技术水平和较长的生命周期。同时具备较 好的开放性、可靠性及可扩展性。与此同时,开发定制过程 控制、文档规范化等应遵循相应的国际标准、国家标准和惯 例。5、投资保护原则极大限度地保护原有业务系统和数据库系统的投资,充 分利用现有和将来的业务系统采集的数字资源,并为这些业 务系统在数据交换、数据流引擎和数据中心系统上的数据交 换和存储提供标准的或定制的接口支持。6、统一规划、分步实施、尽快见效原则由于数据交换、数据流引擎和数据中心系统所涉及的内 容多,需要集成的系统和服务多,为了尽快见效,应该在统 一规划下,采用分步实施方法来进行

9、配置和定制开发。1.4系统建设总体目标X X市智能中台数据底座平台建设的总体应用目标是: 通过XXXX平台为公民提供教育培训、就业、电子医疗、社会 保险、公民数字、交通管理、电子税务、电子证件等各类服 务;为工商、企事业单位提供电子采购与招标、电子税务、 电子证照、数字咨询、网上投诉等服务;为上下级政府、不 同区县政府、各局委办部门之间的法规政策、公文流转、司 法档案、办公培训、业绩评价等方面的服务。XX市智能中台数据底座平台建设的总体技术目标是:通过XXXX平台的建设,在平台各核心服务之间,平台与政府 各部门业务应用系统之间形成统一的数据交换协议、标准和 服务;实现政府各部门数字系统的互通互

10、联;建立统一的 XXXX数字数据模型和中心数据库,实现数据在全局意义上的 动态性、一致性和完整性。X X市智能中台数据底座数据交换系统建设的目标是: 在综合业务支撑平台所提供的信任服务基础之上,通过对业 务系统提供标准的数字交换服务调用,并确保整个数字交换 过程的安全性、可靠性,最终实现整个X X市智能中台数据 底座系统内部自由的数字交换。通过可信数字交换系统,实 现智能中台数据底座系统跨平台、跨系统、跨应用、跨地区 的互联互通和数字共享,为政府部门之间进行公文交换、并 联审批等提供支持。XX市智能中台数据底座数据流引擎建设的目标是:为 全面实现“网上并联审批”、“一网式”审批、“一站式”领

11、证、一表式”登记的电子网上服务提供支撑平台。XX市智能中台数据底座数据中心建设的目标是:建立 一个集中分散、异构、可扩充、可集成、有统一数据模型、 有多种角度视图的、可交换的和安全可靠的复合数据库系统。 该系统包括五类数据库:关系数据库,文件数据库,UDDI注 册中心数据库,数据仓库和多媒体库。它将成为XX政府各 种业务系统、政府部门之间协同工作的数据中心,是XX市 政府门户的数字中心,多媒体、文档资料和政策法规的存储 中心和预测决策所有的数据仓库中心。此外,XX市政府通过系统的建设与推广,一方面培养 出一支具有工程管理、系统维护、系统管理的技术队伍;更 为重要的是培养出既精通政府工作业务,又

12、掌握数字化管理 技术的人才。5系统平台的技术指标由于数据交换、数据流和数据中心系统将成为智能中台 数据底座应用和集成的中心平台,在整个智能中台数据底座 系统中位于核心的地位,因此对系统基础支撑平台的设计、 选型和研制时。必须考虑下面所述的基本原则和技术指标:1、规范性:系统符合国家智能中台数据底座有关标准和规范要 求;系统的结构设计遵循一定的规范,保证细化设计和 未来的发展保持完整性;遵循严格的开发规范,保证开发过程的质量和系统 组件的可重用性;制定和遵循严格、先进和完整的接口标准,保证系 统内各组件之间以及系统对外支持的应用系统的接口 实现;智能中台数据底座平台数据交换按照一定的规范要 求交

13、互。该平台应使用XML的数据交互,符合国家或 行业的智能中台数据底座及电子商务数据交互规范, 以保证数据交换的通用性。组件的设计和数据结构设计采用先进完整的规范, 保证系统的可发展性;2、可扩展性:平台能提供一组用于响应来源于智能中台数据底座 系统请求和访问平台业务的应用接口,以使智能中台 数据底座内部管理系统提供商开发基于该平台的应用 组件或系统;平台所有的对外接口既可开发针对主流产品的完整 接口,又可提供开发接口的SDK,用于扩展支持的对象,使用户可以方便的开发新接口;平台自身采用分布式组件化设计,实现高度的开放 性和可扩展性,保证能适应庞大的政府机构的分布式 的应用;3、可管理性:平台提

14、供完善的安装、部署、配置、监控手段,保 证平台高度的可维护性;系统应针对所有核心平台和所有功能模块的管理功 能、数据定义、流程处理以及XXXX流程处理功能提供 简洁、方便的管理或开发定值用户界面,保证所有系 统用户能够高效地实施操作;平台具备高度的适应性,以适应政府数字化软件的 现状;平台提供灵活、丰富可扩展的配置功能适应政 府内部数据结构的变化。4、可靠性:平台提供有效的安全保障机制并与整个软件平台的 安全支撑系统相结合;系统结构设计的完整和坚固性,保证平台运行稳定 可靠;保证数据的安全性、重要数据的完整性、一致性和 可恢复性;系统提供备份和恢复机制,确保在日常维护或是意外崩溃时政府数字化网

15、络平台可以正常运转;系统应用服务能力的线性扩展和流量均衡,以保证 在大事务量、大数据量的环境下能加以调配以满足实 际情况的需求;服务器具备高可用性,以保证在个体服务器或服务 出现故障时,平台应用和服务不受影响。5、兼容性:支持主流数据库系统的市场现行版本,包括0racleDB2、 MS SQL Server. Sybase. ACCESS 等;支持主流的应用服务器软件市场现行版本,包括BEA WebLogic Borland Application Server IBM WebsphereOracle Application Server 产品、SybaseEP/Jaguar CTS、 SUN

16、 iPlant;支持主流的WEB服务器市场现行版本,包括:Apache.Netscape Enterprise Server Microsoft InternetInformation Server;支持主流的应用服务组件(中间件),包括:Enterprise Java Bean CORBA、 COM/DCOM;符合cnXML.cegXML等流行的智能中台数据底座(商 务)数据交互规范。二、XXXX决策大数据平台解决方案2. 1需求分析根据系统总体规划,建设数据交换、数据流引擎及数据 中心是实现智能中台数据底座应用层“互联互通、数字共享” 的基础,同时也是实现公文交换、并联审批的支撑系统。数据

17、的集成与交换是各项业务功能实现的基础。基于数 据源分布的多样性,以及结构的多样性,要求平台以XML为 基础,同时结合各类数据提取、转换网关,实现基础的数据 表示和数据交换。对基础的数据元、业务元与业务流,采用 统一的元数据管理机制,服务于数据集成、数据交换、业务 协同和业务集成。同时,以元数据管理为基础,实现具体目 标业务系统的数据结构、业务单元的自动生成与统一重构。数据流引擎侧重于机构内部业务流程一体化的构建,要 求在更高的层次上,能将不同机构、不同类别的应用系统集 成为一体。以XXXX务协同与XXXX集成为基础,以业务数据 的整合、交换和智能化利用为核心,为最终的使用者提供集 成化、个性化

18、的业务访问入口,支持XXXX运作体制的优化。 数据交换、XXXX协同与XXXX集成平台,以支持J2EE架构的 应用服务器为基础,采用EJB和Web services的方式实现 业务过程的表示与封装,并以EJB和Web services为基础 实现业务过程的协同和XXXX数据的交换。2. 1.1数据交换作为数据平台重要组成部分,数据交换负责整个智能中 台数据底座平台对同构或异构数据源之间的数据交换。XX市的政府数字化工作已经开展了很长一段时间,政 府各部门已经先后建立起自己的应用系统。这些应用系统之 间都是独立的,数据没有统一标准、系统也没有相连。这种 现状导致,各政府部门之间的数字资源无法共享

19、、部门之间 工作移交无法电子化。这极大地限制了数字化提高政府工作 效率的效果。要解决这个问题,就需要建立一个数据交换平台,能连 接在各种开发平台下开发的系统,能实现异构数据的转换, 并有严格的安全控制措施。1、目标需求可信的数字交换系统是智能中台数据底座综合业务支 撑平台所提供的关键服务。可信数字交换系统在综合业务支 撑平台所提供的信任服务基础之上,通过对业务系统提供标 准的数字交换服务调用,并确保整个数字交换过程的安全性、 可靠性,最终实现整个XX市智能中台数据底座系统内部自 由的数字交换。通过可信数字交换系统,实现智能中台数据 底座系统跨平台、跨系统、跨应用、跨地区的互联互通和数 字共享,

20、为政府部门之间进行公文交换、并联审批等提供支 持。2、功能需求提供跨平台、跨多种网络模式的数据交换的全套软件 系统同安全、门户、并联审批平台和公共服务等部分进行 统一的实施提供各个局委办的数字系统的接口和统一的接口开发 工具,并能为实现10业务系统提供全面的技术支持2.1.2数据流引擎1、目标需求为全面实现“网上并联审批一网式”审批,一站式” 领证,“一表式”登记的电子网上服务提供支撑平台。2、功能需求(1)工作流引擎工作流引擎是工作流平台的核心,它是业务流程的任务 调度器。工作流引擎的具体功能如下:对过程定义进行解释控制过程实例的创建、激活、挂起、终止等控制活动实例间的转换,包括串行或并行的

21、操作、工 作流相关数据的解释等支持分布式工作流的协同管理流程的柔性执行提供支持用户操作的接口维护工作流控制数据和工作流相关数据提供用于激活外部应用程序和访问工作流相关数据的 接口提供控制、管理和监督工作流实例执行情况的功能。表单设计用户可以使用图形化设计方法,开发出动态页面应用, 其结果可保存为XML并具有数据库访问能力。表单开发工具 的主要功能有:所见即所得的文档和表格设计多文档复合数字支持多种业务文档类型文档与XML数据的连接与输入自动感知复杂文档窗体的设计文档视图动态测试业务文档事件流程建模使用图形化的方法,让开发者用最少的时间设计或修改 业务工作流程,建模工具提供了相当丰富的流程逻辑表

22、达方 式,可以表示非常复杂的流程,和表单设计工具相结合可以 轻易的设定每个流程步骤要执行的功能,和组织机构建模工 具相结合,可方便准确地选择每个活动执行的参与者。流程建模工具的主要功能有:支持专业的流程建模流程协作定义任务协作定义事件驱动和流转条件控制时间控制分布式流程设计决策型流程支持角色建模使用角色建模工具建立参与业务流程的人员角色,使得 流程的管理与具体的人员分离,可以通过管理工具灵活的变 化流程角色,使岗位职能转变等变化很容易被适应。角色建模工具的主要功能有:定义角色权限定义角色范围分派角色任务组织机构建模利用图形化的形式定义组织机构图,让用户以图形化的 方式为政府几个部门及单位建立组

23、织机构图,组织机构图能 显示使用者的职责、职称及从属关系等。管理者可以根据工 作流使用者在不同工作流程中需要完成的任务,为其赋予角 色。角色建模工具与统一用户管理平台相连接,能够读取或 更新统一用户数据库中的数据,保证用户数字的集中管理。组织建模工具的主要功能有:实体定义(包括人员、角色、职务、部门、工作组)业务分工权限管理2.1.3数据中心数据中心系统作为数据整合平台对各种分布、异构的数 据资源进行全局、统一、高效的访问和管理,为业务协同和 决策支持提供一个良好的数据基础。数据整合平台要实现 如下设计目标:1、目标需求目标是建立一个集中分散、异构、可扩充、可集成、有 统一数据模型、有多种角度

24、视图的、可交换的和安全可靠的 复合数据库系统。该系统包括五类数据库:关系数据库,文 件数据库,UDDI注册中心数据库,数据仓库。它将成为XX 政府各种业务系统、政府部门之间协同工作的数据中心,是 XX市政府门户的数字中心,多媒体、文档资料和政策法规 的存储中心和预测决策所有的数据仓库中心。2、功能需求X X市智能中台数据底座数据中心必须满足智能中台 数据底座平台进行数据交换的需要,同时还必须满足在平台 上建立的个业务系统进行综合业务处理的要求。为门户系统 提供各种静态和动态的数据、数字。所谓静态数字是指对智 能中台数据底座的运行中不经常变化,供各个业务系统查询、 处理的数据或数字:政策、法规、

25、元数据、资料库、各种多 媒体数据等,它们会随着时间而逐步增大。所谓动态数据是 指随着运行而增加、修改的数据:并联审批中文件流转状态 数据,反映企业、个人所处状态的数据,国民经济运行状态 的数据等。动态数据同各个局委办的数字密切相关,但又是 面向主题的,如XX市社会保险这个主题,实际上同保险、 工资、税务和银行密切相关;个人信用使用主题,它的数据 与银行、税务、个人消费、个人收入密切相关。而数据仓库 显然也有面向主题的定义,但这些主题是较长时间的,具有 战略定义的主题。由安全体系、门户管理、数据交换服务、并联审批平台、 公务服务及视频会议、运行管理等各部分提供商设计、实施 各自要存储到数据中心的

26、数据模型。提供安全运行、维护、 备份、审计等数据库必备的工具软件,并能集成一个完整的 软件工具。业务系统开发商设计、实施相应的数据中心数据库模型, 提供数据安全、运行、维护、备份、审计等必备的工具软件。2.2系统总体结构面对我国智能中台数据底座的迅速发展,我们针对智能 中台数据底座的基本需求,跟踪国际最新技术标准的发展, 对其通用数字处理平台(CIP2.2版)进行了功能的提取、整 合和重构,将其改造升级为CIP3. 0版,成为面向智能中台数 据底座建设的基础软件平台。CIP3. 0智能中台数据底座软件 平台包括了 CIPXXXX H户平台(CIPGP), CIP集成化服务支 撑平台(CIP I

27、ESD)等几个组成部分。在智能中台数据底座系 统建设中,CIP平台产品的分布如下图所示:L数据仓區IHTTP共佝士惫安全I:支撑I:服务rL _ j门户(CIPGP)胡離入弭共LI触据槎入材共fCIP IESD平台cipS8数爵渣引筆、条单牡理和设计)Ta mi no M 黄_f Email 1系统JB/S系统C/S系统pVebServices|CORBADCOM JAVA委办局1動局2畫办局3委办局4委办局5 0磁畫办局6 0慈畫办局7 0磁宣2图3基于构建智能中台数据底座软件平台总体体系其中集成化服务支撑平台CIP IESD (IntegratedElec trie Service Del

28、ivery)是基于 So ft ware AG 公司系统 软件,面向智能中台数据底座,基于XML和Web Service技 术的数据交换、数据流管理和跨部委协同工作功能的应用支 撑平台系统。CIP IESD 集成了 Software AG 公司的 Tamino XML Server和EntireX,并以此构成了系统基本体系架构。其基 本组成包括(详细描述见产品介绍):CIP数据交换适配器(基于EntireX Communicator)CIP 数据(基于 EntireX XML Mediator)Tamino XML Server作为应用支撑平台的核心,CIP IESD平台的目的是构建 智能中台

29、数据底座系统平台中的数据交换平台和数据共享 平台(数据中心),实现数据交换、跨部门协同工作(数据流 引擎和管理)和数据共享。由上图可见,基于CIP IESD平台的CIP数据交换器和 Tamino XML server,可以方便地构建统一的数据交换平台, 该平台能够实现不同的XXXX应用系统之间的基于统一标准 的数据交换和共享。同时,还可以建立应用系统的数据中心 (1、大量的基于XML标准的实时、动态的交换数据可以高效 地在纯XML数据服务器上构建起面向主题的操作数据库;2、 通过Tamino XML server提供的强大的元数据管理功能,可 以实现对分布在各委办局的数字资源的管理、查询和数据

30、交 换),从而实现对众多的XXXX应用系统中关键数据的抽取和 集中。上述的两者相互配合,便为整个智能中台数据底座应 用系统提供了核心的数据交换与共享平台。基于CIP IESD平台的CIP数据交换器所提供的工作流 引擎和XML文档(表单)处理功能,可以快速地构建智能中 台数据底座一站式服务平台。通过搭建一站式服务平台,能 够实现对众多的智能中台数据底座应用的协同和调度,从而 使得在同一系统中处理需要多系统业务协同的XXXX要求成 为可能。同时,CIP IESD平台提供针对不同业务应用系统的 数据交换适配器,这些数据交换适配器将成为应用系统连接 到CIP数据交换器也就是一站式服务平台上的纽带,数

31、据交换适配器技术使得我们充分利用原有的应用系统的功 能成为现实。2.3数据交换系统(数据交换/数据流引擎)设计3.1需要解决的问题应用系统环境的不一致各个职能部门内部的业务系统实现的内容各异,其数字 化程度不尽相同。数据库环境的不一致由于缺乏统一管理,各个职能部门内部业务系统的数据 库往往不尽相同。除了数据库环境的不同外,还包括数据结 构设计的各异、所支持数据类型的不同等等问题。缺乏统一的数据格式在各个职能部门的内部业务系统中,数据的组织是内部 相关的一个自主系统,缺乏与其他职能部门间相关数据的交 叉与关联定义。由于没有一个统一的共享化格式,从一个内 部系统去访问另一个内部系统中数据的唯一方式

32、是必须了 解对方的数据格式,然后再考虑筛选出自己所需要的数据集 合。这种“点对点”的数据引用模式带来的问题首先是低效, 并且并没有从根本上解决数据的有效共享问题:由于缺乏标 准数据格式,各个职能部门要分别从各个单位获取自己所需 的数据。这点在具体实现中几乎是一种不可能的情况。例如: 当某个应用系统的数据格式发生改变时,所有用到这一数据 的其他系统也必须进行修改。解决这一问题的一个办法是建立一个统一的数据格式 集合,而由各个应用系统依照集合中的各个数据格式来设置 与自己的数据格式之间的匹配关系。不同系统间缺乏数据传递的统一机制从纯技术的角度来说,要实现不同应用系统间统一的数 据交换与共享,必须由

33、一种数据通讯机制来控制数据传递, 以保证不同系统间数据交换的一致性。这就好比用电子邮件 系统来控制收发内容和目的地各不相同的邮件,必须有一整 套完整的传输控制机制,才能保证邮件不会投递到错误的地址、不会发生邮件内容的错位等等问题。2. 3.2系统体系结构可信的数字交换系统是智能中台数据底座综合业务支 撑平台所提供的关键服务。可信数字交换系统在综合业务支 撑平台所提供的信任服务基础之上,通过对业务系统提供标 准的数字交换服务调用,并确保整个数字交换过程的安全性、 可靠性,最终实现整个XX市智能中台数据底座系统内部自 由的数字交换。通过可信数字交换系统,实现智能中台数据 底座系统跨平台、跨系统、跨

34、应用、跨地区的互联互通和数 字共享,为政府部门之间进行公文交换、并联审批等提供支 持。蚕办周C图4数据交换系统总体体系结构如上图所示,基于CIP IESD平台的数据交换系统为一 个星型结构,这种结构简化了智能中台数据底座应用主体内 部功能体之间、主体与主体之间所存在的复杂的相互关系。数据交换中心处于核心位置,通过配置在数据交换中心 的CIP数据交换服务器提供的标准化的Web Service接口 (SOAP网关)为每个数据交换节点(需要进行数据交换的各 个委办局)提供服务。每个数据交换节点只需要与数据交换 中心通过Web Service进行交互,并通过XML进行数据转换, 而不需要相互直接连接访

35、问就可以获取到所需要的数据。对于遗留的老系统,通过在该数据交换节点上配置数据 交换适配器,可以方便地将老应用系统圭寸装成Webservice服 务,从而能够接入数据交换中心并提供一致的访问行为和接 口。数据交换中心的整体行为就像一个虚拟的中心数据库, 同时又像一个交换机。整个数据共享和交换的底层实现和存 储机制对各应用节点是透明的。该结构属于松耦合,如同星 形网络一样,很容易进行层次化的结构扩展,构建出多级的 数据交换中心结构,以支持更大范围的广域方案。数据交换中心将XXXX办公应用系统的协作、智能中台 数据底座安全支撑平台所提供的信任与授权服务、数据存储 层与应用层的有效隔离有机地结合在一起

36、,实现了大量的不 同位置、不同格式的数据的共享和相互访问,进而集成相关 的业务应用,形成协同办公、一站式服务的基础平台。2. 3. 3数据交换标准数据交换系统的目的是在数据交换中心和各委办局等 机构之间交换数据。由于各单位的数字系统构架不同,数字 的表示也各不相同。要在这些不同的系统之间交换数据,首 要的问题就是定义一种标准的数据格式。数据格式的制定,一方面要进行周密的调研,另一方面要充 分吸收和采纳国际、国家的较为成熟的标准。我们建议以下 参考标准:政府数字交换语言(Government Information eXchange Language, gXL) gXL 核心(gXL Core)

37、语法:所有交换的数据格式为XML文档,标准以XML Schema 定义。消息结构:每个消息分为消息头和消息体例如:图5 gXL消息结构实例如上所示,消息头可以含有消息ID、发送人、发送单位、接 收人、接收单位、发送日期、优先级、密级等标准元素。消息体则包含要传输的数字。标准元素:消息中必须或可以出现的元素标准类型:可重用的类型定义(simpleType或 complexType)0例如:locotionTyp巳 单位列表类型locationxs:string1. . oo 地址=telephonexs:string(contact联系方法m:;xs_: string ji. Ixsstring

38、j图5 gXL消息类型实例传输协议定义如何把逻辑地址解析为物理地址路由规则的定义错误处理机制 gXL 消息(gXL Message)具体的消息Message Body中的內容的定义。会议通知、简报等等例如:图6 gXL消息实例?xml version二1. 0 encoding二UTF-8?message xmlns二http:/www. shanghai, gov. cn/dep/core,z xmlns:xsi二http:/www. w3. org/2001/XMLSchema-instancexsi:schemaLocation二http:/www. shanghai, gov. cn/

39、dep/core MessageCore. xsd destinationloca tion市建委/loca tion/destinationString/version2001-12-17T09:30:47-05:00 通知 xmlns二http:/www. shanghai, gov. cn/dep/messagexmlns:dep二http:/www. shanghai, gov. cn/dep/corexmlns:xsi二http:/www. w3. org/2001/XMLSchema-instancexsi:schemaLocation二http:/www. shanghai, g

40、ov. cn/dep/message Notice. xsd 发送单位/发送单位抄送单位abcd/dep:location/抄送单位发文单位/发文单位密级保密/密级正文String/正文/通知图7 gXL消息实例2. 3. 4数据交换中心系统结构设计数据交换中心包括了数据交换管理和数据交换中间件 (数据交换器)两个部分的交互,可以实现以统一的数据描 述为基础的智能中台数据底座应用数据访问服务。数据交换中心的系统逻辑结构如下图所示:数据交换中心数据交换管理数据交换器Taminoxml数据(文樹的查找xml数据(文档)的谁XML数据(文樹的转换XML数据(文档)的复制复合XML数据(文莒)的操作日

41、志迦XML数据(文苜)的路由XML数据(文苗)涼转的事务处理XML数据(文档)的事件融发消15*辭接入网关图8数据交换中心系统逻辑结构数据交换中心的数据交换管理功能主要包括:(1)数据交换标准定义管理模块根据对决策支持、政府部门间协作办公(如并联审批)、 XXXX数字公开等综合性应用内容的需求分析,定义出一系列 的数据交换标准。这些标准将反映各个应用所需要的数据的 结构。同时在标准中定义的还有数据“宿主”位置等数字, 表示该块数据将向哪个业务系统请求获得。所有的数据交换标准定义数字,均以XML结构记录。可 以通过数据交换标准定义管理工具完成如下功能:新建标准、修改或删除标准维护标准中的属性,包

42、括数据结构、数据宿主”位 置、缺省过滤条件等实现对用户身份识别与管理权限控制(2)数据交换流程定义和管理模块数据交换是依据数据交换流程实现的,针对不同的数据, 需要设定和管理不同的数据流转过程。该模块的作用是提供 图形化界面,供给数据交换平台的管理人员实现数据流转过 程的定义。数据交换流转过程的描述也采用XML方式。具体功能如下:新建流程、修改或删除流程维护流程的规则、数据加工过程和数据路由方式实现对用户身份识别与管理权限控制(3)数据交换标准与内部数据结构的映射关系管理模 块由于数据交换标准并不知道在具体业务系统内的相应 数据的位置、属性、名称等等数字,所以需要在业务系统内 对数据交换标准中

43、的对应项有一个映射关系的定义。这种定义包括数据项与数据项的对应或组合对应(公式化)、数据类 型的匹配或转换关系、数据项位置描述记录等等。以XML结 构保存定义的内容。具体功能包括:数据交换标准定义数字的导入维护数据交换标准与内部数据结构间的映射定义表, 包括数据项与数据项的对应或组合对应(公式化)、 数据类型的匹配或转换关系、数据项位置描述记录等 等实现对管理员的身份识别与管理权限控制数据交换中心的数据交换器功能主要包括:(1)数据交换工作流执行模块数据交换工作流的执行是通过数据交换中间件和XML数 据库实现的。采用中间件产品可以保证数据交换的高效、安 全和可靠地进行。其工作原理是:读入数据交

44、换流程,根据 流程设定,启动数据交换过程。根据业务需要,同时可以并 发若干个数据交换工作流。当业务变化是,只需修改数据交 换流程定义,就可以实现基于新业务的数据交换过程,因此 系统具有很好的可扩展能力。XML数据库以XML的原生方式 保存数据交换过程中的产生的各种数据,提供日志管理和数 据分析的功能。具体功能如下:接收数据验证数据分析流程定义根据流程进行数据交互过程数据交互的事务管理日志管理和交换数据存储消息队列管理实现对管理员的身份识别与管理权限控制(2) XML数据处理模块XML数据处理模块提供对数据交换系统中的XML消息的 处理能力,从而对基于XML标准的表单设计、处理提供了有力的工具。

45、XML数据处理功能主要包括: XML数据(文档)的查找 XML数据(文档)的校验 XML数据(文档)的转换 XML数据(文档)的复制/复合 XML数据(文档)的操作日志记录 XML数据(文档)的事件触发2. 3.5 CIP数据交换器的作用I艺 一安支服一 r/ 17认if网关/门尸(CIPGP)|胡棲入牌共窕槎入祸黄数据中心好仓矗XML ServerTaminoM fCIP教抿交換器图9 CIP数据交换器的作用和基本结构如上图所示,CIP数据交换器是数据交换系统的核心。 它包括强大的分布式数据流引擎和XML数据的处理能力。这 也是智能中台数据底座平台对数据交换中心服务的一个关 键的要求。2.

46、3. 5. 1数据流引擎数据流引擎是数据交换器的核心,它是业务流程的任务 调度器。构建数据流引擎的主要目的是为了全面实现“网上 并联审批”,“一网式”审批,“一站式”领证,“一表式”登记的电子网上服务的跨部门协同工作。CIP数据交换器以数据流引擎为核心,来实现数据流设 计、运行和管理过程。其基本框架如下图所示。CIP数据交换器数据流引擎接入刚关Serv 燃Tamino存储I SOAP http smtp图9数据流引擎结构原理图如上图所示,CIP数据交换服务器根据数据流引擎定义 的流程可以执行以下任务:接收数据验证数据根据流程进行数据交换日志管理和交换数据存储事务管理实现管理员的身份识别与管理权

47、限控制2. 3. 5. 11数据流引擎的功能CIP数据交换器中的数据流引擎功能包括:对流程的XML描述流程实例的创建、激活、挂起、终止等流程实例间的关联,包括串行或并行的操作、工作流 相关数据解释等支持分布式工作流的协同提供支持用户操作的接口维护工作流控制数据和工作流相关数据提供用于激活外部应用程序和访问工作流相关数据 的接口(SOAP/HTTP/SMTP)提供控制、管理和监督工作流实例执行情况的功能。2. 3. 5.1.2流程设计器的功能CIP数据交换器提供图形化流程设计器,让开发者用最 少的时间设计或修改业务工作流程。流程设计器提供了相当 丰富的流程逻辑表达方式,可以表示非常复杂的流程。流

48、程 设计的主要功能有:支持专业的流程建模流程协作定义任务协作定义事件驱动和流转条件控制时间控制分布式流程设计决策型流程支持在流程设计器中,还包括了对角色建模工具和组织机构 XML数据(文档)的复制/复合建模工具的开发接口。角色建模工具建立参与业务流程的人员角色,使得流程 的管理与具体的人员分离,可以通过管理工具灵活的变化流 程角色,使岗位职能转变等变化很容易被适应。角色建模工 具与智能中台数据底座平台中安全体系提供的统一用户管 理平台相连接,能够读取或更新统一用户数据库中的数据, 保证用户数字的集中管理。;组织机构建模工具可以利用图 形化的形式定义组织机构图,让用户以图形化的方式为政府 几个部

49、门及单位建立组织机构图,组织机构图能显示使用者 的职责、职称及从属关系等。管理者可以根据工作流使用者 在不同工作流程中需要完成的任务,为其赋予角色。流程设计器中的对角色建模工具和组织机构建模工具 提供的开发接口。使得角色建模工具和组织机构建模工具定 义的角色和工作节点可以有效地加入到数据流过程中来。2. 3. 5. 2 XML数据(表单)处理CIP数据交换器提供提供了强大的XML数据处理能力。包括:XML数据(文档)的查找XML数据(文档)的校验XML数据(文档)的转换XML数据(文档)的操作日志记录XML数据(文档)的事件触发上述功能实现了对流入数据交换中心来的XML数据(文 档)的处理和转

50、换工作。基于XML数据与表现形式分离的特 性,对XML数据的处理与对XML页面表现模板的设计可以完 全分离。因此,XML数据处理结果可以多种表现形式灵活地 呈现,从而使得CIP数据交换器能够十分方便地与各类基于 XML的图形化表单和界面设计工具进行集成。基于CIP数据 交换器的表单开发工具可以实现:所见即所得的文档和表格设计多文档复合数字支持多种业务文档类型文档与XML数据的连接与输入自动感知复杂文档窗体的设计文档视图动态测试业务文档事件2. 3. 5. 3交换标准管理采用CIP数据交换器提供的标准管理模块,可以方便高 效地维护gXL标准。CIP数据交换器提供的标准管理功能包 括:浏览、新建、

51、修改标准。用户定义标准的合法性校验。用户权限控制、修改日志记录等功能。标准及其原数字存储在标准库(gML StandardRepository)中。标准的编辑。使用XML Schema编辑工具编辑标准。可以通过Web管理界面进行远程维护。2. 3.6数据交换节点(各委办局)数据交换适配器配置由于各委办局的数字系统建设的时间阶段不同,其采用 的技术也差别很大,老系统一般是C/S架构,新系统可能采 用JAVA技术或.Net技术,总之,因此委办局和部门各自的 数字系统对SOAP技术的支持程度也不尽相同。针对此情况,我们提出两种方案来进行委办局系统数据 交换器的配置工作:老系统(C/S结构)或不直接支

52、持SOAP技术的系统 对于此类系统可以采用CIP数据交换适配器(或其他支 持对老系统进行Webservice封装的EAI中间件产品),根据 前面的介绍,该中间件可以为老系统创建可重用的服务或者 将老系统中可向外发布的功能转换为Web Services,因此, 可以通过CIP数据交换适配器为委办局已有系统配置具有数据交换功能的Web Service,实现与数据中心进行数据交换的功能(可参见CIP数据交换适配器的产品说明)。遗留系统委办局A 业务系统委办局A图10 CIP数据交换适配器对遗留系统的封装支持SOAP技术的系统对于新构建的系统,往往是采用J2EE架构或.NET架构, 体系上都为三层或多

53、层,因此都可以对SOAP或HTTP技术提 供较好的支持,因此既可以采用CIP数据交换适配器抽取和 配置具有数据交换功能的Web Service,也可以直接构建数 据交换SOAP服务器来实现数据交换器功能。委办局BSOAP服务新系统委办局B业务系统图10对新系统的连接2. 3.7 CIP IESD平台构建智能中台数据底座数据交换系统 的特点有优异的性能,强大的可扩展性和可靠性,能够实 现应用系统间的无缝衔接,兼俱开放性与灵活性利用组件包裹技术,无需对原有程序代码做出修改 即可重新使用原来的工作流程中的业务逻辑和业务数 据。同时将应用转化为服务,使之能够与其他新建立 的服务一起接受各种应用的访问,

54、从而高效率地管理 了各种资源工程实施周期短通过可靠消息代理技术的方式提供多种市政府业务 之间的同步/异步的通讯方式易学易用,适合政府技术人员和系统维护人员掌握 支持WAP设备(如WAP移动电话,PDA)与相关后台 应用程序的集成。通过内建JAVA类,可产生WML页面 给WAP设备。通过SOAP安全机制,可与智能中台数据底座平台中 安全支撑服务(授权、登录系统等)无缝衔接。实现 可信的数据交换。2. 4数据中心系统设计2. 4.1需要解决的问题X X市智能中台数据底座数据中心必须满足智能中台 数据底座平台进行数据交换的需要,同时还必须满足在平台 上建立的各业务系统进行综合业务处理的要求。为门户系

55、统 提供各种静态和动态的数据、数字。所谓静态数字是指对智 能中台数据底座的运行中不经常变化,供各个业务系统查询、 处理的数据或数字:政策、法规、元数据、资料库、各种多 媒体数据等,它们会随着时间而逐步增大。所谓动态数据是 指随着运行而增加、修改的数据:并联审批中文件流转状态 数据,反映企业、个人所处状态的数据,国民经济运行状态 的数据等。动态数据同各个局委办的数字密切相关,但又是 面向主题的,如XX市社会保险这个主题,实际上同保险、 工资、税务和银行密切相关;个人信用使用主题,它的数据 与银行、税务、个人消费、个人收入密切相关。而数据仓库 显然也有面向主题的定义,但这些主题是较长时间的,具有

56、战略定义的主题。因此,数据中心的建设,首先要解决数据 库异构数字类型的分类存储和检索体系以及针对不同类型 数据模型的设计这一基本问题。另一方面,数据中心管理着大量的结构化和非结构化数 字。所谓非结构化数字,是相对于那些有清晰的结构和类型 定义以及有数据相关性的明确描述的数字类型而言的。比如, 在财税分析系统中,财政收支情况的月度数据,可以理解为 一种有清晰结构的数字;而一份综合性包含了文字、报表、 分析图形的财政收支分析报告则是一种非结构化的数字。网 站上发布的数字,如新闻动态、XXXX公开等等,一般也是非 结构化的数字。此外,非结构化数字中还包括了一类对象数据数字。所 谓对象数据数字,是指一

57、个包含了内敛结构的专门数据块, 这个数据块单独无法建立与别的数据项的关联关系,并且需 要工作在特定的工作模块下。比如:GIS空间定义数字数据、 多媒体的声像数据等,均为对象类型的数据。在政府决策应用中,非结构化数字将占到相当的比例。 所有的政府文件均属于非结构化数字,政策法规属于非结构 化数字,一些决策分析的综合性资料也是非结构化数字。与结构化数字相比,非结构化数字的管理利用存在一些 难点,就是:定义管理的难度“非结构”化表明了没有一种象关系数据库规范那样的 定义模型来对非结构化数字进行定义管理。虽然你可以强制 对一个非结构化的数字块进行解构,将其分成类似头、中、 尾这样的半结构。但是这种解构

58、只有在制定了具有普遍含义 的结构描述定义后才有真正的意义。对非结构化数字进行定义管理的另一个难点在于数据 元类型无法穷举。不象关系型数据系统中,对数据元类型有 完整清晰的定义。在非结构化数字中,包含了错综复杂的数 据元类型。比如,仅文档类型就包括Text.Word.PDF.Excel. Word Pro等等,还有各种图片文件格式、多媒体压缩数字格 式等等。此外,在象网页这样的非结构化数字中,所有的数 字都是文字类型,设定时间、数字等类型的数字元并不具有 运算上的意义。(2)存储管理的难度对数字进行存储管理的前提是能够建立有效的数据定 义,然后才能进行非结构化数字的组织存放。而前面已经提 到了在

59、非结构化数字的数据定义方面存在的难度,因此也就 造成了在非结构化数字存储管理方面的困难。当然,对非结构化数字最简单的存储方式是直接存放在 文件系统中。这样做避免了依据主题等分类因素对非结构化 数字进行管理的问题,但也是最最低效的一种存储管理方式。在非结构化数字的存储管理中还涉及到一个问题,由于 这些数字元(如果对非结构化数字进行一定的半结构化处理 后)的数据可能来自关系型数据系统(比如Oracle).对象 数据系统(多媒体数据或空间数据)乃至文档数据系统(比 如Notes),所以一个非结构化数字的存储管理系统将充当一 个数据的汇整者,需要具备联合各个外部数据系统的功能。缺乏对非结构化数字的有效

60、管理造成的直接结果就是无法 对非结构化数字进行有效检索。数字检索的难度由于不能像关系数据库那样建立起清晰定义的数据主 题,非结构化数字的检索依照的只能是机械的全文内容检索。这是对数字检索非常不利的一点。虽然对数字内容的全 文检索可以做到资料检索的遍历,但其检索的效率和命中率 是很低的。由于不象关系数据库那样有一种象SQL (结构化 查询语言)那样强大的关联检索工具,并且在定义数据时也 没有建立数据项之间的关联关系,要具有针对性地查询非结 构化数字的内容,必须要依靠应用程序中设置对特定非结构 化数字类型进行专门处理的功能内容,才可能提高数字检索 的强度和效率。但另一方面讲,一种专用于理解特定非结

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论