基于SOA的应急数据交换平台研究

1、基于SOA的应急数据交换平台研究一、SOA体系架构1、研究背景 随着城市规模的扩大及经济的发展,战争、自然灾害、流行疾病等突发事件对社会造成的影响及危害程度越来越广。突发事件应急工作已不再是单一政府职能部门可以解决的问题,需要统一调动、指挥和协调各方面力量,需要跨部门实现信息共享和业务协同。然而,城市职能部门在不同时期构建的业务系统可能基于不同的操作系统和数据库技术,各个系统之间不能有效地实现信息共享和交互,造成了严重的信息孤岛现象。这不符合应急领域数据共享、业务协同、资源优化配置的要求。为了解决应急领域当中所出现的这些问题,有必要将数据共享相关技术应用到应急领域。随着服务、本体、技术的到来,

2、出现了越来越多的数据共享和集成的方法,这些方法一定程度上在某些应用内解决了这些问题,但是由于应急领域跨部门工作的特殊性,实现应急领域数据共享还存在很大的困难。通过在应急办、消防局等部门实际调研,发现应急系统在数据交换和共享方面存在很大的局限性,主要体现在:无法适应当前应急工作发展的需要随着突发事件影响范围的扩大,需要统一调度各种应急信息,这就需要实现大量不同位置、不同格式的数据共享和交换。无法实现应急部门间真正意义的协作在应急业务系统中,根据实际应急工作的需要,经常要进行数据的交换以实现协同工作,比如上级命令消息的发送、接收、管理,就需要将一定数据从公司的上级部门传递到下级部门。由于系统本身相

3、对独立的建设方式,导致无法合理的传递或交换数据,无法实现真正意义的协同工作。综上所述,应急业务系统需要进行合理的整合以实现信息共享。在不破坏现有系统的情况下,将各种应用系统集成起来,发挥各自的优势,满足应急工作跨部门的迫切需求。在以往不同的系统数据交换解决方案中,一般都是采用点对点的方案来实施的。即对于每个应用,都要为每个需要共享的资源或外部资源编写连接代码。当增加新系统时,需要建立其与所有系统之间点对点的连接,导致点对点数据交换的接口繁多、复杂、成本昂贵。 针对上述情况,本课题组提出了一种基于的数据交换平台解决方案,该方案面向思想、基于基础架构,为应急系统间的数据交换提供了一个统一的、规范化

4、、总线分布式的数据交换框架,为分布式应急异构系统提供信息共享和数据整合的手段,提高数据传输共享的效率和可靠性。2.1 SOA(面向服务的体系架构) 面向服务的体系结构提供了一种标准的编程模型，它可以将企业应用程序中的不同功能单元称为服务，并通过对这些服务之间定义良好的接口而将其联系起来。接口是采用中立方式定义的，独立于实现服务的硬件平台、操作系统和编程语言，使得构建在不同系统中的服务可以以一种统一和通用的方式进行交互。这种具有中立的接口定义的特征称为服务之间的松耦合。松耦合系统的好处有两点:一点是它的灵活性，能够对业务和信息变化做出快速反应;另一点是，当每个服务的内部结构和实现发生改变时，它能

5、够继续存在。SOA凭借其松祸合及高度重用的特性，使得企业可以按照模块化的方式来添加新服务或更新现有服务，以解决新的业务需要。把企业现有的或已有的应用作为服务，很好地保护了现有的IT基础建设投资。2.2 ESB(企业服务总线) SOA是一个架构上的创新，如何把可能需要的各式各样的服务集成起来形成一个完整的系统不是一个简单的问题，而企业服务总线(Enterprise service Bus)，以下简称ESB，正好能帮助解决该问题。ESB是传统中间件技术与XML、vb服务等技术结合的产物，ESB采用了“总线”模式来管理和简化应用之间的集成拓扑结构，以广为接受的开放标准为基础来支持应用之间在消息、事件

6、和服务的级别上动态的交互。ESB主要作用于: 1.面向服务的架构一分布式的应用由可重用的服务组成; 2.面向消息的架构一应用之间通过ESB发送和接受消息; 3.事件驱动的架构一应用之间异步地产生和接收消息; 总之，ESB就是在SOA架构中实现服务间智能化集成与管理的中介，它是逻辑上与SOA所遵循的基本原则保持一致的服务集成基础架构，它提供了服务管理的方法和在分布式异构环境中进行服务交互的功能。可以这样说，ESB是特定环境下(SOA架构)实施EAI的方式:首先，在ESB系统中，被集成的对象被明确定义为服务，而不是传统EAI中各种各样的中间件平台，极大地简化了在集成异构性上的考虑，因为不考虑应用底

7、层实现，只要是VB服务，就一定是基于标准的。其次，ESB明确强调消息处理在集成过程中的作用，消息指应用环境中被集成对象之间的沟通。ESB系统由于集成对象统一到服务，消息在应用服务之间传递时格式是标准的，处理方式直接面向消息。ESB能够在底层支持现有的各种通讯协议，对消息的处理完全不考虑底层的传输细节，而直接通过消息的标准格式定义来进行。对消息的处理就会成为ESB的核心，因为通过消息处理来集成服务是最简单可行的方式，这也是ESB中总线(Bus)功能的体现。2.4 XMLXML是一种具有数据描述功能、高度结构性及可验证性的置标语言。XML允许用户自定义标记和属性，并可依照所定义的标记与属性的语法来

8、开发应用程序;XML可以通过标记来描述数据，或配合属性来辅助描述数据，宜作为对象或标准的描述语言;XML可以借助验证规则来规范一个XML文件的结构和内容，适合与政府机构之间、政府与企业之间和政府与商业机构之间的数据交换格式XML凭借其可扩展性、结构化和平台无关性的特性，非常适合网络环境下异构系统之间的数据交换，目前在异构数据交换和集成领域得到了广泛的应用，在异构系统之间使用XNIL作为数据交换的标准具有下列优点：1.XML具有自描述性:在异构数据源集成中，由于XML中语义标识说明了元素的含义，XML数据模型能方便地描述各种数据源的数据，包括半结构化数据。2.XML数据模型的内容具有独立性:XM

9、L可以脱离具体应用而自行描述保存在异构环境中的各种数据，其他系统应用能直接对这些自描述的XML数据进行操作，因此，它能够实现异构数据源集成中数据的互操作性。3.XML能描述不同复杂度的数据:XML提供了数据的结构化表示，并且易于操作。不管数据源是简单的普通文档、数据库查询记录或是复杂的对象和图形，XML都能轻松描述之。这样，XML用一种统一的数据模型来描述不同数据源的数据，可以屏蔽数据源中应用环境和数据结构的异构性。4.XML具有可扩展性:XML可以在不破坏现有结构和系统的情况下增加新的元素。这样，如果某个异构数据源的数据模型有了更新和变化，数据集成系统可以立即对全局视图中的相关部分进行修改，

10、而且此修改操作也很容易，只需改变数据模型定义，如DTD(或XML schema)等，不需要对具体数据进行一一操作。二、应急数据交换平台框架研究1.1应急数据交换平台在应急信息平台中的位置系统提供必须的支持,向下整合应急专业数据库、应急共享数据库、基础数据库和公共服务数据库等资源。应急数据交换平台屏蔽底层来自不同部门的应急基础数据及其它共享资源,为应急系统提供一种虚拟的数据交换平台,系统可以根据需求来获取来自多方面的不同格式的数据。总之,平台向上为预案、案例和应急资源管理、预警等应急系统提供必须的支持,向下整合应急专业数据库、应急共享数据库、基础数据库和公共服务数据库等资源。1.2应急数据交换平

11、台框架应急数据交换平台框架是由平台核心服务、平台重要组件、平台交换中心、平台消息处理组件、服务和异常管理、安全服务与性能监测六部分组成,这几部分相互联系,是应急数据交换平台不可分割的有机整体。其框架如图所示: 1.3数据标准和系统安全规范数据标准规范规定平台中数据交换、传递等一系列与数据有关的操作所必须遵循的规范与标准,它主要包含两层要求:一是数据格式,采用可扩展性好、与平台无关的数据格式,减少异构数据所带来的影响。二是数据交换标准,根据应急部门实地调查,构建了应急数据本体模型,定义了数据表达标准词汇,从中导出标准数据格式。系统安全是保证系统稳定、正常运行的保障,贯穿于平台的各个层面。尤其是与

12、服务相关的安全规范,是本文关注的主要方面,因为服务是跨的,不会存在绝对的安全。鉴于此,本文在平台实现过程中使用(企业单点登录)实现浏览器与服务器的之间的会话加密通信。并且,还要求实现对数据交换节点的授权,也即数据交换用户只有取得数据交换中心验证后颁发的合格证书后,才具有数据交换的能力。1.4平台交换中心ESB交换中心是整个交换平台的中心,对进入交换平台的数据按照一定的策略进行路由,转发到目标接收者,对数据传输进行集中控制和管理。它实现可靠的消息传输、转换功能、数据的存储、校验和数据交换。如图交换中心的核心是消息服务引擎,其中包含一个被称为消息框的数据库,中心处理的所有消息都要经过消息框,它可以

13、实现消息的订阅发布和消息队列两种消息传递功能,加上业务流程引擎、业务规则引擎及其转换引擎的相应控制完成消息的路由选择、传输、跟踪及必要的错误处理。业务流程引擎实际上就是根据事先定义出的交换消息的格式,控制完成消息在实现特定任务的业务流程中的传递与转换。业务规则引擎是控制业务流程执行方向的若干规则与条件描述性说明。业务规则由条件和操作组成,一般先是对条件进行评估,如果评估结果为,则规则引擎将启动一个或多个操作。转换引擎提供基于的消息转换功能。消息转换用来将数据转换为其他模式,可以实现和数据库之间、不同数据库之间以及不同文档之间的转换,而在进行数据转换时,都需要将数据库转换为文档,所以以上的各种转

14、换归根结底都是两种文档之间的转换。1.5平台核心服务结合实际项目建设性需求，核心服务提供了应急信息资源共享需要的公共服务。其中包括数据转换服务、目录服务、导航服务、GIS服务、UDDI服务、可接入服务。1.数据转换服务:数据转换服务主要以多种数据交换模式、基于多种数据交换协议为应急平台的工作对象提供多种数据类型的信息资源的共享交换。数据 转换服务主要包括规则配置、数据适配、数据交换、过程监控等功能。 2 .规则配置:为用户提供数据交换规则配置功能，以便对数据交换过程中需要预置的 规则进行设置，包括时间规则和路由规则等。其中，时间规则主要用于对数据自动发送和接收的循环周期进行设置，使数据的发布、

15、接收部门在特定的 时间间隔内反复进行文件的发布、接收。路由规则主要用于支撑数据发布或接收部门选择、配置数据来源或目标部门。 3.数据适配 :为用户提供数据交换过程中所需的数据适配功能，以实现不同系统间自动的数据格式转换，包括数据库数据、普通文件数据、XML格式数据间的互相映射和转换等，便于用户实现各类文件、数据库数据、邮件和HTML信息的共享与交换。 4.数据交换 基于HTTP及TTPS、FTP、JMs、SMTP等多种协议，利用数据适配、消息传输、路由规则、数据抽取、数据同步、数据格式转换等多种基础组件，提供文件和数据库的多种交换、同步功能。数据交换的模式主要包括一对一 交换模式、一对多交换模

16、式、发布/订阅模式、数据集中共享模式、有中心的数据交换模式和无中心的数据交换模式等。 5.过程监控：提供数据交换的监控管理服务，以便对共享交换过程的有关情况进行记录，包括发起方、接受方、采用的共享/交换规则等，并在日常记录的基础上提供统计、查询、审计等功能。 6.目录服务: 按照政务信息资源目录体系要求，目录服务除实现对目录内容的发布外，并向用户提供目录内容的查询，也即目录服务包括发现和管理两种基本功能，本文设计目录服务主要提供目录注册、目录发布、目录查询、目录维护等功能，实现各类基础资源和共享资源目录信息的统一汇集和管理。三、应急数据交换平台数据模型数据交换关键是为交换双方建立标准数据格式,

17、为交换铺设一条畅通道路,本文开发数据交换平台的第一步工作就是考虑如何获取标准数据格式。本体是共享概念模型的显式形式化描述,用来捕获相关领域的知识,建立领域本体就是确定该领域内共同认可的词汇,从不同层次的形式化模式上给出这些词汇(术语)和词汇之间相互关系的明确定义,达成对领域知识在一定协议下的规范描述,帮助实现信息的共享与交换。本文获取标准数据格式就是从建立领域本体模型出发的,本章重点工作是研究若干个政府预案、企业预案、部门预案以及典型应急案例、应急资源等数据,整理和描述应急领域内的主要概念、属性、概念之间关系,从与领域无关的高层本体提供的框架开始,构建各应急数据领域本体概念模型,最终导出标准格

18、式文档。本文构建应急数据本体模型的过程是从建立的本体开始,衍生出更多的领域相关的本体,使之能确保更广泛领域的通用性和表达能力。1.1应急预案数据模型应急预案是指导应急处置过程的主要信息资源,其描述了应急响应突发事处置的领域知识,是进行事件处置的知识表示,事先定义了启动该预案的条件以及如何处置的原则、应急组织结构、应急资源及事件处置流程,并包含一些处置原则或处置经验。本文通过分析国内外数百个应急预案,得出:应急预案在遵循国家描述的应急预案分类关系规范基础上,主要包含以下内容: 预案基本信息:预案编号、名称、性质、预案主体、预案级别等;预案的适用范围:定义启用本预案的条件;组织结构:定义事件处置的

19、组织结构和人员，如部门、人员、角色等;资源:事件处置所涉及的对象集合，对象的状态将影响工作流的执行;预案主体周边情况信息;工作流模板:预案工作流完成某类事件的处置任务流程;预案的其它内容:如预案目标、预案原则等说明。 1.2预案的概念模型应急预案本体模型构建的主要工作是把各种类别、各种级别的应急预案的概念及其内涵进行规范描述,将其包含的要素以及要素之间的关系梳理清楚。同时将与之相关的应急组织、角色、资源、过程,以及它们之间的调用关系及约束关系等梳理清楚。应急预案(ER Plan)作为一种人造文本，是从SUMO上位本体中继承的类“文本(Text)”的子类，它包含“总体预案”、“专项预案”“部门预

20、案”“地方预案，、“企事业单位预案”以及“重大活动预案”六个子类。应急预案(ER Plan)通过属性“包含应急组织体系has ER Organization Set”与“应急组织体系(ER Organization Set)”相关联，通过属性“包含应急资源has ER Resource”与“应急资源(ER Resource)”相关联，通过属性“包含应急处置过程has ER Process”与“应急处置过程(ER Process)”相关联，通过属性“包含应急预案管理过程has ER Plan MP”与“预案管理过程(ER Plan Management Process)”相关联，这表明了一个应急

21、预案至少包含四类元素:应急组织体系、应急资源、应急处置流程、预案管理过程。它还通过属性“编制依据according To”与”法律(Laws“法规(Rule)”以及国家文件(National File)相关联，以表明一个应急预案的编制依据为国家法律、法规及相关文件。应急预案(ER Plan)还包含五个数据类型的属性，分别是“预案编号Identifier) 预案名称(Title)发布日期(Date)“编制目的(Purpose)”以及“编制原则(Principle) 。 应急组织体系(ER Organization Set)是从上位本体中继承的类集(Set)的子类，它通过属性has Organiz

22、ation与“应急组织(ER Organization)”的五个子类相关联，以表明“应急组织体系(ER Organization Set)”由“领导机构”、“办事机构”、工作机构、“地方机构”以及“专家组”这五个子组织构成。 应急角色(ER Role)与应急人员(ER Staff)分别是从上位本体中继承的类“角色(Role)和“人员(Personnel)”的子类，两者之间通过属性“担任occupies”相关关联，表明应急人员(ER Staff)在应急组织中担任一定的应急角色(ER Role); 应急资源(ER Resource)是从上位本体中继承的类“资源跟e source)”的子类，它又包含

23、应急人员(ER Stag“应急物资(ER Substance)”以及“应急资金(ER Fund)三个子类; 应急处置过程(ER Process)是从上位本体中继承的类过程(Process)的子类，应急资源(ER Resource)中的应急人员(ER Staff)通过属性“出现has Presence”与应急处置过程相关联，以表明在应急处置过程中是应急人员(ER Staff)出现在现场; 应急预案管理过程(ER Plan Management Process)是从上位本体中继承的类过程(Process)的子类，表明应急预案从产生到作废的全过程; 意向性过程(Intentional Process)是上位本体中的类，在领域本体中添加了一系列的子类:“草拟”、“审核”、“发布”、“修订”、“宣传”、“培训”、“演练”以及“作废，。这些意向性过程分别代表应急预案管理过程(ER Plan Management Process)的不同阶段，两者通过属性has Stage相关联。1.3预案的存储模型从上节所描述的应急预案要素及其要素间关系得出，应急预案体系(ER Plan Set)包括六种类型的应急预案(ER Plan)，应急预案至少包含预案管理过程(