异构数据库的研究与应用

异构数据库集成技术的研究与应用指导教师梁永全计算机技术邱峰概述当前，一些大型的企、事业单位，常有很多分支机构，由于工作的侧重点不同，各分支机构可能使用不同的数据库管理系统来管理数据，这些数据库往往存在很大的差异，也就是说，这些数据库的异构性表现在多个方面，如数据的类型不同，数据的表示不同，管理数据的软件不同，以及系统运行的环境不同。随着企业合作和政务电子化的发展，许多信息系统需要访问这些异构数据库中的数据，进行大量的信息交换。因此，迫切需要一种新的系统框架来解决多个异构数据库的集成。笔者对异构数据集成的难点问题进行了研究和探讨，总结异构数据库集成技术的发展，结合目前比较流行的WebService技术，提出一个基于WebService的异构数据库集成系统框架，阐述了该框架的设计，系统构成和各个模块的功能，实现了一个基于WebService的异构数据库集成的原型系统。最后通过一个实际项目验证了方案的可行性和有效性。在该成果中，系统完成了远端数据到中间数据库数据的转化和集成，为应用程序对分布数据库信息的访问提供了底层支持，实现了用户访问和操作的透明性；通过采用中间数据库保存链接信息的方法，使得系统具有一个弹性的空间，即在新集成一个数据库或已有数据库改变其资料储存结构时，不必全部更改整个系统的结构，也不用更改原始数据库的储存格式，能有效地处理未来激增的资料量、降低了日后系统维护成本。一、研究背景随着计算机技术，特别是Internet技术的迅猛发展，在许多行业、单位或机构、部门内部都逐步实现了业务、信息的计算机化管理。但是，各个行业、部门或机构由于业务和功能归属不同，因此都是根据自身的需要，构建了许多相互隔离的信息服务和管理系统。甚至在一个单位（如一个企业、一个学校）内部各部门所采用的计算环境由不同平台组成，而不是固守任何一个平台。这样随着时间的推移和技术的进步，这些由不同核心技术构建的信息系统就像一个个“信息孤岛”，各自有着不同的处理对象、操作方法和专用客户端，在各个环节之间存在着数据交流和部门协同的问题。每个部门或单位就是一个数据源，每个数据源都是异构的，因而他们之间的信息和组织都不一样，这就构成了一个巨大而复杂的异构数据库环境。那么如何集成、访问这些数据呢?

首先要研究他们之间异构数据的集成问题，只有将这些孤立的数据都集成起来，提供给用户一个统一的视图，才有可能从巨大的数据资源中获取所需的东西。其次是选用合适的技术进行数据分析、集成和处理。集成是一项很艰巨的工作，因为信息的增加和信息源的多样性结合在一起，检索有用信息的工作变得非常复杂。企业必须不仅能访问传统的应用程序来源（比如关系数据库），还要能访问可扩展标记语言（XML）文档、文本文档、扫描的图像、视频剪辑、Web内容、电子邮件、分析性三维数据和特殊用途的存储（包括内部和外部）。二、研究的主要内容对普通用户而言，希望屏蔽掉各种层次的异构特性，他们不必知道各物理数据库系统的分布，不必知道各物理数据库的结构组成，也不必自己去进行数据转换和结果汇总，只需要通过简便的全局查询得到一个综合结果，这就是异构数据库技术主要的研究内容。这种技术是一个既与各种数据库有密切联系，又有别于各种数据库的新的研究领域。它的研究目标是对地理上分布的多个异构数据库，在尽可能不影响其本身自治性的基础上，构造具有用户所需要的透明性的全局数据库，以支持对各种数据库的全局应用和各异构数据库之间的灵活的信息交换和共享。针对以上方面问题的介绍，根据目前异构数据集成系统的发展现状和发展方向，本次研究的主要工作如下:

1、在了解了异构数据集成的相关理论和目前已有研究成果的基础上，提出了一种基于Web服务的异构数据库集成的框架结构。

2、实现了一个项目---滕州市安全生产综合监管预警救援指挥平台，说明其可行性和有效性。三、系统设计

3.1重要概念为更好地阐述本课题研究的内容，先明确几个重要的概念：异构数据，是指涉及同一类型但在处理方法上存在各种差异的数据，在内容上，不仅可以指不同的数据库系统之间的数据是异构的(如ORACLE和SQLSERVER数据库中的数据)；而且可以指不同结构的数据之间的异构(如结构化的SQLSERVER数据库数据和半结构化的XML数据)。数据集成，是用来对各种异构数据提供统一的表示、存储和管理，这些功能在异构数据集成系统中实现。数据集成屏蔽了各种异构数据间的差异，通过异构数据集成系统统一操作。因此集成后的异构数据对用户来说是统一的和无差异的。异构数据集成系统的目标在于实现不同数据源之间的数据信息资源、硬件设备资源和人力资源的合并和共享。它有两点要求:一是分布的透明性，二是数据的透明访问。分布的透明性:分布的透明性意即分布的独立性。这包括两方面:位置透明性，即用户不必知道数据的物理存储地，就好像所用到的数据全部存储在本地一样。如果缺乏位置透明性，则每个应用程序都必须关心自己的位置，本地数据就不得不与远程数据分离出来；分布式存取透明，即可以处理网络中任何资源，就如同它们在本地机器上一样，系统必须管理存取控制，同时提供设备目录。数据源透明性:在数据集成技术中，如果仅从数据的角度来考虑，则主要是要实现单一数据影像。即对于系统中的任何一个用户，不管它所需要的数据在什么地方，来自什么样的数据源，在用户看来，这些数据是透明的。3.2设计特点一个实用的信息服务和数据集成系统在构造具有用户所需要的透明性的全局数据库，完成对各种数据库的全局应用和各异构数据库之间的信息交换和共享，它具有以下特点:1、智能性:对来自不同数据源的结构化的、半结构化的、或非结构化的数据进行统一处理、过滤、缩减、抽象、合并和归纳等工作；

2、开放性:对于异构、分布的数据源，必须解决信息表示与结构上的不匹配问题；3、主动性:对数据表示、交换和服务机制进行适当规范，并提供主动服务机制。

3.3设计目标将采用WebService技术，来集成异构数据库，设计一个完成异构数据处理的集成系统。此系统设计的目标是:能够屏蔽平台异构、数据异构、方便地对分散在各地的异构数据进行整合处理，以同一接口输出;能够有效地解决分布式数据库协同工作的问题:具有一个弹性的环境，新集成一个数据库或一个数据库改变其资料储存结构时，不必更改整个系统的结构，也不会更改原始数据库的储存格式;能够有效率地处理未来激增的资料量、降低日后系统维护成本。

3.4运作流程运作流程是：用户通过应用程序提交了一个操作后，经过本地的服务器，到中间件，由其中介器模块将用户查询翻译成一或多个对数据库的操作，然后由WebService代理器调用相关的核心Web服务，提取远端数据库的部分相关数据到中间数据库，用户对中间数据库的数据进行操作。所有操作结束后，若数据发生了改变，则依然由WebService代理器调用核心Web服务，将数据同步到远端数据库。系统集成中间件数据源中介器数

据

源Web服务代理查询分解中间数据库提取数据格式转换数据同步用

户

系统运作流程图3.5系统体系架构

系统主要由中介器、WebService代理器，中间数据库和核心Web服务四部分构成。它封装了系统的业务逻辑，构建在数据库服务系统和应用系统之间。。。。。。。。。。。。。。。中介器WebService代理器中间数据库SQL引擎中间DB应用程序应用程序UDDIWSDL服务总线核心Web服务Mssql核心Web服务核心Web服务OracleDB2系统体系架构3.5.1中介器主要功能包括:给客户端提供一个统一的接口为上层应用定制数据，包括对远程数据库Web服务的连接，建立中间数据库所需的库表，方便用户对远端数据库进行操作。负责接收来自应用程序的操作请求，将操作请求分解为多个局部操作请求。从中间数据库表中取得相关远端数据库的连接信息后，传递给WebService代理器。最后将代理器返回的数据进行类型转换，存入中间数据库。保证事务执行的正确性和一致性，即数据同步过程中的一致性。

中介器的组成主要有分析控制和同步控制两个模块。其中，分析控制模块负责将客户端应用程序提交的标准SQL语句分解为针对各个异构数据库的子操作，取得相关库名表名集合从中间数据库中取得的连接信息提交到WebService代理器。同步控制模块负责数据类型的转换，在数据要求同步时对中间数据库中生成的临时表的结构和表中的数据进行跟踪，若有更改，则利用相应的Web服务通过WebService代理器对远端的数据库进行处理(更新、增加、删除、修改)，从而保持本地端和源端数据库的结构和数据的同步。3.5.2中间数据库通过对异构数据库研究，发现数据库中数据的差异可归结为：用户数据表现形式差异:某一特征在不同数据库中字段名称不同。数据存放形式的差异:某一数据特征在不同数据库中存放的值代表的意义不同。数据类型的差异:某一数据特征的类型在不同数据库中可能不同。数据存放位置的差异:某一数据特征在一些数据库中可能存放于某一字段的几位中，也可能存放在另一些数据库的几张表的不同字段中，或者根据一定的条件才能判断出其取值位置。

针对上述问题，考虑在中间数据库建立数据类型对照表，列出远端数据库的接口名称、属性，以及与中间数据库对应得表名和字段名，对于一对多的情况，可对应一条或多条规则。若未经整合处理，只是单纯的从原始数据库获取数据，以上问题将很难解决，虽然以强大的搜索著称，得到的还是一些分散的数据。因此中间库基础表的结构设计是该系统的另一关键。3.5.3Web服务代理器WebService代理器的功能是调用远端的Web服务，提供本地调用的接口函数。在得到中介器传入库名、表名等基本信息以及链接地址后，代理器向UDDI发SOAP请求消息，从而调用对应的Web服务。另外一个重要的功能是对请求事务的管理。通常将一个或多个数据库操作组成一组，称作事务。事务是必须被作为一个原子、外观上孤立于其他事务执行的单位。而且，DBMS保证持久性，即己完成事务所做的工作决不会丢失。事务管理从应用系统接受事务命令，从而得知什么时候事务开始，什么时候事务结束，以及应用系统的期望信息。

通常我们说正确执行的事务符合“ACID准则”，其中:“A”表示“原子性”，即事务完全执行或完全不执行。“C”表示“一致性”，即，所有的数据库都有一致性约束。“I”表示“隔离”，即表面看起来每一个事务都是在没有事务同时执行的情况下执行的。“D”表示“持久性”，即一旦事务完成了，则事务对数据库的影响就不会丢失。

3.5.4核心Web服务

为了更好的支持异构数据库的集成，实现远端数据库与中间件的衔接。在数据源端实现的主要技术是代理操作，是建立本地的数据源代理机制。数据源管理员可以通过选取哪些数据为公开数据，然后对公开数据通过发布Web服务建立对本地数据源的连接。以中间件传入的参数建立操作代理，满足客户端的引用。因此它应该能够访问一定类型的数据库系统，并能够容易升级其所支持的范围；不是针对某数据库而专门设计的接口，它应该是一个结构较柔性的功能体，允许一定范围的配置。

在执行一次调用时，中间件通过中介器的分析得到了调用中涉及到的数据库、表等基本信息以及远端数据库的连接信息。核心Web服务得到这些信息后，将其作为参数，调用发布的Web服务完成数据的抽取、增加、修改、删除等操作。实际中，核心Web服务起到了操作代理的作用。由于WebService采用XML作为通信媒介，所有的数据均以XML表示，因此，在数据抽取时得到的数据以XML形式存在，经过中间件对数据的处理，用户所见的是符合本地数据库的数据形式，所以用户不必了解所访问的数据源类型。3.6系统的特色基于WebService的异构数据库集成系统融合了WebService的特点，具有一些典型的特色优势，这是以往其他集成方法无法比拟的。本文的协同中间件系统引入了WebService的一些新的思想和方法，并结合中间件的优点，使得自身也具有许多的优点。1、适应性WebService其自身所固有的跨平台、跨网络、跨操作系统等特性被基于Web服务的异构数据库集成系统天然的继承，使系统具有广泛的适应性。不管异构的数据源是运行于何种操作系统，采用何种数据库管理系统，都能够轻易的将它们集成，不需要去考虑通信的细节。2、局部自治性在此系统中，用户以普通客户身份访问局部数据库，不需要局部库为参与集成而作某些特殊的变化。局部数据库在提供核心Web服务的链接信息时，若希望本地数据只能够被读取，而不允许进行DML操作，则只提供部分链接信息即可，有效地保护了局部数据库的数据。这些策略使得局部系统在本地数据上运行的原应用程序不受集成系统的干扰，使得其获得了较大的自治性，有利于对遗留系统进行集成。3、协同性在系统接受到多个事务请求时，通过加锁和加时间戳的方法有效的控制了事务的并发。另一方面，通过对局部数据库、表结构和数据的检查更新，保证了数据库的同步。

4、集成实现简单系统中采用中间数据库保存局部数据库核心Web服务的连接信息，方便灵活的实现集成新异构数据库到该系统或删除已有数据库。当要加入一个新的数据库或当一个数据库改变其资料储存结构时，只需利用对应的Web服务对其进行初始化和同步，不必更改整个系统的结构，也不会更改到原始数据库的储存格式，具有良好的扩展性。同时也降低了系统的维护成本。

四、研究项目

4.1项目介绍为满足安全生产工作的实际需要，滕州市人民政府成立了滕州市安全生产应急救援指挥中心。为发挥好该指挥中心的作用，市政府决定建立滕州市安全生产综合监管预警救援指挥平台，该平台由动态监管、监测预警和应急救援3大应用软件平台组成，通过数据采集、互联网输送，实现对重大危险源的视频和数据实时监控和管理。系统能够在线实时监管全市规模以上企业的重大危险源，对安全事故进行预防、预警，为事故应急指挥提供实时信息和快速、科学的辅助决策支持，从而能够预防事故发生和减少事故损失。

4.2对软件系统的要求：

1、将滕州市其他各部门现有的安全监控体系一并整合在市局的应急救援平台中。将煤矿监控系统，危险运输品车辆监控系统，部分企业自己监控系统的数据、信息与安监局平台兼容。

2、在正常指标范围内，实现自动预警（报警）功能。

3、应急救援：要求实现模型，自动生成动态的预案。

4、对滕州市479家规模以上企业日常安全进行监管。

因此，本次软件开发的主要任务是整合滕州市资源，实现重大危险源自动分级、动态监控和事故动态应急救援指挥决策。4.3管理信息的特点：1、信息类型多本数据库涉及4种类型的数据项目，4类数据项目的特点、更新周期、更新方式见下表：数据类型

说明

特点及更新周期

更新方式

基础信息如企业及重大危险源基本情况信息、地理信息不定期首次通过企业版软件收集企业重大危险源基础信息。当现场设施发生变化时，企业上报更新内容安全监督信息重大危险源检查检验、安全状况与监督管理信息按监督管理规定，每半年更新一次现场监测信息重大危险源关键参数、现场环境浓度参数分企业平台和政府远端平台安全生产事故事故状态信息有事故信息时上报有事故信息时上报上述4中数据类型中，每一类数据所包含的信息量都非常大，例如：基本信息包括：单位信息：单位的基本情况；周边环境：周边环境基本情况和周边重点单位基本情况；重大隐患：指危及企业和周边环境安全并经有关部门确认的重大隐患；特种人员：特种作业人员资格证情况；评价信息：企业历次安全评价情况；安全投入情况：企业安全投入情况；许可证情况：企业许可证发放和核查情况；救援组织机构：企业应急救援组织机构信息；应急物资和设备：企业应急专用物资和设备（施）的基本情况；主要设备：各生产单元涉及的主要设备（如：大型压缩机组、大型机泵、反应器、关键设备等）基本情况。

2、未来信息增量大在市委、市政府的关心、支持下，我市的招商引资工作成效显著，每年都有一批经济效益好、拉动作用强、产品附加值高的大中型企业落户滕州。另一方面，我市一些小型企业管理规范、竞争力强，逐渐成长为规模以上企业。根据近三年的统计，我市规模以上企业数量每年都以10%左右的速度增加，这就意味着我们的指挥平台每年都有50家左右的新增监管企业，未来一段时间内，指挥平台管理的信息还会大量增加。

3、信息整合难度大

滕州市其他部门已经具有各自的安全监控体系，需要我们加以整合，例如：滕州市煤炭工业局现在有8个煤矿安装了“煤矿安全网络检测系统”（瓦斯、有毒有害气体的监控），包括8个煤矿专线视频，其中每个煤矿只有一路视频进煤炭工业局中心机房，视频的控制和切换由煤矿完成，中心机房没有此功能，另外现中心机房已有一路并接光纤接到枣庄市。数据有瓦斯等有毒有害气体浓度、风机动态等指标的监测数据，有数据监测、报警、历史曲线等功能。

滕州市煤气公司安装有“远程监控系统”，采用固定IP的ADSL方式进行通讯，视频内容通过不同的IE浏览器访问，数据包括各压力站的压力、温度和环境浓度，有数据监测、报警、历史曲线、报表等功能。滕州市交通局装有“山东省交通运输GPS信息服务系统”和“客运车辆安全监管系统”软件，对我市所有长途客车和市内出租车进行动态监控，数据中心在济南。4、实时更新快各安全生产企业将实时检测的数据指标实时发送到应急指挥系统中，指挥平台按照约定的通信协议和数据规范格式解析数据，并按照指标临界值要求进行相应操作。具体要求如下：企业名称系统名称内容描述滕州市煤炭工业局煤矿安全网络检测系统数据有瓦斯等有毒有害气体浓度、风机动态等指标的监测数据，有数据监测、报警、历史曲线等功能。滕州市煤气公司远程监控系统数据包括各压力站的压力、温度和环境浓度，现场仪表—〉485—〉控制器—〉通过ADSL方式上传，有数据监测、报警、历史曲线、报表等功能。滕州市交通局山东省交通运输GPS信息服务系统客运车辆安全监管系统

结论：根据所管理的数据具有信息类型多、未来信息增量大、信息整合难度大、实时更新快的特点，决定了其数据结构、物理存储、操作平台及系统环境等方面有差异性，需要花费较高的成本才可达到满意的查询效果。通过分析，我们认为可以使用异构数据库集成技术进行资源整合，来提高信息获取的便捷性。设计思想为：针对不同的信息来源，信息资源整合系统位于多源异构数据源和应用程序之间，分别进行相应的处理，向下自动去收集、整理和协调各数据源，向上为用户访问提供整合后的数据服务，对多种常用的信息资源进行整合与管理，在此基础上为用户提供快捷的信息服务。滕州市安全生产综合监管预警救援指挥平台第一章：怎样登陆平台打开IE浏览器，在地址栏里输入：http:///anjian并回车（ENTER）1，填入您已经注册的用户名2，填入您注册时设置的密码3，点击登录进入平台4，没有注册的用户，请先点击“单位注册”第二章：平台注册请在协议前“打钩”，并点击“下一步”1，填写本单位的全称，可以点击检测来确认单位名称是否被占用2，填写企业代码（需拨打安监局指挥中心电话5888111查询）3，选择企业所在的类别4，填写企业信息员姓名5，填写登陆平台所需的用户名6，输入密码7，信息员的邮箱地址8，信息员个人联系方式9，以上栏目填写无误完毕后，点击“提交”注册提交完毕后，显示该页，可点击“关闭”。同时，应立即拨打安监局监管中心电话5888111，通知相关人员注册完毕，给予审核。第三章：平台功能简介企业基本信息的管理和上报。管理与维护企业危险源信息、电子地图，并对数据信息进行上报。企业日常生产中的安全管理，包括政府监管、安全检查、安全制度、培训教育、职业卫生、设施台帐等。接收政府端下发公告、通报、文件、通知、函、新闻、会议通知、系统公告等。建立、管理多个平台账号浏览城市电子地图以及厂区地图，并查询、定位企业内危险源和各种安全配套设施。根据国家标准对预案和救援物资进行分级分类管理。管理与维护企业危险源信息、电子地图，并对数据信息进行上报。第四章：企业概况1，企业基本信息1，第一次登录平台显示此空白页面。2，点击“增加”进入企业基本信息录入页面。*代表必填项目对填写的信息进行保存。不做任何保存，直接返回到之前页面。进入企业基本信息编辑页面。将当前信息上报到上级政府管理部门。2，标注企业范围1，点击修改进入企业基本信息编辑页面。2，点击标注企业范围进入电子地图操作页面。2，1电子地图功能简介操作地图移动地图放大和缩小进入图形编辑状态开始绘制图形移动图形或使用右键功能保存所绘制图形2，2绘制企业范围1，点击开始2，点击增加3，在电子地图上单击鼠标左键，移动鼠标，沿鼠标轨迹则会出现一条企业地理范围边界线，再次单击鼠