（交通信息工程及控制专业论文）民航公众信息服务平台应用级数据整合研究.pdf

中国民航大学硕士学位论文 摘要 目前，我国民航面向公众的航班信息服务不能满足公众日益增长的需要，迫切 需要对航班运行信息进行整合，为公众提供及时准确的航班信息服务。 本文以民航相关单位的生产系统和业务数据现状及航班信息服务数据整合的 要求为基础，结合x m l 技术和中间件技术，对民航公众信息服务平台的数据整合 进行研究，提出解决民航航班服务信息分散、异构、不完整等问题的解决方案。 论文分析了国内外数据整合现状，介绍了异构数据整合的基本理论和相关技 术，并对x m l 技术和中间件技术的特点及其在异构数据整合中的应用进行了阐述。 在对民航生产单位业务系统的数据资源及其在航班信息服务中的关联关系进 行分析的基础上，提出了民航公众信息服务平台数据整合系统的数据架构，设计 了基于x m l 和中间件技术的民航公众信息服务平台数据整合系统的技术架构。对 x m l 文档到关系数据库的映射方法进行了分析，提出数据映射方案并设计了数据映 射的处理流程。 设计了数据整合适配器和数据整合流程，阐述了数据接收、x m l 文档数据格式、 x m l 文档解析、数据映射和数据加载等应用级数据整合的实现技术和程序实现方 法。 数据整合的主要目的之一即为公众提供完整、准确、及时的航班信息服务，本 文在数据整合设计框架的基础上，给出了一个航班信息服务的w e b 原型系统，实 现航班计划、航班动态、机场信息和气象信息的查询等服务。 关键词：x m l ，中间件，数据整合，航班信息服务，映射 中国民航大学硕士学位论文 a b s t r a c t c u r r e n t l y , t h ec i v i la v i a t i o nf l i g h ti n f o r m a t i o ns e r v i c ec a nn o ts a t i s f yt h eg r o w i n g p u b l i cd e m a n d i ti sb e c o m i n ga nu r g e n tp r o b l e mt oi n t e g r a t ef l i g h ti n f o r m a t i o nf r o m d i f f e r e n ts o u r c ei no r d e rt op r o v i d et i m e l y , a c c u r a t ea n dc o m p l e t ei n f o r m a t i o ns e r v i c e f o rt h ep u b l i c b a s e do nt h ec u r r e n ts t a t u so fa v i a t i o n - r e l a t e de n t i t i e s i n f o r m a t i o ns y s t e ma n dt h e r e q m r e m e n t so ft h ef l i g h t d a t ai n t e g r a t i o n ，t h i sd i s s e r t a t i o nf o c u s e do nt h ed a t a i n t e g r a t i o no f t h ec i v i la v i a t i o np u b l i ci n f o r m a t i o ns e r v i c ep l a t f o r mb yu s i n gx m la n d m i d d l e w a r ea n dp r o p o s e das o l u t i o nf o r t h ep r o b l e m so ft h ef l i g h ts e r v i c ei n f o r m a t i o n ， s u c ha si n f o r m a t i o ns c a t t e r , h e t e r o g e n e o u si n f o r m a t i o na n di n c o m p l e t ei n f o r m a t i o n t h i sd i s s e r t a t i o na n a l y z e dt h es t a t eo fd a t ai n t e g r a t i o nt e c h n o l o g y , i n t r o d u c e dt h e b a s i ct h e o r ya n dr e l a t e dt e c h n o l o g yo fd a t ai n t e g r a t i o n ，a n de l a b o r a t e dt h ef e a t u r e so f t h ex m la n dm i d d l e w a r e 、析t l lt h e i ra p p l i c a t i o ni nt h eh e t e r o g e n e o u sd a t ai n t e g r a t i o n r e s p e c t i v e l y b e i n gf o u n d e do nt h ea n a l y s i sd a t as o u r c e sa n dt h e i rr e l a t i o no ff l i g h ti n f o r m a t i o n s e r v i c e ，t h ed i s s e r t a t i o np r e s e n t e dd a t aa r c h i t e c t u r eo fd a t ai n t e g r a t i o ns y s t e m ，d e s i g n e d i n t e g r a t i o nf r a m e w o r kg r o u n d e do nx m la n dm i d d l e w a r e t h e d i s s e r t a t i o n a l s o r e s e a r c h e dam a p p i n gm e t h o df r o mx m lt or e l a t i o n a ld a t a b a s e ，g w e dt h es o l u t i o na n d f l o wo fd a t am a p p i n g d a t ai n t e g r a t i o na d a p t e ra n dd a t ai n t e g r a t i o nf l o ww e r ed e s i g n e di nt h i sd i s s e r t a t i o n t h ep r o g r a m m i n gi m p l e m e n t a t i o n sf o rf o r m a t t i n gx m l ，r e c e i v i n gd a t a ，p a r s i n gx m l d o c u m e n t ，m a p p i n gd a t aa n dw r i t i n gd a t aw e r ea l s og i v e n i nt h i st h e s i s o n eo ft h em a i np u r p o s e so ft h ed a t ai n t e g r a t i o ni st op r o v i d ec o m p l e t e ，a c c u r a t e a n dt i m e l yf l i g h ti n f o r m a t i o ns e r v i c ef o r t h ep u b l i c o nt h eb a s i so ft h ed a t ai n t e g r a t i o n f r a m e w o r k ，t h i sd i s s e r t a t i o np r e s e n t e daw e bp r o t o t y p es y s t e mo ff l i g h ti n f o r m a t i o n s e r v i c ew h i c hc a np r o v i d ei n f o r m a t i o ns u c ha s f l i g h tp l a n ，f l i g h tt r e n d ，a i r p o r t i n f o r m a t i o na n dm e t e o r o l o g i c a li n f o r m a t i o n e t c k e yw o r d ：x m l ，m i d d l e w a r e ，d a t ai n t e g r a t i o n ，f l i g h ti n f o r m a t i o ns e r v i c e ，m a p p i n g i i 中国民航大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得中国民航大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：啦日 中国民航大学学位论文使用授权声明 中国民航大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和 纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包 括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权中国民航大学研究生部办理。 研究生签名：刍娩导师签名：垮 锄守 中国民航大学硕士学位论文 1 1 课题研究的意义 第一章绪论 目前，我国民航面向公众的航班信息服务不能适应整个民航事业的快速发展，与国 际先进水平相比还存在较大的差距，信息服务水平和服务方式不能满足公众日益增长的 需要。迫切需要通过技术手段实现民航行业内多源信息的整合，为公众提供民航信息服 务，并为民航行业部门之间的信息共享、协同决策及应急指挥奠定基础。 本论文研究是国家8 6 3 重点课题“基于服务架构的民航公众信息服务平台”的组成 部分，是民航公众信息服务的基础性研究。另外，为适应国家经济社会发展的需要和建 设民航强国的要求，中国民航总局提出将建设“新一代民用航空运输系统。其中，建 立行业综合性公共信息网络平台是其重要建设目标之一。本课题的长远应用目标是通过 对课题研究成果的进一步完善，实现民航综合信息平台中未来各种业务数据交换和共享 的系统化、规范化及标准化。 1 2 国内外研究现状 1 2 1 数据整合技术研究现状 数据整合是将多个数据源联合成一个统一的数据接口n 1 ，实现信息资源的集中管理。 数据整合的核心内容是从数据源中抽取数据，然后对其进行转化，最终加载到目标数据 库中。 数据整合的研究开始于七十年代中期，其发展大概可以分为两个阶段1 。第一阶段 以多数据库系统的研究为主，其数据整合方式主要分为三类h 1 。第一类采用物理上分布、 逻辑上集中的系统结构，系统有全局模式，但各数据库缺少自治性，难以管理和集成。 第二类是八十年代中期m c e l o d 提出的联邦式数据库系统h 1 ，该系统具有逻辑上和物理上 都分布的结构，每个结点有自己的联邦模式，由于不再受制于全局模式，所以结点的自 治性得到加强，但是数据库之间的通信受到限制。第三类是l i t w i n 等人提出的多数据 库语言数据整合方法h 1 ，该方法采用对象模型作为数据整合模型，既无统一的全局模式， 也无局部的联邦模式，结点的自治性更强，但用户必须接受一种新的数据语言，且透明 性较差。 多数据库整合系统支持用户使用单一数据定义和语言，同时访问多个独立的数据源， 系统采用对象模型作为数据整合模型。国外具有代表性的多库系统有美国普度大学开发 的i n t e r b a s e 晦1 和h p 公司开发的p e g a s u s 嘲。国内有东北大学数据库研究室开发的 中国民航大学硕士学位论文 p o l y b a s e n l 和s c o p e 系统以及北京理工大学开发的d u h d b 系统等。 到了九十年代中期，随着i n t e r n e t 的出现，数据整合技术得到了进一步的推广，出 现了虚拟数据库和数据仓库两种新的数据整合方法。虚拟数据库不存储任何数据，而是 将用户的查询翻译成一个或多个对数据源的查询。然后，虚拟数据库将数据源对用户查 询的回答进行综合处理，将结果返回给用户。东南大学研究的v e r s a t i l e 系统嫡1 和华中 科技大学研究的p a n o r a m a 系统四1 都是把数据存储在各个数据源中，通过统一定义的模式 来进行查询，其在虚拟数据整合方面取得了很大的成果。数据仓库是指来自几个数据源 的数据副本存储在单一数据库中，存储在数据仓库中的数据在存储之前一般要经过一些 处理，如对数据进行筛选，将关系进行链接或聚集，并且要使所有的数据都符合数据仓 库的模式。 近年来，传统的数据整合技术已经无法适应人们获取更多数据的需求，人们要求数 据整合系统具有可扩展性，可以实现数据源的“即插即用 ，于是“通用异构数据源整 合 的概念诞生嘲。目前通用异构数据源系统的研究处于起步阶段，未有真正的通用数 据整合系统出现。人们对数据整合技术的探索从未停止，各种新兴技术也不断应用到分 布式数据整合系统中。例如：基于c o r b a 的数据整合n 训、基于p 2 p 技术的数据整合n 、 基于x m l 技术的数据整合n 2 1 和基于中间件技术的数据整合。 1 2 2 民航数据整合现状 1 9 9 9 年7 月，欧洲民航管理机构e u r o c o n t r o l 实施了研发欧洲航空信息系统数据库 ( t h ee u r o p e a na i sd a t a b a s e ，e a d ) 的科技计划n3 j 。e a d 于2 0 0 2 年7 月建成，它整合 了4 1 个成员国航空信息系统数据库的信息，是目前世界上规模最大的集中式航空信息 服务系统。截止到2 0 0 6 年8 月1 7 日，e a d 的网上航空信息服务范围已经覆盖欧洲的4 6 个国家。 英国和荷兰已经开展了对航空信息系统的基于服务架构的整合探索和应用。阿姆斯 特丹s c h i p h o l 机场作为欧洲最大的机场之一，该机场于2 0 0 4 年采用b e a 的w e bl o g i c 平台实现了基于s o a 架构的机场信息整合系统n 们。该系统从原有系统和3 8 个外部系统 中搜集并整合大量分散的航空信息，构建了统一信息平台。旅客、航空公司以及其它航 空企业通过该系统实时获取多样化的航空信息。 美国纽约的约翰肯尼迪国际机场是美国三大商务机场之一。该机场建立了一个完善 的集空管、机场、航空公司信息为一体的网上信息整合平台n5 1 ，向公众发布各类实时信 息。公众可以很方便地通过互联网得知飞机的预计起飞到达、实际起飞到达时间以及 当前的位置、飞行高度、速度等实时信息。同时，公众通过该信息平台也可清楚地了解 该机场周边各进出港航班的实时分布状态。 近几年，国内的首都机场、新白云机场等主要枢纽机场和各大航空公司提供了面向 2 中国民航大学硕士学位论文 公众的航班信息网络发布服务和声讯电话服务等。但由于国内空管局、航空公司、机场 等单位的信息系统自成体系、相互独立，各系统互联互通性差，致使信息无法全面整合 并统一发布。 1 2 3 其他行业数据整合进展 尽管国内民航行业并未实现数据的统一，但其他行业关于数据整合方面已经开展了 相应的研究与应用。 文献 3 采用x m l 文档作为林业数据资源整合的底层信息交换载体，设计了基于x m l 的林业数据整合平台框架。框架以m e d i a t o r w r a p p e r 体系结构为平台框架结构，采用 虚拟视图的方法，用x m l 描述局部数据源视图。隐藏了各异构系统的局部特性，实现了 数据整合。 文献 1 6 在面向路网的分布式铁路运输仿真平台的开发中，针对生产数据种类繁多、 存取复杂等情况，研究基于服务的铁路运输仿真平台数据管理机制。该文献利用x m l s c h e m a 模式文档建立数据交互协议中的数据公共关系模型，规范上层数据交互模板，映 射底层关系库结构，实现了仿真成员与数据服务器间的数据交互、数据处理、数据组织 等关键问题。 文献 1 7 针对目前保险公司长期存在的“信息孤岛 问题，研究分析了保险公司解 决数据整合采用的关键技术。文献采用了中间件、w e b 服务及数据复制等相关软件技术 实现保险公司的数据整合。 文献 1 8 采用组件式的三层开发模式和x m l 数据交换技术，开发了具有数据迁移和 数据交换功能的接口，实现了电信行业新旧系统间的平滑过渡以及异构系统间的数据交 换。 文献 1 9 结合j a v a 技术，研究了基于x m l 和中间件技术的异构数据整合方法在钢铁 企业信息系统中的应用。采用x m ls c h e m a 和x q u e r y 作为异构数据源的公共数据模式和 全局查询语言，实现了异构数据的整合及共享。 文献 2 0 以微软的b i z t a l ks e r v e r 服务器为基础支撑平台，以x m l 规范作为标准， 通过w e bs e r v e r 技术解决系统整合的数据交换和消息传递，实现了省级交通系统各部 门数据信息的传递、交换和整合。 文献 2 1 提出了基于x m l 的图书馆网络信息资源的整合模型，采用j s p + x m l 开发跨 库检索系统，对不同来源、不同类型的文献信息资源进行整合，为用户提供统一的检索 平台和检索方法，实现某高校图书馆网络信息资源整合。 1 3 本文的主要工作 本文在对总局空管局、华北空管局、国航、首都机场等民航生产运行单位的主要业 中国民航大学硕士学位论文 务系统现状及其数据进行调研分析的基础上，结合x m l 技术和中间件技术，提出了一种 基于x m l 和中间件技术的民航多源异构数据整合的框架结构。 具体工作如下： 1 分析民航相关单位主要业务系统的关键数据，剖析了民航主要业务系统数据源 在航班信息服务中的关联关系，提出民航公众信息服务平台数据整合系统的数 据架构； 2 研究了数据整合相关技术，设计了基于x m l 和中间件技术的民航公众信息服务平 台数据整合系统的技术架构： 3 对x m l 文档到关系数据库的映射方法进行了分析，提出数据映射解决方案并设计 了数据映射的处理流程； 4 设计了数据整合适配器和数据整合流程，设计了x m l 文档数据格式，编程实现了 包括数据接收、x m l 文档解析、x m l j ! u 关系数据库的映射和数据加载等功能的应 用级数据整合软件。 1 4 章节安排 本论文共有七章： 第一章介绍本论文的研究背景、意义，国内外研究现状及本文所做的工作。 第二章论述了异构数据整合技术、中间件技术和x m l 技术，分析上述技术在异构 数据整合中的应用和优势。 第三章分析了来自民航各单位的数据源及其特征，在明确了数据整合要求与设计 原则的基础上，设计了数据整合的多层逻辑体系架构，提出了x m l 源数据到数据中心数 据库的数据映射解决方案，设计了数据映射处理流程 第四章设计了数据中心的体系结构，介绍了数据存储结构，阐述了数据表及其相 互关系和数据库的表结构。 第五章设计了数据整合适配器，提出数据整合的处理流程。制定了统一的x m l 数 据源格式，提出了x m l 模式到关系数据库模式的映射方案。通过程序设计，实现了民航 公众信息服务平台的应用级数据整合软件。 第六章提出了基于s o a 架构的应用体系结构，介绍了利用j 2 e e 、w e bs e r v i c e 和 s o a 技术实现的民航公众信息服务平台部分功能的界面。 第七章对本论文内容进行总结，并分析了下一步的研究方向。 4 中国民航大学硕士学位论文 2 1 异构数据整合 2 1 1 数据整合概述 第二章数据整合相关技术 随着计算机及网络技术的推广和普及，存储在计算机系统及网络中的信息迅猛增加， 但由于平台差异、数据库技术以及通信协议等方面的不同，使各数据源间的互操作变得 复杂困难。如何更好地利用这些信息，已成为人们日益关心的问题。数据整合的目的是 提供一个访问异构数据源的统一接口，使用户不必考虑数据模型的异构性、数据抽取及 数据合成等问题。数据整合用于对各种异构数据提供统一的表示、存储和管理。数据整 合屏蔽了各种异构数据间的差异，通过异构数据整合系统统一操作。因此整合后的异构 数据对用户来说是统一的、无差异的。 数据整合运用一定的技术手段将各个独立系统中的分散异构的多源数据按一定的规 则组织成为一个整体，使得其他系统或者用户能够有效的对数据进行统一访问，为上层 应用和决策分析等提供有价值的数据。之所以进行数据整合是因为数据分散在众多具有 不同格式和不同接口的系统中，系统之间互不相联，不能实现数据的交换与共享。 2 1 2 数据整合技术 早期的异构数据整合系统多数都采用多数据库整合技术，后来m c l e o d 等人提出了联 邦式数据库系统的概念。由于缺乏必要的标准，联邦数据库系统只能在一定的限制条件 下得以实现，难以达到各种数据源的灵活数据整合。 随着i n t e r n e t 技术的发展和分布异构环境下互操作性的研究，多数据库的集成方法 已经无法适应数据整合的要求。数据整合的研究必然从多数据库整合转向多数据源整 合，因此x m l 技术、中间件技术便被应用到通用异构数据源整合系统中。 异构数据库整合的主要技术有三大类1 ： 1 数据迁移和转换 数据迁移和转换就是将原有的数据移植到新的数据库系统中，为了集成不同类型的 数据，必须将一些非传统的数据类型转化成新的数据类型。许多关系数据库供应商提供 了类似的功能。这种集成方案的缺点是随着数据管理系统的升级，原来数据的相关应用 软件或是被废弃或是需要重新开发以适应新的数据库管理系统。因此移植到一个新系统 通常不是一个实际的解决方案。 2 多数据库系统 从系统和规模上解决异构数据库集成的方法为多数据库系统。多库系统能够接受和 中国民航大学硕士学位论文 容纳多个异构数据库的系统，对外呈现出一种集成结构，而对内又允许各个异构数据库 的自治性。 多数据库系统一般分为两类，一类是有全局统一模式的多数据库系统，其有一个全 局统一的概念模式，通过映射各异构的局部数据库的概念模式而得到；另一类是联邦数 据库系统，各个异构的局部数据库之间仅存在松散的联邦式耦合关系，没有全局统一模 式，各局部数据库通过定义输入输出模式进行彼此之间的数据访问。 到目前为止，没有商品化的多数据库系统，其实施有一定难度。 3 中间件摸式瞳3 1 中间件( m i d d l e w a r e ) 是位于c l i e n t 与s e r v e r 之间的中介接口软件，是异构系统整 合所需的桥梁。其结构如图2 - 1 所示。 图2 一l 中间件结构图 中间件模式利用中间件技术来整合异构数据库，该方法并不需要改变原始数据的存 储和管理方式。该模式通过统一的全局数据模型来访问异构的数据库、遗留系统和w e b 资源等。中间件位于异构数据库系统( 数据层) 和应用程序( 应用层) 之间，向下协调各数 据源系统，向上为访问整合数据的应用提供统一数据模式以及数据访问的通用接口，它 对用户屏蔽数据的分布地点、d b m s 平台、s q l 方言扩展、特殊的本地a p i 等等差异。 中间件并不存储任何实际数据，向上只是一个虚拟数据库，各数据库的应用仍然完成它 们的任务。显然，中间件模式是实现异构数据整合较理想的解决方案。 2 2 中间件技术 2 2 1 中间件定义 在分布异构环境中，通常存在多种硬件系统平台，在这些硬件平台上又存在各种各 6 中国民航大学硕士学位论文 样的系统软件。为解决分布异构问题，人们提出了中间件船钔( m i d d l e w a r e ) 的概念。中间 件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间 共享资源。中间件位于客户机服务器的操作系统之上，管理计算资源和网络通信。中 间件是基于分布式处理的软件，最突出的特点是其网络通信功能。它为当今的大型分布 式企业级应用找到了一个标准的平台，能够把分散的系统有机地组合在一起，实现大型 企业应用软件系统的整合。中间件为同一平台或不同平台上使用不同开发商产品的用户 或开发人员创造了浑然一体的连通性。因此，确切的说，它是透明的，开发人员和用户 看不到它。 中间件与应用软件的最大区别在于：中间件的设计充分考虑了通用性，并提供了标 准化的程序开发接口a p i ，能够被其他软件调用和进行二次开发。在具体实现上，中间件 是一个用应用程序接口定义的分布式软件管理框架，具有强大的通信能力和良好的可扩 展性啪】。 2 2 2 中间件的特点和优势 中间件具有以下特点瞳引：可满足大量应用的需要，运用于多种硬件平台和操作系统 平台，支持分布式计算，提供跨网络、跨硬件和操作系统平台透明性的应用或交互功能， 支持标准协议，支持标准接口。 中间件屏蔽了底层操作系统的复杂性，使程序开发人员面对一个简单而统一的开发 环境，减少程序设计的复杂性，将注意力集中在自己的业务上，不必再为程序在不同系 统软件上的移植而重复工作，从而大大减少了技术上的负担。 中间件带给应用系统的不只是开发的简便、开发周期的缩短，也减少了系统的维护、 运行和管理的工作量，还减少了计算机总体费用的投入。 2 2 3 中间件技术在异构数据整合中的应用优势 将中间件技术应用于异构数据整合系统中，该数据整合系统将会有以下优点n9 l ： _ 可伸缩性：数据整合系统必须建立在灵活可伸缩的基础之上，使不断扩展的业 务数据应用能够植根在易于生长的环境中，使产生于不同时期的数据能够整合 成一个有机的整体，而中间件正好提供了这样一种基础环境。 互操作性：中间件通过一套简单的a p i 或通用界面将应用程序与底层环境分离 开来，实现异种硬件平台、异种操作系统平台之间的互操作性。这也解决了数 据整合中的系统异构问题。 适应性：中间件使异构数据整合系统能够适应业务需求的不断变化，在产生增 加或减少客户机、应用程序、服务器结点等环境变化时，能对整个系统的影响 减至最小。 7 中国民航大学硕士学位论文 易开发：中间件提供了构造数据应用的基础构件，为开发人员屏蔽了直接接触 底层环境所要面对的复杂性，使开发人员专注于业务流程的实现上，从而使数 据的相关应用开发工作简便易行。 经济性：中间件可以为不同数据应用提供不同标准的灵活基础结构，使企业避 免了为多个数据应用反复编写底层程序的重复劳动，使应用开发的人力投入大 幅度减低。同时，中间件的应用集成能力使原有数据应用的开发投资得到保护。 高效性：中间件作为标准的基础构件，产品化要求使自身处于持续的不断优化 之中，从而使居于上层的数据应用能够获得一种有质量的运行环境，满足数据 整合在处理效率上的需求。 _ 易用性：中间件支持多种开发工具和语言，实现了数据整合开发环境的平台无 关性。 总之，中间件形式灵活，能够方便应用于各种异构平台的系统中；同时它又能够屏 蔽底层的传输协议、系统结构、操作系统和其他应用服务的差异，对应用层提供统一标 准接口。这样，使系统对每个不同数据源的操作变为对单一中间件的操作，而后再对中 间件进行操作分解和结果合成。所以，采用中间件技术解决异构数据整合难题是一种可 行的方案。 2 3 x m l 技术 2 3 1 x m l 简介 可扩展标记语言x m l 嘲( e x t e n s i b l em a r k u pl a n g u a g e ) 是w 3 c 组织x m l 工作组于1 9 9 8 年定义的。它用来描述一种称为x m l 的文件数据对象，同时也部分描述处理这些对象的 计算机程序的行为。x m l 是s g m l ( s t a n d a r dg e n e r i cm a r k u pl a n g u a g e ) 在应用上的一 个受限子集乜引，是目前全球范围内描述数据和交换数据的一种标准的方式。 x m l 是一种元标记语言。用户可以定义自己需要的标记，这些标记必须根据某些通 用的原则来创建，但是在标记的意义上也具有相当的灵活性。标记可以有三类意义：结 构、语义和样式。结构定义了元素之间的层次关系，语义将单个的元素与外部的实际事 物联系起来，而样式指定如何显示元素。x m l 描述了一类称为x m l 文档的数据对象，同时 也部分地描述了处理这些数据对象地计算机程序地动作。 我们可以用x m l 来定义在数据文件中数据是如何组织和安排的。通过这些组织结构 信息，可以来引导不同的数据使用者将其关心的数据内容提取出来，用于各自的目的。 x m l 能够成功的一个关键就是其将数据内容与应用分开从而提高效率的思想。当初数据 库提出的思想就是为了将数据以独立于数据使用目的方式存放，以达到被不同的应用程 序使用的目的。 中国民航大学硕士学位论文 x m l 是描述内容的数据格式，在使用x m l 数据时还需要x m l 数据的显示、打印、数据 结构的变更等许多相关技术，如图2 - 2 所示。 旺数据结构技术x j m l 解析技术订l 表现技术 x m l 命名空间核心 2 3 2 x m l 文档类型 图2 2x m l 相关技术 x m l 文档是一种结构化的标记文档。为了保持x m l 文档的有效性，必须明确文件中 的信息遵守哪些结构。这通过x m l 的模式来保证。有两种方法可以定义x m l 文档的模式， 即文档类型定义( d o c u m e n tt y p ed e f i n i t i o n ，d t d ) 和模式定义s c h e m a 。 文档类型定义d t d 乜们是一套关于标记符的语法规则，它定义了x m l 文档的整体结构 以及文档的语法，即文档中可以引用的元素、属性和实体以及这些内容之间的关系。d t d 最初是为使用s g m l 开发的，它可以是x m l 文档的一部分，但它通常是一份单独的文档 或一系列文档。 x m ls c h e m a 啪1 提供了创建x m l 文档必要的框架，详细说明了一个x m l 文档的不同元 素和属性的有效结构、限制和数据类型。x m ls c h e m a 由x m l l 0 自描述，并且使用了命 名空间，有丰富的内嵌数据类型和强大的数据结构定义功能，充分地改造了并且极大地 扩展了d t d 的能力，将逐步替代d t d ，成为x m l 体系中正式的类型语言，同x m l 规范、 n a m e s p a c e 规范一起成为x m l 体系的坚实基础。 2 3 3 x 地文件解析 解析就是读出k m l 文档中的数据。在程序开发过程中，要对x m l 文档进行访问与操 作，必须通过能够识别x m l 语法的分析器来实现。x m l 分析器实际上就是一个对x m l 文 档进行语法分析的d l l ，应用程序正是通过分析器d l l 接口，实现对x m l 文档的识别与 访问。 x m l 提供两种数据接口，一个是w 3 c 制定的书写x m l 分析器的标准接口规范文档对 象类型d o m ( d o c u m e n to b j e c tm o d e l ，d o m ) ，另一个是x m l d e v 邮件列表的成员根据应 用的需求定义的对x m l 文档进行操作的接口规范x m l 简单应用程序接口s a x ( s i m p l e a p i sf o rx m l s a x ) 。 9 中国民航大学硕士学位论文 d o m 口采用对象模型和一系列的接口来描述x m l 文档的内容和结构，即利用对象把文 档模型化。这种对象模型描述了文档的结构、操作接口的行为和属性、接口之间的关系 以及互操作。 s a x 羽是一种基于事件的推( p u s h ) 模型，提供了一种对x m l 文档进行快速、只读、 顺序访问的模式。s a x 接口是事件的，当使用s a x 解析器对x m l 文档进行解析时，就会 触发一系列事件，并激活相应的事件处理函数，从而完成对x m l 文档的访问。开发人员 自行编写这些事件的处理函数，便可达到从x m l 文档中检索信息并做相应处理的目的。 2 3 4 x m l 在异构数据整合中的应用优势 近几年来，x m l 技术被广泛应用于异构数据整合领域中，因为x m l 在异构数据整合 中的应用有许多优势n 引【3 引。 - x m l 不仅与平台无关，而且与厂商无关，独立于平台和应用。所以将x m l 作为数 据源通道，它可以自行描述保存在异构环境中的各种数据，其他系统应用能直 接对这些自描述的x m l 文件中的数据进行操作。因而，x m l 将成为跨平台数据交 换和操作的标准模式，解决了异构数据源之间的互操作问题。 _ x m l 为各异构数据源提供一层理想的缓冲，将x m l 作为数据传输的中介格式，异 构数据源之间可以保持透明性，不需要知道对方的内部存储格式。同时某个数 据源内部的变更也不会影响其他数据源。 - 由于x m l 的自定义性及可扩展性，使得它足以表达各种类型的数据，它可以通 过定义数据元素和属性来定制x m l 文档以满足特定的需求。作为独立平台和设 备的结构化数据表达方式，x m l 有效地实现了异构数据源的整合。 _ x m l 实现了数据源的“即插即用”。因为新数据源的加入只需修改相应的数据模 式文件，而系统无需做大的变动与扩充。 一使用x m ls c h e m a 或d t d 来对数据库模式进行映射，可以将数据源的各种类型映 射到x m l 数据类型，同时也可以将x m l 类型映射到各种数据库类型，这样就实 现了数据类型异构的整合。 可以利用d o m s a x 接口进行各种应用系统的开发。 2 4 x m l 中间件 x m l 中间件数据整合方法是利用x m l 相关技术，将x m l 文件作为整合层的数据描述 载体来实现对异构数据的整合。 x m l 技术的利用，使得中间件技术得到新的发展契机。基于x m l 的中间件，其优点 是x m l 数据的转换非常容易。如果需要处理不同格式的业务数据，就可以利用x m l 的这 个特点方便的进行格式转换。x m l 格式数据的处理可以非常方便和灵活的实现，目前在 1 0 中国民航大学硕士学位论文 x m l 领域，有关x m l 的处理软件非常丰富，提供给x m l 中间件系统开发者非常大的选择 余地。针对不同行业的应用特点，中间件设计可以有很大的不同，但是中间件的体系结 构是不会改变的。 基于x m l 的上述优势和特点，使之成为异构数据整合时中间件的一个标准载体，通 过它可以集成和统一来自不同或异质数据源的信息，还可以为不同类型或持有不同设备 ( 如固定计算机，移动设备，p d a 等) 的用户提供服务。将各种异构数据源的数据集中合 并成x m l 格式的中间数据文件，并向上层应用提供对x m l 数据进行操作的应用接口，从 而实现异构数据间的整合。 2 5 本章小结 本章介绍了异构数据整合的基本概念和数据整合技术。介绍了中间件技术和x m l 技 术，对中间件技术和x m l 技术在异构数据整合应用中的优势进行了分析。 中国民航大学硕士学位论文 3 1 数据资源分析 3 1 1 数据源的特征 第三章数据整合总体设计 民航公众信息服务平台数据整合所需数据来自于民航各生产单位，包括空管局、航 空公司及机场。以上各单位分别独立，均有各自的生产运行系统，使用的业务软件各异， 产生的业务数据也具有不同的结构和形式，数据源的特征主要表现为以下几个方面： 1 ) 异构性：民航业务系统数据源的异构性主要表现为系统异构。系统异构表现为 各数据源所依赖的业务应用系统、数据库管理系统甚至操作系统的不同。 2 ) 自治性：数据整合涉及的民航各相关单位分别使用各自业务系统，其业务数据 由各自的业务系统产生，相互独立，不存在数据关联。民航公众信息服务平台 的数据整合不能影响到原业务系统的正常运转，要保证各单位业务系统原有的 自治性。 3 ) 分布性：数据源分别存放在分散的、彼此相互独立的民航相关单位的不同业务 系统，具有地理上的分布性。因此，数据整合面对的是分布式的数据源。 4 ) 不完整性：民航公众信息服务平台所需要的航班运行数据分散在空管、航空公 司、机场等民航生产运行单位的业务系统中，没有任何一个单位能够提供全面 完整的航班运行数据。例如：对于航班动态信息，空管部门业务系统能够提供 预计起降时间、实际起降时间等数据，航空公司业务系统能够提供实际起降时 间、开关舱门时间、登机起始时间等数据，而机场业务系统能够提供值机柜台 号、登机口号和行李转盘号等数据。 3 1 2 民航各单位的业务系统及其产生的数据 由于民航公众信息服务平台数据整合的数据来自多家民航生产单位的不同业务系 统，所以必须要了解各个单位的业务系统，理清航班服务信息的数据来源。对民航生 产运行单位的主要业务系统和业务数据进行分析是数据整合的基础性工作。 3 1 2 1 空管系统 空管业务系统是面向空中交通管理、面向管理决策支持、面向航空运输企业服务 的综合信息系统。 1 2 中国民航大学硕士学位论文 空管业务系统能够提供航班计划、航班动态、气象和航行情报等业务信息。 航班计划 总局空管局的航班时刻计划处负责航班时刻发放与变更的公布，该处包含全国所 有航空公司的航班计划信息。 一航班动态 对于航班动态信息，由于其涉及电报收发，存在报文丢失等情况。另外，由于空 管只关心飞机在空中飞行的过程，对起飞落地时刻并不关注，因而基本不对动态信息 进行校正，所以其航班动态信息不完整且不一定准确。 气象信息 气象信息是航班运行导航必须数据，由空管的气象雷达生成，是气象信息的唯一 来源。华北空管局是我国与世界进行气象信息交互的出入接口，包括了我国和世界各 地所有气象信息。 3 1 2 2 航空公司生产运行系统 以国航为例，其生产运行系统主要包括o m i s ( s o c ) 系统、地面服务系统、航班管 理系统( a i r f l i g h t ) 及运价管理系统( a i r p r i c e ) 。 o m i s 系统是国航生产运行的核心管理系统，主要负责航班计划信息和航班动态信 息的收集、处理和管理，包括国航的航班及国航所代理的外航航班。 航班计划 航空公司拥有本公司申请的长期航班计划时刻表。 航班动态 对于实际起降时刻，飞机起飞落地时发送a c a r s 报文，由于航空公司关注本公司 的飞机飞行情况，所以本公司的航班动态信息比较完整。同时，航空公司拥有本公司 的航班延误信息。 飞机信息 航空公司拥有本公司所有飞机的基本信息、起降条件信息。 气象信息 航空公司拥有本公司所有航班涉及的机场、航路的气象信息，该信息来自空管业 务系统。 3 1 2 3 机场业务系统 以首都机场为例，其业务系统主要包括生产运行管理系统( c a t s ) 、资源分配系统 中国民航大学硕士学位论文 及行李分拣系统。 生产运行管理系统c a t s 负责航班计划信息和航班动态信息的收集、处理、管理以 及向机场的各个职能部门发送调配信息。系统的相关数据集中存储于a o d b 库中。 资源分配系统主要是对飞机停机位、值机柜台、登机口和行李转盘等资源进行合 理有效分配。 行李分拣系统主要是对旅客托运的行李根据航班进行识别、分类和传送。 航班计划 机场拥有本机场起落航班的所有申请计划信息，由于航空公司实际执行计划一般 都在申请计划上调整，因而机场的航班计划信息可能不准确。 航班动态 机场拥有所有在本机场起降航班的变更信息，该信息来自空管业务系统。 机场拥有当日在本机场起落的所有航班实际起落信息，该信息来自航空公司业务 系统。 资源分配信息 机场拥有飞机机位、登机口、行李转盘等公众服务信息，并且机场是这些信息的 唯一来源。 3 2 数据架构设计 综上所述，对于航班计划，空管业务系统中拥有准确完整的信息，航空公司拥有 本公司的准确完整信息，故航班计划优先数据源为空管业务系统，补充数据源为航空 公司业务系统。航班计划数据的字段包括：航班号、所属航空公司、航空公司代码、 市场机型、计划起飞时间、计划降落时间、航班类型、起飞机场、降落机场、经停站、 执行起始日期、执行终止日期、班期。 对于航班动态，情况比较复杂。除需要机场业务系统提供的资源分配信息外，航 空公司业务系统中的航班动态信息比较准确完整。其航班动态数据的字段包括：航班 号、飞机型号、预计起飞时间e t d 、预计降落时间e t a 、实际起飞时间a t d 、实际降落 时间a t a 、航班状态、开舱门时间、关舱门时间、值机柜台开始办理时间、值机柜台 办理结束时间、登机开始时间、登机结束时间。以上数据字段航空公司业务系统均为 优先数据源。 空管业务系统中也拥有航班动态信息，其数据的字段包括：航班号、预计起飞时 间、预计降落时间、实际起飞时间、实际降落时间、航班性质、实际备降机场。以上 数据字段内容作为航班动态数据的补充数据源，达到对航空公司航班动态数据进行补 充的作用。 1 4 中国民航大学硕士学位论文 机场业务系统提供资源分配信息，其数据的字段包括：航班号、起飞航站楼、降 落航站楼、值机柜台号、登机口、行李转盘号，以上数据字段机场业务系统为优先数 据源。 对于气象信息，空管部门的气象系统中拥有所有与民航运输有关的气象信息，航 空公司业务系统和机场业务系统的气象数据均来自所在地区空管局的气象系统，故气 象信息的数据源为空管气象系统。气象预报数据字段包括：机场代码、时间范围、风 向、风力、天气现象、最大能见度、相对湿度。气象实时信息数据字