（运筹学与控制论专业论文）基于xml的异构数据源的集成.pdf

1 1 1 _ _ 1 ：f i i ii i ii l i i iif iiif l l liii ii i f i i i i i i i y 1819 8 2 5 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：意鑫 2 j o r 年r 月2 男日 经指导教师同意，本学位论文属于保密，在r 年解密后适用 本授权书。 指导教师签名： 降、枷天 学位论文作者签名： 意叁 解密时 间：年月日 各密级的最长保密年限及书写格式规定如下： 内部5 年( 最长5 年，可少于5 年) 秘密1 0 年( 最长1 0 年，可少于1 0 年) 机密2 0 年( 最长2 0 年，可少于2 0 年) 一 t - o)， r 一一篱1 南开大学学位论文电子版授权使用协议j i ( 请将此协议书装订于论文首页) 论文墓3 ) ( 刃l 乌囊构教握土晒s 律成 系本人在 南开大学工作和学习期间创作完成的作品，并已通过论文答辩。 本人系本作品的唯一作者( 第一作者) ，即著作权人。现本人同意将本作品收 录于“南开大学博硕士学位论文全文数据库”。本人承诺：已提交的学位论文电子 版与印刷版论文的内容一致，如因不同而引起学术声誉上的损失由本人自负。 本人完全了解鱼直珏太堂圈盘焦羞王堡在：使用堂焦i 佥塞的管理壶洼滏! 同意 南开大学图书馆在下述范围内免费使用本人作品的电子版： 6 本作品呈交当年，在校园网上提供论文目录检索、文摘浏览以及论文全文部分 浏览服务( 论文前1 6 页) 。公开级学位论文全文电子版于提交1 年后，在校园网上允 许读者浏览并下载全文。 注：本协议书对于“非公开学位论文 在保密期限过后同样适用。 童o ： k 院系所名称：“廷镬幕铒芎浅 善冷 作者签名：憨蕴 学号：一矿2 口i ；牛 日期：年月 日 一 【一一 i 、一 二- 任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉 及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学 位论文原创性声明的法律责任由本人承担。 学位论文作者签名：意鑫 2 么瞬f 月砺日 - - 矗中j 摘要 摘要 在企业的信息化建设过程中，各个部门根据各自的信息要求和特定的应用 开发了基于不同数据源的应用系统。虽然这些系统是应用在不同的领域，管理 着不同的对象，但是它们之间也有很多相互交叉，甚至重复的信息和数据，因 此企业内部的这些系统相当于一个个“信息孤岛 ，相互之间没有畅通的信息交 流与共享。这样的后果是，在企业中经常会出现信息和数据的更新不同步甚至 不一致，而且现在越来越多的应用需要访问各种异构数据源。 关系数据库由于技术成熟、数据管理能力强、稳定可靠的并发控制而得到了 广泛应用，并且在企业的各类数据管理中占据着重要地位。如何对异构关系数 据库的数据进行集成? x m l 本身所具有的与平台无关、易于扩展、交互性好、 语义性强、可格式化等特性和优点，使得其能够方便地描述关系数据库，并在 异构关系数据库之间的转换过程中发挥桥梁作用。 本文以实际项目为背景，研究了基于x m l 的异构关系数据库的数据集成。 论文首先研究了x m l 和关系数据库的关系。然后介绍了三种数据库的数据集成 模型：数据库层数据集成、业务逻辑层数据集成模型、用户界面层集成模型。 最后以业务逻辑层数据集成模型为研究模型，提出了基于x m l 、x s l t 的业务 逻辑层数据集成解决方案，并给出了关键部分的实现，该方案的最大好处就是 易改动、可扩充性强、允许用户自行定义转换的流程，符合了企业的动态发展 的需要。最后给出了该方案的具体应用示例：天津钢管公司的e r p 系统和生产 控制系统的数据集成。 关键词：应用系统集成x m lx s l t 关系数据库e r p 忝 p 一 a b s t r a c t a b s t r ac t d u r i n g t h e p r o c e s s o fe n t e r p r i s e i n f o r m a t i o n i z a t i o n ，d e p a r t m e n t sd e v e l o p d i f f e r e n ts y s t e m sh a v i n gt h e i ro w nd a t as o u r c e sa n db a s e do nd i f f e r e n tp l a t f o r m s t h o u g ht h e s es y s t e m sa l ea p p l i e di nt h ed i f f e r e n tf i e l d s ，t h e s es y s t e m so f t e n i n t e r o p e r a t e ，h a v i n gc o m m o nd a t a a n d i n f o r m a t i o n s ot h e s e s y s t e m s i n s i d e e n t e r p r i s e sa l e ”i n f o r m a t i o ni s l a n d ”t h e r ea l en ou n b l o c k e d i n f o r m a t i o ni n t e r c h a n g e a n dd a t a s h a r i n ge a c ho t h e r , w h i c hr e s u l t i na s y n c h r o n o u sd a t au p g r a d i n ga n d i n c o n s i s t e n c yo fi n f o r m a t i o ni ne n t e r p r i s e s n o w , m o r ea n dm o r ea p p l i c a t i o n sn e e dt o a c c e s sv a r i o u sk i n d so fd i f f e r e n td a t as o u r c g s r e l a t i o n a ld a t a b a s es y s t e m sa r ew i d e l yu s e da n dp l a ys i g n i f i c a n tr o l e si nt h ed a t a m a n a g e m e n to fe n t e r p r i s e sw i t ht h e i rm a t u r et e c h n o l o g y , p o w e r f u ld a t am a n a g e m e n t , r e l i a b l ea n ds t a b l ec o n c u r r e n tc o n t r 0 1 h o wt oi n t e g r a t et h ed a t ao fh e t e r o g e n e o u s r e l a t i o n a ld a t a b a s es y s t e m s ? t h em e r i t sa n dc h a r a c t e r i s t i c so fx m ls u c ha s p l a t f o r m - i n d e p e n d e n t ，e a s yt ob ee x p a n d e d , i n t e r a c t i v e ，a b i l i t yo fs t r o n gs e m a n t i c e x p r e s s i o na n dt ob ef o r m a t t e d ，m a k ei te a s yt od e s c r i b er e l a t i o n a l ss c h e m aa n ds e r v e a sa ni n t e r m e d i a r yi nt h ec o n v e r s i o na m o n gh e t e r o g e n o u sd a t a b a s e s b a s e do na l li n d u s t r yp r o j e c t ，t h i st h e s i si sm a i n l yo nx m l - b a s e di n t e g r a t i o no f h e t e r o g e n e o u sr e l a t i o n a ld a t a b a s es y s t e m s t h et h e s i sf i r s t l yi n v e s t i g a t et h er e l a t i o n b e t w e e nx m la n dr e l a t i o nd a t a b a s e t h e ni n t r o d u c et h r e ei n t e g r a t i n gm o d e l so fd a t a o fr e l a t i o n a ld a t a b a s e s ：i n t e g r a t i o no fd a t a b a s el a y e r , i n t e g r a t i o no fb u s i n e s sl o g i c l a y e r , i n t e g r a t i o no fu s e r si n t e r f a c el a y e r h n a l l yh a v i n gt h ei n t e g r a t i o no fb u s i n e s s l o g i cl a y e ra f tr e s e a r c hm o d e l ，p r o p o s et h ei n t e g r a t i n gs o l u t i o nb a s e d o nt h ex m la n d x s l t t h ei m p l e m e n t a t i o no ft h ek e yc o m p o n e n t si nt h es o l u t i o ni sa l s og i v e n t h e g r e a t e s ta d v a n t a g eo ft h i ss o l u t i o ni sa p tt ob ec h a n g e da n de x t e n d e d ，a l l o wu s e r st o d e f i n et h ep r o c e d u r ea c c o r d i n gw i t ht h e i rr e q u i r e m e n t ，m e e td y n a m i cd e v e l o p m e n t s o fe n t e r p r i s e s n e e d s ：f i n a l l yad e m o n s t r a t i o no ft h es o l u t i o ni sp r o v i d e d ：t h e i n t e g r a t i o n o fe r pa n dp r o d u c t i o nc o n t r o ls y s t e mi nt i a n j i np i p e ( g r o u p ) c o r p o r a t i o n k e yw o r d s ：e a i x m lx s l tr e l a t i o n a ld a t a b a s ee r p n 一 一雉 一 目录 目录 第一章引言1 第一节研究背景1 第二节研究的问题及现状4 1 2 1 企业应用集成( e a i ) 4 1 2 2 异构数据源集成5 1 2 3 异构数据源集成主要解决的问题6 1 2 4 异构数据库主要集成的方法6 第三节论文的主要工作7 第四节论文的结构8 第二章x m l 和关系数据库。1 0 第一节引言1 0 第二节x m l 起源及相关技术1 0 2 2 1 瑚l 起源1 0 2 2 2d t d s c h e m a 1 1 2 2 3c s s x s l t 1 2 2 2 4s o a p 1 2 第三节关系型数据库和x m l 的对应关系1 3 第四节瑚l 文档和关系数据的映射1 4 2 4 1 基于表的映射1 4 2 4 2 基于对象的映射1 6 第五节关系数据库与x m l 之间的转换技术1 8 第三章基于x m l 、x s l t 的异构数据源的集成2 0 第一节异构数据源集成模型2 0 第二节传统的基于分布式对象数据集成的实现方式2 2 3 2 1 分布式对象技术2 2 3 2 2 基于分布式对象的系统集成2 3 3 2 3 分布式对象的集成缺点2 3 第三节基于x m l 、x s l t 的业务逻辑层数据集成2 5 第四节基于x m l 、x s l t 的业务逻辑层的数据集成的实现2 5 参 一 目录 3 4 1x m l 数据接口的实现：2 5 3 4 2 业务流程描述文件，数据操作x s l t 文件2 6 3 4 3 任务解析模块2 7 3 4 4 任务执行模块。2 7 第四章x s i t 实现对l 文件的操作2 8 第一节引言2 8 第二节x s l t 概述2 8 4 2 1x s l t 2 8 4 2 2x s l t 的关键元素3 0 第三节利用x s l t 实现s e l e c t 、i n s e r t 、u p d a t e d 操作3 l 一4 3 1s e l e c t 操作3 l 4 3 2u p d a t e 的操作+ 3 4 4 3 3i n s e r t 操作3 5 第五章生产控制系统和e r p 系统的数据集成3 7 第一节项目背景一3 7 第二节e a i 的解决方案3 7 第三节e a i 的实现、3 9 5 3 1 数据层3 9 5 3 2 数据访问层3 9 5 3 3 基于w e bs e r v i c e 的x m l 数据接口4 0 第四节工作流程4 2 5 4 1 计划下行流程4 2 5 4 2 生产数据的上行流程4 4 第六章总结与展望。4 6 致谢。4 7 参考文献4 8 附录5 0 2 一 引言 第一章引言 第一节研究背景 随着计算机技术的发展和企业信息化的不断发展，企业使用的软件如e r p 、 c r m 等应用和数据库管理系统也越来越多。虽然这些系统是应用在不同的领域， 管理着不同的对象，但是它们之间也有很多相互交叉，甚至重复的信息和数据。 而各个应用系统又是相互独立运行，因此企业内部的这些系统相当于一个个“信 息孤岛 ，相互之间没有畅通的信息交流与共享。这样的后果是，在企业中经常 会出现信息和数据的更新不同步甚至不一致。而且现在越来越多的应用需要访 问各种异构数据源。对于企业应用来说，这既是企业内部发展的需要也是企业 适应外部环境的需要，本文主要以实际的项目一天津钢管公司计算机管控一体化 ( 简称“一体化 ) 为研究对象。 天津钢管公司是以生产石油套管为主要产品的高技术含量的无缝钢管生产 基地，为国家“八五重点建设项目。工程于1 9 8 9 年6 月开工，1 9 9 6 年正式投 产。公司主要生产装备分别由德国、意大利和美国引进，其技术装备为9 0 年代 初国际先进水平。天津钢管公司采用短流程布置，结构紧凑、自动化程度高。 主生产线由炼钢连铸、轧管和套管加工三大部分组成。通过多年的信息化建设 天津钢管公司坚持控制系统与工程建设同步、管理信息系统与管理发展同步的 指导思想，在建设产品生产线的同时完成了工艺设备和过程控制的自动化，实 现了从各控制计算机系统到公司级管理信息系统的“数据不落地 ，并在实践中 最终形成了自下而上纵向的四级计算机结构体系，即： l 1 一基础自动化； l 2 一过程控制计算机系统； l 3 一生产控制计算机系统； 咖公司级管理信息系统( e r p 系统，网上采购系统) 。 建立管控一体化系统的必要性： 信息孤岛现象仍然存在，部门间的信息流动仍然是人工方式 虽然在企业的不同部门实施着不同系统，这些系统仍然是一个个信息 孤岛，部门或系统间的信息传递多采用人工汇报的方式。实施e r p 的关键 引言 在于集成，在于如何把各个部门原有的信息孤岛联成一个统一的系统。e r p 难就难在8 0 已实现e r p 的系统与2 0 非e r p 系统如何接口，手动与自动 化接口带来的效率降低可能会抵消掉已经实现的e r p 成效，如下图1 1 中 采购部门的电子采购系统和e r p 系统间的物料采购需求信息的传递以及 e r p 与各个分厂的生产控制系统间的生产信息流动，还是采用人工报表形 式，这样由于职能牵制及处理时间差异，导致信息传递的冲突、信息的滞 后、信息的不一致性和大量的重复工作。 删煳r 可订i 掣一汀嚣攀舻 i ，i i 一，一l i 静厂毕 磷一剥r ：赶翁亭 稿r 触糖；抛墨矧r “l 一体化是实现供应链管理的基础 制造业的计算机管控一体化系统主要是实现企业内部的供应链管理， 它覆盖了企业内部生产经营全过程：从订单、采购、库存、计划、生产、 质量、运输、市场、销售、服务以及相关的财务和人事管理，通过流程的 整体优化、信息集成( 包括制造过程的生产技术信息) 和功能集成，实现对 企业资源的优化计划和控制，可以说建立制造业的计算机管控一体化系统 是建立电子商务和实现供应链管理的基础，没有企业内部供应链的管理自 动化，没有企业生产经营全过程信息集成和功能集成，电子商务和企业间 的供应链管理是低效的、甚至是不可能的。 一体化的实施框架： 如下图1 2 是公司实施一体化的整体框架： 2 引言 供应商 鹱 喇劾獬嬲蚴 i _ 焉 数据集成层：隧圜圜 ， | 战咯管理| l 决策支持1 1 缋效管理l 敷据仓库l 协同供应睦管理蚓慵 供应商管理ii 供应链计划管理ll 客户管理 霞嘲疆 月 羞 薹 髓 嚣 黧 上 囊 上薹臣圃压固匾困 雾 统 采 重 絮 墓i 塑鬯l ，l 综台生产阻丝i 统 蠢 厅稠1 捌管理ln 阐藁 霉 睡豳 其他生产撞锐 3 炼钢生产控镧 炼臀系统i 系统系统 l 2 ：生产过程控错计算机系统 l：生产装各和基础自动化 蓉争 v - r t 锄黝蝴六 - 图1 2 一体化实施的整体框架 数据集成主要以e r p 为核心向外扩展，主要的数据集成需求如下： 向下的集成包括： e r p ( 综合生产计划管理) 与生产控制系统的集成； e r p ( 质量管理) 与生产控制系统的集成； 向上的集成包括： e r p ( 采购管理) 与协同供应链管理s c m ( 供应商管理) ； e r p ( 综合生产计划管理) 与协同供应链管理s c m ( 供应链计划管理) ； e r p ( 销售管理) 与协同供应链管理s c m ( 客户管理) ； 横向的集成： e r p ( 采购管理) 与网上采购系统； e r p ( 销售管理) 与网上销售系统； 3 引言 第二节研究的问题及现状 1 2 1 企业应用集成( e 触) 企业应用集成( e a i ) 就是一种能将企业组织内部的多个不同数据源和分离 应用系统进行协同自动化处理的解决方案，它能够将业务流程、应用软件、硬 件和各种标准联合起来，在两个或更多的企业应用系统之间实现无缝集成，使 它们像一个整体一样进行业务处理。 e a i 的发展经历了三个阶段：点对点的连接阶段、企业的内部协作阶段、企 业间的协作阶段。传统的e a i 实现主要针对第一个阶段，几十个、几百个“信 息孤岛应用程序集成。通常是使用点对点的集成方式，如图1 3 所示。 图1 3 点对点的集成方式 这种集成的缺点显而易见：集成虽然在一个整体的平台上，但是很多都不 是开放及标准的环境，此类整合常伴随重复或技术难度较大的问题，导致整合 的时间过长、成本过高，成功的几率不高。当众多系统间需要信息共享时，往 往以某一个或某几个关键应用系统为主，此外利用系统提供接口进行二次开发， 在需要共享信息的系统间由特定的程序员提供复杂的访问接口，与其它系统进 行整合，是一种复杂系统对接的模式。假定企业中有n 个系统需要共享数据资 源，那么需要特定的程序员开发复杂的单向接口就是n ( n 1 ) 个，于是企业不 得不为每套应用配置特有的专业技术维护人员，并保持与不同技术供应商的密 4 切联系，接口的复杂性和大量化以及不同技术供应商之间的工作协调往往使企 业望而生畏，结果往往形成了众多的数据孤岛和小规模的紧密集成。这种方法 对某一个或某几个系统过分依赖，没有站在企业应用集成这个全局的高度，很 难从根本上解决企业面临的信息共享问题，不能满足企业信息化进程的要求。 在e a i 的第二、第三阶段，通过建立一个灵活、标准的企业应用底层架构， 以允许新的基于i r r 的应用和商业处理更容易和更有效地被连接。如图1 4 所示 图1 4 基于集成服务器的系统集成 目前大多数的专业e a i 系统都是采用上述架构，居于核心位置的集成服务 器皿蛆s o l u t i o n ) 通过不同的适配器伸向不同应用的触角。集成服务器在不同的 应用之间提供复杂的转换与压缩以同步数据，智能地发送数据到需要该数据的 系统，集成服务器使应用之间的实际连接过程很平稳。 从实施范围上e a i 可分为企业内部e a i ( i n t r a e a r ) 和企业间e a i ( i n t e r - e a i ) 两大领域。i n t r a e a i 即企业内部各应用之间的集成，也称a 2 a ( a o d l i c a t i o n t o a p p l i c a t i o n ) 集成；i n t e r - e a i 即企业之间的应用集成，也称b 2 b 集成。a 2 a 集 成是b 2 b 集成的基础和前提条件，b 2 b 集成则最终实现电子商务带来的大规模 宏观经济效益。 从技术上e a i 可分为：数据的集成、应用系统的集成、业务流程的集成。 1 2 2异构数据源集成 随着计算机网络和数据库技术的进展，人们提出了共享分布在不同地理位 置上的多数据库信息的要求。这些数据库的数据结构和语义可能差别很大，相 应的数据库管理系统的功能也可能很不相同。简称这样的异构多数据库及其管 理系统为异构多数据库系统。数据库异构问题概括起来包括三个部分；硬 5 引言 件的异构，指不同的计算机系统，甚至不同的网络系统的互联；操作系统 的异构；数据库管理系统( d b m s ) 的异构。 数据库管理系统( d b m s ) 的异构性可以分为数据异构性和系统异构性。数 据异构性是指数据结构和语义的不同。系统异构性是指数据模型、数据操纵语 言和并发控制机构等方面的不同，异构多数据库的共享问题也称为异构数据库 的互操作问题。 1 2 3 异构数据源集成主要解决的问题 分布性：解决数据的分布性问题，实现数据的集中与汇总。 异构性：数据源异构体现为结构异构和语义异构。结构异构指数据源 表达数据的结构存在差异，目前广泛使用的结构有表、对象、文件等。 语义异构区分为两种类型：一种类型指相同数据在不同数据源中的表 现形式存在差异( 属性名、数据格式和类型等) ；另一种类型指由于 数据维护错误导致同一数据项在不同数据源中有不同值。 自治性：在对原有应用系统的数据进行集成时，不能影响原有系统的 正常运行。 扩展性：集成系统具有很好的可扩展性和适应性，能够适应数据源的 数目、内容以及格式等的不断变化。 可靠性：提供数据的可靠传输，解决不同软硬件和网络环境中系统的 通信问题，实现“信息孤岛”之间的连通。 1 2 4 异构数据库主要集成的方法 多数据库的集成问题，早在7 0 年代中期即被提出，开始采用全局模式的 集成方法，后来m c l e o d 等人提出了联邦式数据库的概念。由于缺乏必要的 标准，联邦数据库系统只能在一定的限制条件( 如对加入联邦系统的d b m s 和 各d b m s 间的互操作加一定限制) 下实现，难以实现各种数据源的灵活的数据 集成。因此联邦式数据库目前还不能成为一种通用的数据集成方法。目前常用 的策略有： 不同的d b m s 之间本身带有数据转换接口( 网关g a t e w a y s 或调用接口) 来实现数据互访；如s y b a s ec l i e n t s e r v e ri n t e r f a c e s 允许各种类型的客户端 应用访问各种数据源。 s y b a s eg a t e w a y s 提供了s y b a s e 与其它s q l 类数 6 引言 据库如o r a c l e ，i n g r e s 和i n f o r m i x 等实时的集成。s y b a s eo p e ng a t e w a yf o r d b 2 和o p e ns e r v e rf o rc i c s 将m m 主机的数据和应用集成到客户服 务器应用中。s y b a s eo m n i s q lg a t e w a y 提供了彻底的位置透明和产品透 明，将不同服务器中不同的数据源集成，为用户提供一个统一的逻辑整体。 i n f o r m i xe n t e r p r i s eg a t e w a y 是满足企业一级互操作性需要的开放式中间件 ( m i d d l e w a r e ) 产品，它允许用户透明地访问6 0 种以上的异构数据源，包 括o r a c l es y b a s e ，i n g r e s ，r d b ，d b 2 等关系数据库以及诸如i m s 、 v s a m 、c a - ii d m s 、c i c s 等文件系统。i n g r e s g a t e w a y 提供了r b d 、 d b 2 ：i m s 等的数据库网关，来实现异构数据源操作。o r a c l e 同样提供 了开放式网关来实现d b 2 等非o r a c l e 数据源的操作透明性。此外，o r a c l e w o r k g r o u p 2 0 0 0 的开发工具o r a c l ep l w e ro b j e c t s 还提供了高度优化的 o r a c l e 调用接口( o c i ) ，通过高性能的数据驱动程序也可实现对m i c r o s o f t s q l s e r v e r 、s y b a s es q l s e r v e r 和d b 2 的开放式数据访问。 通过一些数据库中间件( 如m i c r o s o f t 的o d b c 、o l e ，m m 的d r d a 等) 来实现异种数据源之间透明地互访。如s y b a s eo p e nc l i e n t 通过支持第 三方接口标准o d b c 等；i n f o n n i xg a t e w a yw i t hd r d a 是基于i b md r d a 标准的连接产品，通过它可以透明地存取，修改i b m 主机或a s 4 0 0 上的 d b 2 、s q l 4 0 0 等数据库。i n f o m i xg a t e w a yw i t hd r d a 最大的特点是 无须在i b m 机器一方安装任何软件，这样给安装和维护带来极大的便利。 此外，l o t u s 产品也支持o d b c 来实现与其它数据库的连接。 通过应用程序来开发不同的d b m s 之间的数据转换接口实现异种数据源 之间透明地互访。 采用分布对象技术o m g 的c o r b a ，微软的c o m d c o m 和s u n 的e j b 。 等，实现多层c l i e n i s e r v e r 模型。 第三节论文的主要工作 从1 2 4 节所列举的异构数据库的集成方法来看： 第一种方法利用数据转换接口，虽然效率较高，但是如果n 个异种数据 库组成的复杂系统中，要实现任意两个数据库间的互操作，就必须提供 1 1 ( n 1 ) 2 个接口。而且这种数据转换接口价格昂贵，这在实际应用中 7 引言 是很难实现的，此外，有些异种数据库问的数据格式、语法或语义的转 换是行不通的。 第二种方法利用数据库中间件，要求集成的两端必须是数据库，但是在 企业的数据集成中更多的是数据库和应用系统、应用系统和应用系统间 的数据集成。当然可以绕过系统的业务逻辑层而直接进行数据层的集 成，这样做的前提条件是对系统的数据模型非常清楚，否则如果系统的 数据模型过于复杂( 如大型的e r p 系统) ，这样直接对其数据库进行操 作是很危险的，很容易造成数据更新不一致影响系统的工作。这时候经 常是通过应用系统所提供的a p i 对其数据进行操作，所以第二种方法在 企业数据集成中也不具有通用性。 第三种方法开发不同的d b m s 之间的数据转换接口，这种方法仍然是 点对点的。如果有n 个异种d b m s ，要实现任意两个数据库间的互操 作，就必须提供n ( n 1 ) 2 个接口，而且这种接口实现起来往往比较 复杂。 第四种方法采用分布对象技术，分布式对象技术在企业应用系统集成中 发挥了重要的作用，但致命的弱点就是分布对象技术仍然采用的是二进 制编码方式，这样就使得集成方案不易改动、不易扩充( 因为每一次的 改动或扩充都必须进行编译) 。 论文的主要工作：解决天津钢管公司e r p 与生产控制系统的数据集成， 从e a i 的实施范围来说是属于企业内部的数据集成。作为公司一体化实施的第 一步：e r p 与生产控制系统的集成，以后逐步会有其他的应用系统如( 网上采 购系统、网上销售系统等) 与e r p 进行集成，这就要求集成的方案要具有很强 的通用性和扩展性。鉴于此论文主要以x m l 为集成工具，提出了基于x m l 、 x s l t 的异构数据源集成的解决方案。 第四节论文的结构 第二章主要讨论了x m l 和关系数据库的关系，首先介绍x m l 的相关技术， 然后研究了x m l 和关系数据库的对应关系，介绍了x m l 和关系数据库的映射 的两种方法：基于表的映射和基于对象的映射，最后介绍了关系数据库与x m l 之间的转换技术。 8 引言 第三章提出了基于x m l 、x s l t 的异构数据源的集成方案，首先介绍了数 据集成的两种方法：数据仓库法和虚拟法，介绍了虚拟法的三种集成模型：数 据库层数据集成、业务逻辑层数据集成模型、用户界面层集成模型，最后以业 务逻辑层数据集成为研究模型。 第四章讨论如何利用x s l t 实现对x m l 文件的操作，首先介绍了x s l t 相 关的概念、关键元素，最后研究了一下x s l t 和常用s q l 语句i n s e r t 、s e l e c t 、 u p d a t e d 之间的转换，并给出了通用的模型。 第五章利用第三章、第四章所提出的解决方案解决了一个实际问题：天津 钢管公司e r p 和生产控制系统的数据集成，主要解决e r p 中的生产计划数据如 何自动地下达到生产控制系统中，以及生产控制系统中的产成品数据和投料数 据自动回报到e r p 系统中，从而减少了人工的操作。论文给出了详细的工作流 程。 第六章总结了论文，对基于x m l 、x s l t 异构数据源集成方案的优缺点进 行了总结，并给出了进一步修改的方法。 9 x m l 和关系数据库 第二章x m l 和关系数据库 第一节引言 在现实应用中，大部分商业数据存储在关系数据库系统中。由于历史等原 因，商业m i s 系统的数据库系统不少是分布、异构的。异构数据库的异构性主 要体现在以下几个方面：计算机体系结构的异构；操作系统的异构；d b m s 的 异构。x m l 本身所具有的与平台无关、易于扩展、交互性好、语义性强、可格 式化等特性和优点，使得其能够方便地描述关系数据库，并在异构关系数据库 之间的转换过程中发挥桥梁作用。为了完成异构数据库之间的通讯应首先实现 r d b m s 到x m l ，x m l 到r d b m s 之间的转换，即从x m l 文档向关系数据库 写入数据；以及按需从关系数据库中的数据生成x m l 文档。本章讨论后者。有 许多理由需要将传统的关系数据库中的数据转换x m l 的格式，如何在异构数据 库系统间共享数据，在各个互不兼容的系统间如数据库系统和文档系统间交互 沟通，并将数据的语义信息进行充分地表达。目前，已有一些产品能以x m l 方 式提取关系数据库中的数据，如s q ls e r v e r2 0 0 0 和o r e a l e 等。本章讨论的内容 也可以看作是下章基于x m l 、x s l t 异构数据源的集成方案中的x m l 接口实现 的理论基础。 2 2 1x m l 起源 第二节x m l 起源及相关技术 x m l 即可扩展标识语言( e x t e n s i b l em a r k u pl a n g u a g e ) ，是互联网联合组织 ( w 3 c ) 于1 9 9 8 年初创建的一组规范，其当初的目的是替代h t m l 在互联网上进 行数据发布。这是由于h t m l 过于简单定义了唯一的文件类型，并且标志集不 能被改动。随着电子商务和数据交换技术的发展，人们逐渐发现x m l 在电子商 务集成和数据交换方面有独特的优势，这是因为x m l 是一种内容和形式分离的 定义语言，即使用者可以定义无穷无尽的标志来描述文件中的任何数据元素， 从而突破了h t m l 固定标志集合的约束。 x m l 具有以下主要特性： 扩展性：x m l 是一种用于设计标记语言的原语言，而不是像h t m l 那 1 0 x m l 和关系数据库 样，是一种只有一个固定标记集的特定标记语言。x m l 允许用户根据其 需要创建自己的标记，这些标记可通过x m ld t d ( d o c u m e n tt y p e d e f m i t i o n ) 力h 以定义，x m l 的可扩展性就在于此； 灵活性：x m l 提供了一种结构化的数据表现方式，从而使用户界面与 结构化数据相分离； 自描述性：x m l 文档通常包含一个文档类型( d t d ) 表明，从而便于机器 理解数据的意义。x m l 文档中的数据可被任何能够对x m l 数据进行解 析的应用程序所提取、分析和处理，并以所需格式显示。 2 2 2d t d s c h e m a x m l 使用元素类型集来定义文档的类型，这就是所谓的文档类型定义 d t d 。d t d 描述了文档的概要框架，d i d 包含了一组规则来控制x m l 文档的 结构，例如，元素应该如何表示以及元素之间的关系。d t d 可以作为一个单独 的文件，从x m l 主文档中分离出来一外部d t d ，或者被包含在x m l 文档内部 一内部d t d 。x m l 文档如果有相应的d t d ，并且文档中的每个元素符合d t d 中定义的规则，称之为合法的文档。d t d 对于x m l 文档的结构起到了很好的 描述作用。但它也有- 些缺点，比如它采用了非x m l 的语法规则、不支持数据 类型、扩展性较差等等。s c h e m a 正好解决了这些问题，它具有以下特点： 一致性s c h e m a 使得对x m l 的定义不必再利用一种特定的形式化的 语言，而是直接借助x m l 自身的特性，利用x m l 的基本语法规则来 定义x m l 文档的结构，使x m l 达到了从内到外的完美统一，也为x m l 的进一步发展奠定了坚实的基础。 扩展性s c h e m a 对d t d 进行了扩充，引入了数据类型、命名空间，从 而使其具备较强的可扩展性。 互换性利用s c h e m a 能够书写x m l 文档以及验证文档的合法性。另 外，通过特定的映射机制，还可以将不同的s c h e m a 进行转换，以实现 更高层次的数据交换。 规范性同d t d 一样，s c h e m a 也提供了一套完整的机制以约束x m l 文档中置标的使用，但相比之下后者基于x m l 更具有规范性。s c h e m a 利用元素的内容和属性来定义x m l 文档的整体结构，如哪些元素可以 出现在文档中、元素间的关系是什么、每个元素有哪些内容和属性、以 及元素出现的顺序和次数等等。 2 2 3c s s x s i t c s s ( c a s a d i n gs t y l es h e e t ) 是1 9 9 6 年为把有关样式属性信息如字体和边框加 到h t m l 文档中提出来的标准方法。实际上，c s s 与x m l 结合的确比与h t m l 结合的更好。应用c s s 可以按照要求精确地显示x m l 文档，c s s 具有独立性， 可以重复应用的特点，而且对于同一份数据可以套用不同的样式进行显示。但 是c s s 也受到很多限制。首先，c s s 显示不具有选择性，根元素下的所有元素 的内容都将被显示，只能把样式与出现在文档中的内容相链接，不能显示属性 的内容，这对于用属性来存储的大量数据将无法显示。不能向文档中添加内容， 也不能把内容以任何方式如分类或重排进行变换。由于c s s 显示x m l 文档存 在的不足，w 3 c 开发了更强大的样式表语言x s l t 。x s l t 是为控制“转换 而 开发的语言，它将一个x m l 文档转换成另一种格式的x m l 文档，x s l t 中包 含了一系列的模板规则与命令来控制数据的结构。有关x s l t 见第四章。 2 2 4s o a p 使用x m l 来描述商务信息使得各种应用在数据层上获得了开放集成的能 力，然而从技术的角度来看，这仅仅完成了应用领域中最底层的集成：数据层 集成，应用层仍停留在一个不利子集成的阶段。s o a p 规范正是使应用层能够以 一种开放、自说明、统一的方式进行集成和交互。s o a p ( s i m p l eo b j e c ta c c e s s p r o t o c a l ，简单对象访问协议) 是一个在分散的、分布式环境中交换结构化、有 类型数据的简单、轻量级的协议，它把成熟的基于帅的w e b 技术和x m l 的灵活性、可扩展性结合在一起，简单地说s o a p - - n t r e + x m l 。h q t p 用于实 现s o a p 的r p c 风格的传输，而x m l 是s o a p 的编码模式。在一个普通的h t 呼 服务器( 如a p a c h e 、i i s 等) 上加载一个x m l 解析包和一个s o a p 模块，就可 以方便地构造一个s o a p 服务器。s o a p 主要由三部分组成：0 ) s o a