（计算机应用技术专业论文）点对点模式分布式多数据库系统消息机制研究与实现.pdf

论文题目： 专业： 硕士生： 指导教师： 点对点模式分布式多数据库系统消息机制研究与实现 计算机应用技术 郑江花( 签名) i 违i 呈整 刘天时( 签名) 主j 羔! 盟 摘要 随着计算机应用技术的推广，由网络连接多台计算机构成的分布式系统已逐渐成为 当今的主流系统。同时随着经济的飞速发展，在数据库领域分布式多数据库技术已成 为主要研究方向之一。它解决了数据的跨地域管理和共享以及站点自治等问题但同时 又带来了许多新的技术问题，其中一个重要方面就是不同节点应用系统间的通信问题， 尤其对于环境恶劣、条件差的边远地区和一些油田更是如此。在通信过程中，通信双方 必须遵守一定的规则才能实现数据的正确传输。本文首先系统地介绍了对等网络和分布 式数据库技术的发展及应用状况，然后针对一种基于p s t n 的分布式多数据库系统异地数 据库间的数据传输问题，根据串行通信协议s r s c ，提出了一种适合本文分布式多数据库 系统结构的点对点通信模式的消息机制，并通过具体的数据传输系统阐述了消息传递功 能的实现过程。最后给出一个企业应用实例。在数据传输系统中应用基于点对点模式的 消息机制，实现了分布式多数据库系统节点间的数据传输。 关键词：消息机制点对点模式数据传输缓冲事务 论文类型：应用研究 ( 本研究得到陕西省教育厅科研基金的资助编号：0 3 j k l 6 3 ) s u b j e c t ：t h em e s s a g em e c h a n i s ma n dd a t at r a n s m i s s i o nb a s e do i lt h ep e e r - t o - p e e r c o m m u n i c a l l o nm o d e s p e c i a l t y ：c o m p u t e r a p p l i c a t i o nt e c h n o l o g y n a m e ： z h e n gj i a n g h u a ( s i g n a t u r e ) i n s t r u c t o r ：l i ut i a n s h i ( s i g n a t u r e ) a b s l l r a c r w nt h ep o p u l a r i z a t i o no ft h ec o m p u t e ra p p l i c a t i o nt e c h n o l o g y ，t h ed i s 试b m e ds y s t e m c o n s t r u c t e db ys e v e r a lc o m p u t e r sw h i c hc o n n e c t e db yn e t w o r kh a sb e c o m et h em a i n s t r e a m s y s t e ma tp r e s e n tc o n c u r r e n t l y , t h ed i s t r i b u t e dm u l t i d a t a b a s et e c h n o l o g yh a sb e c o m eo n eo f t h em a i ns t u d ya s p e c t si nt h ef i e l do fd a m b a s ew i t ht h ee c o n o m i cd e v e l o p m e n tr a p i d l y i t r e s o l v e st h em a n a g e m e n ta sw e l la ss h a r eo ft h ed a t ai nd i f f e r e n ta l e a sa n dt h ea u t o n o m yo f t h en o d eh o w e v e r , a tt h es a m et i m ei tb r i n g ss o m ei l e wt e c h n i c a lp r o b l e m s o n eo f t h em o s t i m p o r t a n ta s p e c t si st h ec o m m u n i c a t i o na m o n gt h ed i f f e r e n tn o d e s ，e s p e c i a l l yf o rr e m o t ea r e a s a n do i lf i e l d s d u r i n gt h ec o m m u n i c a t i o n ，t h et w on o d e sm u s tc o m p l yw i t hs o m er o l e si no r d e r t oa c h i e v ed a t at r a n s m i s s i o nc o r r e c t l y f i r s t l y , t h et h e s i s s y s t e m i c a l l yi n t r o d u c e st h e t e c h n o l o g yo ft h ep e e r t o p e e rn e t w o r ka n dt h ed i s t r i b u t e dd a t a b a s e t h e na i m e da tt h e p r o b l e mo fd a t at r a n s m i s s i o na n m n gd a t a b a s e sl o c a t e di nd i f f e r e n ta r e a so fad i s t r i b u t e d m u l t i d a t a b a s es y s t e mb a s e do np s t n ，a c c o r d i n gt oa s y n c h r o n o u ss e r i a lc o m m u n i c a t i o n c o n t r o lt a l e ss r s cp r o t o c o l ，t h et h e s i sp u t sf o r w a r dt h em e s s a g em e c h a n i s mb a s e do nt h e p e e r _ t o p e e rc o m m u n i c a t i o nm o d e ，w h i c hi sf i tf o r t h ed i s t r i b u t e dm u l t i d a t a b a s es y s t e m a r c h i t e c t u r ea n dp r o v i d e sam e s s a g et r a n s m i s s i o ns e r v i c ef o rc o m m u n i c a t i o ns y s t e m si nt h e a s y n c h r o n o u sw a yf i n a l l yt h et h e s i sg i v e sa l la p p l i c a t i o ne x a m p l ew h i c hv a l i d a t e st h e r e l i a b i l i t yo ft h em e s s a g et r a n s m i s s i o nb e t w e e nt w on o d e si nt h ed i s t r i b u t e dm u f t i d 她b a s e s y s t e mb a s e do i lt h ep e e r - t o - p e e rm o d e k e y w o r d s ：m e s s a g e ，p e e r _ t o - p e e rm o d e ，d a t at r a n s m i s s i o n ，b u f f e r ，t r a n s a c f i o i l d p eo f t h e s i s ：a p p l i c a t i o ns t u d y ( t h et h e s i si ss u p p o a e db ys c i e n c er e s e a r c hf o u n d a t i o no ft h ee d u c a t i o no f l i c ei ns h a a t a x i p r o v i n c ea n dt h en u m b e r i s0 3 j k l 6 3 ) 学位论文创新性声明 y 6 0 5 5 1 5 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他 人已经发表或撰写过的研究成果；也不包含为获得西安石油大学或其它教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做 了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名：兰巨三三整 日期：加坼土修 学位论文使用授权的说明 本人完全了解西安石油大学有关保留和使用学位论文的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属西安石油大学。学校享有以任何方法发表、复制、 公开阅览、借阅以及申请专利等权利。本人离校后发表或使用学位论文或与该论文直接 相关的学术论文或成果时，署名单位仍然为西安石油大学。 论文作者签名 导师签名 茎醛兰丝 耋oz l 时 日期：主! ! ：! ! ! 夕 蔓二童箜鲨 第一章绪论 1 1 课题概述 1 1 1 课题来源 课题属于陕西省教育厅专项科研计划项目，项目名称为“点对点模式的 多数据库系统研究与实现”。论文以塔西南加油站分布式数据库管理系统作 为研究应用实例。 1 1 2 研究背景及意义 随着计算机和网络应用技术的推广，人们对计算机的依赖越来越强，目 前许多机构都采用数据库来管理其业务数据。石油工业作为我国经济的支柱 产业，对我国经济的发展起着巨大的作用，然而油田工作现场分散，自然环 境恶劣，现有的集中式数据库管理系统需要大量的人工干预。数据采集后不 能及时处理、分析，各场地之间的协调和合作也相当困难，因而工作效率较 低。同时随着经济的飞速发展，企业的规模越来越大，其积累的信息也越来 越多。在其它行业比如医院、超市等，当前使用的管理信息系统中也存在着 各部门处理的多数信息只对本部门有效，而仅有少数信息需要给其它部门共 享的问题。这种信息的分布性和独立性要求对处理的数据进行分类，使各部 门既能独立地处理本部门大多数数据，也能使部门间协调处理跨部门事务。 在这种情况下，对整个企业建立一个完全的紧密耦合的分布式数据库是很困 难的，也是没必要的，特别是大型企业，这样的数据库的效率往往是比较低 的 1 j o 在这种情况下，可以采用以下策略：每个部门仍使用原来的数据库系统， 通过系统分布化程序将原来的单机或c s 模式的集中式数据库应用系统进 行网络分布化，并在原应用系统上建立一个数据传输控制系统，以实现各节 点间数据的点对点传输。这样就组成了一个横跨整个企业，各部门高度自治 的分布式多数据库系统。 分布式多数据库系统可以将数据库的数据和功能进行划分和分布，尽可 能地把各个部门经常要用到的数据就近存放，保持各局部数据库的自治性、 数据透明性和完整性，满足实际的应用需要。分布式应用中的数据传输系统， 西安石油大学硕士学位论文 采用消息机制有效地支持分布式系统的建立，使系统具有良好的远程操作透 明性，以统一的方式提供本地和远程操作，因此建立消息机制能有效地协调 分布式系统中各场地上各子系统之间的工作，使其互不干涉各自内部的运 作，各自独立，降低了相互之间的耦合度，这样可以提高整个系统的可维护 性、可修改性和可靠性。 1 2 研究现状 目前许多单位都是跨地域分布，各分部有很强的自治能力，但与总部又 必须进行数据交换，如各种报修系统、超市销售管理系统。因此基于分布式 多数据库系统的研究有着广泛的应用前景。 以石油企业为例，由于油田自然环境恶劣，工作现场分散且远离管理中 心，如果架设专门的网线，成本过高而且不易维护。为了充分有效地利用了 计算机通信网络资源，点对点模式的分布式多数据库系统使用调制解调器 ( m o d e m ) ，通过公共交换电话网( p s t n ) 将需要通信的节点拨号建立连接， 一次连接可以集中处理大量数据，而且数据传输不受距离限制。因而可以节 约成本，并且操作简单方便，也为油气田开发提供了一个科学、有效的工作 模式。为实现企业应用系统的分布化，设计开发了一个专用串行通信协议 s r s c l 2 】，通过多次测试证明其可以提高数据的通信质量，并能保证数据传 输的可靠性。针对这种状况，研究一个基于s r s c 协议的数据传输控制系统， 它负责将各分公司数据库中的业务数据传输到总公司的数据库服务器中，以 实现数据的点对点传输。 1 3 研究内容 主机 服务器 图卜1 点对点模式分布式多数据库系统结掏 堕窒查塑盔兰堡主兰垡堡苎 文 3 提出的一种基于p s t n 的点对点模式的分布式多数据库系统结构 就是一种对等网络。在如图1 1 所示的系统结构中，使用m o d e m 通过p s t n 将位a _ 丁1 、l 口j 例挫恩u - 丁- 1 4 - m 连接起来，构成一个分布式多数据库系统。网络中 各节点的局部数据库系统的松散集合构成全局多数据库系统，各节点具有很 强的自治性，可以是具有主动处理能力的单一计算机，也可以由一个局域网 构成。网络中的任何两个节点间可以不受距离限制地传送数据，实现远程数 据库访问控制。每一个节点都是一个对等方，它从另一个节点接受访问，或 者对它提供访问。共享的或者是重要的数据被存放在不同的节点上。分布式 多数据库系统支持位置透明性和分片透明性，用户使用分布式多数据库可以 像使用集中式数据库一样，认为使用的数据就存放在本节点。 文【4 】引入发送缓冲与接收缓冲的概念，对数据通信的发送缓冲和接收 缓冲做了简要的数据库设计，并对其中的关系进行描述。由于分布式多数据 库系统使用统一的数据模型，具有局部数据库高度自治性和采用系统数据库 结构全复制机制的特点，局部数据库更新后，只需向相关节点发送s q l 语 句序列，接收方收到数据后，可在本地直接执行s q l 语句，从而实现全局 数据库的远程数据库操作以及系统数据的完整性和位置透明性。 课题研究基于上述的分布式多数据库系统，学习与研究分布式数据库及 分布式多数据库系统整体结构的同时，重点在点对点模式的分布式多数据库 系统所使用的基于s r s c 协议的消息机制研究与实现方面。消息机制只有嵌 入到分布式应用的数据传输系统中，其效率和可靠性才能真正得以体现。 1 4 开发环境简介 系统的开发和调试运行借助m o d e m 在校局域网应用环境中进行的，软 硬件环境如表1 1 所示： 表1 - 1 系统的软硬件环境 名称要求 主频2o o g h z ，内存6 4 m 以上，硬盘4 0 g 带光驱，带网卡等设备并配 主机 有m o d e m ，程控电话交换机 操作系统w i n d o w s2 0 0 0 ，w i n d o w sn t 数据库系统o r a c l e 9 i 数据库管理系统 开发工具p o w e r b u i l d e r 7 0 以上 应用软件i e4 0 以上 目前，比较流行的数据库前端开发工具有如下几种：p o w e r b u i l d e r ， d e l p h i ，v i s u a lb a s i c ，o r a c l ed e v e l o p e r 2 0 0 0 等。课题的研究与实现主要借 助p o w e r b u i l d e r 数据库开发语言和o r a c l e 数据库管理系统，因此本文重点 介绍这两种工具： 1 4 1 p o w e r b u i l d e r 数据库开发语言 p o w e r b u i l d e r 是s y b a s e 公司推出的基于客户i n 务器模式的图形用户界 面应用程序开发工具，简写为p b 。其最大的优势就是强大的数据库操纵能 力，它不仅提供o d b c 数据库连接，还为o r a c l e 、s y b a s e 、i n f o r m i x 、m ss q l s e v e r 等专用数据库提供了接口，尤其是独具特色的专利技术数据窗口 ( d a t a w i n d o w ) 可以大大简化系统的开发 5 , 6 1 。 p b 是一种功能强大、使用灵活的开发工具，它具有众多特性： 1 完整的w e b 支持。能够支持：h t m l 、p b 和j a v a 客户机的连接； 用于w e b 客户机访问中间层逻辑的w e b p bw i n d o wp l u g i n 和w i n d o w a c t i v e x ；p bw 曲客户机的p o w e r b u i l d e rv m ；与e a s e r v e r 相连的j a g u a r 客户端及与m t s 相连的c o m 客户端。 2 完善的组件开发功能，与e a s e r v e r 紧密集成。它能够创建各种标准 的新邮件，移植现有组件，编写组件代码，提交组件到应用服务器，建立客 户端应用和测试中间层组件。 3 具有极高的开发效率。它提供具有智能的应用对象编程向导，拥有 用于快速数据访问和操作的专利技术，具有p o w e r b u i l d e r ( p f c ) 程序库， 还可进行远程调试。 4 增强的数据库设计功能。它在新版p o w e r b u i l d e r 中集成了 p o w e r d e s i g n e r a p p m o d e l e r 标准版。a p p m o d e l e r 是一个数据库建模工具，可 以图形化地设计数据库并自动生成数据库定义语句，可对一个现有数据库做 西安石油大学硕士学位论文 逆向工程、修改此数据库的设计和重新生成它的代码。 5 全面支持各种数据源，包括i n f o m i x ，s q l s e r v e r ，o r a c l e ，d b 2 ，s y b a s e 和o d b c 接口。 1 4 2o r a c l e 数据库管理系统 o r a c l e 公司是一家提供综合技术产品、方案、服务的数据库公司。o r a c l e 是以高级结构化查询语言( s q l ) 为基础的女型关系数据库，通俗地讲它是用 方便逻辑管理的语言操纵大量有规律数据的集合。o r a c l e 数据库设计成可大 量存储数据，快速查询数据，保证数据的安全和一致性，跨网络的分布式管 理及客户服务器的配置等，是目前最流行的客户服务器( c s ) 体系结构的数 据库之一。 o r a c l e 之所以倍受用户喜爱是因为它具有以下突出特点7 ，8 】： 1 支持大数据库、多用户的高性能的事务处理。大量用户可同时在同 一数据上执行各种数据应用，并使数据争用最小，保证数据一致性。系统维 护具有很高的性能，正常的系统操作不会中断数据库的使用。 2 支持大量多媒体数据，如二进制图形、声音、动画以及多维数据结 构等。 3 o r a c l e 遵守数据存取语言、操作系统、用户接口和网络通信协议的工 业标准，是一个开放系统，保护了用户投资。加上它有许多优秀的前台开发 工具如p o w e r b u i l d e r 、v i s u a lb a s i c 等，可以快速开发生成基于客户端p c 平 台的应用程序，并具有良好的移植性。 4 具有可移植性、可兼容性和可连接性。由于o r a c l e 软件可在许多不 同的操作系统上运行，所以在o r a c l e 上所开发的应用可移植到任何o r a c l e 所支持的操作系统，只需很少的修改或不需修改。o r a c l e 软件能够同工业标 准相兼容，包括许多工业标准的操作系统，所开发的应用可在任何o r a c l e 所支持的操作系统上运行。可连接性是指o r a c l e 允许不同类型的计算机和 操作系统通过网络共享资源。 5 支持分布式数据库和分布处理。o r a c l e 通过网络连接的计算环境将 存放在多台计算机上的数据组合成一个逻辑数据库，可被全部网络用户存 堕窒互迪盔堂堡主兰堡堡塞 取。可通过网络较方便地读写远端数据库里的数据，并有对称复制的技术。 6 实施安全性和完整性控制。o r a c l e 为限制和监控数据存取提供系统 可靠的安全性。o r a c l e 实施数据完整性，为可接受的数据指定标准。 1 5 本章小节 网络通信技术与经济的飞速发展，分布式数据库系统已经逐步成为当今 的主流系统，也为分布式多数据库系统的发展打开了大门。分布式多数据库 系统的分布透明性和分片透明性要求各节点问数据的无差错透明传输，在这 种情况下，网络可靠性就成了分布式多数据库系统正常工作的重要基础，而 网络通讯协议以及基于协议的传输控制系统则是实现网络可靠性的重要手 段。 分布式多数据库系统异地数据库间的数据传输是整个系统正常运行的 基础，传输的可靠性依赖于数据传输系统的可靠性，这就要求消息系统具有 良好的消息机制。本章首先论述了课题的研究背景及研究现状，接着提出了 本文的研究内容，最后简要介绍了消息机制实现的软硬件环境。 第二章论文的理论基础 第二章理论基础 课题的研究与实现基于对等网络和分布式数据库技术，本章针对对等网 络和分布式数据库的概念、技术应用及发展状况作简要介绍。 2 1 对等网络 2 1 1 对等网络的概念 对等网络( p e e r - t o p e e r ，p 2 p ) ，并不是近几年才诞生的新技术，它的历 史可以追溯到过去好几十年，最早的因特网应用就是实现计算机和计算机之 间的对等通信，两者之间根本就不需要服务器来帮助它们建立连接。 p 2 p 技术简单地定义为通过直接交换共享计算机资源和服务，不同p c 用户之间不经过中继设备直接交换数据或服务的技术，类似w i n d o w s 中的 网上邻居。简单地说，p 2 p 直接将人们联系起来，让人们通过互联网直接交 互。每个人可以直接连接到其他用户的计算机交换文件，而不是像过去那样 连接到服务器去浏览与下载。因为消除了中间环节，p 2 p 技术使得网络上的 沟通变得更容易、更直接。目前人们认为其在加强网络上人的交流以及文件 交换、分布计算等方面大有前途，成为目前流行于国际计算机网络技术研究 领域的一个热点【9 1 。 事实上，网络上现有的许多服务可以归入p 2 p 的行列。即时讯息系统 譬如i c q 、a o l i n s t a n tm e s s e n g e r 、y a h o op a g e r 、微软的m s n m e s s e n g e r 以 及国内的o i c q 都是最流行的p 2 p 应用。它们允许用户互相沟通、交换讯息 和文件。 2 1 2 对等网络应用技术 1 p 2 p 模式与c s 模式的比较 p 2 p 对于c s ( c l i e n t s e r v e r ) 结构并不是- - j f e e 完全意义上的否定。其实 c s 结构使用如此广泛有其深刻的背景。 首先，原有网络的资源、运算能力和信息不平衡不均等的事实，是其成 为i n t e m e t 应用的主要模式的第一原因。其次，网间网进程通信与单机进程 通信的最大区别就是，网间网通信完全是异步的，因此要建立一种机制，使 进程间的数据交换得以同步。c s 结构完美地解决了这一问题，按照该模式， 西安石油大学硕士学位论文 每次通信均由随即启动的客户进程发起，服务其进程从开机器就处于等待状 态，这样可以保证服务器随时对客户请求做出响应。另外，客户与服务器间 的请求应答模式为相互通信的进程间的数据传输同步提供有力支持。 传统的p 2 p ，作为一种网络应用架构，可以参照c s 架构来理解。在一 个简化的c s 模型中，客户端向服务器发送请求，服务器处理请求并将结果 返回给客户端。对比p 2 p 结构，c s 结构中通常是设置有一个固定的服务器 来响应客户端的请求。而在p 2 p 结构中，所有的客户端都可以扮演服务器 的角色，只是没有一个固定的服务器而己，即互联网上所有的p c 或其它终 端都属于通信对等的一端，并同时具有服务器和客户机的功能。因此，p 2 p 技术的特征之一就是弱化服务器的作用，甚至取消服务器，可以看作c s 结构的一个极端。 2 。p 2 p 两种基本模型 p 2 p 架构的选择，对于所实现应用的特征以及用户的体验有着很大的影 响。p 2 p 架构的模型可以简单地分为两种【1 0 】：纯p 2 p 型和混合型。前者是指 每个端点都具有同样的能力和职责，并且它们之间的交互是完全对称的。后 者则设置有服务器来协助端点之间的交互行为。 3 p 2 p 技术特性： ( 1 ) 每一个对等点具有相同的地位，同时扮演着c s 模式中的服务器和 客户端两个角色，如何表现取决于用户的要求，网络应用由使用者自由驱动。 ( 2 ) 信息在网络设备间直接流动，高速及时，降低中转服务成本。 ( 3 ) 构成网络设备互动的基础和应用。 ( 4 ) 在使网络信息分散化的同时，相同特性的p 2 p 设备可以构成存在于 互联网这张大网的子网，使信息按新方式又一次集中。 2 1 3 对等网络应用前景 对等网络引导网络计算模式从集中式向分布式偏移( ，住】，也就是说网络 应用的核心从服务器向网络边缘的终端设备扩散：服务器到服务器、服务器 到p c 机、p c 机到p c 机，p c 机到w a p 手机所有网络节点上的设备都 可以建立p 2 p 对话。从而增强了互联网的分布和共享，使人们在i n t e m e t 上 西安石油大学硕士学位论文 的共享行为被提到了一个更高的层次，使人们以更主动深刻的方式参与到网 络中去。目前，p 2 p 技术的应用主要体现在如下几个方面盼1 4 】： 1 文件交换 p 2 p 技术使任意两台相连接的计算机直接共享文档、多媒体和其它文件 成为可能。p 2 p 技术可以使用户利用基于p 2 p 网络协议的客户端软件脱离服 务器，直接从含有所需要文件的对等节点机下载该文件。 2 分布式计算 分布式计算是p 2 p 技术的另一个重要特征。简单的说，分布式计算就 是把原来需要超级计算机处理的庞大任务进行分块，并通过位子系统控制中 心的调度软件对分块任务进行调度和管理，分发给许多普通计算机来执行其 具体运算操作，操作完成后再将结果返回给控制中心。 3 协作系统 协作系统构成了完全另外一种类型的p 2 p 网络：一群一起工作的用户 相互间共享着不同的因特网资源，但他们通过协同工作完成一项共同的任 务。和文件共享形式不同，协作系统中的一个用户可以在同一时刻将一个信 息多点传送到若干个用户。适用于这种应用的最佳架构目前仍在研究之中。 4 电子商务 基于p 2 p 技术的直接性和易扩展性，该模式很适用于用户之间的商品 买卖，目前它主要可以被应用于金融服务和广告行销中。 5 以p 2 p 为基础的深度搜索引擎 p 2 p 技术的另一个优势是开发出强大的搜索工具。p 2 p 技术使用户能够 深度搜索文档，而且这种搜索无需通过w e b 服务器，也可以不受信息文档 格式和宿主设备的限制，可达到传统目录式搜索引擎无可比拟的深度。 除了以上介绍的几种应用之外，还有一些无法预见或无法定论归类的应 用模式。因为作为一项新兴技术，人们对p 2 p 的认识还很不完整，而完整 的认识还需要在实践探索中渐渐形成。 2 2 分布式数据库技术 计算机技术的飞速发展，给信息产业带来了前所未有的繁荣和辉煌。随 西安石油大学硕士学位论文 着计算机应用技术的不断推广和使用的不断深入，人们对计算机的依赖越来 越强，同时对计算机的要求也越来越高。传统的单计算机系统在功能和性能 上已经不能满足人们的需要，由网络连接多台计算机系统所构成的分布式处 理系统已经成为当今的主流系统。计算机体系结构的发展，使传统的软件系 统也面临新的挑战从集中走向分步。 2 2 1 数据库技术发展状况 数据库技术从2 0 世纪6 0 年代中期产生至今，虽然只有短短3 0 几年的 历史，但其发展速度之快、应用范围之广是其它许多桔术所远不及的。当今 社会已经进入信息时代，信息越来越引起人们的关注，但任何信息处理都离 不开数据库技术。数据库系统是针对文件系统缺乏共享和对数据的集中统一 管理而提出的。数据库对数据的管理具有持久性，有效性，和共享性的特点， 极大地减少了数据的冗余，消除了数据不一致的隐患，提高了存储和查询效 率。数据库系统对分散在各处的应用数据相对地集中到一个数据库中，进行 集中统一的管理。由于开始阶段没有注意到地域分散的特定需求，过分的集 中又产生了不协调。随着数据库技术在各个领域中应用的不断发展，集中数 据库渐渐显示出其不足之处，人们期望着符合现实需要的，能处理分散地域 的，具备数据库管理特点的新的数据库系统出现。 随着计算机网络技术的发展，进一步拓展了数据库技术应用的广度和深 度。在现实世界中，由于地域上分散而管理上相对集中的大型企业团体，不 但要求本部门信息处理使用数据库技术，而且要求地域上分散的信息能够互 连和共享。因此，人们设想以“数据库系统+ 计算机网络”来实现分布式数 据库系统，既达到对数据的集中管理与共享，又能使地域的分散性被系统隐 蔽起来。从而使得分布式数据库技术应运而生，并迅速成为现代数据库的主 流技术 15 1 ，特别是基于客户机j j 臣务器计算模式的协作式分布式数据库系统， 近年来己成为热点，并在实际应用中起着积极的作用。 2 2 2 分布式数据库系统的概念 分布式数据库系统的英文简称为d d b s 。分布式数据库在逻辑上属于同 一系统，但在物理上是分散在计算机网络连接的多个场地( 或节点) 的一组数 墼室互迪盔兰亟主堂焦堡塞 据集1 6 , 1 7 】。每个场地上的数据一般用来描述本场地的现实世界，场地局部数 据库的数据源和大多数用户( 或应用) 一般均驻留在本场地，即每个场地具有 独立处理能力( 即具有场地自治性) ，可执行局部应用；另外，场地间通过网 络通讯也能执行全局应用。对用户来说，一个分布式数据库从逻辑上看，如 同集中式数据库一样，用户可在任何一个场地执行全局应用。 分布式数据库系统通过复制使系统具有适当的数据冗余，从而增加了系 统的可靠性和可用性；提供局部自治的数据共享和场地之间的协调，从而使 系统具有快速的数据处理能力；另外，通过数据库技术与并行处理技术的结 合，利用多处理机并行处理产生的规模效益，可提高系统的快速反应能力。 由于计算机网络技术的发展以及地理上分散的部门、公司、厂商对于数 据库应用的需求，数据库技术从单机扩展至网络，对数据的收集、存储、处 理和传播由集中式走向分布式、从封闭走向开放已在所难免。 2 2 3 分布式数据库模式结构 图2 1 是分布式数据库一种模式结构图【1 7 】，实际的系统并非都具有这种 结构，因为对系统的数据独立性的不同要求，有不同的抽象层次。 图2 1 模式结构从整体来看，映象4 所在的层下面的是集中式数据库的 模式结构，代表了各局部场地上局部数据库系统的结构。映象4 所在的层上 面的是分布式数据库系统增加的模式级别。下面仅就分布式数据库系统增加 的模式级别作一简单的介绍。 1 全局外模式 它们是全局应用的用户视图，是全局概念模式的子集。 2 全局概念模式 它定义分布式数据库中数据的整体逻辑结构。全局概念模式中所用的数 据模型应该易于向其它层次的模式映象。通常采用关系模型。 3 分片模式 每一个全局关系可以分为若干不相交的部分，每一个部分成为一个片 段。分片模式定义片段及全局关系到片段的映象。这一映象是一对多的，因 为一个片段来自一个全局关系，而一个全局关系对应多个片段。 酲安石油大学硕士学位论文 4 分步模式 片段是全局关系的逻辑部分，一个片段在物理上可以分配到网络的不同 节点上。分布模式定义片段存放位置。分布模式的映象类型确定了分布式数 据库是冗余的还是非冗余。若映象是一对多的，即一个片断分配到多个节点 存放，则是冗余分布式数据库。若映象是一对一的，则是非冗余的分布式数 据库。根据分布模式提供的信息，一个全局查询分为若干子查询，每一子查 询所要访问的数据属于同一场地的局部数据库。由分布模式到各局部数据库 的映象把存储在局部概念模式采用局部场地的d b m s 支持的数据模型。 分片模式和分布模式及其对应的映象使分布式数据库系统具有分布透 明性。 全局外层 全局概念层 局部概念层 局部内层 图2 _ 1 分布式数据库模式结构 2 2 。4 分布式数据库系统体系结构 分布式数据库系统和数据库系统一样，它只是数据库系统的一种特殊形 式。分布式数据库系统不仅仅包含分布式数据库管理系统和分布式数据库， 还包含有更多的实际内容。它是可运行的且按分布式数据库方式存储和维护 西安石油大学硕士学位论文 数据，并向应用的网络环境系统提供数据和信息的分布式系统。从图2 - 2 可 见，分布式数据库系统由下述成分组成1 9 】： 圈2 2 分布式数据库系统体系结构 1 多台计算机设备，并由计算机网络连接。 2 计算机网络设备，网络通讯的一组软件。 3 分布式数据库管理系统，它包括全局数据库管理系统( g d b m s ) 、局 部数据库管理系统( l d b m s ) 、通讯管理程序( c m ) ，除了具有全局用户接 口，由, 3 d b m s 链接外，还可能具有自治场地用户接口，由场地d b m s 链 接，并持有独立的场地目录辞典。 4 分布式数据库( d d b ) ，包括全局数据库( g d b ) 和局部数据库( l d b ) 以及自治场地数据库。 5 分布式数据库管理者( d d b a ) ，它可分为二级，一级为全局数据库 管理者( g d b a ) ，另级为局部或自治场地数据库管理者，统称为局部数 据库管理者( l d b a ) 。 6 分布式数据库系统软件文档，这是一组与软件相匹配的软件文档及 系统各种使用说明和文件。 西安石油大学硕士学位论文 2 2 5 分布式数据库系统发展状况 这方面的研究始于2 0 世纪7 0 年代中期，它是数据库系统与计算机网络 相结合的产物。它要管理的不是单个数据库系统，而是分布在许多不同地域 上的多个数据库系统。或许使用计算机网络也不仅仅是为了简单地传输文 件，而是为了更能适应企、事业单位高效地管理信息。 分布式数据库系统的研究在国外起步较早。1 9 7 8 年，美国数据系统语 言协会( c o d a s y l ) 发表了有关分布式数据库的报告，提出了分布式数据 库的结构和基本概念，以与发展中的分布式处理系统相呼应。自此，分布式 数据库逐渐成为数据库研究的重点，并日趋成熟，出现了一批支持分布式数 据管理的系统，如s d d 1 系统、r t 系统、d ，i n g r e s 系统、p o r e l 系统、 o r a c l e 公司的s q l + s t a r 等。 我国对分布式数据库系统的研究约在2 0 世纪8 0 年代初期开始，一些科 研单位和高校先后建立了几个各具特色的分布式数据库系统。而且，在短短 的几年中做出了许多有益的成果，建立和实现了几个各具特色的分布式数据 库原型，其中包括武汉大学数据库组研制的w d d b s ，东北大学数据库组研 制的d m u f o 系统，东南大学计算机系开发的s u n d d b 系统，中国人民大 学与知识工程研究所研制的d o s s e l s 等，这些系统的研制对我国的分布 式数据库技术的理论研究和开发应用起到了推动作用。 当前市场上流行的数据库产品，如o r a c l e 、s y b a s e 、i n f o r m i x 、 m ss q ls e r v e r 、i b md b 2 ，包括华中理工大学的d m 2 系统等，也都包 含了分布式d b m s 的功能。 分布式数据库系统已有2 0 多年的发展历史，经历了一个从产生到发展 的过程，取得了长足的进步，许多技术问题被提出并得到了解决。2 0 世纪 9 0 年代起，数据库技术在迅速地朝着支持新的应用方向演进，也就是进入 商品化应用阶段。当前，分布式数据库技术已经成熟并得到了广泛的应用。 一些数据库厂商也在不断推出和改进自己的分布式数据库产品，以适应应用 的需要和扩大市场占有份额。然而，目前出现了更加重要的应用类型，例如， 计算机辅助设计系统、办公信息系统和人工智能系统等，这些应用迫切需要 西安石油大学硕士学位论文 数据库管理系统具有新的数据管理功能。这些新的发展趋势为数据库研究者 产生了新的研究领域即分布式知识库系统、分布式面向对象数据库系统和分 布式多媒体系统。但是，实现和建立分布式数据库系统决不是数据库技术、 网络技术和面向对象等技术的简单结合，而是这些技术相互渗透和有机融合 后的技术升华，它又产生了很多新的技术。分布式数据库系统虽基于集中式 数据库系统，但它却有自己的特色和理论基础。由于数据的分布环境形成了 很大的固有的技术难度，使得分布式数据库系统的应用被推迟。至今完全遵 循分布式数据库系统规则，特别是实现完全透明性的商用系统还很难见到。 2 2 6 分布式事务的a c m 特性 一个事务是访问数据库的一个逻辑工作单位，它是一个操作序列，执行 这个操作序列，使数据库从种一致状态转换到另一种一致状态，以实现特 定的业务功能。与本地事务一样，分布式事务必须遵循a c i d 特性【2 0 1 ： 原子性( a t o m i c i t y ) ：事务的更改是原子的：要么属于事务的所有操 作都发生，要么一个都不发生。 一致性( c o n s i s t e n c y ) ：事务在一致状态之间移动数据。 隔离性( i s o l a t i o n ) ：使事务能并发地执行，一个事务看不到另一事务 进行的工作。这些事务实际上串行运行。 持续陛( d u r a b i l i t y ) ：在事务成功完成之后，即使有后继故障，它所 作的更改仍能保留。 但是，对于分布式事务，这些特性非常复杂，因为故障可能会出现在任 何进程中。即使是发生这种故障，每个进程也都必须代表事务撤销已完成的 任何工作。 2 2 7 分布式事务处理技术 分布式环境中实现事务处理比在传统集中式环境下实现事务处理的难 度大大增加。分布式事务处理技术涉及到事务提交，事务恢复，事务日志， 并发控制及死锁等方面的问题。 1 两阶级提交协议顾名思义包含两个阶段 2 t , 2 2 ：准备阶段和解决阶段。 在每个事务中，进程充当协调程序。此协调程序监视事务中其余参与者的活 亘窒歪逭盔堂亟主堂焦堡塞 动，以确保结果一致。 在准备阶段中，协调程序将一消息发送到事务中的每个进程，要求每个 进程准备提交。当进程准备时，保证它能提交事务并对其工作做永久记录。 在保证事务可提交后，它不再单方面地决定异常终止。如果进程无法准备， 即如果无法保证它能提交事务，则必须异常终止。 在解决阶段中，协调程序记录响应。如果所有参与者准备提交，则事务 提交；否则事务异常终止。在两种情况下，协调程序都通知所有参与者结果。 在提交的情况下，参与者确认他们已提交。对数据提交的更改是永久的。这 就确保了成功的事务表现为数据库的永久更改，并能修复硬件及软件造成的 错误。 2 事务日志 事务日志是一个记录流，它记录了从数据库创建到当前时点对数据库所 做的更改。每个记录的操作都创建一个日志记录。日志记录由事务生成，并 在事务提交时写入磁盘。在提交时强制将日志写入磁盘是为了确保在服务器 关机时不会丢失已完成的工作。 需要两阶段提交的分布式事务只有使用了事务日志文件才可用。当分布 式事务正在进行时，这些记录文件保存有关它们的信息。当分布式事务提交 开始时，就向记录文件添加项，而一旦此事务完成后这些项就被除去。在两 阶段提交的准备阶段期间向记录文件写入项，这些项一直保留到整个两阶段 提交过程完成为止。 使用事务日志文件的好处在于：如果在事务处理期间其中一个服务器被 中断，仍可完成事务。不要删除事务日志文件，否则如果有一个或多个分布 式事务正在处理的话，可能使数据库处于不一致状态。 3 故障恢复 故障恢复可确保在将数据库变为联机状态之前保持其在事务上的一致 性。如果数据库在事务上是一致的，则所有提交的工作都已生效，而任何未 提交的工作都变为无效。日志总是定义数据库的正确视图。简而言之，故障 恢复就是将数据与事务日志在某给定时点保持一致的过程。 西安石油大学硕士学位论文 2 3 分布式多数据库系统 2 3 1 分布式多数据库系统概念 分布式多数据库系统( d i s t r i b u t e dm u l t i d a t a b a s es y s t e m ，d m d b s ) ，是 分布在各场地或节点的若干个相关的数据库的集合，这些数据库在建立多数 据库系统之前已经存在，加入多数据库系统之后仍具有自治性。分布式多数 据库系统是提供全自治性的一种分布式数据库系统，它主要研究在计算机网 络上如何进行数据的分布和处理【悖】。 这种多数据库系统和分布式数据库系统有所不同。多数据库系统不存在 一个统一的数据库管理系统软件，而分布式数据库系统是在一个统一的数据 库管理系统软件的管理与控制之下运行的。多数据库系统主要采用自下而上 的数据集成方法，因为异构情况在前而集成要求在后，而分布式数据库系统 主要采用自上而下的数据集成方法，全局数据库是各个子库的并集。多数据 库系统主要解决异种数据库集成问题，可以保护原有的数据资源，使各局部 数据库享有高度“自治性”，而分布式数据库系统是在数据的统一规划下， 着重解决数据的合理分布和对用户透明的问题。当然，两者之间在技术上有 很多交叉