从时间数据到时态信息 -兼谈时态信息技术的发展

数据库系统与技术（8）

--基于网络的数据库技术协同软件研究开发中心1基于网络的数据库技术网络是现代数据库应用基本平台和环境分布式数据库——网络环境数据库基础理论Web数据库技术——现代信息系统基本模式XML数据库——网络信息交换标准网络数据库应用移动数据库技术Web信息搜索……2分布式数据库概念分布式数据库(distributeddatabase，DDB)是由一组数据库组成，这些数据库分散在计算机网络的不同计算实体之中，网络中每个结点都具有独立处理数据的能力，即是场地自治的，可以执行局部应用，同时也可以通过网络通信系统执行全局应用。分布式数据库本质上是一种虚拟的数据库，它的各个组成部分都物理地存储在于不同地理场地的不同数据库中。3分布式数据库概念基本特征：物理分布性

数据库中数据不是存储在同一场地，而是存储在不同计算机设备当中。逻辑整体性数据在物理上分散存储，但在逻辑上相互关联，构成整体，数据被所有用户（全局用户）共享，有一个DDBMS统一管理。

场地自治性各个场地数据由本地DBMS管理，具有自治处理能力，完成本场地的应用（局部应用）。场地间协作性

各个场地具有高度自治，但又相互协作构成一个整体。对用户来说，使用DDBS如同使用集中式数据库一样，可以在任何一个场地执行全局应用。4分布式数据库管理系统分布式数据库管理系统（distributeddatabasemanagementsystem，DDBMS）是一组负责管理分布式环境下逻辑集成数据存取、一致性和完备性的软件系统。由于数据上的分布性，DDBMS在管理机制上还必须具有计算机网络通信协议的分布管理特性。5分布式数据库管理系统分布式数据库管理系统基本功能接受用户请求，并判定将其发送到何处，或必须访问哪些计算实体才能满足要求。访问网络数据字典，了解如何请求和使用其中信息。如果目标数据存储与系统的多台计算机上，对其进行必须的分布式处理。在用户、局部DBMS和其它计算实体的DBMS之间进行协调，发挥接口功能。在异构分布式处理器环境中提供数据和进行移植的支持，其中异构是指各个场地的硬件、软件之间存在着差别。6分布式数据库系统分布式数据库系统（DistributedDatabaseSystem，DDBS）由DDB和DDBMS组成，其要点是系统中的数据物理上分布存放在通过计算机网络连接的不同场地计算机中，这些数据在逻辑上是一个整体，由系统统一管理并被全体用户共享，每一个场地都有自治即独立处理能力以完成局部应用，而每一场地也参与至少一种全局应用，并且通过网络通信子系统执行全局应用。7分布式数据库系统分布式数据库系统基本性质。数据分布透明性质:用户或应用程序不必关心数据的逻辑分片、数据物理位置分配细结以及各个场地数据库使用何种数据模型，可以像使用集中式数据库一样对物理上分布的数据库进行数据操作。集中与自治相结合控制机制:在DDBS中，数据共享有两个层面，一是局部共享，即每个场地上各个用户可以共享本场地上局部数据库中的数据，以完成局部应用；二是全局共享，即系统中用户可以共享各个场地上存储的数据，以完成全局应用。相应控制机构也就分为两个层面：集中控制和自治控制。局部DBMS独立管理局部数据库，具有自治功能，同时系统也设有集中控制机制，协调各个局部DBMS工作，执行全局管理功能。

8分布式数据库系统分布式数据库系统基本性质。适度数据冗余性质

。在DDBS中，数据冗余却可以作为提高系统可靠性、可用性和改善基性能的基本技术手段。当一个场地出现故障时，通过数据冗余，系统就可以对另一个场地相同副本进行操作，从而避免了因个别场地故障而使得整个系统出现瘫痪。同时，系统也可通过选择距离用户最近的数据副本进行操作，减少通信代价，改善整个系统性能。事务管理分布性质:数据分布引发事务执行和管理分布，一个全局事务执行能够分解为在若干个场地子事务（局部事务）的执行。

9分布式数据库体系结构10分布式数据库体系结构11分布式数据存储1.数据分片技术为了能将数据存储到不同物理位置的物理存储器上，要首先将数据分片，即将给定的关系分割为若干个片段，但用户感觉不到数据分片，用户能感觉到的仍然是一个完整的数据视图，故而在数据分片时要注意这样几个问题：分片存储后的数据重构后仍然是完整的；由于数据存储在不同的存储器上，在数据传输时网络开销很大，所以在数据分片时要根据用户的需求较好地组织数据的分布，尽量将经常使用的数据放在本地存储，这样大部分的数据存储操作在本地进行，能减少大量的网络开销。数据分片有“水平分片”、“垂直分片”、“导出分片”和“混合分片”四种基本方式。12分布式数据存储2.数据冗余技术当关系R是以冗余方式存储时，在两个或两个以上场地都存有R的副本。在最极端情况下，系统的每个场地都可以存有R的一个副本，这就是全部冗余。13分布式数据查询处理查询处理是用户与数据库之间的接口。在分布式环境下，查询可以分为“局部查询”、“远程查询”和“全局查询”三种类型。局部查询和远程查询涉及单一场地上本地或远程的数据，仍可以采用集中式查询的方法来进行查询，集中查询的开销为数据的存取延迟时间。全局查询涉及的数据分布在多个场地，其中包括场地之间数据交换，其还应当加上“存取延迟时间”和“传输的数据量/数据传输速度”。此时，数据传输速度是一个相对常量，其取决于通信场所之间的通信速度，但存取延迟时间和传输的数据量的值就取决于查询处理所采取的存取策略。采用不同的存取策略，处理时间的差别是很大的，这种差别可以高达几个数量级。好的查询存取策略能使存取延迟时间和传输的数据量这两个参数的值尽量小，从而减少查询所花费的时间。14分布式数据事务处理在集中式的环境中，事务具有ACID(原子性、一致性、隔离性和持久性)特性，事务是在单个场地上的单个处理器(该处理器只需要与一个调度器和一个日志管理器进行通信)所执行的一段代码，而在分布式的环境中，数据分布导致了一个事务可能涉及多个场地的处理，事务可以看作由一些相互通信的子事务构成，每个子事务位于不同的场地。为了继续保持事务的ACID特性，有两个问题需要考虑：如何管理分布式事务的提交和中止？分布式事务的原子性要求组成事务的所有子事务要么全部提交，要么全部回滚。在多用户的环境中，如何保证涉及多个场地的分布事务的可串行性？以上两个问题就是分布式事务两个主要讨论的部分，即事务的恢复控制和并发控制。15Web数据库技术何谓WEB数据库？——一种Web环境数据库访问模式它并不是简单的网络技术，或者简单的数据库技术，而是以后台数据库为基础的，加上一定的前台程序，通过浏览器完成数据存储、查询等操作的系统。也就是说它即包含了网络上通用的技术，还包括的数据库技术以及相应的数据库连接访问技术。它充分发挥DBMS高效的数据存储和管理能力，以Web这种浏览器/服务器（B/S）模式为平台，将客户端融入统一的Web浏览器，为Internet用户提供使用简便、内容丰富的服务。16Web数据库技术WEB数据库的优点：借用现成的浏览器软件，无需开发数据库前端：如果能够通过WWW来访问数据库，我们就不需要开发客户端的程序，使用的数据库应用都可以通过浏览器来实现，界面统一，也减少了培训费用，能使广大用户很方便地访问数据库信息。标准统一，开发过程简单：HTML是WWW信息地组织方式，是一种国际标准，开发者甚至只需学习HTML一种语言，使用者只需学习一种界面--浏览器界面。交叉平台支持：几乎在各种操作系统上都有现成的浏览器可供使用，为一个WWW服务器书写的HTML文档，可以被所有平台的浏览器所浏览，实现了跨平台操作。17Web数据库技术典型Web数据库系统结构

Web浏览器Web服务器数据库服务器CGI程序APIJDBC18Web数据库技术CGI的典型操作过程是：分析CGI数据；打开与DBMS的连接；发送SQL请求并得到结果；将结果转化为HTML；关闭DBMS的连接；将HTML结果返回给Web服务器。服务器API一般作为一个DLL提供，是驻留在WWW服务器中的程序代码，其扩展WWW服务器的功能与CGI相同。WWW开发人员不仅可以API解决CGI可以解决的一切问题，而且能够进一步解决基于不同WWW应用程序的特殊请求。各种API与其相应的WWW服务器紧密结合，其初始开发目标服务器的运行性能进一步发掘、提高。19Web数据库技术JDBC是一种可用于执行SQL语句的JavaAPI。它由一些Java语言写的类、界面组成。JDBC给数据库应用开发人员、数据库前台工具开发人员提供了一种标准的应用程序设计接口，使开发人员可以用纯Java语言编写完整的数据库应用程序。通过使用JDBC，开发人员可以很方便地将SQL语句传送给几乎任何一种数据库。也就是说，开发人员可以不必写一个程序访问Sybase，写另一个程序访问Oracle，再写一个程序访问Microsoft的SQLServer。用JDBC写的程序能够自动地将SQL语句传送给相应的数据库管理系统（DBMS）。

20XML数据库技术什么是XML？——XML(ExtensibleMarkupLanguage),意为可扩展的标记语言）,是一套定义语义标记的规则，这些标记将文档分成许多部件并对这些部件加以标识。它也是元标记语言，即定义了用于定义其他与特定领域有关的、语义的、结构化的标记语言的句法语言。21XML数据库技术XML是数据库吗？XML数据库是一种Web数据库,它是可以对XML文档进行存取管理和数据查询的数据库,是一个能够在应用中管理XML数据和文档的数据库系统。简单一点说,XML数据库就是一个XML文档的集合,这些文档是持久的并且是可以操作的。XML数据库是可以对XML文档进行存取管理和数据查询的数据库。XML数据库主要有两种类型：NXD，NativeXMLDatabase）XEDB，XML-enabledatabase）。22XML数据库技术XML文档具有"可自描述"、"无限嵌套"、"树形结构"等特点，因此在某种意义上，一个XML文档就是一个数据库或其中的一张表。下面XML文档Student.xml，描述了一个学生的信息：学号、姓名等。我们可以很方便的将其对应于传统RDBMS中一张二维表(table)：标签student为行，标签id、name等作为列。<student><id>19803001</id><name><lastname>Johnson</lastname><firstname>Jack</firstname></name><email>jack@</email>...</student>Fig1Student.xml可以把相关的XML文档放在一个目录下，利用文件系统来管理，提供查询、更改、增删操作。为更好地支持XML，W3C还制定了一些相关技术，如：文档模式(DTD、XMLSchema)，查询语言（XPath、XQuery等），编程接口（DOM、SAX等），来方便开发应用程序。23XML数据库技术XML数据库由哪几部分组成？

XML本身是不是数据库，XML仅仅意味着XML文档。当XML文件被用于数据存储管理时，XML和它相关的技术结合就组成一个数据库管理系统，目前XML数据库系统主要以下由四部分组成：DTD或者Schemas是XML数据库数据模型，对XML数据库内容的存储了访问都依据该模型。在模型中规定了元素（elements）、属性（attributes）、PCDATA以及文档内容的顺序。XML文档是XML数据库的数据区，一个XML文档就是一个基本的存储单元，相当于关系数据库中的一个表格。XQuery,XPath,XQL,XML-QL,QUILT是数据库查询语言。SAX、JDOM、DOM是数据库处理工具。提供对XML数据库的编辑、管理功能，以及与其它语言的编程接口。24XML数据库技术数据库与XML事实上，XML作为数据交换的标准，更着重于统一数据格式，而不是提供数据库的特性。因此在多数XML应用中，依然需要数据库管理系统。25Web信息搜索技术Web信息搜索——随着互联网的迅速发展和普及,信息搜索成为互联网信息共享领域不可阻挡的用户需求。26Web信息搜索技术搜索引擎——是一种用于帮助互联网用户查询信息的搜索工具,它以一定的策略在互联网中搜集、发现信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。它的主要任务是在Internet上主动搜索Web服务器信息并将其自动索引,其索引内容存储于可供查询的大型数据库中,当用户输入关键字查询时,搜索引擎会告诉用户包含该关键字信息的所有网址,并提供通向该网站的链接。

27Web信息搜索技术搜索引擎工作原理——起源于传统的信息全文检索理论,即计算机程序通过扫描每一篇文章中的每一个词,建立以词为单位的排序文件,检索程序根据检索词在每一篇文章中出现的频率和每一个检索词在一篇文章中出现的概率,对包含这些检索词的文章进行排序,最后输出排序的结果。一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。28Web信息搜索技术搜索器其功能是在互联网中漫游,发现和搜集信息。索引器其功能是理解搜索器所搜索的信息,从中抽取出索引项,用于表示文档以及生成文档库的索引表。检索器其功能是根据用户的查询在索引库中快速检出文档,进行文档与查询的相关度评价,对将要输出的结果进行排序,并实现某种用户相关性反馈机制。用户接口其作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。29Web信息搜索技术当前搜索引擎技术的研发热点努力提高检索的准确性和效率。查准率低是当前各搜索引擎系统普遍存在的问题。建立开放的精细分类体系，采用更有效的分词技术和排序规则，是提高信息查准率的有效手段。采用分布式的体系结构，以吞吐海量数据。据目前保守的估计，互联网上的网页信息总量约80亿条，信息检索的分布式处理与服务是必然的趋势。自然语言理解。自然语言理解的任务是建立一种计算机模型，这种计算机模型能够给出象人那样理解、分析并回答自然语言的结果。目前的自动分类、自动聚类技术向这个方向前进了一大步，但其研究与发展的空间仍十分巨大。P2P对等网络搜索技术。P2P所包含的技术就是使联网用户共享所有用户硬盘上的文件、目录乃至整个硬盘。P2P搜索技术使用户能够深度搜索文档，而且这种搜索无需通过Web服务器，也可以不受信息文档格式和宿主设备的限制，可达到传统目录式搜索引擎(只能搜索到20%-30%的网络资源)无可比拟的深度。30Web信息搜索技术随着人工智能技术的进一步成熟和信息服务的多样化，未来搜索引擎将向着智能、高效、易用、准确等方向发展。提供个性化服务——提高搜索效率的一个有效途径是提供个性化的搜索，通过分析用户行为的意图，获取用户感兴趣的相关信息及感兴趣的感性程度，使得个性化搜索更符合每个用户的需求。实现智能搜索——未来的智能搜索引擎除能提供传统的全网快速检索、相关度排序等功能外，还能提供用户角色登记、用户兴趣自动识别、自然语言理解、智能化信息过滤和推送等功能，为用户提供一个真正个性化、智能化的网络信息搜集工具。关联式的综合搜索——就是将关联信息整合在一起，提供一站式的搜索服务，它使得网民在搜索时只需输入一次查询目标，即可在同一界面得到各种有关联的查询结果。垂直主题搜索引擎——由于专业化的搜索引擎在提供专业信息方面有着大型综合引擎无法比拟的优势，基于专业领域的“垂直搜索引擎”开始成为搜索引擎发展的一个新趋势。垂直搜索引擎面向某一特定专业领域，专注于自己的特长和核心技术，保证了对该领域信息的完全收录与及时更新。31Web信息搜索技术多媒体搜索引擎——随着宽带技术的发展，未来的互联网是多媒体数据的时代。开发出可查寻图像、声音、图片和电影的多媒体搜索引擎是信息检索发展的一个新方向。搜索引擎涉及人工智能、计算机网络、分布式处理、并行计算、数据挖掘、知识发现、自然语言处理等多项技术，富有综合性和挑战性。随着搜索技术的不断完善与发展，更好满足用户需求的搜索引擎也必将出现。用户接口的多语种化——搜索引擎的应用要真正达到全球化、大众化，用户接口必须要多语种化。据统计，全世界大约有5000种语言，几百种文字。根据有关的国际标准(ISO/DPR639)和国家标准(GB4880)所列的世界语种代码就有134种，中国另有专用语种代码41种(GB5795-86)，按人口比例来看，用户接口起码要有10多种语言的支持才能满足90%以上人口的要求。由于机器翻译已取得实质性进展。多语种数据库的技术已比较成熟，用多种语言来查找和获取网上信息资源已不再遥远。不管网上的原始信息是用哪种语言文字记录的，用户可以选择他(她)所需要的语种信息(声音、文字)的检索结果。32Web信息搜索技术索引手段的自动化——网上信息资源不仅是信息的汪洋大海，网上信息资源的索引手段用人工来完成已越来越困难。从网络索引机器人(Robot)发展起来的自动索引技术越来越成熟。自动文摘，自动标引方法已逐步实现。自动对网点的多媒体(图、文、声)信息作索引正向实用化推进。索引程序可以昼夜不停地在网上爬行、自动跟踪，自动更新索引数据库。索引手段的高度自动化，必然会给用户提供更高水平的服务。索引技术和索引数据库的发展将推向一个新阶段。33移动数据库技术什么是移动数据库——可以随身携带的数据库。移动计算——使得计算机或其他信息设备在没有与固定的物理连接设备相连的情况下能够传输数据。移动数据库——是指支持移动计算环境的分布式数据库，通常应用在诸如掌上电脑、PDA、车载设备、移动电话等嵌入型设备中。

34移动数据库技术特点：移动性及位置相关性：移动数据库可以在无线通讯单元内及单元间自由移动，而且在移动的同时仍然可能保持通讯连接；此外，应用程序及数据查询可能是位置相关的。这要求移动数据库系统支持这种移动性，解决过区切换问题，并实现位置相关的处理。频繁的断接性：移动数据库与固定网络之间经常处于主动或被动的断接状态，这要求移动数据库系统中的事务在断接情况下仍能继续运行，或者自动进入休眠状态，而不会因网络断接而撤消。网络条件的多样性：在整个移动计算空间中，不同的时间和地点连网条件相差十分悬殊。因此，移动数据库系统应该提供充分的灵活性和适应性，提供多种系统运行方式和资源优化方式，以适应网络条件的变化。系统规模庞大：在移动计算环境下，用户规模比常规网络环境庞大得多，采用普通的处理方法将导致移动数据库系统的效率极为低下。35移动数据库技术特点：系统的安全性及可靠性较差：由于移动计算平台可以远程访问系统资源，从而带来新的不安全因素。此外，移动主机遗失、失窃等现象也容易发生，因此移动数据库系统应该提供比普通数据库系统更强的安全机制。资源的有限性：移动设备的电源通常只能维持几个小时;此外，移动设备还受通讯带宽、存储容量、处理能力的限制。移动数据库系统必须充分考虑这些限制，在查询优化、事务处理、存储管理等诸环节提高资源的利用效率。网络通讯的非对称性。上行链路的通讯代价与下行链路有很大的差异。这要求在移动数据库的实现中充分考虑这种差异，采用合适的方式(如数据广播)传递数据。36移动数据库技术

移动数据库的典型系统模型37移动数据库的关键技术

1.复制与缓存技术与传统的分布式数据库一样，移动数据库也需要引入复制技术，不过移动数据库的复制技术包括两部分：首先是服务器结点间的数据复制，简称为复制；另外还包括移动结点与服务器结点之间的复制，这常被称为缓存。38移动数据库的关键技术

2.数据广播数据广播即以广播的形式向移动结点发送数据，它是针对通常的无线网络通信所具有的非对称性而提出。通常在无线网络内从服务器到移动结点的下行通信带宽要远大于移动结点到服务器的上行通信带宽，从通信费用来说移动结点上行发送数据的开销通常远大于下行接收数据的开销。因此用户总希望在保证移动结点能获得所需数据的情况下，尽量减少对服务器的上行通信量。数据广播在能在某种程度上满足这种要求，因为无线网络中的数据广播有一优点：服