第十讲网络空间数据管理

第十讲网络空间数据管理第1页，共59页，2023年，2月20日，星期二主要内容1网络GIS构造模型2分布式地理信息共享形式3分布式空间数据管理技术4网络GIS中地理空间元数据管理第2页，共59页，2023年，2月20日，星期二网络地理信息系统是在Internet网络环境下的一种兼容存储、处理、分析和显示应用地理信息的计算机信息系统。国际学术界称之为WebGIS，这主要是由于大多数的客户端应用采用了WWW协议。它的基本思想就是在互联网上提供地理信息，让用户通过浏览器和获得一个地理信息系统中的数据和功能服务。的地理信息系统相比，WebGIS具有以下4个特点：第3页，共59页，2023年，2月20日，星期二（1）更广泛的客户访问范围：客户可以同时访问多个位于不同地方的服务器上上的最新数据，而这一Internet所特有的优势大大扩展了GIS的数据管理能力，增强了对空间数据管理的时效性。（2）客户端平台独立性：无论客户端是何种操作系统，只要支持通用的Web浏览器，用户就可以访问WebGIS数据。第4页，共59页，2023年，2月20日，星期二（3）更简单的操作：要推广GIS，使GIS系统为广大的普通用户所接受，而不是仅仅局限于少数受过专业培训的专业用户，就要降低对系统的操作难度。通用的WebGIS浏览器无疑是降低操作复杂度的最好选择。（4）平衡高效的计算负载：传统的GIS大都使用文件服务器结构的处理方式，其处理能力完全依赖于客户端，效率较低。而当今一些高级的WebGIS能充分利用网络资源，将复杂的处理交由服务器执行，而对简单的操作则由客户端直接完成。这种计算模式能灵活地在服务器端和客户端之间合理分配处理任务，提高网络计算资源的利用效率。第5页，共59页，2023年，2月20日，星期二1网络GIS构造模型1.1WebGIS的B/S3层结构1.2基于中间件的B/S多层结构1.3WebGIS的互操作模型

第6页，共59页，2023年，2月20日，星期二1.1WebGIS的B/S3层结构常见的WebGIS的结构体系是由数据库、应用服务器和客户端组成的3层结构体系（见下图）。

WebGIS服务器

GIS应用服务器

WebGIS计算模型

WWW服务器地理数据库浏览器1浏览器n第7页，共59页，2023年，2月20日，星期二它把数据库和地理信息系统的应用逻辑分开，相对于最初的两层结构，数据库的改变对应用的影响减少了。通过HTTP协议，客户向Web服务器请求数据服务，服务器返回HTML方式书写的服务页面。按照浏览器和服务器端功能的多少，结构体系可以划分为胖客户器/瘦服务器和瘦客户器/胖服务器两种。但随着应用的复杂度增加，客户对应用服务器的访问频率增加，单一服务器和复杂的应用程序无法快速处理大量的地理信息系统服务需求。中间件技术的出现改进了传统模式的B/S体系。第8页，共59页，2023年，2月20日，星期二1.2基于中间件的B/S多层结构如果WebGIS应用是建立在分布式数据库上，那么为了增强服务器的处理能力和速度，服务器端的GIS应用也要求是分布式的。中间件技术是解决这一难题的有效途径。图1-2是一个基于中间件技术的WebGIS系统模型，用户的请求由中间件处理。GIS应用服务器不是一个进程，而是有多个中间件组成的分布式的多个进程。中间件相互调用，一个进程是另外进程的客户的同时又是别的进程的服务，调用关系比较复杂。进程所访问的地理数据库也不再是单个的数据库，可能是一个分布式的异质数据库。第9页，共59页，2023年，2月20日，星期二

相互调用的GIS多层中间件

请求客户端浏览器图基于中间件的WebGISB/S体系

GIS应用中间件

GIS应用中间件

GIS应用中间件

应答GIS数据库1GIS数据库2GIS数据库n第10页，共59页，2023年，2月20日，星期二目前分布式计算的中间件技术主要有CORBA，DCOM和EJB等。其中，CORBA体系是最有前途的一种，它实现了异构平台的互操作；与此对应的是，DCOM模型一统Window平台，已经成为Windows平台的市场标准；而SUN公司大力提倡的EJB体系，也在逐渐的发展。

第11页，共59页，2023年，2月20日，星期二1.3WebGIS的互操作模型目前已投入使用的基础GIS和应用GIS多是基于具体的、相互独立和封闭的平台上开发出来的，它们没有统一的标准，各自采用不同的数据格式、数据存储和数据处理方法，从而无法直接进行应用系统之间的数据共享。随着现代科学技术的发展，尤其是计算机硬软件技术的迅速发展，大量信息产生并通过计算机进行处理，因此，如何让不同的系统能共享地理数据，即使数据能在不同的系统下相互操作显得非常重要。第12页，共59页，2023年，2月20日，星期二为了能使不同的GIS软件之间具有良好的互操作性，以及在异构分布数据库中共享信息，避免重复的数据输入和处理，由此便产生了开放式地理信息系统（OpenGIS）。（一）开放式地理信息系统（OGIS）及其特点第13页，共59页，2023年，2月20日，星期二OGIS是由美国开放地理信息联合会（OGC－OpenGISConsortium）制定的开放地理数据互操作规范的简称。按照定义，OGIS为软件开发者提供了一个接口框架，用户可以在一个开放信息技术环境中通过一致的计算接口访问和处理不同来源的地理数据。第14页，共59页，2023年，2月20日，星期二为了实现不同应用程序间可互操作地理数据，OGIS为这些数据规定了各种数据标准类型和在这些标准类型上所实施的操作，以及如何将这些标准数据类型组织成应用程序之间交互的地理数据；它还规定了共享地理数据操作的规范，应用程序可以通过这些规范，得知提供地理操作的服务及如何请求这些服务；或者从服务提供者的角度来看，得知一个请求是数据请求还是服务请求。第15页，共59页，2023年，2月20日，星期二OGIS的这些规范是建立在现有的和将要成为标准的分布计算平台的基础之上的，如下图所示。因此，它并不涉及如何将不同运行环境中的应用程序连接起来相互通讯的问题。为了利用以往的地理数据，保护原有投资，以及保证将来方便地引入新的管理、操纵地理数据的方法，OGIS规范也不定义如何存储地理数据和处理地理数据的方法。第16页，共59页，2023年，2月20日，星期二GIS应用软件

开发能力

界面规范

功能接口

数据模型

OGIS规范和协议

分布计算特性

操作系统/软件环境

硬件环境

图GIS开发系统结构图应用层

平台层

OGIS层

环境层

第17页，共59页，2023年，2月20日，星期二应用程序之间真正意义上的地理数据共享或者互操作，不仅在于双方能理解相同的数据格式，更重要的是对这些地理数据中所包含的应用意义也有一个共同的理解，这种语义上的一致是由互操作地理数据的应用团体双方达成的。而OGIS则为这种一致的达成提供了语义表达与转换机制。OGIS将使用或生产不同应用意义地理数据的团体或应用程序划分为不同的信息团体，地理数据中保存的描述应用语义的数据将由这些信息团体来处理和转换。第18页，共59页，2023年，2月20日，星期二基于OGIS的应用程序或软件组件具有如下特点：1.互操作性OGIS提供地理数据和地理操作的标准接口，这些接口支持孤立系统和网络，以完成应用程序之间的地理数据访问和交换；分布式的客户/服务器结构的地理操作和分布式对等实体的地理操作。2．支持信息团体性具有不同的应用背景的用户可以方便地交换地理数据而不会造成语义的误解和损失。3．普适性通过OGIS定义的标准接口和协议，所有的应用程序，无论是属于哪个专业领域，都可以方便地处理地理数据。4．兼容性由于OGIS并不定义地理数据的存储格式和处理方法，因此基于OGIS的应用程序将能够与旧有的地理数据保持兼容。第19页，共59页，2023年，2月20日，星期二5．可移植性OGIS独立于软件、硬件及网络环境，因此，它不需修改便可在不同的计算机上运行。6．可扩展性硬件方面，可在不同软件、不同档次的计算机上运行，其性能和硬件平台的性能成正比；软件方面，可以随着新的地理数据类型和处理方法的发展而发展，它具有容纳新的地理数据处理技术和新的分布计算平台技术的能力。7．可伸缩性基于OGIS的应用程序通常由相对独立的软件组件构成，这些组件可以为各种计算环境重新配置，而不必考虑数据量的大小。第20页，共59页，2023年，2月20日，星期二（二）OGIS的组成部分OGIS软件框架主要由3部分组成：统一的开放式地理数据模型；统一的地理操作服务模型和实现团体间的地理数据和操作资源共享的信息团体模型。OGIS提供了一个与程序设计语言、硬件设备和网络环境无关的开放的地理数据模型（OpenGeodataModel,OGM）。在OGM中，现实世界的地理事件分为两类：实体（Entities）－占据一定空间范围的可区分的对象，例如：建筑物、河流、田地、观测站等；现象（Phenomena）－在空间中连续变化，但又不占据特定的空间，现象的值或描述只有相对于空间中的某一点才有意义，例如：温度、人口密度等。

第21页，共59页，2023年，2月20日，星期二和现实世界的抽象对应，在OGIS中的基本对象是要素（Feature）和覆盖（coverage）。要素是对现实世界中实体的抽象或描述。它可以代表任何存在于时间和空间中的事物。要素通常分组来管理，称为要素集。覆盖是时间/空间范围中的一个地点到一个值（可以是任何类型）的关联。覆盖是时间/空间域到属性域的函数。覆盖通常用来表示现象。现实世界、抽象模型和OGM之间具有如下图所示的对应关系。第22页，共59页，2023年，2月20日，星期二

现实世界抽象模型OGM

离散的对象实体要素连续的对象现象覆盖地点、时间位置几何体现实世界、抽象模型和OGM的对应关系第23页，共59页，2023年，2月20日，星期二2.信息团体模型所谓信息团体指的是这样一个人群，他们在特定的时间内使用相同的数字化地理信息系统术语和相同的空间要素定义，即是说他们在地理抽象、要素表示和元数据方面有着相同的看法和约定。信息团体模型主要任务是解决具有统一的OGM及语义描述机制的一个信息部门内部以及具有不同OGM及语义描述的信息部门之间的数据共享问题。

第24页，共59页，2023年，2月20日，星期二3.OGIS服务模型OGIS服务模型是定义地学数据服务的对象模型，由一组相互可操作的软件构件集组成，为对要素的访问提供对象管理、获取、操作、交换等服务设施。具体地说，它有以下几方面的功能：1)提供了一种方法，通过它能从OGM的数据类型构成具体的数据模型，查询数据以及将可共享的数据编制成目录。2)提供了一种机制，通过它能定义和建立信息团体以及建立它们之间的联系。3)提供了一种手段，使得能对OGM定义的数据类型，用户定义数据类型以及其它的功能进行操作。第25页，共59页，2023年，2月20日，星期二2分布式地理信息共享形式2.1原始数据下载2.2静态地图显示2.3元数据搜索2.4动态地图显示2.5数据预处理2.6基于Web的GIS查询和分析2.7能响应网络的GIS软件

第26页，共59页，2023年，2月20日，星期二分布式空间数据库系统由若干个站点集合而成，这些站点又称为节点，它们通过网络连接在一起。每个节点都是一个独立的空间数据库系统，它们都拥有各自的数据库和相应的管理系统及分析工具。整个数据库在物理上存储于不同的设备上，而在逻辑上则是一个统一的数据库。在应用时，用户可以不考虑数据存储的具体物理位置，就象对集中式数据库一样来访问分布式数据库。分布式空间数据库有如下特点：1）在分布是数据库系统里不强调集中控制概念，它具有一个以全局数据库管理员为基础的分层控制结构，但是每个局部数据库管理员都具有高度的自主权。

第27页，共59页，2023年，2月20日，星期二（2）数据独立性，在集中式数据库系统中，数据独立性包括两个方面：数据的逻辑独立性与数据的物理独立性，其含义是用户应用程序与数据的全局逻辑结构、数据的存储结构无关。（3）适当的数据冗余，与集中式数据库系统不同，数据冗余在分布式系统中被看作是所需要的特性。分布式地理信息服务从简单到复杂分为七种类型第28页，共59页，2023年，2月20日，星期二1原始数据下载服务器用于传输文件，数据集直接来自GIS，虽然通常直接被打包（如ARC/INFO输出文件）或重新格式化（如重构为标准传输格式，如SDTS和DIGEST）。然后数据集置于便于网络传输的文件系统，通常是FTP或Web（HTTP）服务器。

第29页，共59页，2023年，2月20日，星期二2静态地图显示地图图像文件一旦创建，就如其它形式的图形图像一样在Web上分布，在用户浏览器端作为HTML文档或按图像本身显示。Web服务器端和浏览器端都没有地理数据的计算处理。该方法虽然技术简单，但可能回拥有最广泛的用户，因为对浏览器和用户要求最少。第30页，共59页，2023年，2月20日，星期二3元数据搜索元数据搜索从根本上是一个数据库查询应用，具备简单的空间查询能力。元数据库由数据组成，这些元数据是对某一个部门的地理信息系统的结构化的描述。该类站点的最著名的例子就是美国国家地学空间数据交换站点（NGDC-http:/）。该服务实际上提供了一个能访问分布于世界各地的元数据库的中央搜索界面。第31页，共59页，2023年，2月20日，星期二4动态地图显示地图不是静态的，而是根据用户选择的参数，如比例尺、位置和专题即兴绘制。地图要么通过DGI网关程序由标准GIS系统（如Mapinfo,Arcinfo）传输，要么由地图发生器产生，该发生器是一个为动态制图特别编写的程序。任一方式中，地图均可以从一个站点或多个空间数据集绘制。该类站点大多采用“轻客户端”策略。该方案对用户无特别GIS专业要求，只要会用Internet就可。它具有交互性，但占用大量带宽，服务器因可能不得不同时为不同客户产生好几幅地图而负载过大。第32页，共59页，2023年，2月20日，星期二5数据预处理这项服务适于拥有自己的GIS的用户。许多底端GIS软件，如Mapinfo，缺乏诸如格式转换、投影变换等空间数据预处理能力。数据预处理器可辅之以这些功能。这种应用的目的是增强原始数据下载服务。数据传输之前作一些初步处理。最有用的应用包括数据集重格式化，以符合客户端GIS软件本地格式；投影方式和坐标系统变换，以与用户自己的数据相匹配。第33页，共59页，2023年，2月20日，星期二6基于Web的GIS查询和分析客户端可以完成GIS所有的功能。如属性查询、缓冲区分析、迭加分析、分类、地图显示，甚至数据编辑。可以完全控制哪些操作可得，哪些数据集可视。这一类服务要求作编程工作，因为用户不直接访问服务器方的GIS。这意味着，必须为用户想访问的具体操作定制界面。这包括：创建脚本，以处理这些请求和输出结果。目前大多数这样的服务采用重服务器策略，因很难在客户端编程定制强大的GIS功能。第34页，共59页，2023年，2月20日，星期二7能响应网络的GIS软件能响应网络的GIS软件是OpenGISConsortium（OGC）的主要目标之一。OGC的使命就是增强异构GIS平台间互操作的能力。OGC所展望的、处于一个分布式计算环境中的GIS，包含分布于Internet上的、能彼此交流和共享数据的GIS客户。这些能响应Internet的GIS客户端至少具备三个主要能力。1．远程文件访问分布式地理信息服务的第一种类型（原始数据下载）要求用户在使用数据前先将数据集下载到磁盘。相反，网络通软件能如同读取本地数据集一样容易地读取远程数据。第35页，共59页，2023年，2月20日，星期二2．各种数据格式理解因数据可能来自各种不同的计算机及软件，网络通GIS程序必须能读取许多以不同格式存贮的数据。一些GIS软件，如ESRI的Arcview正在努力实现此目标。这也是OGC的使命之一：OGC旨在增加异构GIS平台互操作的能力。3．实时投影转换和空间位置匹配实时投影变换和位置匹配能让用户比较和复合不同来源的、具有不同投影方式和坐标系统的数据集。大多普遍GIS软件具备投影变换方式和坐标系统功能，但通常是将一个文件转换成与新投影方式对应的另一个文件。能响应网络的GIS却能即时完成投影，即绘制空间点的同时作变换操作，而不改变原始文件。第36页，共59页，2023年，2月20日，星期二3分布式空间数据管理技术在分布式空间数据管理上，网络技术为数据分布存储提供了基础，它可以将异地配置的若干空间数据存储站点连接起来，实现不同站点之间空间数据库的透明连接。为了实现空间数据由集中式存储管理向分布式存储管理的变化，就要解决一系列的技术问题，如网络技术、多源数据综合管理技术、数据传输技术、空间数据搜索引擎技术、系统安全技术等。第37页，共59页，2023年，2月20日，星期二3.1网络通信技术3.2管理空间元数据及其管理3.3数据冗余与一致性3.4数据服务技术3.5空间数据搜索引擎技术3.6数据无缝连接技术3.7数据快速更新技术3.8数据中转技术3.9数据传输队列技术3.10系统安全技术

第38页，共59页，2023年，2月20日，星期二1网络通信技术良好的通信机制是实现分布式数据库系统的基础。目前的一些开发工具提供了直接访问远程数据库的能力，但大部分都没有提供直接的消息传递机制。而作为分布式系统，直接的消息传递机制是系统通信的重要组成部分。分布式数据库管理系统中的消息传递机制是通过使用Windowssocket消息驱动程序实现的。一般使用“可定制用户对象”在客户机和服务器之间通过函数传递信息。第39页，共59页，2023年，2月20日，星期二2管理空间元数据及其管理空间元数据库中存储了系统中全部空间数据库的某些标准属性，以便进行总控管理。在中心服务器上存储着一个总的空间元数据库，而在各个空间数据库服务器上又各自有一个较小的空间元数据库，它描述了本站点上所有空间数据库的情况，所有分站点上空间元数据的总和应当等于中心服务器上总的空间元数据库。此外，空间元数据库的管理还包括空间元数据库的建立、空间元数据内容的输入，空间元数据的查询与发布等基本功能。第40页，共59页，2023年，2月20日，星期二3数据冗余与一致性为保证系统中数据的安全，在系统发生局部故障仍能保持对发生故障部分的数据的正常访问，系统在其他节点保留该部分数据的副本，这也就带来了数据的冗余及一致性问题。用户对若干数据副本中的任一个的修改必须同时反映到所有副本中去，否则系统中的数据不一致将会带来系统的混乱。第41页，共59页，2023年，2月20日，星期二4数据服务技术在分布式空间数据库中，空间数据分布于各个数据服务器上。在应用这些数据时，一般由客户端向中心服务器发出数据请求，中心服务器在接受请求后，调用总的空间元数据库，确定存储所需数据的服务器，然后向具体的数据服务器发出数据请求，由相应数据服务器上的服务程序从有关空间数据库中生成所需要的数据，并将结果传回中心服务器，进而传回客户端。第42页，共59页，2023年，2月20日，星期二5空间数据搜索引擎技术空间数据搜索本身就是一个非常复杂的问题，由于空间特征的语义表达缺乏统一的标准，而地理特征之间的关系运算量也非常大，因而搜索的效率也就比较低。在分布式存储的情况下，数据的总量急剧上升，且在搜索时要大量涉及客户端与服务器端、服务器端相互之间的协调问题，因而问题更为突出，必须根据分布式数据库的框架对空间搜索算法进行优化，以满足空间数据库搜索的需要。第43页，共59页，2023年，2月20日，星期二空间数据库服务和空间数据库搜索的不同之处在于调用数据服务器的数量。一般来说，每次数据服务请求的命令都是发到一台数据服务器，由该服务器上的服务程序将所需要的数据生成并传回，虽然不同的命令所发往的数据服务器可能不同。对于空间数据搜索来说，每次搜索都要在所有数据服务器站点范围内进行，即命令要发到所有的数据服务器上，并由各自服务器上的服务程序完成对站点上数据库的搜索，所有这些搜索结果再传回中心服务器并进行综合，最后将综合的结果传回客户端。第44页，共59页，2023年，2月20日，星期二6数据无缝连接技术空间数据的格式有多种多样，如不同的传感器所获取的遥感图象格式各不相同，不同地理信息数据库建立者所产生的数据各有特点，而不同站点上的数据用途及格式也不同，所有这些数据都应成为整个分布式空间数据库的组成部分，这就要解决它们之间的无缝连接问题。第45页，共59页，2023年，2月20日，星期二7数据快速更新技术分布式空间数据库的更新体现在多个方面，必须分别制定合理的更新方法。例如，可以有新的空间数据站点加入进来，从而扩大了数据库的范围，这时要将新站点注册到中心服务器，并用其空间元数据库的内容来补充中心服务器中的元数据库；有的数据站点根据形式的变化而必须退出分布式空间数据库，这时要在中心服务器上注销相应的数据服务器，并在总的元数据库中删除有关元数据；在某个数据站点内部，随着时间的变化，可能生成了新的空间数据库，这时要将新数据库的空间元数据发送到中心服务器，以便及时更新总的空间元数据库；在很多情况下，数据站点上的数据库个数及名称都没有发生变化，而某些数据库的内容却发生了变化，这时只要像集中式数据库的更新那样更新相应的数据库即可。第46页，共59页，2023年，2月20日，星期二由于各个站点上空间数据库的更新是各自独立完成的，而很多情况下它们要引致对中心服务器上元数据库的更新，这就存在并发控制问题，可以通过在架构程序的内部设置命令来更新队列，从而使得总元数据库的更新依命令接收时间次序进行。第47页，共59页，2023年，2月20日，星期二8数据中转技术在某些特定条件下，有的数据服务器可能会与中心服务器联系中断，但却与另一台数据服务器联系畅通，即可以通过该服务器中转，因此必须存在数据库服务器之间的转发机制，这可以通过数据库服务器上的架构程序来完成。源服务器上的架构程序负责发送数据，而目标服务器上的架构程序则负责接收数据，并将它发往中心服务器。数据中转的最初命令仍是由中心服务器发出，中心服务器在需要某个数据服务器上的数据而又不能与其连通时，就会将命令发向另一台数据服务器，由该服务器向要连接的数据服务器转发数据请求命令，如果仍不通，中心服务器就会重新选择一台数据服务器，直到能够中转为止。数据服务器在收到中转过来的命令以后，就会根据要求将数据发出。第48页，共59页，2023年，2月20日，星期二9数据传输队列技术在分式空间数据库的应用流程中，经常要将数据同时请求发到各个数据服务器，有些还是通过中转而发，这样就会同时有大量数据往中心服务器传输，因此在中心服务器必须有一个接收分时控制程序，以保证数据接收的正常运行。从每台数据服务器来看，它可能接收了多条数据请求，要与中心服务器及其他数据服务器进行数据传输，因此必须有一个队列管理程序来控制所有数据传输任务的执行。第49页，共59页，2023年，2月20日，星期二10系统安全技术系统的安全性，即保证系统在局部故障条件下能持续运行并且系统中的数据无丢失现象，它是设计分布式数据库管理系统所必须考虑的问题之一。在系统运行的任一时刻，都由中心服务器对整个系统进行维护，包括系统空间元数据的维护、安全权限管理等。同时，在中心服务器出现故障时，系统中的任何一台数据服务器都有可能被提升为中心服务器，这就需要将所有空间数据库服务器上的元数据库传输到新的中心服务器，并由该服务器对它进行管理和维护。为了保证分布式空间数据库系统的安全性，可以采取系统登录检测、系统操作权限的控制、存取控制、使用日志、权限分级等技术。第50页，共59页，2023年，2月20日，星期二4网络GIS中地理空间元数据管理随着地理空间数据集的数量、复杂性和多样性的增加，一个适应该数据集共享的标准化规范和管理系统也就应运而生，这就是Metadata网络管理系统，它也是网络地理信息系统（WebGIS）必不可少的一部分，通过它可以了解WebGIS系统所提供地理空间数据的情况，如：有什么数据？数据质量如何？数据有哪些格式？以什么方式在哪儿可以得到数据？等等和数据有关的信息。通过这些信息可以实现不同部门、不同专业领域的地理空间数据的网络共享，从而可避免因地理空间数据的重复收集、录入和处理而导致的大量时间、资金、人力和物力的浪费。第51页，共59页，2023年，2月20日，星期二4.1Metedata的定义及其作用4.2Metedata的分类4.3Metedata的内容4.4Metedata网络管理系统的功能

第52页，共59页，2023年，2月20日，星期二4.1Metedata的定义及其作用空间元数据是“关于数据的数据”，它