空间数据库存储研究

1、空间数据库胡茂胜Tel:-mail: 【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院第第4 4章章 空间数据组织与管理空间数据组织与管理l本章内容 4.1文件组织与数据库 4.2空间数据管理方式 4.3空间数据引擎 4.4空间数据与属性数据的连接 4.5空间数据组织 4.6栅格数据存储和管理【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库l1、数据文件域、记录（物理、逻辑）、

2、文件l2、数据库系统l3、空间数据库系统【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库空间数据的存储形式：二进制流或复杂结构，如: Well-Known Text (WKT) format POLYGON(0 0,10 0,10 10,0 10,0 0),(5 5,7 5,7 7,5 7, 5 5) Well-Known Binary (WKB) format 0101000000000000000000F03F000000000000F03F Byte order : 01 WKB type : 01000000

3、 X : 000000000000F03F Y : 000000000000F03F 【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库 传统数据库： 数据库事务和应用程序的需求是正交的（orthogonal）。 数据操作函数简单：包括, MIN, MAX, AVG等。 衡量标准：数据从二级存储到主存之间的传输代价（即I/O代价）。 应用程序： CPU密集型操作。 空间数据库： 涉及的函数计算复杂。 数据太大，存储需求更高。CPU代价代价I/O代价代价DBMS低高C程序高低SDBMS高高【空间数据库原理空间数据库原理】

4、 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库磁盘的几何结构和含义： 构成：主轴、磁盘片、磁道 磁盘块（页面）：磁盘与主存之间的最小传输单元。 数据从磁盘向主存中传输过程：（1）磁头到达特定磁道上。（寻道时间ts）（2）磁盘块旋转到磁头下方。（延迟时间tl）（3）磁头读或写块中数据。（传输时间tt，固定的） 总时间 ta = ts + tl + tt 且满足 ts tl tt【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库缓冲区管理器： DBMS中的一个软件模块，负责管

5、理主存与二级存储之间的数据传输。 置换策略：确保事务不会因为一部分数据不在主存中而停顿。 关系数据库的缓冲区管理： 主要基于关系查询行为。 频繁访问集（hot set）模型：最近最少使用（LRU）算法。 查询本地集（QLSM）模型：DBMIN算法。引用模式为：顺序引用、随机引用、分层引用。 使用DBMIN比使用频繁集访问的算法的吞吐量高出7到13个百分点。【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库l 域、记录和文件： 文件是记录的集合，一个文件可能跨越多个页面。 一个页面是槽（slot）的集合，每个槽包含一条记

6、录。 每条记录是相同或不同类型的域的集合。 一条记录的域可以是定长或变长的。 文件中的记录可以是有序或无序的。 文件可以组织成链表或页面目录。 例子：二进制大对象（BLOB）域类型。【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库共6条记录，每条80字节CanadaMe

7、xicoCubaBrazilUSAArgentina共4条记录，每条72字节Rio ParanaSt. LawrenceRio GrandeMississippi共2条记录，每条73字节Mexico CityBuenos Aires共7条记录，每条73字节Havana.Ottawa.表目录所在的块Country61River41City-2实例：将记录从Country, City, River表映射到磁盘页RivercountryCity【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库 文件结构：文件中记录的组织形式

8、。 （1）无序文件（unordered file）： 又叫堆（heap），其中记录没有特定的顺序，是最简单的组织形式。 优点：在进行插入操作时可以很容易地在文件末尾插入一条新记录。 代价：平均需要检索一半的磁盘页面，最坏情况需访问所有存储该文件数据的磁盘页面。 示例：上图River表。【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库 文件结构：文件中记录的组织形式。 （2）散列文件（hashed file）： 使用散列函数把记录分到一系列散列单元中。 优点：能够把数量大致相同的记录放入每个散列单元中，对于点的查询、插

9、入和删除操作都非常有效，可以在一个常数时间内完成查询，与文件中记录的个数无关。 缺点：不适合范围查询。例如查找名字以字母”B”开头的城市。 代价：常数时间内完成查询（例如两次磁盘访问）【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.14.1文件组织与数据库文件组织与数据库2条记录HavanaOttawa2条记录RosarioToronto3条记录BrasilliaMonterreyMexico City2条记录Buenos Aries.Washington DC4个散列单元，9条记录关键码=114示例：City表的散列文件组织方式4.14.1文件组织与数据

10、库文件组织与数据库 （3）有序文件（ordered file）： 根据给定的主码域对记录进行组织。 优点：可以使用折半查找算法根据给定的主码属性值查找。可以进行范围查询：先用折半法查到第一个符合条件的记录，然后扫描后续记录。可以根据对空间数据集的文件组织方式而概括成空间聚类。 缺点：不能直接应用在空间领域。例如，无法对城市的位置排序。 代价：随文件中记录数的增加呈对数增长（log2(n)）。 示例：4.14.1文件组织与数据库文件组织与数据库2条记录TorontoWashington DC共7条记录，每条73字节Brasillia.Buenos AiresHavanaMexico CityMo

11、nterreyOttawaRosario.存储City表的有序文件（已排序）4.14.1文件组织与数据库文件组织与数据库 聚集： 目的：降低响应常见的大查询的寻道时间和等待时间。 对空间数据库来说，在二级存储中，空间上相邻的和查询上有相关性的对象在物理上应当存储在一起。 在SDBMS支持三种聚类： （1）内部聚类：加快对单个对象的访问，一个对象的全部表示都存放在同一个磁盘页面中，或者多个物理上连续的页面中。 （2）本地聚类：加快对多个对象的访问，一组空间对象被分组到同一页面。可以依据数据空间中对象的位置来分组。 （3）全局聚类：与本地聚类相反，一组空间邻接的对象并不存储在一个而是多个物理上邻接

12、的页面中，这些页面由一条单独的读命令访问。4.14.1文件组织与数据库文件组织与数据库 空间聚类技术： 需从高维空间映射到一维空间，该映射是距离不变的。 几种突出的映射方法：Z序列（Z-order），格雷码（Gray Code），Hilbert曲线。 更为复杂的：最小割边图划分、几何学方法（R树等） Z曲线：nHilbert曲线：【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.24.2空间数据管理方式空间数据管理方式l 1、文件管理 shp文件等l 2、文件与关系数据库混合管理l 3、关系数据库管理 ArcGIS、MapGIS、SuperMap等l 4、面

13、向对象数据库管理 发展趋势l 5、对象关系数据库管理 Oracle Spatial （包含对象数据类型SDO-GEOMETRY、索引、操作等）【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.24.2空间数据管理方式空间数据管理方式l1、文件管理GIS应用空间数据文件属性数据文件文件管理系统标识码关联【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.24.2空间数据管理方式空间数据管理方式l2、文件与关系数据库混合管理GIS应用空间数据文件属性数据据文件文件管理系统标识码关联关系型数据库管理系统【空间数据库原理空间数据库原

14、理】 中国地质大学信息工程学院中国地质大学信息工程学院4.24.2空间数据管理方式空间数据管理方式l3、关系数据库管理【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.24.2空间数据管理方式空间数据管理方式l4、面向对象数据库管理【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.24.2空间数据管理方式空间数据管理方式l5、对象关系数据库管理GIS 应 用ORDBMS空 间 数 据 库空 间 对 象 服 务【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.24.2空间数据管理方式空间数

15、据管理方式l实现实例ORACLE SPATIAL空间数据存储解决方案【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.34.3空间数据引擎（空间数据引擎（SDESDE）l1、什么是SDEl2、SDE需要解决的问题空间对象提取、分析空间属性统一管理并发访问长事务管理【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.34.3空间数据引擎（空间数据引擎（SDESDE）lSDE工作原理SDE服务器处理程序DBMS服务器端SDE客户端客户端【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.34.3

16、空间数据引擎（空间数据引擎（SDESDE）lSDE的作用 （1）与空间数据库联合，为任何支持的用户提供空间数据服务。 （2）提供开放的数据访问，通过TCP/IP横跨任何同构或异构网络，支持分布式的GIS系统。 （3）SDE对外提供了空间几何对象模型，用户可以在此模型基础之上建立空间几何对象，并对这些几何对象进行操作。 （4）快速的数据提取和分析。SDE提供快速的空间数据提取和分析功能，可进行基于拓扑的查询、缓冲区分析、叠加分析、合并和切分等。【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.34.3空间数据引擎（空间数据引擎（SDESDE） （5）SDE提供

17、了连接DBMS数据库的接口，其他的一切涉及到与DBMS数据库进行交互的操作都是在此基础之上完成。 （6）与空间数据库联合可以管理海量空间信息，SDE在用户与物理数据的远程存储之间构建了一个抽象层，允许用户在逻辑层面上与数据库交互，而实际的物理存储则交由数据库来管理。数据的海量是由空间数据库管理系统来保障的。【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.34.3空间数据引擎（空间数据引擎（SDESDE） （7）无缝的数据管理，实现空间数据与属性数据统一存储。传统的地理信息的存储方式是将空间数据与属性数据分别存储，空间数据因其复杂的数据结构，多以文件的形式保

18、存，而属性数据多利用关系数据库存储。而SDE涉及空间属性数据在DBMS中如何存储及管理，通过SDE，则可以把这两种数据同时存储到数据库中，实现空间属性数据一体化管理，保证了更高的存储效率和数据完整性。 （8）并发访问。SDE与空间数据库相结合，提供空间数据的并发响应机制。用户对数据的访问是动态的，透明的。【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.34.3空间数据引擎（空间数据引擎（SDESDE）l空间数据引擎实例空间数据引擎实例lMapInfo公司的公司的Spatial WarelArcGIS空间数据引擎空间数据引擎l国内国内SuperMap公司的公

19、司的XSDE【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.44.4空间数据与属性数据的连接空间数据与属性数据的连接l4种连接方式【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.54.5空间数据组织空间数据组织l1、纵向分层l2、横向分块经纬分幅矩形分幅l3、分层分块索引l4、三维空间数据组织三维空间索引金字塔式数据组织【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.54.5空间数据组织空间数据组织l1、纵向分层点层线层面层点层线层面层道路层管线层建筑物层水系层植被层地形层垣栅层其

20、它层境界线及控制点层公共坐标系统【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.54.5空间数据组织空间数据组织l2、横向分块经纬分幅矩形分幅118500，21000121500，21000MAP1MAP4MAP2MAP3MAP5MAP6MAP7MAP8MAP9MAP10118050017500720721722723724725648649650651652653576577578579580581336337【空间数据库原理空间数据库原理】 中国地质大学信息工程学院中国地质大学信息工程学院4.54.5空间数据组织空间数据组织l3、分层分块索