第七章数据管理

第七章数据管理第1页，课件共57页，创作于2023年2月§7.1数据管理数据管理包括：数据组织、存储、检索和操纵目的：充分有效地发挥数据的作用关键：数据组织数据项(字段)：具有确定逻辑意义（即可描述信息内容）的数据的最小单位,用于说明事物的某方面性质记录：将描述某事物有关性质的数据项按一定的方式组织起来就形成了记录，常用于说明一个客观存在的事物（或事物之间的联系）文件：文件是同类记录的有序集合数据库：据库是存贮起来的相关数据的集合第2页，课件共57页，创作于2023年2月§7.1数据管理随着计算机技术的发展，数据管理经历以下四个发展阶段人工管理阶段：如图书目录的手工编制和手工统计处理计算机文件系统管理阶段：数据库系统管理阶段网络数据库管理阶段（一）人工管理阶段（五十年代中期以前）计算机系统没有专用的软件对数据进行管理；不单独保存数据，没有数据文件的概念；数据是面向应用的，不共享第3页，课件共57页，创作于2023年2月§7.1数据管理（二）计算机文件管理阶段特点：数据以“文件”形式可长期保存在外部存储器的磁盘上程序与数据之间具有“设备独立性”物理独立性逻辑独立性：用户的应用程序与数据库的逻辑结构是相互独立的，也就是说，数据的逻辑结构改变了，用户程序也可以不变应用程序3应用程序2应用程序1文件1文件2存取方法即程序只需用文件名就可与数据打交道，由操作系统的文件系统提供存取方法（读／写）。第4页，课件共57页，创作于2023年2月§7.1数据管理（二）计算机文件管理阶段特点：文件组织已多样化，有索引文件、链接文件和直接存取文件等顺序文件（SequentialFile）：数据按记录中主关键字的顺序组织;逻辑上是按主关键字排序的，在物理存储上可以有不同的方式，包括：向量方式、链方式、块方式。向量方式：逻辑结构同物理结构一致；链方式：通过指针连结逻辑顺序；块方式：上述两种方式的结合（块内是向量方式，块间是链方式）第5页，课件共57页，创作于2023年2月§7.1数据管理（二）计算机文件管理阶段特点：文件组织已多样化，有索引文件、链接文件和直接存取文件等索引文件：存储内容包括：记录本身（主文件）和若干索引表索引表中列出：记录的关键字和记录在文件中的位置（地址）。读取记录时，只要提供记录的关键字值，系统通过查找索引表获得记录的位置，然后取出该记录随机文件：随机文件又称直接文件，其存储是根据记录关键字的值，通过某种转换方法得到一个物理存储位置，然后把记录存储在该位置上。查找时，通过同样的转换方法，可以直接得到所需要的记录。通过HASH函数（哈希函数），把关键字转换为地址进行存取的文件。第6页，课件共57页，创作于2023年2月§7.1数据管理（二）计算机文件管理阶段特点：文件组织已多样化，有索引文件、链接文件和直接存取文件等倒排文件（InvertedFile）：倒排文件是带有辅索引的文件，其中辅索引是按照一些辅关键字来组织索引的倒排文件是一种多关键字的索引文件，其中的索引不能唯一标识记录，往往同一索引指向若干记录。通过辅索引不能直接读取记录，而要通过主关键字才能查到记录的位置。倒排文件的主要优点：在处理多索引检索时，可以在辅检索中先完成查询的‘交’、‘并’等逻辑运算，得到结果后再对记录进行存取，从而提高查找速度.第7页，课件共57页，创作于2023年2月§7.1数据管理（二）计算机文件管理阶段特点：数据不再属于某个特定的程序，可以重复使用，即数据面向应用。但是文件结构的设计仍然是基于特定的用途，程序基于特定的物理结构和存取方法，因此程序与数据结构之间的依赖关系并未根本改变对数据的操作以记录为单位。这是由于文件中只存储数据，不存储文件记录的结构描述信息。文件的建立、存取、查询、插入、删除、修改等所有操作，都要用程序来实现第8页，课件共57页，创作于2023年2月§7.1数据管理（二）计算机文件管理阶段缺点：数据冗余：由于文件之间缺乏联系，造成每个应用程序都有对应的文件，有可能同样的数据在多个文件中重复存储不一致性：这往往是由数据冗余造成的，在进行更新操作时，稍不谨慎，就可能使同样的数据在不同的文件中不一样数据联系弱：这是由于文件之间相互独立，缺乏联系造成的第9页，课件共57页，创作于2023年2月§7.1数据管理（三）数据库阶段(60年代后期)数据库是是存储在计算机中、按一定数据模型组织、可共享的数据集合，这些数据用于各种应用系统中数据库中数据的特点：数据结构化（数据按一定的数据模型组织、描述和储存）是数据库与文件系统的根本区别；应用程序3应用程序2应用程序1DBMS数据数据数据数据数据的共享性高，冗余度低，易扩展；数据独立性高；数据由DBMS统一管理和控制:数据的安全保护、数据的完整性检查、并发控制、数据库恢复第10页，课件共57页，创作于2023年2月§7.1数据管理（三）数据库阶段(60年代后期)数据库类型平面文件层次型网络型关系型第11页，课件共57页，创作于2023年2月§7.1数据管理（三）数据库阶段(60年代后期)关系型数据库关系表或表格主关键字和外关键字关系类型一对多一对一多对一多对多操作：合并、关联、关系类第12页，课件共57页，创作于2023年2月§7.1数据管理（四）网络数据库阶段单用户结构库式：应用程序、DBMS、数据、都在一台机器上，有一个用户独占。客户/服务器（C/S）结构模式：将数据库系统分成前台的客户应用程序和后台的服务部分，其间通过网络连接，由客户机和服务器共同完成处理任务客户/服务器结构数据库管理系统的核心是客户应用程序只通过SQL向服务器发服务请求，服务器完成任务后，将结果发回给客户应用程序第13页，课件共57页，创作于2023年2月§7.1数据管理②客户/服务器（C/S）结构模式：服务器的任务为多个用户管理和维护一个独立的数据库；管理并处理客户的请求；管理数据和系统的安全等。客户的任务提供用户界面；建立同服务器的连接；向服务器提交和接受请求；数据的输入输出及验证等第14页，课件共57页，创作于2023年2月

客户机（用户界面、应用程序）数据库服务器数据库客户/服务器结构数据库第15页，课件共57页，创作于2023年2月§7.1数据管理③WEB（B/S）数据库结构模式WEB（B/S）数据库结构模式是构成WEB的技术基础，是WEB技术和数据库技术相结合的新技术。它实现开发环境和应用环境的分离，用户端用统一的浏览器代替客户软件。用户通过浏览器的表单（FORM）向WEB服务器发送HTTP协议方式的请求，WEB服务器收到请求后向数据库服务器发请求，数据库服务器执行接收的请求，并将结果返回WEB服务器。浏览器WEB服务器数据库服务器数据请求HTTP协议请求返回数据结果返回浏览器第16页，课件共57页，创作于2023年2月各阶段的比较阶段人工管理阶段文件处理阶段数据库系统时间50年代60年代70年代数据共享性无共享共享差共享好

数据独立性无独立性独立性差物理独立性高一定逻辑独立性数据结构化无结构化纪录内有结构整体结构化整体结构化差用数据摸型描述§7.1数据管理第17页，课件共57页，创作于2023年2月§7.2GIS数据管理GIS中数据的特点：数据类型多空间数据和属性数据图形、图像、文本、数字、视频等数据常具有非结构化特征，尤其是空间数据关系复杂：常要记录拓扑关系数据量大，常要作查询，因此必需注意提高查询效率，如建立索引等第18页，课件共57页，创作于2023年2月§7.2GIS数据管理空间数据管理的模式全文件管理模式文件和关系数据库混合管理模式全关系型数据库系统管理模式对象—关系数据库管理模式面向的对象数据库管理模式第19页，课件共57页，创作于2023年2月§7.2GIS数据管理①全文件管理系统关系型数据描述空间数据存在的缺陷空间数据记录是变长的对空间数据的关联、连通、包含、叠加等基本操作GIS需要一些复杂的图形功能地理信息是复杂的，单个地理实体的表达需要多个文件、多条记录、或许包括大地网、特征坐标、拓扑关系、空间特征量测值、属性数据的关键字以及非空间专题属性等具有高度内部联系的GIS数据记录需要更复杂的安全性维护系统，否则一条记录的改变就会使其他数据文件产生错误第20页，课件共57页，创作于2023年2月§7.2GIS数据管理①全文件管理系统（coverage）优点：厂商可根据自己要求定义文件格式，管理数据；有利于存储非结构化不定长数据缺点：不利于数据查找，如系统开发者要编写程序实现数据的更新、查询；GIS应用1空间、属性数据文件1GIS应用2空间、属性数据文件2空间、属性数据文件3数据共享性等差：多个程序共享一数据文件时，文件的修改，需得到所有应用的许可；不能达到真正的共享，即数据项、记录项的共享第21页，课件共57页，创作于2023年2月§7.2GIS数据管理②文件和关系数据库混合管理模式(SHP)这种方式实际上不能建立真正意义上的空间数据库第22页，课件共57页，创作于2023年2月§7.2GIS数据管理②文件和关系数据库混合管理模式优点:GIS可通过DBMS提供的高级编程语言的接口，直接操纵属性数据，查询属性数据库，并在GIS的用户界面下，显示查询结果在ODBC(OpenDataBaseConnectivity,开放式数据库互连)推出后，GIS软件商只需开发GIS与ODBC的接口软件，就可将属性数据与任何一个支持ODBC的RDBMS连接缺点：属性数据和图形数据通过ID联系起来，使查询运算，模型操作运算速度慢数据分布和共享困难属性数据和图形数据分开存储，数据的安全性、一致性、完整性、并发控制以及数据损坏后的恢复方面缺少基本的功能缺乏表示空间对象及其关系的能力第23页，课件共57页，创作于2023年2月§7.2GIS数据管理③全关系型数据库系统管理图形数据和属性数据都用现有的关系数据库管理系统管理用RDBMS管理图形数据有两种模式：基于关系模型的方式，图形数据按关系数据模型组织将图形数据的变长部分处理成BinaryBlock字段，这样就可省去大量关系连接操作，但BinaryBlock的读写效率比定长的属性字段慢得多，特别涉及对象的嵌套时，更慢。第24页，课件共57页，创作于2023年2月(a)基于关系模型组织图形数据要找出组成多边形的采样点坐标，涉及多个关系表，作多次连接投影运算。多边形编号边号边长P1aP1bP1cP1dP1P2边号起结点号终结点号a17b21…结点号xy1..…2………CNE第25页，课件共57页，创作于2023年2月BusinessTable

Feature-IDColumn1Column2GeometryID

101

1

102

2

103

3

…

…

GeometryTableGeometryIDETYPEXCoordinateYCoordinate1310.0010.001310.0015.001315.0015.0023150.00100.0023100.00100.0023120.00120.00…………(a)基于关系模型组织图形数据第26页，课件共57页，创作于2023年2月（b）BinaryBlock字段模式图形数据和属性数据统一存储在通用关系数据库中将图形文件转成关系存放在目前大部分关系型数据库提供的二进制块中（即将图形数据的变长部分处理成Binary二进制块Block字段）。空间数据访问接口用户界面数据库访问接口GISRDBMS空间数据库第27页，课件共57页，创作于2023年2月BusinessTableFeature-IDColumn1Column2GeometryID101

1102

2103

3…

…GeometryTableGeometryIDBinaryGeometry1(x,y,…,x,y)2(x,y,…,x,y)3(x,y,…,x,y)……SpatialIndexTableGeometryIDIndexKey1

2

3

……（b）BinaryBlock字段模式第28页，课件共57页，创作于2023年2月§7.2GIS数据管理③全关系型数据库系统管理优点:在全关系型数据库中加入了二进制数据块形式省去大量关系连接操作,可提高查询速度；便于数据的维护；缺点:不定长记录造成存储效率的下降；实现SQL查询要附加接口；因此它只适用于功能简单的GIS第29页，课件共57页，创作于2023年2月§7.2GIS数据管理④对象—关系数据库管理模式定义是介于关系数据库系统和对象数据库管理系统中间，由关系数据库系统和面向对象的数据库管理系统结合而成的数据库管理系统两种扩展模式GIS软件商在RDBMS中进行扩展，使之能直接存储和管理非结构化的空间数据，如ArcSDE、SaptialWare以及Geomedia等；另外一种扩展方式是数据库管理系统的软件商在自己的数据库软件中直接扩展，如Informix和Oracle等都推出了空间数据管理的专用模块，定义了操纵点、线、面、圆等空间对象的ＡＰＩ函数。第30页，课件共57页，创作于2023年2月§7.2GIS数据管理④对象—关系数据库管理模式优点：解决了空间数据的变长记录管理，并具备数据的安全性、一致性、完整性、并发控制以及数据损坏后的恢复方面等基本功能，支持海量数据的管理，使数据管理效率大大提高；空间和属性之间联结有空间数据管理模块解决，不仅具有操作关系数据的函数，还具有操作图形的API函数;对象——关系型空间数据库是在标准的关系数据库上加一层空间数据管理模块；用该层功能将地理结构查询语言转化成标准的SQL查询，空间数据查询速度快。缺点：仍没有解决对象的嵌套问题，空间数据结构不能由用户定义，用户不能根据ＧＩＳ要求再定义，使用上受一定限制第31页，课件共57页，创作于2023年2月§7.2GIS数据管理⑤面向对象空间数据库管理系统采用面向对象模型是最适合于空间数据的表达和管理，它不仅支持变长记录，而且支持对象的嵌套、信息的继承与聚集。并且面向对象的空间数据库管理系统允许用户定义对象和对象的数据结构以及它的操作。三种实现方式：扩充面向对象程序设计语言(OOPL)，在OOPL中增加DBMS的特性；扩充RDBMS，在RDBMS中增加面向对象的特性；建立全新的支持面向对象数据模型的OODBMS。当前已推出了若干OODBMS如O2等，也出现一个基于OODBMS的GIS，但由于OODBMS价格昂贵且技术还不成熟，目前在GIS领域不太通用。面向对象的DBMS将可能成为GIS空间数据库发展的主流。第32页，课件共57页，创作于2023年2月§7.2GIS数据管理——Arcgis数据管理Shp文件基于文件方式存储GIS数据的文件格式，至少由.shp,.dbf,.shx三个文件作成，分别存储空间，属性和前两者的关系Coverage一种拓扑数据结构，数据结构复杂，属性缺省存储在Info表中Geodatabase个人数据库PersonalGeodatabase文件FileGeodatabaseArcSDE第33页，课件共57页，创作于2023年2月§7.2GIS数据管理——Arcgis数据管理地理数据库Geodatabase对象类ObjectClasses要素类FeatureClasses要素数据集FeatureDatasetes关系类RelationshipClasses要素类FeatureClasses几何网络GeometricNetwork关系类RelationshapClasses要素Feature网络要素NetworkFeature关系Relationship表格Table要素Feature关系Relationship第34页，课件共57页，创作于2023年2月§7.2GIS数据管理——Arcgis数据管理PersonalGeodatabaseFileGeodatabase平台支援WindowsWindows

、UNIX、linux存储方式MS-Access

的mdb

数据库文档一个文件夹方式储存存储限制2GB数据库无限制，每个表限制为1TB(1000GB)储存空间减少50-70%效能可快20%到10倍数据压缩不支持数据压缩支持一种新的数据压缩格式，在查询与显示方面均与未压缩格式相同，压缩比率可从2:1

到25:1第35页，课件共57页，创作于2023年2月§7.2GIS数据管理——Arcgis数据管理ArcSDE是ArcGIS与关系数据库之间的GIS通道，在多种数据库平台上，如：Oracle，OraclewithSpatial/Locator，MicrosoftSQLServer,IBMDB2和Informix管理地理信息

采用客户/服务器体系结构，多用户并发共用§7.3第36页，课件共57页，创作于2023年2月§7.3GIS属性数据管理地物所固有的，不是由于地物空间分布所带来的特征，如某地的年降雨量、土地酸缄类型、人口密度、交通流量、空气污染程度等专题属性特征通常以数字、符号、文本和图像等形式来表示第37页，课件共57页，创作于2023年2月§7.3GIS属性数据管理 为了描述地理世界，对任何事物都要鉴别、分类和命名。属性数据测量的尺度大致可以分成四个层次，由粗略至详细依次为：命名(Nominal)量：定性而非定量，不能进行任何算术运算命名式的测量尺度也称为类型测量尺度，只对特定现象进行标识，赋予一定的数值或符号而不定量描述这些数值之间无数量关系，对命名数据的逻辑运算只有“等于”或“不等于”两种形式，而其近似均值只能使用众数。“等于”与“不等于”之外，还可以比较它们的大小，即“大于”或“小于”。第38页，课件共57页，创作于2023年2月§7.3GIS属性数据管理次序(Ordinal)量：线性坐标上不按值的大小，而是按顺序排列的数，例如，事故发生危险程度的级别由大到小被标为1，2，3，…级别的序号越低，其危险性越大，但危险性到底有多大并未给予定量的表达序数值相互之间可以比较大小，但不能进行加、减、乘、除等算术运算次序测量尺度是基于对现象进行排序来标识的，如可以把山峰按高度分级为极高山、高山、中山、低山和丘陵等，将坡度分为陡、中、缓等不同次序之间的间隔大小可以不同第39页，课件共57页，创作于2023年2月§7.3GIS属性数据管理间隔(Interval)量不参照某个固定点，而是按间隔表示相对位置的数。按间隔量测的值相互之间可以比较大小，并且它们之间的差值大小是有意义的间隔尺度的测量值无真的零值,零值往往是人为规定的，如摄氏温标中零摄氏度，时间中的零点等等;

例如，温度是间隔尺度的数据而不是比例数据，因为它的“0”测量值随着所使用的不同温度测量单位而不同。不能说150F的温度是75F的温度的两倍，因为这个比例在使用摄氏单位时就改变了相反，降水量是比例数据，因为它有真的零值。比例数据和间隔数据可用于加、减、乘、除等运算，而且可以求算术平均第40页，课件共57页，创作于2023年2月§7.3GIS属性数据管理比率（Ratio）量指那些有真零值而且测量单位的间隔是相等的数据，比例测量尺度与使用的测量单位无关与某一固定点的比值计算，支持多种算术操作，如加、减、乘、除等有关该类型属性域的例子很多，如年降雨量、海拔高度、人口密度、发病率等第41页，课件共57页，创作于2023年2月不同测量尺度数值可以进行的运算

比例数据或间隔数据可以比较容易地被转变成次序或命名数据；命名数据则很难被转化成次序、间隔数据或比例数据

命名数据或次序数据便于使用，易于理解，但有时不够精确，不能用于较高级的算术运算；比例数据或间隔数据比较精确，便于计算机处理，命名量==,!=…次序量==,!=,>,<…间隔量==,!=,>,<,+,-…比率量==,!=,>,<,+,-,*,/…§7.3GIS属性数据管理第42页，课件共57页，创作于2023年2月§7.3GIS属性数据管理数据结构操作添加字段删除字段字段计算属性表操作合并关联关系类第43页，课件共57页，创作于2023年2月§7.3数据组织空间数据分层按专题分层按时间序列分层以地面垂直高度分层第44页，课件共57页，创作于2023年2月§7.4数据组织空间数据分块（分幅）

查询往往涉及到多幅图或在不同专题间进行地理实体的完整性和一致性难以维护分幅管理对于数据共享和地理实体一级的安全管理增加了难度Intergraph的MGE，ESRI的ARC/INFO等都能建立无缝GIS地理数据库，能够完成地理数据的几何接边和逻辑接边，但物理上仍然按照图幅的概念进行存储管理。第45页，课件共57页，创作于2023年2月工作区1工作区2工作区3工作区n图层1图层2图层3图层n地物1地物2地物3地物n点状地物线状地物面状地物标识码属性表结点弧段标识码注记属性表结点坐标始点终点左面右面标识码§7.4数据组织第46页，课件共57页，创作于2023年2月§7.4数据组织集中式数据库:所有的数据存放在一台存储设备上，物理与逻辑上统一分布式数据库：数据分散存储在多台存储设备上，保持逻辑上的统一性第47页，课件共57页，创作于2023年2月§7.5空间索引空间索引定义：指依据空间对象的位置和形状或空间对象之间的某种空间关系按一定的顺序排列的一种数据结构，其中包含空间对象的概要信息，如对象的标识、外接矩形及指向空间对象实体的指针。作为一种辅助性的空间数据结构，空间索引介于空间操作算法和空间对象之间，它通过筛选作用，大量与特定空间操作无关的空间对象被排除，从而提高空间操作的速度和效率空间索引性能的优劣直接影响空间数据库和地理信息系统的整体性能，它是空间数据库和地理信息系统的一项关键技术常见大空间索引一般是自顶向下、逐级划分空间的各种数据结构空间索引，比较有代表性的包括BSP树、K-D-B树、R树、R+树和CELL树等。此外，结构较为简单的格网型空间索引有着广泛的应用。第48页，课件共57页，创作于2023年2月§7.5空间索引①格网型空间索引其基本思想是将研究区域用横竖线条划分大小相等和不等的格网，记录每一个格网所包含的空间实体第49页，课件共57页，创作于2023年2月§7.5空间索引BSP树