空间数据质量讲解

1、1 第10章 空间数据质量 ? 一、空间数据质量的概念 ? 1. 空间数据质量 ? 在计算机软件、硬件环境选定之后 ,GIS中数据质量的优劣决定着系统的分析质量以及整个应用的成败 ? 空间位置、专题特性以及时间是表达现实世界空间变化的三个基本要素。 数据质量则是空间数据在表达这三个基本要素时 , 所能够达到的准确性、一致性、完整性以及它们三者之间统一性的程度。 ? 完整性:能否完全地表达要描述的给定目标 ? 空间数据质量的好坏是一个相对概念 2 2. 与数据质量相关的几个概念 (1) 误差（Error）。 误差反映了数据与真值或者大家公认的真值之间的差异, 它是一种常用的数据准确性的表达方式。

2、 误差研究包括 : 位置误差： 即点的位置的误差、线的位置的误差和多边形的位置的误差 ; 属性误差: 3 产生的误差的环节产生的误差的环节 1.投影变换: 地图投影是将三维地球椭球面到二维场平面的拓扑变换。在不同投影形式下 , 地理恃征的位置、面积和方向的表现会有差异。 2.地图数字化和扫描后的矢量化处理 : 数字化过程采点的位置精度、空间分辨率、属性赋值等都可能出现误差。 3.数据格式转换: 在矢量格式和栅格格式之间的数据格式转换中, 数据所表达的空间特征的位置具有差异性。 4.数据抽象: 在数据发生比例尺度变换时, 对数据进行的聚类、归并、合并等操作时产生的误差 4 5. 建立拓扑关系 :

3、 拓扑过程中伴随有数据所表达的空间特征的位置坐标的变化。 6. 与主控数据层的匹配 : 一个数据库中 , 常存储同一地区的多层数据面 , 为保证各数据层之间空间位置的协调性 , 一般建立一个主控数据层以控制其他数据层的边界和控制点。在与主控数据层匹配的过程中也会存在空间位移, 从而导致误差。 7. 数据叠加操作和更新 : 数据在进行叠加运算以及数据更新时 , 会产生空间位置和属性值的差异。 5 8.数据集成处理: 指在来源不同、类型不同的各种数据集的相互操作过程中所产生的误差。数据集成是包括数据预处理、数据集之间的相互运算、数据表达等过程在内的复杂过程, 其中位置误差、属性误差都会出现。 9.

4、数据的可视化表达: 数据在可视化过程中为适应视觉效果 , 需对数据的空间特征位置、注记等进行调整, 由此产生数据表达上的误差。 10.数据处理过程中误差的传递和扩散 : 在数据处理的各个过程中, 误差是累计和扩散的, 前一过程的累计误差可能成为下一个阶段的误差起源, 从而导致新的误差的产生。 6 (2) 准确度(Accuracy) ? 数据的准确度 : 被定义为结果、计算值或估计值与真实值或者大家公认的真值的接近程度。 ? 即一个记录值 (测量或观察值 )与它的真实值之间的接近程度。 ? 它可用误差来衡量。 7 (3) 精度(Precision) ? 数据的精密度：数据表示的精密程度 , 用数

5、据的有效位数来表示, 它表现了测量值本身的离散程度。 ? 精确度：精密度的实质在于它对数据准确度的影响, 同时在很多情况下, 它可以通过准确度而得到体现, 故常把二者结合在一起称为精确度, 简称精度, 即对现象描述的详细程度。 ? 精度低的数据并不一定准确度也低. 8 (4) 不确定性(Uncertainty) ? 不确定性是关于空间过程和特征不能被准确确定的程度, 是自然界各种空间现象自身固有的属性。在内容上, 它是以真值为中心的一个范围, 这个范围越大, 数据的不确定性也就越大。 ? 土地信息系统的不确定性包括空间位置的不确定性、属性不确定性、时域不确定性和逻辑上的不一致性及数据的不完整性

6、。 ? 数据的不完整性指对于给定的目标 , GIS没有尽可能完全地表达该物体。 9 (5) 空间分辨率(Spatial Resolution) ? 分辨率是空间目标可辨识的最小尺寸。如遥感影像上最小可分辨的地物目标。在一个图形扫描仪中最小的物理分辨率从理论上讲是由设施的像元大小来确定的 。 在 一 个 激 光 打 印 机 上 这 是84.6710-3mm, 10 (6) 比例尺(Scale) 比例尺是地图上一个记录的距离和它所表现的真实世界的 距离之间的一个比例。地图的比例尺将决定地图上一条线的宽度所表现的地面的距离。例如, 在一个1:10 000 比例尺的地图上, 一条0.5mm宽度的线对应

7、着5m的地面距离。如果这是线的最小的宽度 , 那么就不可能表示小于5m的现象。 11 二、空间数据质量的评价 (一)、空间数据质量标准 ? 空间数据质量标准是生产、使用和评价空间数据的依据。 ? 目前, 世界上已建立了一些数据质量标准 , 如美国FGDC的质量标准等。 ? 空间数据质量标准的建立必须考虑数据产生的全过程。 12 空间数据质量标准的要素及内容 (1) 数据情况说明：对地理数据的来源、内容及处理过程等做出准确、全面和详尽的说明。 (2) 位置精度：为空间实体的坐标数据及实体真实位置的接近程度, 常表现为空间三维坐标数据精度。它包括数学基础精度、平面精度、高程精度、接边精度、形状再现

8、精度(形状保真度)、像元定位精度 (图像分辨率)等。 (3) 属性精度：指空间实体的属性值与其真值相符的程度。通常取决于地理数据的类型, 且常常与位置精度有关, 包括要素分类与代码的正确性、要素属性值的准确性及其名称的正确性等。 13 (4) 时间精度： (5) 逻辑一致性：指地理数据关系上的可靠性，包括数据结构、数据内容(如毛面积、净面积和扣除面积的关系), 以及拓扑性质上的内在一致性。 (6) 数据完整性。指地理数据在范围、内容及结构等方面满足所有要求的完整程度, 包括数据范围、空间实体类型、空间关系分类、属性特征分类（如土地利用分类编码能否涵盖所有现象）等方面的完整性。 (7) 表达形式

9、的合理性。主要指数据抽象、数据表达与真实地理世界的吻合性, 包括空间特征、专题特征和时间特征表达的合理性等。 14 (二)、空间数据质量的评价 ? 数据质量评价矩阵 P45 注意： ? 质量评价对生产者和用户都十分重要 ? 多尺度（多精度）：不同用户,不同比例尺对数据质量有不同要求 ? 时效性：不同数据有不同时效要求 ? 数据精度的测试结果与测试报告 15 数据质量的研究涉及数据问题的检查方法、评价方法和标准等内容。 一、GIS数据质量问题的检查方法 发现数据错误，探测数据精度和准确性，是研究数据质量的前提。GIS 中对数据质量检查的方法主要有直接评价、间接评价和非定量描述等。 1、直接评价法

10、 （1）用计算机程序自动检测 例如，检测文件格式是否符合规范、编码是否正确、数据是否超出范围等。 （2）随机抽样检测 在确定抽样方案时，应考虑数据的空间相关性。 2、间接评价法 所谓间接评价法是指通过外部知识或信息进行推理来确定空间数据的质量的方法。 3、非定量描述法 非定量描述法是指通过对数据质量的各组成部分的评价结果进行的综合分析来确定数据的总体质量的方法。 (二)、空间数据质量的评价 16 二、研究GIS 数据质量的常用方法 1、敏感度分析法 2、尺度不变空间分析法 3、Monte Carlo实验仿真 4、空间滤波 (二)、空间数据质量的评价 17 三、数据采集中数据质量的评价内容 GI

11、S中数据采集的方法通常可分为直接方法和间接方法两种。直接方法是指直接从野外采集，以获取观测数据、图像等，间接方法是指从已有的图件上进行采集。 地图数字化是获取矢量数据的主要方法之一，也是GIS中的重要误差源，是GIS 数据质量研究的重点之一。下面对地图数字化的数据误差作一分析。 1、地图固有误差的来源和类型 在地图的固有误差中，除了含有控制点和碎部点引入的误差外，至少存在下列误差： （1）控制点展绘误差 （2）编绘误差 （3）绘图误差 （4）综合误差 （5）地图复制误差和分版套合误差 （6）绘图材料的变形误差 （7）特征的定义 2、数字化的误差 （1）自动回归法 （2）Band法(误差带方法)

12、 （3）对比法 (二)、空间数据质量的评价 18 (三)、空间数据源误差及其分析 1. 空间数据源误差 ? 地图、 ? 遥感 ? 测量 19 (1) 地图误差 ? 地图固有误差。指用于数字化的地图本身所带有的误差, 包括控制点误差、投影误差等。 ? 材料变形产生的误差 。这类误差是由于图纸的大小受湿度和温度变化的影响而产生的。温度不变的情况下, 若湿度由0%增至25%，则纸的尺寸可能改变 1.6%; 纸的膨胀率和收缩率不相同 , 即使温度又恢复到原先水平 , 图纸也不能恢复原有的尺寸 ? 数字化误差:数字化仪;扫描矢量化 20 (2) 遥感数据误差 ? 遥感数据的误差来源： ? 观测过程：受空

13、间分辨率、几何畸变和辐射误差等影响。 ? 处理和解译过程：由图像处理中的影像或图像校正和匹配以及遥感解译判读和分类引人的,其中包括混合像元的解译判读所带来的属性误差。 21 (3) 测量数据的误差 ? 标准椭球体代表地球真实表面空间时 , 已经引人了一定的误差因素, 由于这种误差因素无法排除 , 一般也不作为误差考虑。 ? 测量方面的误差通常考虑的是系统误差、操作误差和偶然误差。 ? (a) 系统误差的发生与一个确定的系统有关 , 它受环境因素(如温度、湿度和气压等)、仪器结构与性能以及操作人员技能等方面的因素综合影响而产生。系统误差不能通过重复测量以检查或消除, 只能用数字模型模拟和估计。

14、22 ? (b) 操作误差是操作人员在使用设备、读数或记录观测值时, 因粗心或操作不当而产生的。 ? (c) 偶然误差是一种随机性的误差, 由一些不可预料和不可控制的因素引人。这种误差具有一定的特性, 如正负误差出现频率相同、大误差少、小误差多等。偶然误差可采用随机模型进行估计和处理。 23 2. 常见空间数据误差分析 ? LIS中的误差包括逻辑误差、几何误差、属性误差和时间误差,后两种误差和普通系统概念一样 ? (1) 逻辑误差：数据的不完整性是通过上述四类误差反映出来的。事实上检查逻辑误差, 有助于发现不完整的数据和其他三类误差。对数据进行质量控制或质量保证或质量评价, 一般先从数据的逻辑

15、性检查人手。如图3-3 所示 24 ? (2) 几何误差。由于地图是以二维平面坐标表示位置 , 在二维平面上的几何误差主要反映在点和线上。 ? a. 点误差。 ? 关于某点的点误差即为测量位置(x,y)与其真实位置 ( x0 ,y0)的差异。坐标误差定义为: ? x = x - x0 ? y = y - y0 ? 为了衡量整个数据采集区域或制图区域内的点误差 , 一般采用抽样测算 (x,y)。抽样点应随机分布于数据采集区内, 并具有代表性。这样抽样点越多, 所测的误差分布就越接近于点误差的真实分布。 25 ? b. 线误差。线在系统数据库中既可表示线性现象 , 又可以通过连成的多边形表示面状现

16、象。 ? 第一类：线在真实世界中是可以找到的, 如道路、河流、行政界线等, 这类线性特征的误差主要产生于测量和对数据的后处理 ; ? 第二类：现实世界中找不到的 , 如按数学投影定义的经 纬线、等高线、气候区划线和土壤类型界限等 , 这类线性特征的线误差, 被称为解译误差。 解译误差与属性误差直接相关 , 若没有属性误差, 则可以认为那些类型界线是准确的, 因而解译误差为零。 26 四、空间数据质量控制 常见的方法有 : 1. 传统的手工方法 主要是将数字化数据与数据源进行比较, 图形部分的检查包括目视方法、绘制到透明图上与原图叠加比较, 属性部分的检查采用与原属性逐个对比或其他比较方法。 2

17、. 元数据方法 元数据中包含了大量的有关数据质量的信息, 通过它可以检查数据质量, 同时元数据也记录了数据处理过程中质量的变化, 通过跟踪元数据可以了解数据质量的状况和变化。 3. 地理相关法 用空间数据的地理特征要素自身的相关性来分析数据的质量。例如 , 从地表自然特征的空间分布着手分析 , 山区河流应位于地形的最低点（最低等高线） 27 实例：“数字国土”数据质量控制指标 28 21 经过纠正的分幅原始扫描图数据 （）扫描图数据清晰，能够区分图内各要素。 （2）扫描影像数据经过角度纠正，纠正后的图幅下方两个内图廓点的连线与水平线的角度误差不超过0.2度。 .矢量化后未校正的分幅图件数据 ?

18、 图内各要素的采集无错漏现象 ? 图形定位误差（即图形控制点采集）不超过0.2mm（图面值）。 ? 各要素的采集与扫描数据相吻合，线划（点位）整体或部分偏移的距离不超过0.3mm（图面值）。 .经过误差校正的分幅数据 ? 与理论值相比，误差校正后的控制点（四个内图廓点）点位绝对误差不超过0.1mm（图面值）。 29 24 经过坐标系转换并经过接边的分幅数据 ? 数据内容齐全。 ? 坐标系转换后的同名控制点点位绝对误差不超过1m（实地值）。 ? 转换后的所有数据必须分层。 ? 数据具有严格的拓扑结构。 ? 面状图形数据中无碎片多边形。 ? 图形数据及属性数据的输入正确。 ? 相邻图幅同名弧段和线

19、的接边误差不超过1m（实地值）。 ? 相邻图幅中同名图斑必须合并。 30 25 经过拼接和分层的整个辖区土地利用数据库文件 ? 数据库分层正确，内容齐全。 ? 所有数据层的点、线（弧段）、面的属性结构与县（市）级土地利用数据库标准一致，图形数据的坐标系和坐标相互匹配，属性输入正确。 ? 所有数据层具有拓扑结构。 ? 数据库数据字典的数据项齐全，符合县（市）级土地利用数据库标准要求。 ? 数据字典数据项的内容正确。 ? 标准分幅索引图范围覆盖整个行政区。 ? 图形坐标系符合3度分带的投影带类型。 31 26 数据库系统试运行测试 ? 试运行无死机现象。 ? 能对图斑、行政区、线状地物、零星地类和

20、权属等数据层进行组合查询并且结果正确。 ? 能按要求对数据进行汇总统计并输出标准表格。 ? 能按要求输出标准分幅图和分乡图。 27 电子数据 ? 数据结构符合县（市）级土地利用数据库标准要求。 ? 数据输入后逻辑检查正确。 ? 分幅图斑面积与图幅理论面积的误差控制 在0.25%以内。 ? 辖区总面积与原始详查汇总面积的误差控制在0.25%以内。 32 28 分幅数据采集、预处理和建库出现的问题及解决方法的说明文档的说明文档 ? 文档要求描述准确，逻辑清楚。 29 面积数据汇总 （1） 原始详查辖区总面积与计算机量算面积误差控制在1%以内。 （2） 计算机图幅量算面积与理论面积的误差控制在0.1

21、%以内。 （3） 要求提交图形数据与属性数据对应连接的比例值（包括项数比例、辖区面积比例、一级地类面积比例）和说明以便于后期数据分析。 33 空间数据的元数据 一、元数据的概念 二、元数据的类型 三、空间数据元数据的标准 四、空间数据元数据的获取与管理 34 一、元数据的概念 ? Metadata 可译成元数据 , 是描述数据的数据。 ? 在地理空间数据中, 元数据说明数据的内容、质量、状况和其他有关特征的背景信息。 ? 它主要反映数据集自身的特征规律 , 以便于用户对数据集的准确、高效与充分的开发与利用 ? 不同领域的数据库, 其元数据的内容会有很大差异。 35 元数据的目的 ? 建立元数据

22、的目的 :促进数据集的高效利用, 并为计算机辅助软件工程服务。 产生背景 ? 空间数据的需求日益增大:网络、通迅 ? 数据生产者：管理、维护大量空间数据 ? 数据用户：快捷、有效、准确的使用大量空间数据 ? 要求知道内容、质量、状况等 ? 元数据可以解决这些问题 36 元数据的主要内容 (1) 对数据集的描述 , 对数据集中各数据项、数据来源、数据所有者及数据序代 (数据生产历史 )等的说明 ; (2) 对数据质量的描述, 如数据精度、数据的逻辑一致性、数据完整性、分辨率、元数据的比例尺等; (3) 对数据处理信息的说明, 如量纲的转换等; (4) 对数据转换方法的描述; (5) 对数据库的更

23、新、集成等的说明。 37 土地信息系统中元数据的作用 (1) 数据维护:帮助数据生产单位有效地管理和维护空间数据, 建立数据文档, 并保证即使其主要工作人员离开时, 也不会失去对数据情况的了解; (2) 数据有效使用 :提供有关数据生产单位数据存储、数据分类、数据内容、数据质量、数据交换网络及数据销售等方面的信息, 便于用户查询检索空间数据; (3) 对数据功能预判断 :帮助用户了解数据 , 以便就数据是否能满足其需求做出正确的判断; (4) 数据处理转换 :提供有关信息, 以便于用户处理和转换有用的数据。 38 二、元数据的类型 1. 根据元数据描述对象分类根据元数据描述对象分类 (1) 数

24、据层元数据。指描述数据集中每个数据的元数据 , 内容包括日期、位置、量纲、注释、误差标识、缩略标识、存在问题标识、数据处理过程等。 (2) 属性元数据。是关于属性数据的元数据 , 内容包括为表达数据及其含义所建的数据字典、数据处理规则 (协议), 如采样说明、数据传输线路及代数编码等。 (3) 实体元数据。是描述整个数据集的元数据, 内容包括数据集区域采样原则、数据库的有效期、数据时间跨度等。 39 2. 根据元数据在系统中的作用分类 (1) 系统级别元数据。指用于实现文件系统特征或管理文件系统中数据的信息 , 如访问数据的时间、数据的大小、在存储级别中的当前位置、如何存储数据块以保证服务控制

25、质量等。 (2) 应用层元数据。指有助于用户查找、评估、访问和管理数据等与数据用户有关的信息, 如文本文件内容的摘要信息、图形快照、描述与其他数据文件相关关系的信息。它往往用于高层次的数据管理, 用户通过它可以快速获取合适的数据。 40 3. 根据元数据的作用分类 ? (1) 说明元数据。是为用户使用数据服务的元数据。它一般用自然语言表达, 如元数据覆盖的空间范围、元数据图的投影方式及比例尺的大小等, 这类元数据多为描述性信息, 侧重于数据库的说明。 ? (2) 控制元数据。是用于计算机操作流程控制的元数据, 这类元数据由一定的关键词和特定的句法来实现。其内容包括数据存储的检索文件、检索中与目标匹配的方法、目标的检索和显示等。这类元数据主要是与数据库操作有关的方法。 41 三、空间数据元数据的标准 空间数据是一种结构比较复杂的数据类型。 ? 空间特征的描