数据库培训之预处理

1、第一次全国地理国情普查数据入库预处理2015年1月28日组织实施组预处理内容入库整理派生数据属性结构调整对象化处理路网水网预处理逻辑分区处理元数据处理规则格网生成专题数据整合一、数据入库前整理p跨省DEM数据拼接相邻省份之间跨省不满图幅DEM数据需要接边并拼接合成一幅完整的DEM数据。起止格网点、相邻省之间数据接边等依据GDPJ 08-2013 多尺度数字高程模型生产技术规定相关技术要求。一、数据入库前整理p正射影像数据整理Control points目录整理 去掉数据源一级目录（如AP005P、WV205M 等），并将影像控制点集中于CtrlPoints目录下按1:5万标准图幅目录存放。 增

2、加相应的投影信息文件，命名为影像文件名.TIF.AUX.XML 原影像投影信息文件为影像文件P.XML，投影信息文件后缀修改为.TIF.AUX.XML，文件内容与P.XML同，且每个影像文件，包括A、B、C、D，各需设置一个投影信息文件，文件名与影像文件名完全相同一、数据入库前整理 将遥感影像解译样本数据按照分省级和县级行政区划目录进行组织。 目录采用“SMP”相应省级（县级）行政区划代码。 地面照片文件和影像实例文件存储在同一个目录 影像实例投影信息文件后缀名由“.xml”改为“.TIF.AUX.XML”。 修改T_PHOTO的PHOFILE字段和T_SMPIMG的IMGFILE字段值的填写

3、。p解译样本数据整理一、数据入库前整理一、数据入库前整理各类技术文档重命名 文档数据命名为：类型全国/省（区、市）地区（州、市、盟）县（区、市、旗）地理国情普查/数据建库/数据生产/实施方案/技术规定/(专业)技术设计/质量检查报告/成果验收报告/技术总结完成时间（YYYYMMDD或YYYYMM）。其中类型为I实施方案/R技术规定/D专业设计/Q质检报告/S技术总结。p技术文档数据整理一、数据入库前整理一、数据入库前整理p数据层名称修改 按照各类成果数据在数据库中的存储形式，对不同数据层分别添加前缀。一、数据入库前整理数据层类型前缀矢量数据层“V_”栅格数据层“R_”镶嵌数据集“M_”网络数据

4、“N_”普通表格数据“T_” 将1：5万DEM（10米格网）和1：1万DEM（2米格网）数据转换成相应精度的经纬度格网DEM数据 DEM重采样（Resample）过程采用双线性（BILINEAR）插值方法。起止格网中心点的坐标如下： X起 = XMIN + d/2 Y起 = YMIN + d/2 X止 = XMAX - d/2 Y止 = YMAX - d/2其中XMIN、YMIN、XMAX、YMAX为1：5万或1：1万标准图幅范围最小、最大经纬度坐标，单位为度。d为格网间距。二、数据派生提取p经纬度格网DEM生成利用全国1：5万标准分幅DEM数据生成相应分幅和格网大小的坡度和坡向栅格数据，按每

5、幅DEM分别生成坡度和坡向数据，格网起算点和原始DEM数据保持一致。在1：5万标准分幅10米格网DEM和坡度数据基础上，按照全国高程带和坡度带分级标准，分别提取高程带和坡度带数据。 无需提交，各省根据省情自行处理p坡度坡向数据生成二、数据派生提取pDEM及派生数据目录组织二、数据派生提取由照片拍摄点经纬度（拍摄点经度LON、拍摄点纬度LAT）生成的地面照片拍摄点点位，作为遥感影像解译样本点位数据。生成的样本点位存储于V_SAMP空间图层中，生成的点位数据赋值归属省、地、县级行政区划代码到相应属性项中。p遥感影像解译样本点位生成二、数据派生提取依据影像控制点信息文件（*.INF）记录的影像控制点

6、坐标（Geographic:Lon，Geographic:Lat）生成影像控制点点位数据，存储于影像控制点点位数据表（V_CTLP）中，同时根据控制点信息文件中的其它信息填写V_CTLP数据层的各属性项信息。p影像控制点数据生成二、数据派生提取地表覆盖数据转换成栅格数据，栅格化时按照格网内主要地表覆盖分类（投影面积最大的覆盖类型）代码进行赋值。栅格格网大小分别为高斯投影坐标10米格网和经纬度坐标0.0001度。栅格化分幅、格网大小、起止点等与DEM、坡度和坡向栅格数据一致。栅格化地表覆盖数据按照1：5万标准分幅进行存储。p地表覆盖数据栅格化二、数据派生提取对于城镇综合单元中按面采集的要素，提取

7、其多边形的质心，须保证质心点在多边形内部，并在对象化编码时与对应面要素赋值同一对象化编码。对于构筑物要素中闸、码头等同时有面、线、点几何类型数据的要素，需要对其中的面状要素图层提取质心（保证质心点在相应多边形的内部），线状要素图层提取中心（保证中心点在相应线上），生成点数据合并到点状数据图层。 IFDERIVED字段赋值“1”。p要素类型完整化处理二、数据派生提取字段：FEATID用途：要素的唯一标识信息 数据更新 构建网络数据数据层：所有矢量数据层p增加要素唯一标识码三、属性结构调整p增加实体编码字段三、属性结构调整 字段：EC ECP 用途：实体化编码 （实体编码、重复路段实体编码） 对象

8、化查询与统计分析 数据层：需进行实体对象化处理的数据层， 包括： 道路层、路网弧段层、社会经济区 域单元、自然地理单元、城镇功能 综合单元p增加要素起止时间字段三、属性结构调整字段：ElemSTime、ElemETime用途：要素生命周期 数据增量更新 历史数据管理数据层：所有矢量数据层p增加归属行政区划代码字段三、属性结构调整字段：PACCOUN、PACCOUN2、 PACPREF、PACPROV用途：数据分区数据层：高程带坡度带、地表覆盖、解译样 本点图层、道路、水系p增加是否由线、面层要素派生字段三、属性结构调整字段：IFDERIVED用途：要素类型完整化处理 标识是否由线、面层要素派生

9、数据层： BERP6-V_BERP6 BUCP-V_BUCP SFCP-V_SFCP对于数据源、内业数据采集、外业调查情况等元数据存在扩展元数据层，扩展元数据层并入相应数据层时增加MCODE专题类型码字段。具体要素层参见第一次全国地理国情普查数据库建设实施方案中的规定。p增加MCODE扩展元数据专题类型码字段三、属性结构调整由于普查生产数据成果中部分矢量数据层或数据表的部分属性项为数据库中的保留关键字，需要对相应属性项名称进行调整。p其它需调整的字段序号字段调整数据层/表（原数据预处理后数据）1LONG改为LONPHOTO-V_SAMP，PHOTO-T_PHOTO2FILE改为PHOFILEP

10、HOTO-T_PHOTO3START改为STARTPLRRL-N_LRRL三、属性结构调整四、地理国情要素对象化处理地表覆盖：一个县级行政区范围内属性相同的相邻地表覆盖类型图斑合并成一个多边形。单个多边形节点数不能超过10万个。国情要素：一个县级行政区范围内属于同一对象、图形和属性完全接边的相邻要素合并为一个对象，并赋以同一实体编码。 地理国情要素单个图形节点数不能超过2万 个。 p同一实体对象相邻要素合并EC实体编码直接沿用RN、PAC、BAS等字段值根据规则重新编码ECP重复路段实体编码对于存在重复路段的数据层，采用其重复 路段编码RNP字段值p相关属性项添加四、地理国情要素对象化处理四、

11、地理国情要素对象化处理p同一实体对象识别通过已采集的道路编号RN、政区代码PAC、流域代码BAS等 属性值及相关关键属性值，识别是否为同一实体对象。若多个要素属性相同但空间位置不相连，或空间位置相连但 属性不同，则需要检查属性值的正确性。四、地理国情要素对象化处理p同一实体对象识别铁路RN字段值公路RN字段值城市道路RN字段值乡村道路NAME等关键字段水域BAS字段值行政区划与管理单元PAC字段值其他地理单元数据行政区划代码及NAME等关键 字段值 若RN等关键字段为空或填写”等，但NAME等其他关 键字段值相同且空间位置相连则识别为同一实体对象数据类型赋码原则铁路直接采用铁路路线编码（RN）

12、公路国道直接采用中国道编码（RN）省道原道路编码+省级行政区划代码县、乡道原道路编码+县级行政区划代码城市道路分县级、地市级、省级（共建道路等问题）乡村道路在县域内进行编码水域要素直接采用EC编码四、地理国情要素对象化处理p实体编码赋值数据类型赋码原则行政区划与管理单元直接采用各级行政区划要素的政区代码（PAC）社会经济区域单元和自然地理单元流域区V_BGBA层直接采用BAS字段值其余社会经济区域单元和自然地理单元要素以省级或国家两级行政区进行编码。城镇综合功能单元按照实体所在的省级行政区划代码进行实体化编码四、地理国情要素对象化处理p实体编码赋值p道路层合并五、路网、水网数据预处理公路层V_

13、LRDL城市道路层V_LCTL乡村道路层V_LVLL公路网弧段层N_LRDL合并时需要对重复路段进行处理。重复路段的处理： 重复路段部分矢量要素保留一份，属性项合并，对于EC字段，该属性项优先填写最高等级的线路编码，同等级的优先填写编号小的线路编码，重复路段的其他路段编号均填写在重复路段实体编码（ECP）属性项中。五、路网、水网数据预处理 公路网结点层N_LRDP：从N_LRDL层中提取交叉口、断头路终点，从V_SFCP层中提取高速公路出入口，从V_BUCP层中提取地铁（轻轨车站）等。 公路网障碍点层N_LDBP：从构筑物要素数据V_SFCP中提取公路桥、汽车隧道、汽车渡等要素，就近移至所属公

14、路弧段线上，形成公路网障碍点层。p生成公路网结点层和障碍点层五、路网、水网数据预处理 铁路网结点层N_LRRP：提取城镇综合功能单元数据层V_BUCP中火车站的定位点要素，就近移至铁路弧段线上，添加结点属性信息，并在结点处将铁路弧段打断。 铁路网障碍点层N_LRBP：从构筑物要素数据V_SFCP（V_SFCL、V_SFCA已提取面状要素质心和线状要素中心存入V_SFCP）中提取铁路桥、火车隧道、火车渡等要素，就近移至铁路弧段上形成。p生成铁路网结点层和障碍点层五、路网、水网数据预处理 水网数据结点层N_HYDP：从水域网络层N_HYDL中提取水系交汇点、河流源头、终点、入海口等生成，同时为点层

15、添加流入河流和流出河流等相关属性信息。 水域网络障碍点层N_HYBP：从V_SFCP层中提取水闸点和堤坝点，移至所属水系弧段线上作为障碍点。p生成水域网络结点层和障碍点层五、路网、水网数据预处理单图层数据记录数过大，会对后期数据库的分析、浏览和查询造成很大的性能影响，为了在一定程度上解决性能问题，要求对大表进行表分区处理。 p大数据量数据层分区处理原因六、数据逻辑分区处理 用相应县级行政区划面裁切V_ EVZA、V_SPZA数据层以及V_LRDL、V_LCTL、V_LVLL、N_LRDL、N_HYDA、N_HYDL等要素层，并在有关数据层逻辑设计中添加PACCOUN、PACCOUN2、PACP

16、REF、PACPROV等归属行政区划代码字段。 对于以路或河为界的路段与河段同时归属两个县级行政区时，需从中间打断，两半各属不同的县级行政区（PACCOUN字段），同时每一半需同时填写归属相邻县级行政区属性项（PACCOUN2字段）。p处理方式六、数据逻辑分区处理六、数据逻辑分区处理p公路层数据预处理主要步骤示例123456名称调整：数据层名称加前缀“V_”属性调整：添加唯一标识码FEATID、实体编码EC、ECP等字段实体识别：根据RN码或其他关键字段值识别同一实体对象实体编码：根据相应的编码规则对EC、ECP字段赋值路网处理：参与构建公路网弧段层分区处理：用县级行政区划对公路层数据进行裁切

17、并赋行 政区划代码七、元数据处理根据原始DEM .xls格式元数据，10米格网DEM和2米格网DEM元数据层分别以1：5万和1：1万接图表空间化至V_MDEMA5、V_MDEMA1两个数据层，一个图幅对应一条元数据记录，DEM元数据内容作为图幅属性项进行填写。pDEM元数据空间化将分幅DOM数据XML格式的元数据按照1：5万标准分幅处理为空间面图层。处理后的空间面图层命名为V_MDOMA，表结构主体部分详见数字正射影像生产技术规定。另外为便于分幅DOM和整景DOM数据管理，需要增加接图表图形字段以及相关管理方面的数据项，附加字段名称、类型和长度详见第一次全国地理国情普查数据库建设技术设计。p分

18、幅DOM元数据空间化七、元数据处理将整景DOM数据XML格式的元数据处理为空间面图层。处理后的空间面图层命名为V_MSDMA，表结构主体部分详见数字正射影像生产技术规定。另外为便于分幅DOM和整景DOM数据管理，需要增加接图表图形字段以及相关管理方面的数据项，附加字段名称、类型和长度详见第一次全国地理国情普查数据库建设技术设计。p整景DOM元数据空间化七、元数据处理 对于数据源（MPID、MSID、MRLC、MRDR、MRDW、MRDS、MRDU等元数据层）、内业数据采集（MIDC、MDCE等元数据层）、外业调查情况（MFSV元数据层）等可能有扩展元数据，需要将扩展元数据层合并到相应的元数据层中。 合并时只需把原元数据层图形简单合并、不做空间叠加处理，添加扩展元数据的专题类型码，相应属性添加到合并后表中，扩展的属性项也一并加入。p普查数据生产元数据合并处理七、元数据处理八、专题数据整合