地理信息公共平台大数据中心建设实施方案.doc

目录1 项目背景 2 2 项目总体建设目标 3 3 项目建设的基本原则 34 项目主要建设内容 54.1 “数字*”地理信息公共平台数据服务扩展设计 54.2 基础地理信息数据预处理体系设计 54.3 基础地理信息数据整理入库功能设计 64.4 数据库物理存储设计 74.4.1 数据库物理创建 84.4.2 数据库的存储 84.5 数据库空间参考设计 94.5.1 平面基准 94.5.2 高程基准 94.6 数据库逻辑设计 94.6.1 逻辑组织规则 94.6.2 DLG数据库设计 104.6.2.1 1500DLG数据库设计 104.6.2.2 11000DLG数据库设计 104.6.2.3 11万DLG数据库设计 114.6.2.4 15万DLG数据库设计 114.6.3 DEM数据库设计 124.6.4 DOM数据库设计 124.6.5 三维模型库设计 124.6.6 元数据数据库设计 124.7 数据库业务库设计 134.7.1 系统业务库内容 134.7.2 系统业务库的逻辑结构 135 项目实施方案概述 13 6 项目建设实施说明 146.1 项目启动阶段 146.2 需求调研确认阶段 156.3 系统功能实现确认阶段 166.4 基础地理信息数据预处理阶段 166.5 基础地理信息数据整理入库阶段 166.6 数据与系统集成初装阶段 176.7 项目培训阶段 176.8 系统安装测试及试运行阶段 186.9 项目总体验收阶段 196.10 项目成果交接阶段 197 项目实施工作计划 19 8 项目实施详细进度计划表 20 9 项目建设费用预算 20地理信息公共平台大数据中心建设实施方案1 项目背景为了提升测绘服务大局、服务社会、服务民生的能力和水平，更好满足城市对测绘保障服务的旺盛需求，2006年以来，国家测绘地理信息局把数字城市建设作为加快构建数字中国的重要内容和抓手全力予以推进，成效显著。*市按照国家测绘地理信息局的统一部署，启动了数字*地理空间框架建设，在2011年顺利通过国家测绘地理信息局验收并正式运行，并在2014年将地理信息公共平台升级为“*市地理信息公共平台”。截止目前，数字*地理信息公共平台已与多个市政府部门实现了共建共享，为全市民众提供了全面的地理信息空间服务，建设成果得到了各级领导、院士和专家的一致好评。*市地理信息中心主要负责数字*地理信息公共平台的数据更新、后期维护和管理工作。建设完成的基础地形数据库作为数据城市的最基础数据，需要为其他数据应用提供数据支持。在地理信息公共平台的数据更新和管理上，*市地理信息中心没有形成有效的数据更新和管理机制，缺乏高效的数据更新方法和技术，累积了大量的待更新测量工程图，无法及时地更新到地理信息公共平台中，从而导致基础空间数据无法满足地理空间信息的时效性，不能对以此为依托的数字*相关应用的开展和推广。此外，*市地理信息中心建设的地理空间数据虽然种类较多，但都是基于本地文件式数据库建设，没有通过SDE进行统一管理，且各类数据分散，各个数据库标准不统一，没有建立相应的地理信息公共平台大数据中心系统对地理空间数据进行有效的管理和维护，导致出现对数据整体情况了解不清楚，数据查看不方便，数据建库后无法更新数据内容等诸多不良局面。为了解决上述问题，急需建立一套符合地理信息公共平台发展的易操作的有序的数据整理标准、数据入库标准、数据更新标准等规范，同时围绕地理信息公共平台建立一个灵活的、扩展性强、适应性高、功能强大的地理信息公共平台大数据中心系统。2 项目总体建设目标*市市域总面积2546平方公里，是省级历史文化名城，文化、经济基础雄厚，通过数字*地理空间框架建设项目、地理信息公共平台升级项目，积攒了丰富的矢量地图数据、影像地图数据、城市模型数据、城市规划等专题数据，数据种类繁多，数据量大。地理信息公共平台大数据中心系统针对*市现有数据采集、更新、管理和使用，制定各类空间信息数据的内业预处理标准，数据整理入库标准，同时依托*市现有服务器、网络硬件环境，地理信息公共平台和数字城市基础数据库技术，建立一套高效的、可扩展、通用的城市地理信息公共平台大数据中心系统，实现对多源、异构、多比例尺、多时相的基础地形空间数据、遥感影像数据、城市模型数据的综合管理和地理信息公共平台数据集的快速输出。3 项目建设的基本原则地理信息公共平台大数据中心系统是能够对基础地理信息数据进行存储、管理、更新、维护、查询、分析等操作的一个集合，是建设智慧*的重要组成部分。为确保数据库建成后能够稳定的运行和发挥作用，必须针对数据库管理系统建设的技术要求和需求情况提出一些基本原则。(1)实用性原则基础地理信息数据库建设要充分考虑各部门应用的实际情况，尽可能地满足当前的基本应用需求，使基础地理信息数据库建成后能够很快的发挥作用，辅助政府、单位等解决城市中存在的一些实际问题。数据库管理系统建设还应该做到功能完善、界面美观、操作方便，能够充分实现信息资源共享，方便人们获得自己所需要的信息。(2)先进性原则数据库管理系统建设要在吸取国内外基础地理信息数据库建设的经验和教训的基础上，研究和分析GIS技术及其相关技术的发展趋势，尽可能采用先进的技术和手段，统一规范基础地理信息数据的内容，合理组织数据库的结构，实现多源空间数据的集成化管理，确保基础地理信息数据库的科学性和前瞻性，方便进行更新维护，使数据库能够适应未来技术发展的变化，保证数据库能够持续稳定的发展。(3)开放性原则数据库建设必须严格按照国家和行业的相关标准和规范，结合应用的实际需要，这样才能保证数据库建设的质量，方便数据及时更新和维护，有效整合现有的数据资源，方便用户随时随地直接应用数据库中的数据，也方便将数据转换到所需的系统中，确保数据能够广泛地得到应用。(4)可扩展性原则数据库的更新维护是一个长期而重要的过程。随着系统业务的变更、内容的调整和技术的不断进步，对基础地理信息数据库的要求也越来越高，一方面需要能够方便系统进行管理、维护和升级，另一方面需要能够对数据库数据进行及时更新。因此，在数据库建设之初，要充分考虑数据库的可扩展性，以便在未来的使用过程中能够方便对数据进行更新和扩展。(5)安全性原则基础地理信息数据库储存着*市的基础地理信息数据，随着计算机网络技术的不断发展，数据共享越来越紧密，数据的安全性就显得越来越重要，一旦出现数据泄密情况，将对*市的安全构成威胁。因此，在建设数据库时应设计一套行之有效的安全机制，保证数据在网络中的安全。4 项目主要建设内容4.1 “数字*”地理信息公共平台数据服务扩展设计地理信息公共平台大数据中心系统在已建成的*市地理信息公共平台基础上，借助云计算、物联网等先进技术手段，建立涵盖从城市微观要素到宏观状况的动态时空信息数据集，搭建面向城市各部门的地理信息数据、功能、软件、硬件的全方位云服务平台，实现基础地理信息数据的局部数据更新、与地理信息公共平台实时数据服务对接、服务替换、一张图管理等功能。4.2 基础地理信息数据预处理体系设计依托国家、行业标准，参照地理信息公共平台的数据集成要求，研发基础地理信息数据预处理体系，实现对待入库数据的格式转换、坐标变换、投影变换及数据拼接能力，满足对批量数据建库在数据格式、坐标参考上的一致性要求，从而方便基础地理信息数据整理入库，集成到地理信息公共平台中。4.3 基础地理信息数据整理入库功能设计依托国家、行业标准和“基础地理信息数据预处理体系设计”，研发基础地理信息数据质量检查功能和基础地理信息数据自动入库功能，实现城市基础地理信息数据的更新。基本包含以下基本功能：（1） 数据质检模块：支持对待入库数据的批量自动化质量检查能力，并提供质检报告和图形错误的定位及导出，为数据整改提供错误信息参考。检查内容包括结构检查、图形检查、拓扑关系检查、空间参考检查等。（2） 数据输入模块：支持图形数据输入、属性数据输入、批量数据快速自动化导入，满足基础库快速建库的需求。（3） 数据输出模块：支持基于数据库系统进行数据的批量导出，支持各种条件（包括矩形、多边形、标准分幅等）的数据输出方式（包括相交、包含、相切），提供中间交换格式数据的导出（包括shp、mdb、gdb），满足不同用户对数据库中数据的需求。（4） 数据管理模块：支持对数据库数据的浏览查看、放大、缩小、视图定位等基本功能，同时还应支持对数据库数据的查询检索（包括按空间范围检索、按图形查属性、按属性查图形等单一条件或组合条件查询），满足对数据库数据的管理应用服务需求。（5） 数据目录管理模块：支持对数据库中多尺度、多时相、多区域数据的目录管理能力，满足数据库数据的有效组织和高效管理。（6） 运维管理模块：为了确保数据库管理系统能够正常安全运行，必须有运维管理模块来实现对数据库的用户管理、权限管理、日志管理、备份及维护。（7） 能够分层次给出各模块之间的控制关系，实现各系统模块之间灵活集成。（8） 具有模块化和网络化能力以及较高的性能价格比。（9） 具有集成化管理矢量、属性、影像、DEM、地名和元数据的能力。4.4 数据库物理存储设计*市基础地理信息数据种类丰富、数据量大，需通过网络技术、云存储技术研发一套高效的、易操作的数据存储体系。在本项目中设计采用Oracle作为关系数据库。Oracle有良好的安全措施和数据恢复机制，随着面向对象的技术和传统关系数据库的结合，Oracle引入了面向对象技术，推出了对象关系型数据库系统，进一步提高了数据管理的灵活性和应用开发能力。开放式数据互连ODBC、JDBC实现了应用程序与多种关系数据库的互连，同时也可以实现应用程序和数据库在不同操作系统之间的访问。面对Internet的强劲势头，ORACLE数据库推出了Web开发技术，支持Web数据库访问。这些都为网络信息共享打下了很好的基础。另外Oracle已经推出了对空间数据进行存储和管理的产品Oracle Spatial，还将推出能处理拓扑数据结构的新版本。目前，用对象关系模型数据库作为GIS软件的后台来存储和管理多种类型的空间数据，已经成为众多GIS软件开发商构建应用系统的一个主要趋势。地理信息公共平台大数据中心系统是一个复杂大型的空间数据库管理系统，它对于后台的数据库软件有着严格的要求。应用目前比较流行的Oracle数据库软件，不仅能对海量数据进行安全高效的管理，还对网络提供了有力的支持，在Oracle 9i版本以后，系统增加了对空间数据的管理能力，这对以后地理信息公共平台大数据中心系统升级成通用空间数据库提供了可能。Oracle软件安装在数据库服务器上，*全省的各种空间数据将可以从客户端通过网络，最终存储在服务器上的Oracle数据库系统中。地理信息公共平台大数据中心系统的建设采用Oracle11g大型数据库系统作为关系数据库管理系统。4.4.1 数据库物理创建地理信息公共平台大数据中心系统存储有海量数据，众多基于空间数据的应用对数据库的访问，必将产生很多I/O冲突，造成数据库和应用效率的降低。对数据库文件进行恰当的物理设计是数据库的一大特点，因此对于不同的数据库文件可以存放于不同的磁盘中，从而减少oracle数据库I/O冲突，提高数据库的读写效率。4.4.2 数据库的存储地理信息公共平台大数据中心系统是以关系数据库内部关系表存储在磁盘上。地理信息公共平台大数据中心系统建成后将包含众多的各种文件，为了便于数据库的管理与维护，与数据库有关的文件应该存储在专门供数据库使用的存储设备中。不同数据库的数据文件不应该存放在一起，每一种类型的数据文件存放在各自的专用目录中。在硬件环境允许的条件下，Oracle软件和数据库应该放置在不同的磁盘设备之上，所选用的磁盘设备必须专用于数据库，防止对非数据库软件或者文件的操作影响数据库安全。4.5 数据库空间参考设计*市基础地理信息数据内容众多，综合考虑已有的地理信息公共平台和*市的地理空间位置特点，设计一套易于管理数据组织关系和数据现实不变形的空间参考体系，目前建库数据空间参考设计所采用坐标系如下表：空间数据坐标系对照表4.5.1 平面基准西安1980坐标系，高斯克吕格投影，分带存储，15万数据采用6度分带，带号20；11万，1：2000，1：1000，1：500采用3度分带，带号39，坐标单位均为米。4.5.2 高程基准高程基准：85国家高程基准。4.6 数据库逻辑设计数据库的物理存储结构对应一系列的物理文件，这部分主要建设的是数据存储的实际位置，数据是以什么结构存储到数据文件中，取决于数据库的逻辑存储结构。Oracle数据库在执行操作时，并不是以数据文件为单位，而是从逻辑上定义出一组结构，操作的数据可以细分不同的存储单元，oracle 操作数据的过程，实际上就是对这些不同级别的存储单元进行维护和管理的过程。4.6.1 逻辑组织规则1) 全市DLG数据分比例尺按要素大类构成数据集，统一集成管理。2) 全市栅格数据（DEM、DOM）按照栅格数据类型+比例尺+入库年份来构成数据集，统一集成管理。3) 元数据为图幅级元数据，按照元数据数据类型进行组织。4) 三维数据按照其组织目录以文件夹形式进行组织管理5) 地名地址数据矢量数据类构成数据集，统一集成管理。4.6.2 DLG数据库设计4.6.2.1 1500DLG数据库设计1) 1500DLG数据库命名? 1500矢量数据集命名为：DLG+比例尺代码+入库年份；? 1500矢量要素类命名为：比例尺代码+数据类型+图层名称+存储类型2) 1500DLG数据库的逻辑结构。1:500DLG数据库的逻辑结构是由西安80坐标系3度分带39带的矢量数据集和多个的矢量要素集构成，逻辑结构示意图如下所示：图4-1 1500DLG数据库逻辑结构 4.6.2.2 11000DLG数据库设计1) 11000DLG数据库命名? 11000矢量数据集命名为：DLG+比例尺代码+入库年份。? 11000矢量要素类命名为：比例尺代码+数据类型+图层名称+存储类型。2) 11000DLG数据库的逻辑结构1:1000DLG数据库的逻辑结构由西安80坐标系3度分带39带的矢量数据集和多个矢量要素类构成，逻辑结构示意图如下所示：图4-2 11000DLG数据库逻辑结构4.6.2.3 11万DLG数据库设计1) 11万DLG数据库命名? 11万矢量数据集命名为：DLG+比例尺代码+入库年份。? 11万矢量要素类命名为：比例尺代码+数据类型+图层名称+存储类型。 2) 11万DLG数据库的逻辑结构1:1万DLG数据库的逻辑结构由西安80坐标系3度分带39带的矢量数据集和多个矢量要素类构成，逻辑结构示意图如下所示：图4-311万DLG数据库逻辑结构4.6.2.4 15万DLG数据库设计1) 15万DLG数据库命名? 15万矢量数据集命名为：DLG+比例尺代码+入库年份。? 15万矢量要素类命名为：比例尺代码+数据类型+图层名称+存储类型。 2) 15万DLG数据库的逻辑结构1:5万DLG数据库的逻辑结构由西安80坐标系6度分带20带的矢量数据集和多个矢量要素类构成，逻辑结构示意图如下所示：图4-415万DLG数据库逻辑结构4.6.3 DEM数据库设计1) DEM数据库命名? DEM栅格数据集的命名方法为：DEM+比例尺代码+入库年份。 ? DEM数据文件的命名与入库数据文件名称保持一致。 2) DEM数据库的逻辑结构DEM数据库的逻辑结构由西安80坐标系3度分带39带的栅格数据集和对应的多个DEM数据文件构成。4.6.4 DOM数据库设计1) DOM数据库命名? DOM栅格数据集的命名方法为：DOM+比例尺代码+入库年份。 ? DOM数据文件的命名与入库数据文件名称保持一致。 2) DOM数据库的逻辑结构DOM数据库的逻辑结构由西安80坐标系3度分带39带的栅格数据集和对应的多个DOM数据文件构成。4.6.5 三维模型库设计*市三维模型数据库采用文件库管理，在数据库设计方面将通过目录层级、命名编码反映模型的分层、分区、分类以及模型制作级别等信息。4.6.6 元数据数据库设计1) 元数据库内容及命名 元数据库为图幅级元数据。 元数据库命名为META2012。矢量数据元数据命名为META+比例尺代码+DLG。 数字高程模型数据元数据命名为META+比例尺代码+DEM。 数字正射影像数据元数据命名为META+比例尺代码+DOM。 2) 元数据库逻辑结构元数据库的逻辑结构如下图所示：图4-5元数据库逻辑结构4.7 数据库业务库设计4.7.1 系统业务库内容系统业务库包括用户信息表、系统权限表、用户角色表、角色权限表、系统日志表、数据库访问权限表、符号库管理表、数据字典表、数据入库信息表、元数据入库信息表、数据库更新记录表等。4.7.2 系统业务库的逻辑结构系统业务库的逻辑结构初步设计如下：图 4-6系统业务库逻辑结构5 项目实施方案概述基础地理信息书库管理系统建设项目依托*市现有的基础地理信息库和地理信息公共平台，研发能够与地理信息公共平台实时对接的地理信息公共平台大数据中心系统，同时为了使数据采集、整理入库、应用系统集成处理等流程标准化，研究制定相应的数据维护制度规范。本项目主要包括项目启动阶段、需求调研确认阶段、系统功能实现确认阶段、基础地理信息数据预处理阶段、基础地理信息数据整理入库阶段、数据集成与系统初装阶段、项目培训阶段、系统完整安装测试及试运行阶段、项目总体验收阶段、项目成果交接阶段等10个阶段工作内容。6 项目建设实施说明6.1 项目启动阶段此阶段处于整个项目实施工作的最前期，由成立项目组、前期调研、编制总体项目计划、启动会四个阶段组成。（1）成立项目组：项目实施部门经理接到实施申请后，任命项目经理，指定项目目标，由部门经理及项目经理一起指定项目组成员及成员任务，并报总经理签署项目任务书。（2）前期调研：项目经理及项目组成员，在商务人员配合下，建立与用户的联系，对合同、用户进行调研。填写项目工作说明书。在项目商务谈判中，商务经理积累了大量的信息，项目组首先应收集商务和合同信息，并与商务经理一起识别哪些个体和组织是项目的干系人，确定他们的需求和期望，以确保项目开发顺利。（3）编制项目总体计划：项目总体计划主要包括以下几方面内容：项目描述，项目目标、主要项目阶段、里程碑、可交付成果等。（4）启动会：项目组与用户共同召开的宣布项目实施正式开始的会议。 会程安排如下：共同组建项目实施组织，实施组织的权利和职责，填写项目组成员表； 项目组介绍项目总体计划和项目组成员表，包括以下内容：项目目标、主要项目阶段、里程碑、可交付成果及计划的职责分配（包括用户的）；项目实施中项目管理的必要性和如何进行项目管理，项目的质量如何控制； 项目实施中用户的参与和领导的支持的重要作用；阶段验收、技术交接和项目结束后如何对用户提供后续服务。6.2 需求调研确认阶段此阶段的主要工作是项目实施人员向用户调查用户对系统的需求，包括用户工作现状调研、系统所需软硬件环境调研、系统功能需求调研、现有数据情况调研等，实施人员调研完成后，会编写项目工作调研报告，并交付用户进行确认，待用户对项目工作调研报告上所提到的需求确认完毕后，项目实施人员将以此为依据进行软件功能、数据处理的实现。如果用户又提出新的需求，实施人员将分析需求的难度及对整个系统的影响程度来确定是否给予实现。需求调研阶段具体包括如下内容： （1）进行需求调研准备 （2）编制需求调研计划（3）需求调研，项目组以需求调研计划为依据，从工作流程、地理信息公共平台现状、基础地理信息库现状等方面开展详细调研工作，并搜集用户的个性化需求。（4）需求调研分析，根据调研的结果，项目组和公司其他技术部门将进一步进行分析，确定合理、可行的需求，将分析结果形成项目工作调研报告和系统功能设计书草稿。（5）内部评审通过项目工作调研报告和系统功能设计书，项目组、部门经理、公司其他技术部门的人员对项目工作调研报告和系统功能设计书草稿进行评审，稍后由用户签署。（6）用户组织项目干系人以会议的形式审核项目工作调研报告和系统功能设计书，在经过讨论、质询、确定项目工作调研报告和系统功能设计书阐述的内容符合用户需求后，用户确认并签署项目工作调研报告和系统功能设计书，需求调研阶段工作结束，进行后续的软件功能实现和数据处理等工作。6.3 系统功能实现确认阶段此阶段的主要工作是项目实施人员根据需求调研阶段确认的项目工作调研报告和系统功能设计书中的内容进行具体软件功能的研发实现工作。在此阶段需要重点研究基础地理信息数据库系统建设技术路线，进行数据库结构设计和数据库系统设计，按照系统功能设计书进行数据库建设和数据库管理系统软件开发、测试、集成，实现多源、多尺度、海量市级基础地理信息数据库建设、更新、管理和分发等服务，同时指导其他项目实施人员开展基础地理信息数据预处理和数据整理入库工作。按照调研要求的所有功能实现完毕后，项目实施人员编制系统功能确认表，将定制好系统功能待用户确认，用户根据系统功能确认表上的功能逐一确定软件功能达到要求。6.4 基础地理信息数据预处理阶段此阶段的主要工作是项目实施人员指导用户整理*市现有基础地理信息数据资料，按照矢量数据、影像数据、地形数据、城市模型数据、业务数据进行分类，并参照已有的基础地理信息库，将所有数据资料依照*市地理信息公共平台的基础地理信息数据集成要求，进行格式转换、坐标变换、投影变换、数据拼接等操作，为下一步的数据整理入库做好准备。在此阶段为了清除掌握*市基础数据的情况，项目实施人员需要整理基础数据情况统计表，并请用户负责人签字确认。6.5 基础地理信息数据整理入库阶段此阶段的主要工作是项目实施人员指导用户将来自多个单位和部门的生产和汇交的基础地理信息数据按照统一的标准规范、数据组织要求编制数据建库方案。在基础地理信息数据预处理的基础上对多源、多尺度、多格式的空间数据按照入库方案进行数据整合、数据质量检查，包括坐标系统的一致化、数据编码的一致化、数据格式的一致化、数据命名等一致规范化，然后配合系统研发人员将已有数据资料整理入库。6.6 数据与系统集成初装阶段此阶段的主要工作是项目实施人员指导用户按照地理信息公共平台大数据中心系统的要求，将标准化后的数据资料进行集成处理，并对用户进行初装空间信息数据的软件操作培训，以便用户能够及时的将各类空间信息数据录入到数据库管理系统中，初装完成后，项目实施人员对空间数据资料集成的情况进行核查，为以后具体业务功能的开展做好基础。6.7 项目培训阶段项目培训阶段工作是整个项目实施工作中比较重要的工作，用户对基础地理信息数据库的操作功能是否熟练将直接影响到后面的系统应用效果，应给予足够的重视。在项目实施过程中对用户的相关人员进行了系统和规范的使用培训，让用户了解了系统的功能，最终自己能够解决使用中的具体的问题。此阶段的培训工作中将用户参加培训的人员划分为三个层次：决策层、技术层、操作层，对不同层次的用户参加产品培训人员的培训内容分别是：决策层：领导在实施中的作用与重要性、决策查询。 维护层：系统维护知识、操作方法。 操作层：操作方法。 具体的培训工作流程为： （1）编制培训计划：根据地理信息公共平台大数据中心系统的使用需求，与用户实施负责人商议具体培训内容、时间，场地，人员等。项目组编制培训计划。（2）发培训通知：培训开始前2天，按照签署的培训计划，将培训内容、时间，场地，人员等信息通知用户实施负责人。（3）组织培训：公司项目组培训负责人与用户实施负责人组织相关人员参加培训，详细讲解软件使用方法，解答用户疑问，并向操作人员提供软件使用手册。由