版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、5.1.1数据转换模块23目录TOC o 1-5 h z项目概述5 HYPERLINK l bookmark0 建设背景5 HYPERLINK l bookmark2 建设目标5系统建设内容6“一张图”数据库及数据展现系统7 HYPERLINK l bookmark6 “一张图”数据管理应用系统7 HYPERLINK l bookmark8 “一张图”数据共享服务系统7 HYPERLINK l bookmark10 系统建设原则8系统总体设计8 HYPERLINK l bookmark12 总体框架8 HYPERLINK l bookmark14 总体技术路线11 HYPERLINK l bo
2、okmark24 技术架构设计12 HYPERLINK l bookmark26 软件应用架构14 HYPERLINK l bookmark28 关键技术14 HYPERLINK l bookmark36 “一张图”数据库建设17 HYPERLINK l bookmark38 数据库设计17 HYPERLINK l bookmark40 数据库模型设计17 HYPERLINK l bookmark42 数据库组织18 HYPERLINK l bookmark52 数据入库20 HYPERLINK l bookmark70 “一张图”数据管理应用系统23 HYPERLINK l bookmark
3、72 数据预处理子系统23 HYPERLINK l bookmark76 数据检查模块23 HYPERLINK l bookmark78 数据编辑与处理模块23 HYPERLINK l bookmark80 数据栅格化处理模块24 HYPERLINK l bookmark82 数据仓库子系统24 HYPERLINK l bookmark84 多源异构数据管理模块24 HYPERLINK l bookmark86 数据仓库目录管理模块25 HYPERLINK l bookmark88 数据入库管理模块25 HYPERLINK l bookmark90 数据离线分发模块25 HYPERLINK l
4、 bookmark92 数据更新模块25 HYPERLINK l bookmark94 历史数据管理与回溯模块26 HYPERLINK l bookmark96 元数据管理模块26 HYPERLINK l bookmark98 数据备份、还原模块26 HYPERLINK l bookmark100 数据应用子系统26 HYPERLINK l bookmark102 数据查询模块27 HYPERLINK l bookmark104 数据浏览展示模块27 HYPERLINK l bookmark106 数据统计模块28 HYPERLINK l bookmark108 数据分析模块28 HYPERL
5、INK l bookmark110 地图制图模块28 HYPERLINK l bookmark112 符号库管理模块29 HYPERLINK l bookmark114 标准制图模板管理模块30 HYPERLINK l bookmark116 专题图制作模块30 HYPERLINK l bookmark118 成果输出模块30 HYPERLINK l bookmark120 数据字典管理模块30 HYPERLINK l bookmark128 5.4数据发布子系统32 HYPERLINK l bookmark130 目录服务模块33 HYPERLINK l bookmark132 WMS地图服
6、务模块34 HYPERLINK l bookmark134 空间查询服务模块34 HYPERLINK l bookmark136 空间分析服务模块35 HYPERLINK l bookmark138 数据分发、交换服务模块35 HYPERLINK l bookmark140 调用接口服务模块36 HYPERLINK l bookmark142 服务配置管理模块36 HYPERLINK l bookmark144 DEM分析服务37 HYPERLINK l bookmark146 其他服务模块37 HYPERLINK l bookmark148 5.5系统中心配置管理子系统38 HYPERLIN
7、K l bookmark150 用户与权限管理模块39 HYPERLINK l bookmark152 系统监控模块39 HYPERLINK l bookmark154 系统设置模块39 HYPERLINK l bookmark156 日志管理模块39 HYPERLINK l bookmark122 “一张图”数据共享服务系统31 HYPERLINK l bookmark124 系统功能31系统主页错误!未定义书签。 HYPERLINK l bookmark126 专题图功能描述32 HYPERLINK l bookmark158 项目实施计划32 HYPERLINK l bookmark16
8、0 项目组织管理40 HYPERLINK l bookmark162 项目实施组织总体方案40 HYPERLINK l bookmark188 项目组织机构43 HYPERLINK l bookmark192 项目开发计划和实施过程45 HYPERLINK l bookmark202 项目跟踪与监督45 HYPERLINK l bookmark212 项目质量管理46 HYPERLINK l bookmark214 项目风险管理47487.6项目沟通管理.7.7项目测试7.8项目总结验收.7.9系统交付运行.7.10培训和系统维护7.11项目实施进度.49515253错误!未定义书签。1项目概
9、述建设背景2005年中央首次在一号文件中提出有关农业信息化方面的问题,指出“加快生物技术和信息技术等高新技术的研究”,要“加强农业信息化建设”。2006年中央一号文件强调要积极推进农业信息化建设,充分利用和整合涉农信息资源,强化面向农村的广播电视电信等信息服务,重点抓好“金农”工程和农业综合信息服务平台建设工程。2007年中央一号文件强调要健全农业信息收集和发布制度,推动农业信息数据收集整理规范化、标准化。加强信息服务平台建设,深入实施“金农”工程,建立国家、省、市、县四级农业信息网络互联中心。2008年中央一号文件在强调:按照求实效、重服务、广覆盖、多模式的要求,整合资源,共建平台,健全农村
10、信息服务体系。推进“金农”、“三电合一”、农村信息化示范和农村商务信息服务等工程建设,积极探索信息服务进村入户的途径和办法。2009年的一号文件中共中央、国务院关于2009年促进农业稳定发展农民持续增收的若干意见的文件分为“加大对农业的支持保护力度”、“稳定发展农业生产”、“强化现代农业物质支撑和服务体系”、“稳定完善农村基本经营制度”、“推进城乡经济社会发展一体化”五部分,重点突出农业发展与促进农民增收,一共是五个方面28条,每一条都涉及到信息化。中国互联网络信息中心最新发布的报告显示2009年,农村网民规模达到10681亿,占整体网民的278%。建设目标农业信息化是新时期农业发展与时俱进、
11、达到农业现代化的标志,以“一张图”数据中心为基础的“3S”技术是实现农业信息化的重要支撑。山东省正在建设国家农村农业信息化示范省,而山东省农业数据库建设发展相对滞后,阻碍了农业信息化的进程。因此,本项目提出基于先进的“3S”技术及空间数据库技术,以计算机网络为基础,以数据库为核心,建设一个准确、高效、快速、全面、规范的农业“一张图”平台,实现农业生产产前、产中、产后信息的快速获取与共享,为全省各级政府与农业生产部门指导农业生产提供决策依据,为公众提供农业生产相关服务,对于促进山东省农业信息化、农业决策科学化和管理现代化提高到一个新的水平具有重要意义。2系统建设内容农业资源“一张图”综合管理信息
12、平台建设的主要任务是:(1)标准体系机制建设制定数据库入库标准、业务数据交换标准、数据应用和服务技术标准、数据整合技术标准、数据更新技术标准。“一张图”核心数据库数据汇交和更新涉及到管理体制、机制和技术等方面的一系列问题。需要建立“一张图”涉及数据汇交与更新的协调、操作、运行的管理机制;规范各部门、各单位数据汇交与更新行为;依据数据更新技术要求进行数据更新工作。(2)“一张图”本底数据库建设按照统一规划、统一标准的要求,对不同类别、不同专业的海量、多源、异构数据进行整合,将数据分层管理,形成“一张图”本底数据库。建设集成资源调查、农情监测、灾害预警等多源数据的农业“一张图”本底数据库。依据相关
13、数据建设标准、规范,对多源、海量、异构数据进行转换、整理等,按照统一建库标准进行数据库入库。海量数据库建设做到性能优化,满足海量数据浏览和显示、后期数据维护和更新需求。(3)“一张图”数据管理应用系统建设开发“一张图”数据管理应用系统,进行“一张图”数据库的管理、维护、查询统计、更新、统计分析等应用。提供数据服务应用,为面积监测、长势监测、产量监测、气象灾害监测等应用管理系统提供全面、准确的数据支撑。具备数据检查、入库、编辑与处理、更新、交换(输入输出)、元数据管理以及数据备份、系统监控、数据迁移、日志管理等较为完备的功能,为行业管理、综合监管和辅助决策提供数据支持。4)数据共享发布服务建设建
14、设基于WebService的数据共享发布服务,满足公众对农业相关数据的应用需求,对内实现农业“一张图”的数据共享,对外为其他政府部门、企事业单位和个人提供方便、快捷的信息服务。“一张图”数据库建设在基础设施支撑下,对不同类别的海量、多源、异构数据进行梳理,利用提取、转换和检查等必要的手段处理、加工成统一数据标准的入库数据,数据按分层分类分区管理,形成农业资源核心数据库原始数据。以数据库中图层数据为基础,使用Web网站展现“一张图”入库成果,配置美观的符号,显示每一层图形及属性数据。“一张图”数据管理应用系统按照管理“一张图”数据成果和应用服务的要求,开发核心数据库管理系统,实现对全市农业数据的
15、集中管理与维护。数据库管理系统具备功能如下:数据交换(输入输出、各式转换)、数据检查、数据分区入库、数据分类、数据更新、元数据备份、系统监控、数据迁移、日志管理等较为完备的功能。利用数据成果配置图层及图例,比较方便的形成专题图。对形成的专题图以配置文件保存且能方便的发布成图层数据服务供Web网站展现。对重点关心的数据,提供专门的更新,维护接口,简化操作。“一张图”数据共享服务系统在农业“一张图”数据库及其管理系统的基础上,开发应用服务接口,将地理信息服务(图形浏览、定位查询、空间分析等)、属性数据查询与浏览、统计与分析、专题图制作等功能封装,开发对“一张图”调用和操作的应用接口,为其它业务应用
16、系统提供图形数据支撑、分析应用与服务。系统建设原则(1)统一领导,整体规划“一张图”数据库及数据管理应用平台建设是一项长期的系统工程,为确保建设的有序、规范,在实际工作中必须做好统一领导,整体规划。由信息化领导小组统一领导和部署,组织制定总体规划,设计总体框架,确定总体目标与主要任务,制定项目实施总体方案和详细设计,形成统一的标准体系,并具体组织项目的实施。(2)统一标准,相互衔接“一张图”数据库及数据管理应用平台建设要求互联互通和数据交换共享,统一标准规范为必要保障。系统建设必须遵循统一数据标准、系统建设规范进行,不同业务数据交换依据交换标准进行业务对接。(3)整体设计,逐步扩展系统建设依据
17、总体技术框架进行整体建设,确保系统具备可扩展性,从业务梳理、信息化基础成熟程度或需求迫切的业务领域起步,逐步向全业务扩展。(4)保障安全,开放服务系统建设涉及各业务处室,涉及涉密及敏感信息。应在严格执行国家相关信息安全制度前提下,开放接口,满足各类用户管理和研究、分析工作的需要。3系统总体设计总体框架农业“一张图”及综合管理平台总体框架如下图所示:应用与服务层Z数据管理制度及机制支撑层农业调查、评价应用支撑农业信息化服务架构平台数据库定制-数据模型定制表单定制组件资源配置组件地图服务GIS数据服务工作流引擎组件通用直询组件组织机构建模组件业务角色定制组件用户管理组件GIS分析服务统计报表组件打
18、印组件数据中心基础设施支撑体系软硬件支撑平台基础层软件支撑平台(操作系统平台、数据库系统平台、GIS平台)网络平台(内网、外网、政务网)硬件平台(主机、机房以及配套)农业业务管理图3-1总体框架(1)基础设施层建立县局各部门间互联互通的局域网,支撑业务系统和数据库内部运行;依托Internet,提供对外信息服务。(2)数据支撑层数据支撑以农业一张图数据库为核心,依托成熟的数据库管理系统、数据调用与服务、数据交换体系,按照统一的标准,建立集数据管理、数据处理、数据交换等功能为一体的一张图数据中心,为业务平台运行提供数据支撑。(3)应用支撑层以图文一体业务协作架构平台作为各业务应用与服务平台的应用
19、支撑平台,搭建农业综合管理信息平台、信息服务系统。(4)应用服务层围绕农业资源管理工作,构建数据管理应用系统、数据共享服务系统,实现数据的统一管理、统一分发、统一共享,为用地单位、社会公众提供信息查询、下载等服务。总体技术路线应用服务数据用户权限数据管理L管理访问I异常处理共享服务t系统组件日志安全管理I管理IL111平台组件框架系统数据数据事务压缩L加密处理I数据库管理系统|事务处理服务核心交易处理.査询服务文件服务数据库服务数据中心*数据交换体系数据库管理系统消息队列服:内部已有应用系统应用集成服务外部应用系统图3-2总体技术路线釆用ETL、WebService、数据调用接口方式对多源、异
20、构数据进行质量检查及整合建库。一张图核心数据库包含的数据内容丰富、数据来源多样,数据标准、模型、格式、精度、存储形态等差异甚大,要将种类繁多、海量的数据进行集成整合为支撑农业资源管理业务的核心数据库,需要采用ETL、WebService、数据调用接口方式,开展数据整合建库工作。釆用企业级应用技术和组件设计对各业务系统进行定制开发。釆用企业级应用技术和组件设计,根据用户的需求快速搭建出各业务应用管理系统,且各业务应用管理平台基于统一的门户登录、统一的业务平台构建,形成统一的数据管理模式、统一的数据构件(服务)调用接口。这样,既保证了数据共享、业务模式统一和其他业务子系统的关联,又保证了业务子系统
21、的独立性、灵活性和可扩充性。(3)采用应用集成服务技术,支持对复杂应用的集成。采用应用集成服务技术提供了对其内部已有应用系统或外部应用系统的集成支持。(4)支持多用户、分布式应用,提供统一的安全保障机制平台提供对多用户和分布式部署应用的支持,并采用统一认证和数据加密技术保证系统用户及系统数据安全。技术架构设计采用用户体验最佳的RIA(RichInternetApplication)富客户端技术,基于AdobeFlex技术的RIA应用处于业内领先地位。客户端:使用标准的Web页面浏览器及FlashPlayer,不需安装特殊的应用程序,减少了升级和维护的难度。表现层:使用.Net结合Flex技术,
22、程序无任何刷新,极短的数据等待时间和更方便的快捷操作,致力展示更完美的客户体验和数据表现;应用层:所有的业务数据都保存在应用层,确保了业务的安全,采用.Net企业级架构,使得企业业务逻辑的更新和扩展更为方便和容易;数据层:采用Oracle10大型后台数据库系统;图3-3技术架构设计多层软件架构确保了系统的扩展性和适用性,基于这种多层结构,方便企业应用智能负载均衡与集群等技术实现系统服务能力的扩展。软件应用架构苍穹工作流平台Web应用程序厶台一苍穹工作流平台表单、图件、流程图定义,逻辑定义组件工作流应用服务端KanqSerivces苍穹XML命令解释组件籠应用管理层文件服务器1文件服务器2图4-
23、4软件应用架构关键技术多源异构数据集成技术农业“一张图”数据库系统建设所涉及的数据种类较多,包括非空间数据和空间数据。其中,空间数据包括基础地理信息数据、影像数据等;非空间数据包括系统管理数据,word、excel、pdf等格式的文档数据,多媒体数据等。如何在不改变各个数据正常生产运行的情况下,整合诸如文档、数据库属性表等非空间数据和空间数据,统一管理这些的数据成为一个复杂的问题,这就要求系统具有多源异构数据管理和集成的能力。传统的空间信息应用系统都采取数据格式的转换方法来达到数据的集成或相互利用。但是这种方式存在着一定的弊端。首先,使用这种方式时需要知道源系统数据与目标系统数据的字段结构,必
24、须为这两种数据格式的转换编写相应的转换工具;其次,不同的GIS对地理数据的表现形式的抽象、对地理空间表达的理解是不一样的,两个系统间的数据难以相互进行利用,转换后的数据存在信息丢失的隐患;再者,这种方式使同一份数据在系统中存在多个备份,不方便数据的维护与管理,也违背了数据分布和独立性的原则。一种有效的解决方法就是使用数据中心的GIS中间件技术有效管理N个数据仓库,它不改变原有的空间数据模型标准和数据表示方法,通过数据管理器提供的异构数据的管理、层次化的目录树管理、可扩展的数据入库清洗机制与方法、支持URL和GUID协议的数据访问等功能,将不同类型的数据实现集成共享,并通过异构数据的视图来表现。
25、中间模块操作转换是在源数据与处理后的结果数据之间有一个独立的处理模块,以接口方式与二者进行连接。中间件是一种独立的系统软件或服务程序,软件平台开发者规定系统内部数据的读写接口,通过里面的驱动程序完成对不同来源的数据的处理,从而实现了多格式数据直接访问、格式无关数据集成、位置无关数据集成和多源数据复合分析,完成多源异构数据的无缝集成。数据仓库集成管理的数据有异构的空间数据和非空间数据,其中空间数据包括国内外常用GIS软件所支持的矢量数据(如:DWG、DXF、EOO、Shape、Coverage、Geodatabase、Mid、Mif、MapGIS6X、MapGISK9等)和国内外常用遥感影像处理
26、软件所支持的栅格数据(如:TIFF、CEOS、HDF、RAW、TIF、GIF、JPG、MSI、PIX、IMG、ENVI等),非空间数据包括各种文档(如:pdf、bmp、xml、html等)和表格数据(如:Access、SQLServer、Oracle)等。GIS中间件集成多种数据源驱动,以注册的方式嵌入到数据中心集成开发平台中,当请求某种数据源时,GIS中间件动态加载所请求的数据源驱动。某种数据源的结构改变时,只须改变其数据源驱动,这样既不需要频繁地进行数据格式转换,又避免了很多重复性劳动;而且它允许用户在转换过程中重新构造数据,使用户可以根据其特定的要求,提取相同数据源不同层面的内容,而不是
27、以单一的格式输入数据。3.5.2数据仓库技术数据仓库的目的是构建面向分析的集成化数据环境,为政府和企业提供决策支持。其实数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用。因此数据仓库的基本架构主要包含的是数据流入流出的过程,可以分为三层源数据、数据仓库、数据应用。其体系架构如图所示。应用数据仓库其它点击流日志1数据库数据1文档数据l(ClickStream)J(匸心口1(Documents)3.5.3海量数据的可视化通过以关系数据库存储和管理海量三维数据的组织模式,对数据以分层、分块和LOD模型组织,借助高效通用的硬盘缓存、快速的数据索引
28、以及高效的渲染引擎,实现支持TB级海量数据的快速显示与浏览。同时,支持单机模式与网络客户端对数据的快速加载、显示与浏览、查询和管理。TB级海量数据快速可视化主要表现在以下3个方面:(1)支持TB级高程数据、影像数据的快速显示;(2)支持多层影像数据无缝隙叠加显示,以及影像各种参数的快速控制与切换;3)支持对海量数据的快速浏览与跳转定位。图3-17数据仓库体系架构图“一张图”数据库建设农业数据分散、来源多样,数据标准、模型、格式、精度、存储形态等差异甚大。针对农业管理中必须利用的气象数据、农田参数数据、农业统计数据、基础地理信息数据、遥感影像数据等,制定相关标准,进行数据整理,建立农业“一张图”
29、数据库。数据库设计数据库模型设计农业“一张图”数据库的数据类型包括矢量数据、栅格数据、影像数据、专题数据等。针对各类数据的特点,选择不同的数据组织方式。农业“一张图”数据库作为信息的存储仓库,首先需要把不同数据类型的数据单独组织成独立的库,在kqGIS平台中的地理数据库可与之对应,即KqGIS地理数据库中存储的各个简单要素类、栅格数据集等实体对象与基础地理空间数据中的各数据层、各投影带数据集直接对应,然后以这些简单要素类,栅格数据集等实体对象为基础,按分层和分幅的模式组织形成地图集。URL简单要素类注记类对象类关系类KqGIS地理数据库图幅1图幅n栅格目录地图集层类1层类n要素数据集图2-2数
30、据库模型图4.1.2数据库组织在农业“一张图”数据库中,根据数据的比例尺和数据类型,采取不同的比例尺结构进行管理。针对不同比例尺数据的集成显示可采用投影转换方法来解决。投影转换可以使某种坐标信息数据源向另一坐标系统转换,并对源数据中的X和Y值进行修改。投影转换目的是为了处理专题数据与基础地理要素之间的空间关系;处理专题要素之间的空间关系。这样可以实现不同比例尺的基础地理数据源、专题数据源投影到同一空间参照系中。农业“一张图”数据库基于KqGIS平台采用0racle+KqGIS-SDE的数据库存储模式。KqGIS-SDE提供了面向对象的全关系数据模型GeoDatabase,GeoDatabase
31、采用一种开放的数据结构将空间数据(矢量数据、栅格数据、影像数据、三维数据等)及其相关的属性数据统一存放在工业标准的数据库DBMS中,为空间数据的存储提供了数据集(矢量数据集、栅格数据集)、栅格数据目录、表格等数据模型。要素数据集是地理数据库中具有相同空间参照系的要素类、对象类、关系类、注记类、修饰类、动态类、几何网络的集合;在此基础上对上述的数据库组织模型采用资源的统一定位及描述方式,在形式上屏蔽因数据的分布式和异构性而造成的数据库逻辑数据源与数据库物理存储源之间差异,通过该统一的定位方式索引并取得层/幅交汇点处关联的数据对象,并通过规范集成所需的基本元数据模式来实现数据资源的定位与描述。在一
32、个要素数据集下存放不同的类,有利于专题归类等情况下的数据组织。栅格数据集用于管理具有相同空间参照系的一幅或多幅镶嵌而成的栅格影像数据,物理上真正实现数据的无缝存储,适合管珈EM等空间连续分布、频繁用于分析的栅格数据类型。由于物理上的无缝拼接,因此以栅格数据集为基础的各种栅格数据空间分析具有速度快、精度较高的特点。农业“一张图”数据库中包含的数据库类型不尽相同,如矢量数据、栅格数据、影像数据、文本数据、表格数据等。针对各类数据的特点,选择不同的数据组织方式。矢量数据要求保持对象的完整性,需要将矢量数据按照对象特征拼接成一个完整连续的数据集;对高分辨率的影像数据,为了避免重采样引起数据信息丢失,需
33、要将影像数据按投影带或者行政辖区范围拼接成大的栅格数据集,大的栅格数据是连续无缝的。1、矢量数据组织(1)数据组织依据矢量数据,将构建矢量数据库,数据内容按照数据性质分为若干种数据集等,每一数据集又根据所含要素特征分为不同的数据类。(2)空间索引设计为了提高要素目标的检索速度,应对空间地理数据进行空间索引。地理信息系统中的空间索引是相对于字段索引而言的。字段索引是数据库系统或者其他计算机系统中提供键值快速定位的数据结构。字段索引提供了对特定键值的数据快速访问的能力。字段索引一般采用B树或者B树的衍生数据结构。面向实体的空间数据库提供了四叉树索引、R树索引、图幅索引等多种空间数据索引。本数据库系
34、统中主要采用图幅索引。在数据按实体分层存储后,按分幅建立数据的图幅索引,可大幅提升空间数据的存储以及分析的效率。图幅索引是针对空间数据“纵向分层,横向分幅”的特点建立起的索引,对分幅数据效果很好。比如国家标准比例尺地形图中按标准图幅分幅的数据,适合于按照图幅编号建立图幅索引。2、遥感影像数据组织(1)数据组织高分辨率影像数据,为了加快浏览速度,可按照影像的分辨率、波段、坐标系或者行政辖区进行拼接。现拟采用以县为单位拼接,若每个县区的数据波段数、分辨率、像元类型相同则拼合组成一个数据集,数据集内的内容连续无缝,若不同则分别按照波段数、分辨率、像元类型的方式单独进行拼接。(2)空间索引设计按照县区
35、拼接生成的栅格数据集,采用的是金字塔索引方式,各数据范围不同,金字塔索引级别也不相同,金字塔索引级数由数据存储自动生成。4.2数据入库系统拟引入工作流的思想,将建库过程抽象为不同的工作流程节点,对建库流程节点进行散列实现,使得建库过程可以搭建(增减节点,改变节点连接顺序)。使用工作流引擎作为流程搭建平台,对建库流程的执行进行控制,并行上载的引入使得最大限度地利用现有资源来高效快捷的完成数据库的建库工作。空间数据建库是个多任务的过程:包含创建地理数据库、自动生成接图表、建库参数设置、数据索引生成、创建地图集结构、数据检查错误处理、数据上载、数据优化等主要环节。基于工作流的空间数据库自动化建库技术
36、,在工作流引擎平台上搭建建库流程,简化建库过程,提高建库效率。通过对空间数据建库流程的分析,将建库过程拆分成不同的工作流节点,并对建库流程节点进行散列实现,使得建库流程可以搭建(增减节点,改变节点连接顺序)。工作流引擎作为流程搭建平台,可以更为方便的控制建库流程的执行。建库时,首先根据参数设置流程实现人机交互,获得参数信息,并永久化存储到XML文件中。建库流程执行时,自动从保存的参数文件中获取建库参数,完成建库工作。创建图幅和图层图2-4基于工作流的建库流程(1)创建GDBKqGIS地理数据库(GDB)作为存储矢量数据、高程数据、影像数据以及专题数据等的载体。地理数据库GDB既可以通过KqGI
37、S在本地创建,也可以在网络数据库中在Oracle中创建,所创建的库作为数据入库的目的库。(2)创建地图集采用地图集的方式统一管理各类数据,所创建的地图集需要设置地图集名称以及地图集空间参照系信息,地图集的名称用户可自定义,地图集的空间参考系需要和所上载的数据保持一致。(3)创建图幅和图层依据所生成的地图集,需要设置自动生成图幅的参数文件,同时将根据设置的矢量、DEM、影像等自动生成地图集图层信息,系统将根据所设置的信息生成地图集的图幅和图层。(4)数据分析数据分析包括数据的弧段、属性结构分析、图幅范围分析、数据属性字段在网络数据库中的合法性等等。矢量数据分析过程主要包括了以下内容:图幅范围分析
38、:分析各个图幅对应的矩形框的范围,记录到入库预处理报告中。属性结构分析:比较各个数据文件和标准文件的属性结构,将属性结构不一致的文件记录到数据分析日志中。3)完整性分析:分析数据文件的矩形范围是否落在图幅矩形范围内部或重叠,如果是则获取当前图幅编号,并将数据文件信息以及图幅编号记录到数据上载索引文件中;否则在数据分析日志中记录其空间范围不在图幅索引内。当分类数据目录中所有的文件都分析完成后,分析数据缺少哪些图幅以及是否有多于两个数据文件落在同一个图幅内,如果存在这种情况就记录日志。(5)数据质量自动检查在数据上载前,需要检查上载数据的合法性。应该对在数据检查结果中属性结构不一致,空间位置重叠以
39、及索引不在空间范围内的数据进行处理。系统提供自动检查工具对属性结构不一致、空间位置重叠以及索引不在空间范围内的错误进行检查,并具备对检查出来的错误进行处理的方法。(6)数据批量迁移1)数据的批量迁移支持多个文件的批量上载,同时支持多个进程的并行上载,大大提高数据迁移的速度和效率。2)断点续传系统在上载过程中,由于意外导致上载终止,支持断点继续上载。在断点续传时,首先比较目的数据库与断点续传的数据库是否一致,不一致就不做断点续传,否则读取日志文件中数据上载最后一个文件,并在对应的简单要素类中删除该数据文件对应的图幅号的数据。再继续完成后面数据的上载。(如果数据上载成功以后,删除简单要素类,需要重
40、新上载,系统自动查找在断点续传日志中的第一个数据对应的图幅号是否已经在目的简单要素类中,如果不在则直接对所有数据进行上载,否则实施断点续传)。3)日志文件以日志文件的形式记录各层类中数据文件的分析、质量检查以及最终的上载,统计整个入库预处理过程的文件总数、文件大小、用时统计以及数据上载过程中的用时、成功与否以及个数等。7)数据的符号化配置按照所管理的数据类型,提供依照国家地理标准图式规范的符号库,建立符号库、线型库等。在上载数据的过程中,对属性GB字段进行统计,形成ginfo.xml文件,上载完数据以后,直接构造成包含与各GB值对应的图形参数表(mil、mip,mir),然后将各GB值对应的图
41、形参数记录进行设置,完成数据的符号和颜色的自动化配置。“一张图”数据管理应用系统数据预处理子系统数据转换模块数据转换为数据入库前的预处理,目的是达到待入库数据能统一到规定的入库数据格式、坐标系统和投影系统。数据转换模块通过支持各种数据之间的相互转换,保证数据之间的无损交互。从而满足数据入库、数据交换、数据汇交等要求,同时系统支持各类数据的导入导出。数据检查模块为保证综合数据库中数据实体的规范性与精确性,数据检查功能实现对农业资源数据的自动质量检查与评价。待整合的成果数据以及后续更新的数据均要在入库前进行质量检查。数据检查以交互式和批量进行,支持多用户并行检查,基于检查的内容和结果,形成内容清晰
42、、易于错误定位、提供一定错误修正指导的检查报告和部分统计评价结果。根据数据整合技术要求,数据检查主要包括整体性检查、数据完整性检查、逻辑一致性检查、空间定位准确性检查、属性数据准确性检查、数据检查自定义、检查结果评价与处理。数据编辑与处理模块按照用户权限,提供各类数据编辑与处理工具,在相关数据检查后辅助对错误数据进行修改编辑。数据编辑与处理模块应包括数据错误的自动修改、矢量数据编辑处理、栅格数据处理、属性数据编辑。数据栅格化处理模块为了向外部单位提供符合保密级别的数据并提高数据浏览速度,或为审批案卷添加图片格式的地图附件,应对矢量数据进行栅格化处理。该模块的主要工作是将数据量较大的矢量数据通过
43、便捷的格式转换处理成为小数据量的图片切片。主要功能包括原始数据提取功能、图片辅助信息添加功能、单一图片生成功能、分区瓦片生成功能。数据仓库子系统从市局各分散数据库或业务应用系统中抽取、调用形成的大型数据仓库。其中对基础数据、成果数据的整合采取整理入库,业务审批数据整合采用整体迁移(条件允许也可采用数据接口方式),专题数据整合入库通过与各业务应用系统建立数据接口进行调用。数据中心核心数据库建成后还应根据数据更新机制和技术标准,对其数据资源进行更新,为保证数据更新工作的顺利开展,综合数据库管理系统必须为其提供相应的技术支撑。为此系统开发相应的数据交换工具,如ETL工具、数据导入模块(即数据入库)、
44、数据导出模块等。这些工具一方面可在数据整合建库时作为整合工具,另外也可为之后的数据更新工作提供支撑。系统应根据农业调查、农业监察、农业评价等工作开展的需要,提供各专项数据的批量更新(由数据导入模块提供)、增量更新(由ETL工具提供)、同步更新(数据调用接口、数据侦听功能)等工具。多源异构数据管理模块数据中心核心数据库为了满足上层平台的应用需求,需要从其他系统如土地利用规划系统、地籍系统等业务应用系统实时抽取数据,因此应开发相应数据调用接口与各系统建立连接。数据仓库多源异构数据管理模块通过各类接口,对数据进行统一管理。数据仓库目录管理模块通过建立数据仓库目录,按类别、年度、比例尺等信息直观的反应
45、数据中心数据库目录结构,为数据应用与数据发布提供数据支撑。数据入库管理模块对建设完成的综合数据库进行数据的更新时(例如将每年提交一次的土地利用变更调查数据库导入综合数据库),需要数据库管理系统具有数据入库接口。系统支持多种格式的数据入库,如VCT、E00、shp、coverage、ArcGISGeodatabase、Acess等。系统入库功能还要提供入库错误处理,如删除和清理错误入库数据,以便在入库发生意外错误时可更正处理,使数据库数据不出现垃圾数据或错误状态。同时系统支持批量数据入库(批量更新)功能,并生成数据入库报告。数据离线分发模块系统支持单层数据导出以及多层数据或数据集批量导出,支持按
46、各级行政区导出、任意范围导出等专题数据导出等,并对导出数据范围及数据量实时日志记录。数据更新模块数据的更新模式采用自下而上的方式进行,县、市、省级库统一采用数据更新软件包,由县级库生成更新数据包,通过专网或离线上交至省级库实现数据同步。主要包含以下三个方面更新:(1)空间数据更新支持整体替换式更新与增量包数据更新,在更新的过程中进行自动校验,并输出更新报告,方便用户查询更新的历史。(2)元数据更新支持整体替换式更新与增量包数据更新,在更新空间数据的同时自动更新元数据。(3)表格数据更新:更新表格数据,并能输出更新报告。历史数据管理与回溯模块已经更新的数据自动进行标记并进入历史数据管理;可在指定
47、时间点和选择数据范围基础上,实现基于要素级的历史数据回溯,查看数据的变化历史。具体包括历史变更追溯查询浏览、历史数据与现状对比浏览。元数据管理模块元数据是对数据的描述数据,是伴随着相关数据而存在的,数据仓库专门提供对元数据管理的模块,实现对所有数据对应元数据的有效管理。主要功能包括元数据浏览、元数据修改、元数据查询、元数据结构定制、元数据与数据实体的关联。数据备份、还原模块数据中心数据库管理系统应制定完备的数据库和数据备份策略,可以实现数据库的自动备份与恢复。备份应考虑不同数据类型的数据量、不同的数据更新特征、不同数据的存储要求选择不同的备份方式和备份频率。数据备份方式应该包括整体备份、增量备
48、份等。数据备份频率应该为年度、不定期等。如基础地理数据在一定时期内基本不存在更新问题,因此在系统数据备份策略中可以不考虑基础地理数据的更新;而对年度更新的土地利用数据,考虑到农业数据量比较大,但是每年更新数据较小的特点,应该考虑对增量部分进行年度备份。对文档数据等不采用数据库进行管理的数据,因此应进行定期的拷贝备份。用户也可以选择数据对象和备份方式进行数据的手动备份和恢复。主要包括自动备份功能、备份方案管理功能、手动备份功能、数据恢复功能。数据应用子系统对数据库数据的查询、统计、分析是农业资源信息管理过程中最主要的需求之一,因此必须开发数据应用子系统。鉴于农业资源数据的多源、多尺度、海量等特征
49、,应探索海量空间数据应用于服务模式,提供灵活、便利的数据查询、数据分析和数据定制等服务工具,以此提高空间数据的应用服务能力。数据查询模块数据查询统计是本系统的重要组成部分,要求系统支持多种查询方式,包括空间查询、组合查询、属性字段查询、自定义查询、历史变更追溯查询和栅格数据的查询等多种方式。其中空间查询又包括点查询、行政区查询、拉框查询、缓冲区查询、多边形查询、标准图幅等空间区域范围查询;通过任意属性字段查询,组合查询等实现对多粒度、跨存储单元数据的查询和历史变更情况追溯查询;支持进行特殊查询条件自定义;支持对查询结果多方式保存和输出。数据浏览展示模块系统支持海量空间数据的快速浏览,支持常见的
50、遥感影像数据格式直接读取及浏览,可通过定制开发和扩展支持更多数据格式空间数据的读写及浏览。系统还应支持全国范围内遥感影像以及空间数据的无缝浏览。(1)数据视图管理模块系统支持不同层级的快速检索机制,自动按照浏览的级别确定显示相应的内容;实现对海量空间数据的快速无缝浏览;支持空间数据的动态投影;支持鹰眼图功能;支持基本的放大、缩小、平移、全图;支持比例尺控制;书签管理,包括创建书签、删除书签、定位书签等功能;支持对影像数据的无缝快速浏览。(2)数据图层管理可添加或移除图层,可改变图层显示顺序;选择图层是否显示,定义图层显示的比例尺范围;支持图层的标注字段选择和动态标注;支持图层的符号选择和应用。
51、(3)数据三维展示可实现DEM数据、影像数据、土地利用矢量数据等数据的叠加三维表现和浏览。数据统计模块数据统计模块在功能上要把握专业化、可定制、多维度、多粒度原则,从技术实现上着重把握效率速度。因此数据统计可以分为四种模式:标准统计报表、数据统计汇总向导、自定义统计以及多维统计。每种统计结果都可以保持,用图表展示和输出。主要功能包括标准统计报表、数据统计汇总向导、自定义统计、多维统计、统计报表输出。数据分析模块系统可以根据定制的数据分析规则,选择数据分析对象,可实现对多粒度、跨存储单元数据的分析,如土地利用结构分析、年度变化分析等;支持对数据分析规则的定制;支持缓冲区分析、叠置分析等GIS通用
52、空间分析功能;可以根据数据分析成果生成成果报告,并可以word、xls、pdf等形式输出。地图制图模块制图数据是综合数据库的产品数据。农业资源调查、规划、监察工作,须制定相应专题图作为成果数据,并将成果数据上报上级单位和领导审阅。在多年农业业务执行中,形成了一些专题产品,包括土地利用现状图、土地利用规划图、宗地图、勘查定界成果图、基本农田保护图等。这些专题图制作有相关标准,对制图要素(图廓、图名、比例尺、图例等)规格进行约束。另外由于农业业务的复杂性,对于新增业务所需的专题图,业务人员需要自定义,自定义的内容涉及专题图层、符号的定义等。由此,系统必须支持农业业务的制图需求。图名挺出睛U业猊I分
53、图廓1图例指北针图件示例系统提供四方面的支持来满足农业局业务人员的制图需要。首先系统应该支持数据的浏览展示,以方便作业人员浏览数据。其次,系统根据各专项业务提供专题制图,如土地利用图、基本农田图等。再次,提供任意制图方式,作业人员可以自定义选择数据源制作专题图,可以套合影像等栅格数据来实现。第四,系统提供多样的制图模板和符号库,以及制图整饰工具和符号编辑器,为各种数据制图提供方便。符号库管理模块按照农业专项工作要求,提供标准的图式图例符号模板,同时提供符号库编辑器,支持定制通用符号和针对不同数据、不同比例尺的符号并形成自定义符号库;提供符号库管理功能,根据实际需要创建新符号,也可更新或删除符号
54、库中已有的符号。在更新符号时,能对符号的类型、类别、尺寸、样式、色彩、图案等属性信息进行修改。标准制图模板管理模块系统提供全套标准制图模板,包括一系列地图整饰要素,如图名、接图表、内外图廓、经纬网、四角坐标、比例尺、指北针、图例、制作单位等信息,系统提供整饰要素的管理工具,以改变地图出图效果。专题图制作模块可以选择和应用制图模板并进行相应修改和调整,业务人员可以选择数据源制作专题图;可制作标准分幅图、行政区分幅图、矩形或任意范围专题图。成果输出模块系统将制图结果,可以保存为WORD、PDF、EXCEL、JPEG等格式保存也可直接打印输出,包括设置打印效果、打印设置以及打印预览等功能。数据字典管
55、理模块数据中心系统需要对元数据标准、土地利用分类标准、各类数据库标准、数据密级、各级行政代码、开发区类型、专题分类目录等需要统一规范的对象,通过数据字典进行统一管理。管理员利用系统提供对数据字典的添加、保存、输出、修改功能。维护管理一个数据字典内的字典项,增加、删除、修改字典项内容。系统提供数据字典的版本管理。另外系统支持数据字典的导入导出。“一张图”数据共享服务系统6.1系统功能在农业资源“一张图”数据库及其管理系统的基础上,开发应用服务接口,将地理信息服务(图形浏览、定位查询、空间分析等)、属性数据查询与浏览、统计与分析、专题图制作等功能封装,开发对“一张图”调用和操作的应用接口,为业务审
56、批系统、农业资源综合监管平台和其它应用系统提供图形数据支撑、分析应用与服务。“一张图”数据展现系统基于WebServices技术,SOA体系架构,参照OGC标准服务规范建设,对空间信息资源实行分布式管理、集中共享与服务,支持多源异构数据,支持基于OGC标准的第三方服务,支持多种文件结构、支持动态获取瓦片等技术,把“一张图”数据库中各类基础数据、专题数据发布成图层数据服务,使用户能在IE中快速浏览、查询到宗地或地块的信息及专属属性。结合空间分析算法,叠加业务审批专用图层进行分析,对审批过程提供图形服务。主要如下:(1)图形数据发布。采用动态、静态两种数据发布方式对矢量数据和影像数据进行发布。客户
57、端实现地图放大、缩小、漫游、鹰眼、图层是否可见、图层叠加、图层透明图设置、上一视图、下一视图、全景地图、截图、打印等功能。(2)属性数据查看。能够查看空间矢量数据附带的属性数据。即点击到地图上面的地块后,能够看到地块的专题属性。(3)空间查询。通过叠加数据底图,支持对任意绘制图形范围或导入坐标形成图形范围的空间查询,查询在此范围内底图中的各种要素的面积、属性信息等。(4)空间分析。通过叠加数据底图,支持对任意绘制图形范围或导入坐标形成图形范围的空间分析,分析图形所压盖数据底图的各种要素的压盖面积、总面积、压盖百分比、属性信息等。(5)属性查询。通过指定图层名称、指定字段名称、指定条件进行查询。
58、(6)缓冲分析。支持对任意绘制图形范围或导入坐标形成图形范围的缓冲处理,形成缓冲图形后,对数据底图进行分析,分析缓冲图形所压盖数据底图的各种要素的压盖面积、总面积、压盖百分比、属性信息等。(7)图例显示、行政区划导航、地图书签等功能。(8)系统集成。能够将图形展示集成到其它业务系统之中,满足业务系统在地理图形上面的应用。专题图功能描述地图操作基本功能功能说明放大/缩小通过选择指定的图层层级导航条直接放大/缩小到该层次;通过框选指定区域进行放大/缩小;移动/拖动用鼠标左键直接对地图进行拖动操作;通过点击8个方向导航键进行地图移动;前/后视图返回临近两次看过的地图历史,返回到最后一次操作的地图界面
59、原始视图在任意图层层级直接返回到地图的初始界面鹰眼对当前地图进行全局缩放预览,并可以在缩略图上移动,以改变当前地图的显示范围。比例尺显示当前图层层级的比例尺;直接显示指定比例尺的地图;叠加冋时显示多个地图数据,层层覆盖,显示勾选的地图图层。透明度可以设置每个图层的透明度,冋时看到多个图层的地图兀素距离计算地图上多个点之间的距离(点之间的距离、总距离)面积在地图上绘制矩形、圆形、多边形进行地图面积的测算对比对地图同一片区域不同专题图层进行对比查看行政区导航根据各行政区所辖市、县(区)按中心点屏幕居中显示数据发布子系统数据发布子系统的服务对象包括:一是局内各业务股室及直属事业单位;二是发改委、规划
60、委、建委等各政府部门;三是社会公众等。针对不同的服务对象,有侧重地采取不同的服务方式。对于局内各业务科室及直属事业单位用户,通过局机关网络环境主要提供数据查询浏览与展示、数据调用的服务方式;对于发改委、规划委、建委等各政府部门用户主要提供图片快速浏览和数据分发与产品定制的服务方式;对于社会公众,可以提供WebService的应用服务方式,为社会公众提供数据下载加工、分发等多元化信息服务。6.3.1目录服务模块提供数据分类目录和服务目录,包括系统中全部数据的分类目录和所有服务项目的目录。(1)元数据目录建立农业资源核心数据库的元数据集或元数据库,提供关于数据内容、空间位置、覆盖范围、表示方式、质
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 《跳蹦蹦床的大象》少儿美术教育绘画课件创意教程教案
- 蒲公英课件文库
- 西南林业大学《产品摄影》2023-2024学年第一学期期末试卷
- 西京学院《设计模式》2023-2024学年第一学期期末试卷
- 2023年1月福建省普通高中学业水平合格性考试历史试题(原卷版)
- 陀螺课件 图文
- 西京学院《面向对象程序设计》2022-2023学年期末试卷
- 西华师范大学《小学数学课程与教学》2022-2023学年第一学期期末试卷
- 西华师范大学《运动技能学习与控制》2022-2023学年期末试卷
- 台儿庄介绍课件
- 医院教学课件:宫颈癌三级预防
- 金手指外观检验重点标准
- 电机维护保养作业指导书
- 国家开放大学《实用心理学》形考任务1-4参考答案
- 撤回支付令异议申请书
- 公元纪年法-完整版PPT
- 小学语文人教五年级上册(统编2023年更新)第五单元-群文阅读《说明方法的妙用》教学设计
- 高中英语外研版高中选修7Scopeandsequence-英语长难句教学反思
- 内部控制案例第06章案例18 乐视
- 科技金融项目银行工作总结汇报PPT模板
- 品质异常升级管理规定
评论
0/150
提交评论