GIS平台部署项目方案设计_第1页
GIS平台部署项目方案设计_第2页
GIS平台部署项目方案设计_第3页
GIS平台部署项目方案设计_第4页
GIS平台部署项目方案设计_第5页
已阅读5页,还剩49页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、word目录技术方案1项目背景1项目需求分析2平台总体方案4平台具体功能方案 29平台具体安全方案58平台管理维护方案681.1 技术方案1.1.1 项目背景为了满足xxxx研究所(地理所)资源与环境信息系统国家重点实验室时空大 数据的存储、管理、计算、制图、共享服务等业务需求,为空间数据部门提供海 量化、可视化与自动化的技术支持,全面提升地理所对大规模时空数据的管理与 服务能力,希望通过时空大数据管理与服务平台的实施为xxxx研究所的根底数据的整合共享、可视化管理、大规模时空数据库的管理与服务能力等提供必要的 保障与服务,同时全面提升信息化水平,完成大数据管理平台的建设。总体建设要求:本项目

2、要建成 xxxx研究所时空大数据管理与服务平台,可 实现地理所对大规模时空数据的管理、计算与服务能力的全面的提升,尤其是在 可视化管理、查询高达数百 TB空间数据、影像处理水平、大规模空间数据的数 据共享与可视化制图服务的整体能力。1.1.2 项目需求分析项目建设目标:建成xxxx研究所时空大数据与服务平台,实现平台数据、 三维产品、应用系统云端下的部署与应用,为空间数据部门提供海量化、可视化 与自动化的技术支持,全面提升地理所对大规模时空数据的管理与服务能力,希望通过时空大数据管理与服务平台的实施为xxxx研究所的根底数据的整合共享、可视化管理、大规模时空数据库的管理与服务能力等提供必要的保

3、障与服务。本项目的招标内容主要是xxxx研究所时空大数据与服务平台系统开发、数 据处理、系统对接工作。1软件平台通过该平台可以达到两大方面的需求,一是通过该平台可以进展集群硬件状 况与性能的监控;能够实现大规模栅格数据的接入、存储、管理、检索、快速可 视化与制图、共享服务等(数据单景可达500GB数据总量可达500TB);同样实 现大规模矢量数据的接入、存储、管理、检索、快速可视化与制图、共享服务等 (单个数据可达3GB属性字段支持中文,并支持 WCSWFS?标准服务);还有 实现大规模三维模型数据的接入、存储、管理、检索、快速可视化与制图、共享 服务等(支持三维模型的渐进传输模型的存储与抽取

4、);与此之外还可以提供非时 空数据的接入、存储、管理、共享等支持,设计实现大规模时空数据的计算框架, 支持集群/多核/GPU等多层次的高性能计算技术,实现分布式的空间计算 (调用 计算工具);提供空间数据模型(多种栅格与矢量数据格式),开放计算框架APIs 与工具编写规X,并可由用户自主开发计算工具;提供 100200个具有代表性的 计算工具(RS计算工具、GIS计算工具),实现多层次的空间大数据计算与分析; 大规模时空数据的实时渲染与交互制图, 支持地图配置、图层配置、样式配置等; 达到单个地图瓦片的服务响应时间控制在 45ms以内。二是在平台功能服务的需 求上,要求该平台技术先进、成熟,核

5、心技术自主研发;所有服务的使用都通过 完善的加密控制和权限管理,确保用户的数据安全;支持分布式和集群式部署, 能够实现系统服务能力的动态扩大;软件平台服务提供 WebAPJ实现各类数据 服务的远程管理,包括创建数据服务、删除数据服务、初始化数据服务;客户端 应提供成熟的二次开发工具,实现应用功能的定制开发。2平台客户端通过平台服务的支撑,平台客户端的建设,可以提供C/S管理客户端、B/S数据查询服务应用客户端以与 Android的手机端与平板APP且支持二维与三维 的地图视图;管理客户端通过简明 UI流畅对接数据管理、查询,计算与工具, 可视化与配图功能,并能流畅交互;应用客户端与移动端提供根

6、本的数据查询、 浏览,地图浏览等。3遥感影像数据处理入库通过该平台可以在遥感影像数据处理入库方面实现以下要求,在数据提取方面全面检查遥感影像原始数据,确保数据源的完整性和一致性,提取原始影像元 信息并入库;对影像进展正射纠正处理,消除原始影像由于传感器的外方位变化、 传感介质不均匀、地球曲率等因素造成的变形误差;对经过正射纠正后的影像进 展配准,确保不同传感器影像数据的几何精度一致性, 并且具备一样的空间坐标 系;对配准后的影像进展融合处理,合成真彩色影像或假彩色影像;根据行政界 限或者指定感兴趣区,对影像进展匀色镶嵌处理,最终镶嵌成果色彩一致,接近 真实地表情况;对于影像处理过程中的阶段性成

7、果进展入库, 主要入库数据包括: 原始数据、正射数据、融合数据、镶嵌数据。xxxx研究所时空大数据与服务平台将满足不同部门的大量用户同时登录系统、进展数据提取入库、数据处理计算等等,因此对平台的性能有着较高的要求:用户数和响应时间:支持1000用户并发,登录时间小于 3秒;200用户并 发,登陆时间小于2秒;对于一般的系统提交操作与简单的查询操作, 平均相应 时间小于2秒;对于较复杂的组合查询,平均响应时间小于 5秒。系统的吞吐量:页面点击率为 12Pages Hit/s ; Web量:100M环境下,能够支持20M/s系统的稳定性:系统支持7*24小时稳定运行,系统出错率小于 0.1%。制图

8、可视化性能要求:交互式可视化效率不低于25帧/秒。xxxx研究所时空大数据与服务平台以统一的空间根底数据库为依托,面向 全所各部门提供空间信息服务,平台的安全性尤为重要。在系统的安全设计中需 要考虑系统的物理设备安全、网络安全、应用系统安全以与数据安全。进度要求:本项目建设工期为45日历天。质保期要求:一年。1.1.3 平台总体方案基于高性能GIS系统,对平台的软件功能进展集成、封装,搭建 TQJ*数 据管理与服务平台,提供“集群一数据一计算一信息一制图 一体化的服务。 本 小节详细讨论平台的软硬件部署与服务, 具体包括平台功能的需求、平台的软硬 件架构、平台的服务APIs等几个局部。某某中科

9、xxxx遥感科技某某自主研发的TQJDF台以空间数据的分布式存储 为指导思想,采用“主(Master)-从(Node) 的数据存储架构模式,将数据与其 元数据(metadata)分开存储,在主节点(Master)上存储元数据并提供元数据服 务;而将数据文件存储在多个节点(Node)上并提供并行I/O访问。这种架构方式 的一个好处是可随着数据规模的扩大进展存储服务器的动态扩展,而且也相对容易地实现负载平衡和动态调整。C R 用杳户柒,litkcfAtr. t.il.管il户造 LHcoiAimd Ij_L 一,入户麻 LUrditd .L'.'LHm.ipfcf:9MCE. dl

10、l引与.Wl-iTit lcacLtffi才K L耳I手帕版Md肮埼以毡由修用势之尚F刊韩cf.DT任军I 堂图百,JLH-.o=iier z.r. L3!E而用I簟甲哥2 HhtaS er* er. ISEL 帘 I堂用哥"m IHCoicServeE* IS可观监弓量用.善NHVijuaJ. £ervta-. BJdC 可柝化J® 务 I rattETVMr. IM!.W:lhEdE.EXkMm Ua&g a.dl 1 |NT M小NMJH 山展 尸w-dl 1 JUITTH口 h JTi fu4I . dl I mTzoldLoa-dwr. IKEH

11、UJTiTrEms.ESE阳心国士 EXLNbflaE融n)也Hll Im"Liut 1> d】L HHTairifai<ijEn- dll UilEfendrr. dll Ntt卬二lefJSOM. dll汽HlgiaLTerAtdat, EXtHF: leSy/BPteretaon BXE-.WTpgTi 1 iFyrMiLi,以FMMItat affii prat icm. EXH图31总体方案图在深入分析项目建设现状的根底上,根据 xxxx研究所平台部署项目需求, 结合系统建设规划和目标,我们在此阐述系统平台的优势与特色。为了科学、经济合理的完本钱次建设,实现项目

12、建设目标,并满足长远规划 的要求,在本方案总体设计中,我方的平台充分考虑和遵循以下原如此:系统扩展性原如此在主流IT技术与相关技术飞速开展的今天,系统的扩展性是任何一个新建 系统不容无视的问题。本系统的扩展性主要从以下两个方面来考虑:1数据的扩展性数据的扩展性是指系统数据模型的扩展性,是对于本系统建立后出现的数据 模型的兼容性。对此,本系统提供了用户自定义数据模型的功能,用户可以通过它定义自己的数据模型来实现与现有数据模型的兼容。2功能的扩展性系统设计时所采用的“插件根底,框架集成的模式能很好地解决功能的扩 展性。系统建成后,扩展功能可以写成插件的形式,然后通过插件管理器集成到 系统中来。还要

13、允许用户可以自定义参数、自定义数据处理方法、自定义查询条 件、自定义输出数据类型,使系统具有良好的扩展性。系统结构设计时,采用面向对象的技术,利用事件驱动和封装的思想为应用 软件提供接口;在功能实现上,充分表现 xxxx研究所时空大数据管理与服务平 台功能,同时还考虑数据共享和接口应用; 在软件的平台选型上,选用当今主流 平台,为系统的开展和升级提供方便;在软件的总体架构方面,注重接口的设计, 充分考虑本系统与其它系统的无缝连接。系统应具有多种功能的批处理实现, 人机交互必须简便实用,系统的输入和 输出统一规X化。为保障系统安全,应对软件需求、结构设计、程序编写、软件测试和软件变 更进展安全性

14、分析,防止设计异常、实现异常和使用异常。4 .系统可靠性原如此在方案设计过程中,必须对服务器、和相关软件的部署进展合理的规划、 保 障系统全年不连续稳定运行,关键业务系统设备不存在单点故障隐患, 并提供完 备的备份和灾难恢复措施,保障在业务系统出现重大故障后能迅速恢复。此外, 还应合理的配置资源的规格型号数量,防止关键性资源形成瓶颈影响整体业务的 正常运转。5 .经济性原如此在满足系统需求的前提下,选用经济实用的软硬件设备,以便节省投资,即 选用高性能价格比的设备;同时,应该充分挖掘现有系统软硬件设备的使用潜力,尽可能以最低本钱来完成系统建设。TQJD大数据管理与服务平台面向急剧暴涨的空间大数

15、据与日益增长的信息 需求,提供上百TB的大数据存储与管理、空间大数据的高性能计算与分析、面 向企业/个人/区域/全球等多层次的数据与信息服务。平台的数据服务指标数据服务指标包括:1 .数据类型分析;平台管理的数据包括栅格数据(影像与DEM)矢量数据、 三维模型数据和其他非空间数据等四种类型。2 .数据容量需求;单景栅格数据容量达 100+GB单个Feature Layer 达 500+MB对象10W#;栅格数据总容量达上百 TB,矢量数据达TB级。3 .数据共享服务;栅格数据、其他非空间数据实现FTP文件服务;矢量数据 提供WCS/WF标准服务;三维模型数据实现渐进传输(PT)服务。平台的计算

16、服务指标计算服务指标包括:1 .计算服务形式;平台提供开发的计算框架,用户遵循 平台计算工具开发 技术规X»F发功能,并能简便地集成到平台计算环境中。2 .计算规模分析;平台具有大规模的空间计算能力,单次计算数据量可达 200+GB同时在线计算数据量可达5TR平台的制图服务指标制图服务指标包括:1 .交互制图;支持地图、地图样式、图层、图层样式、波段合成、图层顺序 等地图的交互配置和预览;2 .支持高并发访问;并发用户数10,000时的制图服务可靠性99%3 .制图可视化性能;交互式可视化效率不低于25帧/秒。平台服务能力指标服务能力指标包括:1 .平台服务形式;平台基于标准的HTT

17、P(S)!信协议,提供标准的服务;2 .平台的服务用户;1)面向大司空数据应用的客户总总一分结构的分布式架构针对上述对TQJ*数据管理与服务平台的数据、计算与服务的指标分析, 基于高性能GIS系统,搭建“总一分结构的服务平台,而在总中心与分中心分 别实现分布式的架构。1 .大数据服务的“总一分结构2 .数据中心的分布式架构在大数据服务“总一分结构的根底上,数据服务的总中心和分中心均采用 分布式的软硬件架构。基于上述平台功能的需求,参考“数据一计算 一体化的分布式架构思想, 构建可伸缩的平台硬件架构。硬件整体架构基于“数据一计算 一体化的分布式架构思想,搭建无共享系统构架 (Shared Not

18、hing Architecture,SNA):集群中每个节点都配备有存储设备和计算资源,使计算本地化,减少数据在节点间的迁移。如图 3-2所示,整个硬件 构架共包含三层;存储/计算层是“数据一计算 一体化硬件构架的核心,由机 架服务器与磁盘阵列组合而形成集群节点,节点通过高速的控制网络与数据网络 (Gigabit Ethernet Switch)相连而成,组成庞大的集群系统;服务层是分布式架构的服务端,经由高速以太网,连接各个集群节点和服务器,并通过服务端将 集群所提供的存储、计算能力提供出去。8 / 69word器务服据数间空器务服据数元图3 2高性能GIS的硬件架构下面对各个硬件的功能进展

19、简单论述。1 .磁盘阵列(Redundant Array of Independent Disks, RAID)RAID通过硬盘控制器把多块独立的物理硬盘按某种方式组合成一个硬盘组 (逻辑硬盘),实现多个硬盘的读写同步;并通过数据备份,提高磁盘的可靠性。 RAID不但能够充分发挥出多块硬盘的优势,提供远远超出任何一块单独硬盘的 速度和吞吐量;而且RAID提供多个级别的数据备份功能,具有良好的容错能力, 在用户数据一旦发生损坏后,利用备份信息可以恢复损坏的数据,保障了用户数 据的安全性。计算机技术的开展,使得RAID技术被应用于中低档甚至个人 PC机上,可以通过主板上板载的 RAID芯片,直接组

20、建磁盘阵列并同计算机相连。2 .机架服务器机架服务器是一种外观按照统一标准设计的服务器,配合机柜统一使用,以 尽可能减少服务器空间的占用。将机架服务器同磁盘阵列相连,集群中的每个节 点具有独立的存储设备与计算资源,能够独立完成计算任务。利用多网卡技术,实现控制和数据的别离传输。磁盘阵列之间通过高速数据 网络互联,保证大数据量传输的稳定性;控制指令通过高速控制网络传输, 保证 控制的实时性。4 . GPU处理器CPUa含几个专为串行处理而优化的核心,而 GPU*数以千计更小、更节能 的处理核心组成,这些核心专为提供强劲的大规模的并行性能而设计。通过流程 设计,将程序中计算量繁重的并行局部交由 G

21、Pl理,以提高程序执行速度。5 .服务器在上述机架服务器上,利用虚拟机技术,抽象出空间数据查询服务器、空间 数据服务服务器、空间信息计算服务器、阿$艮务器、WFSK务器等。上述分布式硬件架构,可通过增加更多节点的方法获取更大的平台存储能 力、更高效的计算能力与服务能力,平台具有较强的可扩展性与伸缩性。硬件配置针对硬件架构建设的需要,进一步设计机房环境、机柜与机架服务器配置、 RAID参数与指标、交换机参数等。1.机房环境表3-1服务器机房环境配置污染物远离腐蚀气体、易燃易爆物;腐蚀气体随着新风吸入机房后会对 计算机设备和人员健康造成危害,同时不洁净的空气也会对计算 机设备的运行造成不利影晌,还

22、会对机房内精细空调、新风机等 的滤网等造成污染。温度、湿度1.干球温度计:20 C 25 c (68F77F); 2.相对湿度:40%50% 3.最大露点:2l C T ) ; 4.最大变化速度:每小时5c (9 T ) 0噪声计算机停机时,机房内的噪声在主机房中心处测试应小于6SdB(A)照度机房在距地0.8m处,照度不应低于3001x,辅助房间照度不低于2001x无线电干扰场强频率为0.151000MHz时不大于126dB磁场干扰磁场干扰场强不大于800A/m地板振动 加速值计算机停机时,主机房地板外表垂直与水平向的振动加速度值不应人丁 500mm/s电阻主机房地面与工作台面的静电泄漏电阻

23、,应符合现行国家标准GE6650-1986计算机机房用活动地板技术条件的规定静电主机房内绝缘体的静电电位不应大于lKV2.机柜表3-2KVMH体机服务器机柜套件根本参数17寸LCD液晶屏幕、键盘与鼠标触控板整合于一个 1U的抽拉式控制端模块内口数:8;带宽:75Hz;支持分辨率:1280x1024切换方式:OSD干幕选单、热键、面板按键特点CL5708 Slideaway LCD KVMP抽拉式多电脑切换器是一套先进的控制方案,其可通过一组 PS/2或USBKVM空制端(键盘、鼠标与 显示器)存取多台服务器。一台设备可分别直接收理8台服务器; 通过菊链方式另外再用接31台KVM多电脑切换器,即

24、可从单一 控制端管理多达256台服务器;图腾42U服务器标准机柜:600*1000*2000,前后网孔,带3个以上托盘;KVM保修3年3.机架服务器表3-3机架服务器的配置参数架构机架式,高度0 2U,带快速滑动导轨,带理线架;CPU不低于两颗 E5649 2.53GHz, 12M暇存,5.86GT/s QPI, 6C ;内存最大可扩展容量不低于8个插槽,当前配置容量不低于32B4X8GB 1066MHz 四列 LV RDIMMs硬盘当耐己所彳ST 2个300GB 10Krpm SASB插拨硬盘,5块2TBNL-SASB,不低于6Gbps;工厂定制希捷硬盘,5年硬盘不返还服 务,扩展性必须满足

25、最大支持不低于 14块硬盘,可选8块 硬盘机箱和4块硬盘机箱;RAID 卡配置RAID。1、5、6、10、50、60,支持热备盘技术,高速缓存H700不低于512MB网卡:不低于2个主板集成千兆以太网卡, 带故障切换和负载均衡功能,支持 TOE iSCSI启动;I/OPCI插槽不低于 4个,两种 Riser 卡可选:3X PCIe(x8)+1 x Storage 或 1 x PCIe (x16)+1 x Storage;光驱1个DVD-ROM?动器;配置服务器导轨;管理1、远程管理卡必备:远程管理卡,具有单独的管理网口,不 依赖主机操作系统进展远程操作,独立远程管理卡不占用PCI插 槽,支持视

26、频重定向,服务器复位、重新启动、开机 /关机,远 程虚拟介质(CD/DVD软驱/USB存储固态盘),内置128MB Flash Memory可用于紧急的软件诊断,支持加密连接(SSL),支持Vflash卡。必须满足;2、LCD屏幕/主板管理控制器必须满足前面板上配备有可编 程液晶屏,可显示默认或定制信息,包括IP地址、服务器名称、 金牌支持服务编号等。如果系统发生故障,该液晶屏上将显示关 于故障的具体信息。主板集成嵌入式管理控制器,可一站式地完 成操作系统的部署,包括内建驱动程序安装、固件更新、硬件配 置和问题诊断。不需要辅助光盘,在内嵌管理器中快速部署驱动、 RAID Firmware; /

27、、需要辅助光盘/软盘,实现快速安装系统;3、管理软件必须满足管理控制台支持将IT网络中所宿主流 品牌根底架构管理整合到一个控制台上,提供单一视图和单一通 用数据源,采用模块化结构,提供根本的硬件管理,支持资产和 安全管理。采用基于网页的界面,符合行业标准的 SSL协议传输 加密数据;支持 SSL虚拟介质连接;可与动态目录 Active Directory集成。电源两个热插拔750W/电源,额定功率750W/电源;服务5年IT专业支持与关键任务,5年当日4小时24X7上门服务 配件+人力),人工、配件、交通等任何费用全免;高级软件支持;原厂本地技术客户经理24X7支持,可选硬盘不返还服务; 要求

28、提供原厂商正式服务承诺函;要求必须提供原厂商产品授权 证明。4.交换机表3-4交换机的配置参数端口线速非阻塞交换机,48个10/100/1000Base-TX自适应以太网端口,4个可用的1000Base-X SFP千兆以太网端口,支持万兆接口不少于2个;速率交换容量240G包转发率132Mpp§IP支持虚拟化,支持IPv6,支持IPv4和IPv6的三层路由功能;服务三年原厂7X 24X4现场服务。按照xxxxTQJD大数据管理与服务平台的整体设计,大数据平台基于高性能 GIS软件的功能体系,对资源引擎、数据引擎、计算引擎和可视化与制图引擎进 展有机组合和封装,构建面向数据/信息流水线

29、生产、数据/信息服务多样化服务 的平台软件体系,并通过服务 APIs接口支撑平台的产品生产和解决方案。1统一的对外服务接口根据用户请求的类型(资源、数据、计算、地图等),将服务分发到服务集群 相应的服务节点上。服务总线一APIs,z z z zx资源服务 数据服务 计算服务 可视化与制图服务图33服务总线一统一的对外接口2平台安全与权限在请求发送到服务总线时,服务总线查询用户与权限数据库,对请求进展动 作过滤、数据约束等,并将限制后的命令发送到服务集群。发起请求1r二二二 :用户及权限数据库 一请求过滤与条件限制请求处理及 结果返回完成请求图34服务总线的权限/安全机制基于大数据服务平台的应用

30、需求,平台的软件功能构架如图35所示应用层数据管理数据/信息生产应用解决方案智慧城市服务层国空间数据可视化制图服务<*_;空间计算服务:空间数据服务4#.空间计算引擎RS/GIS 工具集 < GDAL/OGRRS/GIS工具流 * NoSQL数据库数据/信息生产线NFS文件系统+_QS的空间扩展多层次异构并行计算环境分布式文件系统数据+计算层I资源服务硬件层 机架服务器高速以太网磁盘阵列图3 5软件功能架构资源服务引擎建立在底层硬件的根底上,是对硬件资源的抽象和虚拟化。其实现对集群系统中硬件资源的管理、调度和监控,如收集各个节点的CPU内存容量、磁盘、网络带宽等信息与其实时利用情况

31、,集群中节点的添加、暂停、配 置和移除操作;同时配合数据存储和计算任务的管理,如数据存储位置确实定、 计算资源的分配等;并且支持平台的安全管理和日志功能, 如客户端用户权限管 理、系统日志查看、针对不同用户的客户端订制等。在大数据服务云平台中,资 源服务是根底实施即服务(G-IaaS)的具体实现,是最底层的云服务,为上层的数 据、计算和可视化服务以与客户端提供根底支撑。数据服务建立在分布式文件系统的根底上, 利用MySQL-SEGDAL/OG做型、 NoSQ!据库和NFS件系统,实现空间数据存储、管理的抽象和虚拟化。在数 据存储上,采用MySQL-SE?储空间数据的元数据,而空间数据本身按照既

32、定的 存储策略分布式地存储在集群节点上; 在数据管理上,数据服务引擎负责数据的 迁移、备份、恢复等;在数据服务上,数据服务引擎支持数据的查询、查看、导 入、导出、删除等操作。在大数据服务云平台中,数据服务引擎是空间数据即服 务(G-DaaS)的具体实现,为计算和可视化服务以与客户端提供服务支撑。计算服务建立在多层次的异构并行计算环境的根底上,是对空间数据计算的 抽象和虚拟化。计算服务负责计算工具的管理,如 RS/GIS工具的注册、卸载、 调用执行以与工具流的组装等;支持计算任务的调度和分配,任务的执行和监控 等。在大数据服务云平台中,计算服务是空间信息软件即服务(G-SaaS)的具体实 现,为

33、可视化服务以与客户端提供服务支撑。可视化与制图服务建立在数据服务和计算服务的根底上,是计算服务针对空间大数据渲染的特殊应用。从计算实现看,数据可视化是数据计算的具体化和实 例化,具有的数据密集,运算简单而琐碎,实时性较高等特点。大数据服务平台通过APIs对外提供资源管理服务、数据服务、计算服务和 可视化与制图服务,其功能清单和所依赖功能如表3-5所示。表3-5平台功能列表项目功能底层依赖资源服务1 .节点的增删/启停;2 .集群节点硬件性能检测;3 .节点资源消耗监测;4 .用户与组角色分配与管理;5 .系统日志;管理引擎数据服务1 .数据的接入/交换/导出;2 .数据的时空属性查询;3 .数

34、据存储的统计分析(时间、空间、存 储);4 .数据简单的预处理;5 .数据安全"1W生维护(迁移、备份、 恢复);管理引擎数据引擎计算服务1 .计算,具注册、卸载、调用;2 .计算任务的分发、监控、结果回收;3 .计算任务的重启、迁移、负载均衡;4 .计算流水线的构建与执行;管理引擎数据引擎计算引擎可视化与制图服务1 .创建/删除/配置/发布地图;2 .添加/删除/调整/配置图层;3 .切片/缓存地图;4 .栅格/矢量/DEM图层支持;管理引擎数据引擎计算引擎制图引擎5. WMS/WTTS准地图服务;三维可视化引擎表3-6平台软件环境配置项目软件其他说明1.操作系统Windows S

35、erver 2008 R2支持x64操作2.空间(元)数据 库MySQL Server 5.6+;MySQL Workbench;3.NET Framework4.文件服务FTPIIS的FTP服务5. Web月艮务IIS 的 HTTP®务对平台的软件功能进展集成与封装,并开放平台APIs,支持服务平台的门户、解决方案等应用。服务总线一APIs介 介 介 z资源服务资源服务、数据服务、数据服务计算服务可视化与制图服务图3 一6平台服务APIs计算服务和制图服务等的APIs经过服务总线的聚拢和集成,对外提供统一的服务接口利用高精度卫星影像制作数字正射影像图需要经过一系列的数据处理过程,先

36、是对单景进展处理,使每一块影像都有较好的处理效果,然后对整体图进展拼 接与镶嵌。主要生产技术流程为数据准备、 控制点选取、正射纠正、配准、融合、 匀色镶嵌。生产技术流程如下:21 / 69word多光谱影像数据准备全色影像轨迪RP至数控制资料正射纠正正射纠正影像配准影像融合影像匀光、调色影像镶嵌单景融合正射影像全州无缝镶嵌影像DE歌据单景全包多光谱正射影像成果质量检查、整理及汇总图3 7生产技术流程图由于卫星的姿态、轨道,地球的运动和形状等外部因素与遥感器本身结构性20 / 69word能和扫描镜的不规如此运动、监测器采样延迟、探测器的配置、波段间的配准失 调等内部因素,卫星遥感图像上的像元会

37、出现几何畸变。 几何畸变分为系统性的 几何畸变和非系统几何畸变两种,系统性的是有规律并可以预测的,如扫描畸变 等;然而非系统性的几何变形是没有规律的,难以预测,如遥感平台的高度、经 纬度、速度和姿态等的不稳定。几何校正的目的就是要纠正这些系统与非系统因素引起的图像变形,从而实现与标准图像或者地图的几何整合。图像的几何校正需要根据图像几何变形的性 质、可用的校正数据、图像的应用目的来确定适宜的几何纠正方法。有两种几何校正:一是系统校正,即根据卫星轨道公式将卫星的位置、姿态、规定与扫描特 征作为时间函数加以计算,来确定每条扫描线上像元坐标。但由于遥感器的位置 与姿态的测量值精度不高,其校正图像仍存

38、在几何变形,不能满足实际应用的需 要。用户得到的数据大都经过系统校正。二是几何精校正,即利用地面控制点和 数学模型进展校正,包括两个环节:一是像元坐标的转换,二是对坐标转换后的 像元亮度进展重采样。我们所查询得到卫星原始数据都是已经经过系统几何校正,后续的卫星数据 处理主要集中于非系统校正。自动提取控制点目前,高分卫星影像常用的传统几何校正模型主要有三种:有理函数模型、 准确模型和轨道模型。其中有理函数模型属于近似校正,它不考虑成像的特性, 主要利用多项式等数学方程式直接对影像坐标进展地面坐标转换,校正误差相对较大。但是,由于该模型中有高精度DE侬与,其校正精度明显高于多项式模型, 因此常用有

39、理函数模型进展近似校正;准确模型和轨道模型如此属于严密校正, 它们是根据卫星轨道、传感器类型以与拍摄地物所形成的几何条件,以共线条件 方程式推算出成像关系式,然后进展坐标转换,可获得很高的校正精度。以QuickBird卫星数据为例,有理函数模型采用两个多项式的比值来计算影 像行,用类似的多项式比值计算影像列(5.1)式。每个多项式中都包含了经度、 纬度和高程信息,至少有20个系数。这些多项式系数一般由影像发布机构计算 得出,并和影像数据捆绑一起提供应用户(QuickBird影像数据中*rpb文件),这些系数在模型运算时自动导入到正射校正模块中。x = F1 (X , Y, Z) / F2 (X

40、 , Y, Z) (5.1)y = F3 (X , Y, Z) / F4 (X , Y, Z)Fn= a0 + a1?X + a2?Y + a3?Z + a4?X?Y+ a5?Y?Z + a6?Z?X+ a7?X2 + a8?Y2 + a9?Z2 + a10?X?Y?Z+ a11?X?Y2+ a12?Y?Z2+ a13?Z?X2+ a14?X2?Y+ a15?Y2?Z + a16?Z2?X + a17?X3 + a18?Y3 + a19?Y3准确模型是运用QuickBird标准影像和预正射标准影像产品的元数据文件 (*imd)中提供了局部卫星轨道参数,并以航测的共线条件(5.2)式为根底,用推

41、 估方式求解出卫星轨道的相关参数,最后建立起完整的几何转换式对影像进展校 正。Xm / X - Xs = Ym / Y - Ys = Zm / Z - Zs(5.2)X、Y、Z 地面坐标Xs、Ys、Zs空中坐标卫星轨道模型是卫星影像几何校正中最严密的一种数学模型。 它以航测的共 线条件为根底,利用影像产品所提供的完全轨道参数, 建立完整的几何转换式对 影像进展校正,其校正精度可达1个像元,是目前最准确的几何校正方式。针对测区的自然地貌特点,传统的几何校正模型并不能适用于测区的卫星影 像正射处理,因而测区正射影像纠正主要采用区域网平差方法。区域网平差,又称区域网空中三角测量,就是使用计算的方法,

42、根据影像上 所量测的像点坐标以与少量的地面控制点, 求出地面上加密点的大地位置。传统 区域网平差的研究对象主要是同一种传感器获取的影像。区域网平差的主要三种方法:航带法、独立模型法、光束法。控制点残差剔除根据选取的控制点,对测区的全色数据进展区域网联合平差,有选择地剔除和调整残差较大的控制点。残差是指实际观测值与回归估计值的差。 在配准过程中,观测点为参考图层 上的控制点,可以是在参考图层刺点所得点,也可以是通过输入X、Y坐标所得 的控制点。计算点为在配准图层刺点所得控制点, 按照某一种配准算法计算出来 的拟合点。X残差是观测点与计算点在X坐标方向上的距离。Y残差是观测点与计算点在Y坐标方向上

43、的距离。对于线性配准和多项式配准,在选择了一定的地面控制点后,都用以下的公 式计算每个地面控制点的均方根误差RMS error:RMS 皿.二式中,x, y为地面控制点在原始图像中的坐标,x' , y'是一次或二次多 项式计算出的控制点坐标,即估算坐标。估算坐标和原始坐标之间的差值大小代 表了每个控制点几何纠正的精度。对线性配准和多项式配准,系统都会计算x ,y方向上的和点的均方根误差。通常一个 GIS应用都有一个可以承受的总均方 根误差,所以当某些控制点的均方根误差大于可承受的总均方根误差时,可以通过剔除或修改该控制点,减小总体均方根误差,提高配准精度的目的。在剔除残差的过程

44、中,首先保证控制点分布均匀,控制点密度不能过于稀疏, 同时农区有控制区的控制点尽量不剔除, 从而保证农区有控制区域的精度能够达 到项目要求。自动提取连接点在各景控制点满足区域网误差要求的根底上, 对影像之间的重叠区域自动提 取同名点,并剔除残差较大的同名点,直至同名点误差满足规定要求,提高影像 接边精度。在此根底上对全色数据进展正射纠正,用双线性插值法重采样为2米,纠正过程中没有对影像的灰度和反差进展拉伸, 没有改变像素位数,纠正后 的正射影像有效数据X围内没有漏洞区。影像重采样几何校正的最后一步是重采样。经变换定位后的像元在图像中分布是不均匀 的,需要建立起图像的新格网,对每个图像按一定的规

45、如此进展灰度插值计算来 重新赋值,构成新的图像矩阵,应当看到,重采样对分类精度和图像信息会产生 一定的影响。像元是一个复合信息,也是一种综合亮度信息。虽然对像元亮度值 重采样作为新的校正点的亮度值,像元是被校正了,但其复合信息或综合亮度系 数也有所变化,信息也相应的有所变化。因此,最大限度减少信息变化就需要正 确的选取种采样方法,采样方法较多,常见的重采样方法有三种:邻近点插值法 (Nearest Neighbor);双线性插值法(Bilinear Interpolation) ;立方卷积插值 法(Cubic Convolution) 。三种方法各有优缺点:邻近点插值法简单易用,计算量小,但处

46、理后得图像 亮度具有不连续性,影响精度。双线性插值法与邻近点法相比、虽然计算量增加, 但是精度明显提高,特别是对亮度不连续现象或线装特征的快转化现象有明显的 改善,但这种方法对图像起到平滑作用,从而使比照度明显的分界限变得模糊。 三次卷积插值法计算量很大,精度也最高,但对控制点选取的均匀性要求很高, 否如此达不到很好的结果。多光谱与全色波段影像配准纠正多光谱影像与全色影像配准是影像融合的前提和根底,配准的精度直接影响最终DOM作的质量。多光谱影像与全色波段影像的配准纠正以正射纠正好的全 色波段影像为控制根底,利用全色影像的同名点和 DE激据,同样采用全色影像 正射纠正方法,对多光谱数据进展正射

47、纠正。正射纠正后的多光谱数据与全色数 据完全匹配的约占全部景数的70犯上,其余约30%M象配准精度局部达不到的, 采用自动匹配控制点或局部人工增加控制点的方式进展单独纠正,直至所有景的多光谱与全色影像的同名点量测要求准确到子像素精度。为保证融合效果,纠正后将多光谱影像和全色波段影像进展套合检查,两景影像之间的配准精度误差不得大于1个像元多光谱影像上。图3-8多光谱影像与全色影像配准精度示意影像融合是一个对多遥感器的图像数据和其他信息的处理过程。它按一定的规如此(或算法)对空间或时间上冗余或互补的多源数据进展运算处理, 获得比任 何单一数据更准确、更丰富的信息,生成一幅具有新的空间、波谱、时间特

48、征的 合成图像。影像融合从层次上可分为:像元级信息融合、特征级信息融合和决策 级信息融合。像元级信息融合,是指对测量的物理参数的合并,即直接在采集的 原始数据层上进展融合。这是最低级的信息融合,亦称数据级融合,它包括一维 时间序一列数据、焦平面数据。其空间配准的遥感影像数据直接融合, 而后对融 合的数据进展特征提取和属性说明。像元级融合的优点是保存了尽可能多的信 息,具有较高精度,缺点是处理信息量大、费时、实时性差。特征级融合是一种 中等水平的融合,在这种框架中先是将各遥感影像数据进展特征提取,产生特征矢量,而后融合这些特征矢量,采用Bayes决策法、神经网络法等基于特征级融 合法进展处理,做

49、出基于融合特征矢量的属性说明。 其优点是实现了可观的信息 压缩,有利于实时处理,并且提供的特征直接与决策分析相关。因此融合的结果最大限度地给出了决策分析所需要的特征信息,其缺点是比像元级融合精度差。决策级融合是最高水平的融合,它首先对每一数据进展属性说明,然后对其结果 加以融合,得到目标或环境的融合属性说明。该融合框架的优点是具有很强的容 错性,很好的开放性,处理时间短。由于像元级融合基于最原始的影像进展融合, 能更好地保存影像原有的信息,提供其他层次融合不能提供的细微信息, 被广泛 使用,因此本项目也采用像元级融合。对于高分辨率影像而言,Gram-schmidt变换、Pansharp变换两种

50、融合方法较为常用。Gram-schmidt变换是线性代数和多元统计中常用的方法,类似于PC尬换法,它可以对矩阵或多维影像进展正交变换,消除多光谱波段之间的相关性。Gram- schmidt变换与PCA勺区别是PC故换后信息在各主成分之间重新分布, 第一主成分包含的信息量最多,其它主成分的信息含量依次减少;而 Gram-schmidt变换后各分量只是正交,各分量所包含的信息量相差不大,这样 可以改良PCA某某息过于集中的问题。Pansharp变换融合方法是基于统计原理的,它利用最小方差技术对参与融 合的波段的灰度值进展最优匹配并利用此原理调整单个波段的灰度分布以减少 融合结果的颜色偏差,另外还对

51、所有输入波段进展一系列的统计运算并以此来消 除融合结果对数据集的依赖性和提高融合过程的自动化程度。本次项目影像融合数据源是经过正射纠正的数据, 多光谱和全色影像二者之 间配准精度误差小于1个像素,融合方法采用Pansharp算法进展影像融合,融 合效果样例如下:(a)融合前多光谱影像(b)融合前全色影像(c)融合影像图39融合结果图影像镶嵌技术是遥感数据处理领域的传统问题,也是当前计算机视觉领域和计算机图形学领域的研究热点之一。微软公司2006年公布的以全景镶嵌技术为核心的Photosynth产品给公众带来了全新的视觉体验。随着新的影像数据的大 量获取,一方面对现有的镶嵌技术的适宜性提出了考验

52、,另一方面为开发新的镶 嵌技术提供了空间。在遥感图像的应用中,当研究区域处于几幅图像的交接处或者研究区域较大 需要多幅图像才能覆盖时,需要对覆盖研究区域的图像进展配准, 进而把这些图 像镶嵌起来,以便于更好地统一处理、解译和分析。遥感影像镶嵌是将2幅或多 幅遥感影像拼在一起,构成一幅整体影像的技术过程。实践证明,传统的手工镶 嵌图像不仅在接缝和色调上易出现不一致,还会出现细微的影像错位。计算机辅 助影像数字镶嵌技术能够大大改善镶嵌图像的质量。通常,首先在相邻影像的重 叠区域内选择多个控制点,使两景影像在该局部配准,并利用这种配准关系对其 中的一景影像进展几何重定位和重采样, 随后经色调匹配和拼

53、接线划定,最终完 成影像镶嵌。据测算,采用传统方法得到两景 TM镶嵌影像,其内部几何误差达 8像素之多(尽管在重叠区域内影像配准良好),已经远低于影像原来的几何精 度。镶嵌过程中的几何错位和色调差异会引起线状和面状地物变形以与连接上的 误导和解译标志的不一致,从而影响遥感图像分析和解译的质量和可信度, 这必 然会对后续的应用工作产生不利影响。目前已经形成很多计算机辅助镶嵌算法, 有些算法已经在商业化图像处理软件、数码相机图像处理模块中广泛应用。光学 遥感影像往往是在不同大气条件下、 不同卫星轨道上、不同姿态的传感器获取的 地面反射或辐射电磁波的强度数据,一方面数据更加复杂,另一方面为了满足后

54、续解译和定量反演的要求,相对于普通图片而言,对几何精度和数据处理速度的 要求更高。我公司镶嵌数据产品基于影像重采样缩略图为参考的自动色彩匹配、 匀光匀 色技术,以与影像重叠区最小灰度值差异为参考的自动镶嵌线技术, 可控制并确 保真彩色镶嵌数据产品色彩真实、过渡自然。项目所需的影像镶嵌成果采用 RED GREEN BLUE的真彩色波段组合方式, 即选择波段3/2/1的顺序作为红、绿、蓝三通道进展影像镶嵌波段组合。 首先将 融合好的测区影像进展降维处理和减少波段处理,得到3波段8bit的预镶嵌影像,然后按同轨依次镶嵌,最后按照多轨影像块进展全区镶嵌, 相邻景重叠区的 镶嵌线以保存无云、影像季节好影

55、像为原如此。进一步对相邻镶嵌区域间影像的匀色处理,保持景与景之间接边处色彩过渡 自然,地物合理接边,无重影和发虚现象。保持地物的完整性和合理性。色彩调整后,正射影像的直方图大致成正态分布,影像清晰,反差适中,色 彩自然,无因太亮或太暗失去细节的区域。1.1.4平台具体功能方案我方选取的TQJ”数据管理平台,采用空间数据库形式管理,统一管理空 间属性、时态属性、专题属性和二三维符号数据,空间数据库具备自动化空间索 引机制,地理信息存储到空间数据库后可自动创建空间索引, 无需经过二次预处 理,即可支持高性能空间数据访问。 平台可以快速高效地整合三维地理要素, 具 备地理要素编辑功能;支持提供多种城市模型生成预览方案;支持模型快速预览、 模型快速生成、模型入库管理等功能,并对导入影像的属性信息进展编辑管理, 为单机、网络应用提供优质的数据支持。表3-7平台功 能方案表一级 功能项二级功能项三级功能项功能说明1.资源管理计算节点看计算节点信息查看查看所有正在使用中的节点信息单个计算节点信息查看查看单个计算节点信息的动态父化可视化服务查看可视化节点信息查看查看所有正在

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论