版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、GIS平台部署项目方案SANY GROUP system office room SANYUA16H- TOC o 1-5 h z 技术方案1项目背景11. 1.2项目需求分析21. 1.3平台总体方案4平台具体功能方案29平台具体安全方案58平台管理维护方案68技术方案项目背景为了满足XXXX研究所(地理所)资源与环境信息系统国家重点实验室时空大 数据的存储、管理、计算、制图、共享服务等业务需求,为空间数据部门提供 海量化、可视化与自动化的技术支持,全面提升地理所对大规模时空数据的管 理与服务能力,希望通过时空大数据管理与服务平台的实施为XXXX研究所的基 础数据的整合共享、可视化管理、大规
2、模时空数据库的管理与服务能力等提供 必要的保障与服务,同时全面提升信息化水平,完成大数据管理平台的建设。总体建设要求:本项目要建成XXXX研究所时空大数据管理与服务平台,可 实现地理所对大规模时空数据的管理、计算与服务能力的全面的提升,尤其是在可视化管理、查询高达数百TB空间数据、影像处理水平、大规模空间数据的 数据共享与可视化制图服务的整体能力。项目需求分析项目建设目标:建成XXXX研究所时空大数据与服务平台,实现平台数据、 三维产品、应用系统云端下的部署与应用,为空间数据部门提供海量化、可视 化与自动化的技术支持,全面提升地理所对大规模时空数据的管理与服务能 力,希望通过时空大数据管理与服
3、务平台的实施为XXXX研究所的基础数据的整 合共享、可视化管理、大规模时空数据库的管理与服务能力等提供必要的保障 与服务。本项目的招标内容主要是XXXX研究所时空大数据与服务平台系统开发、数 据处理、系统对接工作。(1)软件平台通过该平台可以达到两大方面的需求,一是通过该平台可以进行集群硬件 状况与性能的监控;能够实现大规模栅格数据的接入、存储、管理、检索、快 速可视化与制图、共享服务等(数据单景可达500GB,数据总量可达500TB);同 样实现大规模矢量数据的接入、存储、管理、检索、快速可视化与制图、共享 服务等(单个数据可达3GB,属性字段支持中文,并支持WCS、WFS等标准服 务);还
4、有实现大规模三维模型数据的接入、存储、管理、检索、快速可视化与 制图、共享服务等(支持三维模型的渐进传输模型的存储与抽取);与此之外还 可以提供非时空数据的接入、存储、管理、共享等支持,设计实现大规模时空 数据的计算框架,支持集群/多核/GPU等多层次的高性能计算技术,实现分布 式的空间计算(调用计算工具);提供空间数据模型(多种栅格与矢量数据格 式),开放计算框架APIs与工具编写规范,并可由用户自主开发计算工具;提 供100200个具有代表性的计算工具(RS计算工具、GIS计算工具),实现多层 次的空间大数据计算与分析;大规模时空数据的实时渲染与交互制图,支持地 图配置、图层配置、样式配置
5、等;达到单个地图瓦片的服务响应时间控制在 45ms以内。二是在平台功能服务的需求上,要求该平台技术先进、成熟,核心 技术自主研发;所有服务的使用都通过完善的加密控制和权限管理,确保用户 的数据安全;支持分布式和集群式部署,能够实现系统服务能力的动态扩充; 软件平台服务提供WebAPI,实现各类数据服务的远程管理,包括创建数据服 务、删除数据服务、初始化数据服务;客户端应提供成熟的二次开发工具,实 现应用功能的定制开发。(2)平台客户端通过平台服务的支撑,平台客户端的建设,可以提供C/S管理客户端、B/S 数据查询服务应用客户端以及Android的手机端与平板APP,且支持二维与三 维的地图视图
6、;管理客户端通过简明UI流畅对接数据管理、查询,计算与工 具,可视化与配图功能,并能流畅交互;应用客户端与移动端提供基本的数据 查询、浏览,地图浏览等。(3)遥感影像数据处理入库通过该平台可以在遥感影像数据处理入库方面实现以下要求,在数据提取 方面全面检查遥感影像原始数据,确保数据源的完整性和一致性,提取原始影 像元信息并入库;对影像进行正射纠正处理,消除原始影像由于传感器的外方 位变化、传感介质不均匀、地球曲率等因素造成的变形误差;对经过正射纠正 后的影像进行配准,确保不同传感器影像数据的几何精度一致性,并且具备相 同的空间坐标系;对配准后的影像进行融合处理,合成真彩色影像或假彩色影 像;根
7、据行政界线或者指定感兴趣区,对影像进行匀色镶嵌处理,最终镶嵌成 果色彩一致,接近真实地表情况;对于影像处理过程中的阶段性成果进行入 库,主要入库数据包括:原始数据、正射数据、融合数据、镶嵌数据。XXXX研究所时空大数据与服务平台将满足不同部门的大量用户同时登录系 统、进行数据提取入库、数据处理计算等等,因此对平台的性能有着较高的要 求:用户数和响应时间:支持1000用户并发,登录时间小于3秒;200用户并 发,登陆时间小于2秒;对于一般的系统提交操作及简单的查询操作,平均相 应时间小于2秒;对于较复杂的组合查询,平均响应时间小于5秒。系统的吞吐量:页面点击率为12PagesHit/s ; We
8、b流量:100M环境下,能 够支持20M/s。系统的稳定性:系统支持7*24小时稳定运行,系统出错率小于0. 1%O制图可视化性能要求:交互式可视化效率不低于25帧/秒。xxxx研究所时空大数据与服务平台以统一的空间基础数据库为依托,面向 全所各部门提供空间信息服务,平台的安全性尤为重要。在系统的安全设计中 需要考虑系统的物理设备安全、网络安全、应用系统安全以及数据安全。进度要求:本项目建设工期为45曰历天。质保期要求:一年。1. 1.3平台总体方案基于高性能GIS系统,对平台的软件功能进行集成、封装,搭建TQJD大数 据管理与服务平台,提供“集群一数据一计算一信息一制图”一体化的服务。 本小
9、节详细讨论平台的软硬件部署与服务,具体包括平台功能的需求、平台的 软硬件架构、平台的服务APIs等几个部分。苏州中科xxxx遥感科技有限公司自主研发的TQJD平台以空间数据的分布 式存储为指导思想,采用“主(Master)-从(Node)”的数据存储架构模式,将数据 及其元数据(metadata)分开存储,在主节点(Master)上存储元数据并提供元数 据服务;而将数据文件存储在多个节点(Node)上并提供并行I/O访问。这种架 构方式的一个好处是可随着数据规模的扩大进行存储服务器的动态扩展,而且 也相对容易地实现负载平衡和动态调整。图3 - 1.总体方案图在深入分析项目建设现状的基础上,根据
10、xxxx研究所平台部署项目需求, 结合系统建设规划和目标,我们在此阐述系统平台的优势与特色。为了科学、经济合理的完成本次建设,实现项目建设目标,并满足长远规 划的要求,在本方案总体设计中,我方的平台充分考虑和遵循以下原则:系统扩展性原则在主流IT技术及相关技术飞速发展的今天,系统的扩展性是任何一个新建 系统不容忽视的问题。本系统的扩展性主要从以下两个方面来考虑:(1)数据的扩展性数据的扩展性是指系统数据模型的扩展性,是对于本系统建立后出现的数 据模型的兼容性。对此,本系统提供了用户自定义数据模型的功能,用户可以 通过它定义自己的数据模型来实现与现有数据模型的兼容。(2)功能的扩展性系统设计时所
11、采用的“插件基础,框架集成”的模式能很好地解决功能的扩 展性。系统建成后,扩展功能可以写成插件的形式,然后通过插件管理器集成 到系统中来。还要允许用户可以自定义参数、自定义数据处理方法、自定义查 询条件、自定义输出数据类型,使系统具有良好的扩展性。.系统兼容性原则系统结构设计时,采用面向对象的技术,利用事件驱动和封装的思想为应 用软件提供接口 ;在功能实现上,充分体现XXXX研究所时空大数据管理与服务 平台功能,同时还考虑数据共享和接口应用;在软件的平台选型上,选用当今 主流平台,为系统的发展和升级提供方便;在软件的总体架构方面,注重接口 的设计,充分考虑本系统与其它系统的无缝连接。.系统实用
12、性原则系统应具有多种功能的批处理实现,人机交互必须简便实用,系统的输入 和输出统一规范化。.系统安全性原则为保障系统安全,应对软件需求、结构设计、程序编写、软件测试和软件 变更进行安全性分析,避免设计异常、实现异常和使用异常。.系统可靠性原则在方案设计过程中,必须对服务器、和相关软件的部署进行合理的规划、 保障系统全年不间断稳定运行,关键业务系统设备不存在单点故障隐患,并提 供完备的备份和灾难恢复措施,保障在业务系统出现重大故障后能迅速恢复。 此外,还应合理的配置资源的规格型号数量,避免关键性资源形成瓶颈影响整 体业务的正常运转。.经济性原则在满足系统需求的前提下,选用经济实用的软硬件设备,以
13、便节省投资, 即选用高性能价格比的设备;同时,应该充分挖掘现有系统软硬件设备的使用 潜力,尽可能以最低成本来完成系统建设。TQJD大数据管理与服务平台面向急剧暴涨的空间大数据与曰益增长的信息 需求,提供上百TB的大数据存储与管理、空间大数据的高性能计算与分析、面 向企业/个人/区域/全球等多层次的数据与信息服务。平台的数据服务指标数据服务指标包括:.数据类型分析;平台管理的数据包括栅格数据(影像与DEM)、矢量数 据、三维模型数据和其他非空间数据等四种类型。.数据容量需求;单景栅格数据容量达100+GB,单个FeatureLayer达 500+MB、对象10W+个;栅格数据总容量达上百TB,矢
14、量数据达TB级。.数据共享服务;栅格数据、其他非空间数据实现FTP文件服务;矢量数 据提供WCS/WFS标准服务;三维模型数据实现渐进传输(PT)服务。平台的计算服务指标计算服务指标包括:.计算服务形式;平台提供开发的计算框架,用户遵循平台计算工具开发 技术规范开发功能,并能简便地集成到平台计算环境中。.计算规模分析;平台具有大规模的空间计算能力,单次计算数据量可达 200+GB,同时在线计算数据量可达5TB。平台的制图服务指标制图服务指标包括:.交互制图;支持地图、地图样式、图层、图层样式、波段合成、图层顺 序等地图的交互配置和预览;.支持高并发访问;并发用户数N10, 000时的制图服务可
15、靠性N99% ;.制图可视化性能;交互式可视化效率不低于25帧/秒。平台服务能力指标服务能力指标包括:.平台服务形式;平台基于标准的HTTP(S) 1.1通信协议,提供标准的服务;.平台的服务用户;1)面向大司空数据应用的客户“总一分”结构的分布式架构针对上述对TQJD大数据管理与服务平台的数据、计算与服务的指标分析, 基于高性能GIS系统,搭建“总一分”结构的服务平台,而在总中心与分中心 分别实现分布式的架构。.大数据服务的“总一分”结构.数据中心的分布式架构在大数据服务“总一分”结构的基础上,数据服务的总中心和分中心均采 用分布式的软硬件架构。基于上述平台功能的需求,参考“数据一计算”一体
16、化的分布式架构思 想,构建可伸缩的平台硬件架构。硬件整体架构基于“数据一计算”一体化的分布式架构思想,搭建无共享系统构架 (SharedNothingArchitecture, SNA):集群中每个节点都配备有存储设备和计算 资源,使计算本地化,减少数据在节点间的迁移。如图3-2所示,整个硬件构 架共包含三层;存储/计算层是“数据一计算”一体化硬件构架的核心,由机架 服务器与磁盘阵列组合而形成集群节点,节点通过高速的控制网络与数据网络 (GigabitEthernetSwitch)相连而成,组成庞大的集群系统;服务层是分布式架 构的服务端,经由高速以太网,连接各个集群节点和服务器,并通过服务端
17、将 集群所提供的存储、计算能力提供出去。图3-2高性能GIS的硬件架构F面对各个硬件的功能进行简单论述。.磁盘阵列(RedundantArrayoflndependentDisks, RAID)RAID通过硬盘控制器把多块独立的物理硬盘按某种方式组合成一个硬盘组 (逻辑硬盘),实现多个硬盘的读写同步;并通过数据备份,提高磁盘的可靠 性。RAID不但能够充分发挥出多块硬盘的优势,提供远远超出任何一块单独硬 盘的速度和吞吐量;而且RAID提供多个级别的数据备份功能,具有良好的容错 能力,在用户数据一旦发生损坏后,利用备份信息可以恢复损坏的数据,保障 了用户数据的安全性。计算机技术的发展,使得RAI
18、D技术被应用于中低档甚至 个人PC机上,可以通过主板上板载的RAID芯片,直接组建磁盘阵列并同计算 机相连。.机架服务器机架服务器是一种外观按照统一标准设计的服务器,配合机柜统一使用, 以尽可能减少服务器空间的占用。将机架服务器同磁盘阵列相连,集群中的每 个节点具有独立的存储设备与计算资源,能够独立完成计算任务。.高速以太网络利用多网卡技术,实现控制和数据的分离传输。磁盘阵列之间通过高速数 据网络互联,保证大数据量传输的稳定性;控制指令通过高速控制网络传输, 保证控制的实时性。. GPU处理器CPU包含几个专为串行处理而优化的核心,而GPU由数以千计更小、更节能的处理核心组成,这些核心专为提供
19、强劲的大规模的并行性能而设计。通过流程设计,将程序中计算量繁重的并行部分交由GPU处理,以提高程序执行速度。.服务器在上述机架服务器上,利用虚拟机技术,抽象出空间数据查询服务器、空 间数据服务服务器、空间信息计算服务器、WTS服务器、WFS服务器等。上述分布式硬件架构,可通过增加更多节点的方法获取更大的平台存储能 力、更高效的计算能力与服务能力,平台具有较强的可扩展性与伸缩性。硬件配置针对硬件架构建设的需要,进一步设计机房环境、机柜与机架服务器配 置、RAID参数与指标、交换机参数等。1.机房环境表3-1服务器机房环境配置污染物远离腐蚀气体、易燃易爆物;腐蚀气体随着新风吸入机房后会对计算机设
20、备和人员健康造成危害,同时不洁净的空气也会对计算机设备的运行造 成不利影晌,还会对机房内精密空调、新风机等的滤网等造成污染。温度、湿度1.干球温度计:20259(68F77F): 2.相对湿度:40%50%: 3.最大露 点:21 (69. 8T) ; 4.最大变化速度:每小时5c (9下九噪声计算机停机时,机房内的噪声在主机房中心处测试应小于6SdB(A)照度机房在距地0.8m处,照度不应低于3001X,辅助房间照度不低于2001X无线电干扰 场强频率为0.151000MHz时不大于126dB磁场干扰磁场干扰场强不大于800A/m地板振动加计算机停机时,主机房地板表而垂直及水平向的振动加速度
21、值不应大于速值500mm/s电阻主机房地而及工作台面的静电泄漏电阻,应符合现行国家标准GE6650- 1986计算机机房用活动地板技术条件的规定静电主机房内绝缘体的静电电位不应大于1KV2.机柜表3-2KVM 一体机服务器机柜套件基本参数17寸LCD液晶屏幕、键盘及鼠标触控板整合于一个1U的抽拉式控制端 模块内口数:8;带宽:75Hz:支持分辨率:1280 x1024切换方式:0SD屏幕选单、热键、而板按键特点CL5708SlideawayLCDKVMP抽拉式多电脑切换器是一套先进的控制方案, 其可通过一组PS/2或USBKVM控制端(键盘、鼠标及显示器)存取多台服 务器。一台设饴可分别直接管
22、理8台服务器:通过菊链方式另外再串接 31台KVM多电脑切换器,即可从单一控制端管理多达256台服务器;图 腾421;服务器标准机柜:600*1000*2000,前后网孔,带3个以上托 盘;KVM保修3年3.机架服务器表3-3机架服务器的配置参数架构机架式,高度W2U,带快速滑动导轨,带理线架;CPU不低于两颗 E56492. 53GHz, 12MB 缓存,5. 86GT/sQPI, 6C:内存最大可扩展容量不低于8个插槽,当前配置容量不低于32B (4X8GB) 1066MHz,四列 LVRDIMMs;硬盘当前配置不低于2个300GB10KrpmSAS热插拨硬盘,5块2TBNL-SAS盘,
23、不低于6Gbps;工厂定制希捷硬盘,5年硬盘不返还服务,扩展性(必须 满足)最大支持不低于14块硬盘,可选8块硬盘机箱和4块硬盘机箱:RAID 卡配置RAID。、1、5、6、10、50、60,支持热备盘技术,高速缓存H700 不低于512MB:网卡:不低于2个主板集成千兆以太网卡,带故障切换 和负载均衡功能,支持TOE, iSCSI启动:I/OPCI插槽不低于4个,两种Riser卡可选:3XPCIe(x8)+lXStorage或 1XPCIe (xl6)+1X Storage:光驱1个DVD-ROM驱动器:配置服务器导轨;管理1、远程管理卡(必备):远程管理卡,具有单独的管理网口,不依赖主 机
24、操作系统进行远程操作,独立远程管理卡不占用PCI插槽,支持视频 重定向,服务器复位、重新启动、开机/关机,远程虚拟介质(CD/DVD/软 驱/USB存储固态盘),内置128MBFlashMemory可用于紧急的软件诊断, 支持加密连接(SSL),支持Vf lash卡。(必须满足);2、LCD屏幕/主板管理控制器(必须满足)前面板上配备有可编程液晶 屏,可显示默认或定制信息,包括IP地址、服务器名称、金牌支持服务 编号等。如果系统发生故障,该液晶屏上将显示关于故障的具体信息, 主板集成嵌入式管理控制器,可一站式地完成操作系统的部署,包括内 建驱动程序安装、固件更新、硬件配置和问题诊断。不需要辅助
25、光盘, 在内嵌管理器中快速部署驱动、RAID、Firmware:不需要辅助光盘/软 盘,实现快速安装系统:3、管理软件(必须满足)管理控制台支持将IT网络中所有主流品牌基 础架构管理整合到一个控制台上,提供单一视图和单一通用数据源,采 用模块化结构,提供基本的硬件管理,支持资产和安全管理,采用基于 网页的界而,符合行业标准的SSL协议传输加密数据:支持SSL虚拟介 质连接:可与动态目录(ActiveDirectory)集成。电源两个热插拔750W电源,额定功率750W电源;服务5年IT专业支持与关键任务,5年当日4小时(24X7)上门服务(配件+ 人力),人工、配件、交通等任何费用全免:高级软
26、件支持;原厂本地技 术客户经理24X7电话支持,可选硬盘不返还服务:要求提供原厂商正 式服务承诺函:要求必须提供原厂商产品授权证明。4.交换机表3-4交换机的配置参数端口线速非阻塞交换机,48个10/100/1000Base-TX自适应以太网端口, 4个可用的lOOOBase-XSFP千兆以太网端口,支持万兆接口不少于2个;速率交换容量240G,包转发率132Mpps;IP支持虚拟化,支持IPv6,支持IPv4和IPv6的三层路由功能;服务三年原厂7X24X4现场服务。按照xxxxTQJD大数据管理与服务平台的整体设计,大数据平台基于高性能GIS软件的功能体系,对资源引擎、数据引擎、计算引擎和
27、可视化与制图引擎 进行有机组合和封装,构建面向数据/信息流水线生产、数据/信息服务多样化 服务的平台软件体系,并通过服务APIs接口支撑平台的产品生产和解决方案。(1)统一的对外服务接口根据用户请求的类型(资源、数据、计算、地图等),将服务分发到服务集 群相应的服务节点上。图3-3服务总线一统一的对外接口(2)平台安全与权限在请求发送到服务总线时,服务总线查询用户及权限数据库,对请求进行 动作过滤、数据约束等,并将限制后的命令发送到服务集群。图3 - 4服务总线的权限/安全机制基于大数据服务平台的应用需求,平台的软件功能构架如图3-5所示。图3-5软件功能架构资源服务引擎建立在底层硬件的基础上
28、,是对硬件资源的抽象和虚拟化。 其实现对集群系统中硬件资源的管理、调度和监控,如收集各个节点的CPU、 内存容量、磁盘、网络带宽等信息及其实时利用情况,集群中节点的添加、暂 停、配置和移除操作;同时配合数据存储和计算任务的管理,如数据存储位置 的确定、计算资源的分配等;并且支持平台的安全管理和曰志功能,如客户端 用户权限管理、系统曰志查看、针对不同用户的客户端订制等。在大数据服务 云平台中,资源服务是基础实施即服务(G-IaaS)的具体实现,是最底层的云服 务,为上层的数据、计算和可视化服务以及客户端提供基础支撑。数据服务建立在分布式文件系统的基础上,利用MySQL-SE、GDAL/OGR模
29、型、NoSQL数据库和NFS文件系统,实现空间数据存储、管理的抽象和虚拟 化。在数据存储上,采用MySQL-SE存储空间数据的元数据,而空间数据本身按 照既定的存储策略分布式地存储在集群节点上;在数据管理上,数据服务引擎 负责数据的迁移、备份、恢复等;在数据服务上,数据服务引擎支持数据的查 询、查看、导入、导出、删除等操作。在大数据服务云平台中,数据服务引擎 是空间数据即服务(G-DaaS)的具体实现,为计算和可视化服务以及客户端提供 服务支撑。计算服务建立在多层次的异构并行计算环境的基础上,是对空间数据计算 的抽象和虚拟化。计算服务负责计算工具的管理,如RS/GIS工具的注册、卸 载、调用执
30、行以及工具流的组装等;支持计算任务的调度和分配,任务的执行 和监控等。在大数据服务云平台中,计算服务是空间信息软件即服务(G-SaaS) 的具体实现,为可视化服务以及客户端提供服务支撑。可视化与制图服务建立在数据服务和计算服务的基础上,是计算服务针对 空间大数据渲染的特殊应用。从计算实现看,数据可视化是数据计算的具体化 和实例化,具有的数据密集,运算简单而琐碎,实时性较高等特点。大数据服务平台通过APIs对外提供资源管理服务、数据服务、计算服务和 可视化与制图服务,其功能清单和所依赖功能如表3-5所示。表3-5平台功能列表项目功能底层依赖资源服务1.节点的增删/启停:管理引擎集群节点硬件性能检
31、测;节点资源消耗监测:用户与组角色分配与管理:系统日志:数据服务数据的接入/交换/导出;数据的时空属性查询;数据存储的统计分析(时间、空间、存储):数据简单的预处理:数据安全与一致性维护(迁移、备份、恢复):管理引擎 数据引擎计算服务计算工具注册、卸载、调用:计算任务的分发、监控、结果回收;计算任务的重启、迁移、负载均衡:计算流水线的构建与执行:管理引擎 数据引擎 计算引擎可视化与制 图服务创建/删除/配置/发布地图:添加/删除/调整/配置图层;切片/缓存地图;栅格/矢量/DEM图层支持:WMS/WTS标准地图服务:管理引擎 数据引擎 计算引擎制图引擎三维可视化引擎表3-6平台软件环境配置项目
32、软件其他说明1.操作系统WindowsServer2008R2支持x64操作2.空间(元)数据库MySQLServer5. 6+;MySQLWorkbench;3. NETFramework4.0;4.54.文件服务FTPHS的FTP服务5. Web服务IIS的HTTP服务对平台的软件功能进行集成与封装,并开放平台APIs,支持服务平台的门 户网站、解决方案等应用。图3-6平台服务APIs资源服务、数据服务、计算服务和制图服务等的APIs经过服务总线的聚拢 和集成,对外提供统一的服务接口。利用高精度卫星影像制作数字正射影像图需要经过一系列的数据处理过 程,先是对单景进行处理,使每一块影像都有较
33、好的处理效果,然后对整体图 进行拼接与镶嵌。主要生产技术流程为数据准备、控制点选取、正射纠正、配 准、融合、匀色镶嵌。生产技术流程如下:数据准备多光谱影像 全色影像轨道/RPC参数控制资料DEM数据产纠正控制点选取找5知占平圣尊正射纠正正射纠正一一图3-7生产技术流程图由于卫星的姿态、轨道,地球的运动和形状等外部因素及遥感器本身结构 性能和扫描镜的不规则运动、监测器采样延迟、探测器的配置、波段间的配准 失调等内部因素,卫星遥感图像上的像元会出现几何畸变。几何畸变分为系统 性的几何畸变和非系统几何畸变两种,系统性的是有规律并可以预测的,如扫 描畸变等;然而非系统性的几何变形是没有规律的,难以预测
34、,如遥感平台的 高度、经纬度、速度和姿态等的不稳定。几何校正的目的就是要纠正这些系统与非系统因素引起的图像变形,从而 实现与标准图像或者地图的几何整合。图像的几何校正需要根据图像几何变形 的性质、可用的校正数据、图像的应用目的来确定合适的几何纠正方法。有两 种几何校正:一是系统校正,即根据卫星轨道公式将卫星的位置、姿态、规定 及扫描特征作为时间函数加以计算,来确定每条扫描线上像元坐标。但由于遥 感器的位置及姿态的测量值精度不高,其校正图像仍存在几何变形,不能满足 实际应用的需要。用户得到的数据大都经过系统校正。二是几何精校正,即利 用地面控制点和数学模型进行校正,包括两个环节:一是像元坐标的转
35、换,二 是对坐标转换后的像元亮度进行重采样。我们所查询得到卫星原始数据都是已经经过系统几何校正,后续的卫星数 据处理主要集中于非系统校正。自动提取控制点目前,高分卫星影像常用的传统几何校正模型主要有三种:有理函数模 型、精确模型和轨道模型。其中有理函数模型属于近似校正,它不考虑成像的 特性,主要利用多项式等数学方程式直接对影像坐标进行地面坐标转换,校正误差相对较大。但是,由于该模型中有高精度DEM参与,其校正精度明显高于 多项式模型,因此常用有理函数模型进行近似校正;精确模型和轨道模型则属 于严密校正,它们是根据卫星轨道、传感器类型以及拍摄地物所形成的几何条 件,以共线条件方程式推算出成像关系
36、式,然后进行坐标转换,可获得很高的 校正精度。以QuickBird卫星数据为例,有理函数模型采用两个多项式的比值来计算 影像行,用类似的多项式比值计算影像列(5.1)式。每个多项式中都包含了经 度、纬度和高程信息,至少有20个系数。这些多项式系数一般由影像发布机构 计算得出,并和影像数据捆绑一起提供给用户(QuickBird影像数据中*. rpb文 件),这些系数在模型运算时自动导入到正射校正模块中。x=Fl (X, Y, Z) /F2 (X, Y, Z)(5. 1)y=F3(X, Y, Z) /F4 (X, Y, Z)Fn=a0+al?X+a2?Y+a3?Z+a4?X?Y+a5?Y?Z+a6
37、?Z?X+a7?X2+a8?Y2+a9?Z2+al0?X ?Y?Z+all?X?Y2+al2?Y?Z2+al3?Z?X2+al4?X2?Y+al5?Y2?Z+al6?Z2?X+al7?X3+al8 ?Y3+al9?Y3精确模型是运用QuickBird标准影像和预正射标准影像产品的元数据文件 住.imd)中提供了部分卫星轨道参数,并以航测的共线条件(5. 2)式为基础,用 推估方式求解出卫星轨道的相关参数,最后建立起完整的几何转换式对影像进 行校正。Xm/X-Xs=Ym/Y-Ys=Zm/Z-Zs (5. 2)X、Y、Z地面坐标Xs、 Ys、 Zs空中坐标卫星轨道模型是卫星影像几何校正中最严密的一
38、种数学模型。它以航测的 共线条件为基础,利用影像产品所提供的完全轨道参数,建立完整的几何转换 式对影像进行校正,其校正精度可达1个像元,是目前最精确的几何校正方 式。针对测区的自然地貌特点,传统的几何校正模型并不能适用于测区的卫星 影像正射处理,因而测区正射影像纠正主要采用区域网平差方法。区域网平差,又称区域网空中三角测量,就是使用计算的方法,根据影像 上所量测的像点坐标以及少量的地面控制点,求出地面上加密点的大地位置。 传统区域网平差的研究对象主要是同一种传感器获取的影像。区域网平差的主要三种方法:航带法、独立模型法、光束法。控制点残差剔除根据选取的控制点,对测区的全色数据进行区域网联合平差
39、,有选择地剔 除和调整残差较大的控制点。残差是指实际观测值与回归估计值的差。在配准过程中,观测点为参考图 层上的控制点,可以是在参考图层刺点所得点,也可以是通过输入X、Y坐标所 得的控制点。计算点为在配准图层刺点所得控制点,按照某一种配准算法计算 出来的拟合点。X残差是观测点与计算点在X坐标方向上的距离。Y残差是观测点与计算点在Y坐标方向上的距离。对于线性配准和多项式配准,在选择了一定的地面控制点后,都用以下的 公式计算每个地面控制点的均方根误差(RMSerror):式中,x. y为地面控制点在原始图像中的坐标,X,力 是一次或二次多 项式计算出的控制点坐标,即估算坐标。估算坐标和原始坐标之间
40、的差值大小 代表了每个控制点几何纠正的精度。对线性配准和多项式配准,系统都会计算 x, y方向上的和点的均方根误差。通常一个GIS应用都有一个可以接受的总均 方根误差,所以当某些控制点的均方根误差大于可接受的总均方根误差时,可 以通过剔除或修改该控制点,减小总体均方根误差,提高配准精度的目的。在剔除残差的过程中,首先保证控制点分布均匀,控制点密度不能过于稀 疏,同时农区有控制区的控制点尽量不剔除,从而保证农区有控制区域的精度 能够达到项目要求。自动提取连接点在各景控制点满足区域网误差要求的基础上,对影像之间的重叠区域自动 提取同名点,并剔除残差较大的同名点,直至同名点误差满足规定要求,提高 影
41、像接边精度。在此基础上对全色数据进行正射纠正,用双线性插值法重采样 为2米,纠正过程中没有对影像的灰度和反差进行拉伸,没有改变像素位数, 纠正后的正射影像有效数据范围内没有漏洞区。影像重采样几何校正的最后一步是重采样。经变换定位后的像元在图像中分布是不均 匀的,需要建立起图像的新格网,对每个图像按一定的规则进行灰度插值计算 来重新赋值,构成新的图像矩阵,应当看到,重采样对分类精度和图像信息会 产生一定的影响。像元是一个复合信息,也是一种综合亮度信息。虽然对像元 亮度值重采样作为新的校正点的亮度值,像元是被校正了,但其复合信息或综 合亮度系数也有所变化,信息也相应的有所变化。因此,最大限度减少信
42、息变 化就需要正确的选取种采样方法,采样方法较多,常见的重采样方法有三种: 邻近点插值法(NearestNeighbor);双线性插值法(Bilinearlnterpolation); 立方卷积插值法(CubicConvolut ion)。三种方法各有优缺点:邻近点插值法简单易用,计算量小,但处理后得图 像亮度具有不连续性,影响精度。双线性插值法与邻近点法相比、虽然计算量 增加,但是精度明显提高,特别是对亮度不连续现象或线装特征的快转化现象 有明显的改善,但这种方法对图像起到平滑作用,从而使对比度明显的分界线 变得模糊。三次卷积插值法计算量很大,精度也最高,但对控制点选取的均匀 性要求很高,否
43、则达不到很好的结果。多光谱与全色波段影像配准纠正多光谱影像与全色影像配准是影像融合的前提和基础,配准的精度直接影 响最终DOM制作的质量。多光谱影像与全色波段影像的配准纠正以正射纠正好 的全色波段影像为控制基础,利用全色影像的同名点和DEM数据,同样采用全 色影像正射纠正方法,对多光谱数据进行正射纠正。正射纠正后的多光谱数据 与全色数据完全匹配的约占全部景数的70%以上,其余约30%影像配准精度局部 达不到的,采用自动匹配控制点或局部人工增加控制点的方式进行单独纠正, 直至所有景的多光谱与全色影像的同名点量测要求精确到子像素精度。为保证融合效果,纠正后将多光谱影像和全色波段影像进行套合检查,两
44、 景影像之间的配准精度误差不得大于1个像元(多光谱影像上)。图3-8多光谱影像与全色影像配准精度示意影像融合是一个对多遥感器的图像数据和其他信息的处理过程。它按一定 的规则(或算法)对空间或时间上冗余或互补的多源数据进行运算处理,获得比 任何单一数据更精确、更丰富的信息,生成一幅具有新的空间、波谱、时间特 征的合成图像。影像融合从层次上可分为:像元级信息融合、特征级信息融合 和决策级信息融合。像元级信息融合,是指对测量的物理参数的合并,即直接 在采集的原始数据层上进行融合。这是最低级的信息融合,亦称数据级融合, 它包括一维时间序一列数据、焦平面数据。其空间配准的遥感影像数据直接融 合,而后对融
45、合的数据进行特征提取和属性说明。像元级融合的优点是保留了 尽可能多的信息,具有较高精度,缺点是处理信息量大、费时、实时性差。特 征级融合是一种中等水平的融合,在这种框架中先是将各遥感影像数据进行特 征提取,产生特征矢量,而后融合这些特征矢量,采用Bayes决策法、神经网 络法等基于特征级融合法进行处理,做出基于融合特征矢量的属性说明。其优 点是实现了可观的信息压缩,有利于实时处理,并且提供的特征直接与决策分 析相关。因此融合的结果最大限度地给出了决策分析所需要的特征信息,其缺 点是比像元级融合精度差。决策级融合是最高水平的融合,它首先对每一数据 进行属性说明,然后对其结果加以融合,得到目标或环
46、境的融合属性说明。该 融合框架的优点是具有很强的容错性,很好的开放性,处理时间短。由于像元 级融合基于最原始的影像进行融合,能更好地保留影像原有的信息,提供其他 层次融合不能提供的细微信息,被广泛使用,因此本项目也采用像元级融合。对于高分辨率影像而言,Gram-schmidt变换、Pansharp变换两种融合方法较为 常用。Gram-schmidt变换是线性代数和多元统计中常用的方法,类似于PCA变换 法,它可以对矩阵或多维影像进行正交变换,消除多光谱波段之间的相关性。 Gram-schmidt变换与PCA的区别是PCA变换后信息在各主成分之间重新分布, 第一主成分包含的信息量最多,其它主成分
47、的信息含量依次减少;而Gram- schmidt变换后各分量只是正交,各分量所包含的信息量相差不大,这样可以 改进PCA中信息过于集中的问题。Pansharp变换融合方法是基于统计原理的,它利用最小方差技术对参与融 合的波段的灰度值进行最佳匹配并利用此原理调整单个波段的灰度分布以减少 融合结果的颜色偏差,另外还对所有输入波段进行一系列的统计运算并以此来 消除融合结果对数据集的依赖性和提高融合过程的自动化程度。本次项目影像融合数据源是经过正射纠正的数据,多光谱和全色影像二者 之间配准精度误差小于1个像素,融合方法采用Pansharp算法进行影像融合, 融合效果样例如下:(a)融合前多光谱影像(b
48、)融合前全色影像(c)融合影像图3-9融合结果图影像镶嵌技术是遥感数据处理领域的传统问题,也是当前计算机视觉领域 和计算机图形学领域的研究热点之一。微软公司2006年公布的以全景镶嵌技术为核心的Photosynth产品给公众带来了全新的视觉体验。随着新的影像数据的 大量获取,一方面对现有的镶嵌技术的适宜性提出了考验,另一方面为开发新 的镶嵌技术提供了空间。在遥感图像的应用中,当研究区域处于几幅图像的交接处或者研究区域较 大需要多幅图像才能覆盖时,需要对覆盖研究区域的图像进行配准,进而把这 些图像镶嵌起来,以便于更好地统一处理、解译和分析。遥感影像镶嵌是将2 幅或多幅遥感影像拼在一起,构成一幅整
49、体影像的技术过程。实践证明,传统 的手工镶嵌图像不仅在接缝和色调上易出现不一致,还会出现细微的影像错 位。计算机辅助影像数字镶嵌技术能够大大改善镶嵌图像的质量。通常,首先 在相邻影像的重叠区域内选择多个控制点,使两景影像在该部分配准,并利用 这种配准关系对其中的一景影像进行几何重定位和重采样,随后经色调匹配和 拼接线划定,最终完成影像镶嵌。据测算,采用传统方法得到两景TM镶嵌影 像,其内部几何误差达8像素之多(尽管在重叠区域内影像配准良好),已经远 低于影像原来的几何精度。镶嵌过程中的几何错位和色调差异会引起线状和面 状地物变形以及连接上的误导和解译标志的不一致,从而影响遥感图像分析和 解译的
50、质量和可信度,这必然会对后续的应用工作产生不利影响。目前已经形 成很多计算机辅助镶嵌算法,有些算法已经在商业化图像处理软件、数码相机 图像处理模块中广泛应用。光学遥感影像往往是在不同大气条件下、不同卫星 轨道上、不同姿态的传感器获取的地面反射或辐射电磁波的强度数据,一方面 数据更加复杂,另一方面为了满足后续解译和定量反演的要求,相对于普通图 片而言,对几何精度和数据处理速度的要求更高。平台功能方案表 一级功能项1.资源管理计算节点查看计算节点信息 查看查看所有正在使用中的节 点信息单个计算节点 信息查看查看单个计算节点信息的 动态变化可视化服务查 看可视化节点信 息查看查看所有正在使用的可视
51、化节点的信息2.数据管理数据集管理新建数据集新建数据集(定制模板)删除数据集删除指定数据集复制数据集复制相同模板的数据集重命名数据集重新定义数据集的名称数据集元信息 查看查看数据集元信息。数据集空间分 布查看统计数据集内数据的空间 分布。缩放至数据集将地图的可视范围缩放至 数据集所在区域数据集迁移将数据集拖拽至其他数据 集组数据管理数据导入将数据导入到指定数据集数据导出导出指定数据数据边框导出导出指定数据的边框SHP 文件元信息查看查看数据的元信息数据范围查看查看数据在地上的位置范 围缩放到数据将地图可视范围缩放至数 据所在区域数据单景浏览查看单景数据的影像创建金字塔提交数据建立金字塔任务数据
52、冗余修改数据的冗余度,复制 数据至不同的服务器节点数据查询可依据空间、时间等条件 搜索符合要求的数据,支 持高级查询数据列表导入导入由XXXX产品服务网产 生的数据列表,在客户端 中实行各种操作数据任务查看正在进行或最近完成 的数据任务信息3.计算管理工具管理工具集信息查 看查看工具集的信息工具信息查看工具集所包含工具及其信 息的查看任务管理任务提交提交计算任务,可选择单 个任务或者批量任务任务信息查看查看正在进行中的任务信 息及其进度历史任务查看查看本机提交的所有任 务,失败任务可重新提交4.可视化管理地图管理新建地图新建一张地图配置地图进行可视化配图删除地图删除指定地图可视化制图新建瓦片组
53、在地图上新建一个瓦片组删除瓦片组删除指定的瓦片组插入数据在瓦片组中插入指定数据移除数据移除指定的数据图层属性编辑修改指定数据图层的 属性保存地图保存对当前地图的修改发布地图将保存的地图发布到指定 的地图列表(1)桌面应用平台TQJDServerManager提供集群管理、数据管理、计算管理、可视化管理。计算节点信息查看如上图所示:打开管理客户端,进入集群管理界面,其默认状态即为计算节点查看功 能。左侧窗口中树状图就是所有的计算节点列表;右侧窗口上方为所有节 点CPU、内存和网络使用率的动态图,下方为所有节点的详细信息。单个计算节点信息查看如上图所示:鼠标左键单击节点列表中的某个节点,即可查看单
54、个节点的信息。右 侧窗口上方为该节点中CPU、内存和网络使用率的动态变化图,下方为该 节点的详细信息。可视化节点信息查看如上图所示:鼠标左键单击右侧窗口中的可视化服务,即可查看所有可视化服务器的信息。右侧窗口中即为所有可视化服务的详细信息列表。数据集管理新建数据集如上图所示:打开客户端,选择数据管理界面,默认界面右侧窗口即为数据集列表。若 干数据集属于一个数据集组,右键单击任意数据集组,可出现新建功能, 单击新建可选择你所需新建的各种类型的数据集。上左图所示为新建栅格数据集的功能界面,在该界面中填写相关的信息, 定制模板后,单击提交按钮,即可新建数据集。点击新增按钮,弹出上右 图,可在此界面自
55、定义模板信息。其他类型数据集的新建类似栅格数据集 新建。删除、重命名、复制数据集及缩放至数据集如上图所示:右键单击数据集列表中的数据集,即可对该数据集进行删除、复制、 重命名以及缩放数据集功能。注:删除数据集为权限功能,暂不开放。数据集元信息查看如上图所示:数据管理默认界面中右侧窗口即为数据集元信息列表,单击不同数据集可 切换数据集元信息。数据集空间分布点击右侧窗口中的空间分布标签,即可切换至数据集空间分布界面。此功 能主要展示数据集在地图中的分布情况。具体效果见下图。数据查看如上图所示:单击数据查看标签,即可进入数据列表界面,查看指定数据集中所有数据 的列表,并查看各个数据在地图中的位置范围
56、。也可以在此界面对数据进 行各种操作。数据导入如上图所示:在数据集列表中,右键单击数据集,可进行数据导入操作。所点击数据集 即为将要导入数据的数据集。单击自动导入,进入下图所示界面。选择所 需导入的数据文件,以及相应的动态库和方法,点击开始进行导入操作。在客户端应用程序所在文件下的ImportLog文件夹中可查看导入任务的具 体曰志文件。数据导出如上图所示:勾选单击数据列表中的数据,右键单击后,点击数据导出按钮,即可进入 数据导出界面。选择数据存放的路径后,单击开始导出按钮进行导出。(注:必须勾选)导出数据边框如上图所示:勾选单击数据列表中的数据,右键单击后,点击数据边框导出按钮,即可 进入数
57、据边框导出界面。选择数据存放的路径后,单击开始导出按钮进行 导出。(注:必须勾选)创建金字塔如上图所示:勾选单击数据列表中的数据,右键单击后,点击创建金字塔按钮,即可进入重建金字塔界面。点击确定按钮提交金字塔任务。(注:必须勾选)数据冗余数据单景浏览如上图所示:勾选单击数据列表中的数据,右键单击后,点击数据冗余按钮,即可进入 数据冗余界面。选择需冗余节点,点击确定进行冗余操作。(注:必须勾 选)数据查询如上图所示:单击数据列表下方的查询功能按钮,可进入数据查询模式。选择相应的检 索条件后,点击查询进行数据查询操作。基本查询有时间和空间两个检索 条件,时间条件可选择其数据获取时间、数据生产时间后
58、者数据入库时间;空间条件可以通过画框选择、手动输入经纬度或者行政区域选择确定。支持高级查询,可选择更多查询条件。数据列表导入如上图所示:点击数据列表导入按钮,可以将XXXX产品服务网中导出的数据列表xml导 入至客户端,并将数据在数据列表中列出,可对数据进行所有操作。数据任务如上图所示:点击数据任务标签,可以查看正在进行中的或者近期完成的数据任务信 息。数据元信息查看、缩放至数据右键单击数据列表中的数据,单击元信息查看,缩放至数据,可以查看数据的元信息以及具体数据所在位置。工具集、工具信息查看如上图所示:进入工具管理界面,可在左侧窗口中查看所有工具集的列表。单击工具集,可在右侧窗口中查看该工具
59、集信息以及该工具集所包含工具的信息。任务提交如上图所示:如上图所示:任务的提交方式分为两种,简单任务和批量任务。批量任务可同时提交多 个简单任务。单击简单或者批量可以提交任务。任务信息查看如上图所示:点击任务信息标签,可以进入任务信息界面查看当前正在运行中的计算任 务及其进度。左侧为简单任务进度;后侧上方为批量任务总进度,单击批 量任务,可在下方查看批量任务中各个子任务的进度。历史任务信息查看如上图所示:点击历史任务信息标签,可进入历史任务信息界面查看所有本机提交的任 务。右侧为简单任务历史信息,失败任务可以重新提交;右侧上方为批量 任务历史信息,单击批量任务,在下方可以查看批量任务中子任务信
60、息, 失败可以重新提交。可视化管理新建、删除、配置地图如上图所示:界面右侧最下方为地图列表,右键单击地图,即可对地图实施新建、 删除和配置操作。新建瓦片组双击地图列表中的地图,进入制图模式。在可视化制图窗口中,右键单击 地图,可出现新建瓦片组功能,单击新建各种类型的瓦片组。删除瓦片组在制图模式中右键单击瓦片组,选择删除本组,可进行删除瓦片组操作。插入数据在制图模式中,右键单击瓦片组,选择添加数据按钮,可进行数据插入操 作。界面如上图,按确定插入数据。移除数据在制图模式中,右键单击数据,选择移除数据可以进行数据移除操作。图层属性在制图模式中,右键单击数据,选择矢量层或者栅格层属性,可以进入属 性
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 齐齐哈尔大学《教育研究方法》2023-2024学年第一学期期末试卷
- 股权协议 合同范本
- 齐齐哈尔大学《管理定量分析》2022-2023学年第一学期期末试卷
- 装修设计合同范本工装
- 2024届甘肃省临夏市高考模拟调研卷数学试题(二)
- 2024年消防安装工程协议样本详尽
- 房屋买卖交易合同范本
- 苏大成教计算机网络课程完整题目与答案
- 办公场所装修改造协议样本2024
- 2024年《习作他了》课件:写作教学的新篇章
- 钻井地质设计
- (完整版)英语名词单复数练习题带答案
- 国学情景剧剧本
- 煤矿皮带智能化集控系统PPT教学讲授课件
- 分数乘除法整理复习(课堂PPT)
- 杭州会展业发展与对策研究文献综述
- 完整版方法验证报告模板最终
- 电力管道资料表格(共30页)
- 大班科学活动教案《豆豆家族》含PPT课件
- 【精品试卷】部编人教版(统编)一年级上册语文第一单元测试卷含答案
- 金属有机化学ppt课件
评论
0/150
提交评论