【毕业学位论文】（Word原稿）基于mongoDB的气象数据三维可视化系统的研究与设计-软件工程

硕士学位论文 （硕士学位） 姓 名 学 号 : 所在院系： 职业类型： 专业领域： 指导教师： 副指导教师： 基于 气象数据三维可视化系统的研究与设计 A in 2014 d n 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文 的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 2014 年 3 月 2 日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本 人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 2014 年 3 月 2 日 同济大学 硕士学位论文 摘要 I 摘要 数据可视化技术是指运用计算机图形学和图像处理技术，将数据转化为图形或图像在屏幕上显示出 来，并进行交互处理的理论、方法和技术，它涉及到计算机图形学、图像处理、计算机辅助设计、计算机视觉及人机交互技术等多个领域。 当前大气探测的手段在不断提高 ,人们获得气象数据的途径越来越多 ,数据量也越来越大 ,如何更加有效地利用这些数据 ,客观地解释这些数据成为人们十分关心的问题。随着计算机图像、图形技术的发展 ,凭借计算机的巨大处理能力 ,科学计算可视化技术能够把巨大数量的数据转换为静态或动态图像或图形呈现在人们的面前 ,为人们分析、理解数据、形成概念和找出规律提供了强有力的手段。因此 ,研究和开发气象可视化系统 ,将观测 及数值预报计算出来的大量气象数据进行有效的处理和三维图形显示 ,使气象预报工作者能够更直观、更深入理解大气演变信息 ,从而 准确地对天气情况作出判断 。 本系统包含两个主要的模块：（一），基于 布式云存储、时空双重索引、时空双向游程压缩的数据管理模块。（二），基于 多线程渲染模块，八叉树支持下的多细节层次管理；多粒度支持下的气象数据自适应调度，气象数据到场景数据的转化，语义映射的气象信息自适应调度。 关键字 ： 气象数据 ,可视化， I is to to or on a to At is to s is to to a of of of to or or to in of a to of of it D be of a to in of of of of on FC of of 同济大学 硕士学位论文 目录 I 目录 第一章 引言 . 1 发背景 . 1 内外研究现状 .统原理 . 2 文结构 .二章 相关技术介绍 . 3 空 R 树索引技术 . 3 本介绍 . 3 要特点 . 3 . 4 介 . 4 性 . 4 . 5 介 . 5 性 . 5 . 6 本介绍 . 6 要特点 . 6 第三章 系统分析与设计 . 7 求分析 . 7 统流程示意图 . 7 据流程图 . 8 细流程示意图 . 8 统数据介绍 . 9 据介绍 . 9 式转换与数据划分 . 9 第四章 模块设计 . 11同济大学 硕士学位论文 目录 染模块 . 11 架结构 . 11 线程与 线程的结合 . 12 据管理模块 . 13 据存储 分布式并行存储 . 13 据索引 树的时空索引 . 14 据压缩 . 15 据调度 . 16 第五章 模块实现 . 18 染模块 . 18 视化场景的建立与渲染 . 18 据管理模块 . 22 据元组结构设计 . 23 空 R 树索引设计 . 25 第六章 应用程序设计 . 29 叉树结点设计 . 29 叉树子结点的重要信息 . 29 叉树结点的设计 . 30 景中渲染结点的结构体设计 . 30 个重要类的介绍 . 31 染模块顺序图 . 34 建渲染文件过程 . 34 用程序获取渲染文件过程 . 34 分代码 . 35 分相关结构体 . 35 叉树部分代码 . 36 件管理类部分代码 . 38 第七 章 实验结果 . 50 基元”纹理 . 50 验数据 . 50 同济大学 硕士学位论文 目录 验效果 . 50 染模块测试结果 . 50 据管理模块测试结果 . 51 第八章总结与展望 . 54 第九章 参考文献 . 55 第一章 引言 1 第一章 引言 发背景 科学计算可视化是计算机图形学研究的热点领域之一，可视化技术极大地提高了数据处理的速度和处理的质量推进了科学计算工具和研究环境的进一步现代化，从而使科学研究的面貌发生了根本的变化。气象预报关系到亿万人民的生活、国民经济持续发展，国家安全，对灾害天气的预报和预防将会大大减少人民生命财产的损失。气象预报的准确性来自于气象数据的准确获取，以及对数据的处理与分析，而气象预报业务锁固有的及时性需求使 得气象工作者必须在短时间内从海量的气象数据库中获取有价值的信息，将可视化技术用于气象领域，使得原来复杂，晦涩难懂的气象数据转化为直观的二维和三维的图像，极大地帮助了气象工作者分析气象数据和在短时间内做出准确的判断，因此面向气象数据的可视化技术具有极大的研究价值。 云是自然界中常见的景观，在计算机技术日益成熟的今天，云的计算机模拟已经成为可能并已广泛的引用到各种领域中，如影视特效、游戏场景、气象预报等。作为自然界中做常见的现象，云的模拟在涉及到自然场景的游戏中已不可或缺；对于影视剧的情节需要生产各种满足艺术家 要求的云也是非常实用并且有效的；在虚拟战场环境中，云的模拟有利于天气信息的视觉直观表达。 内外研究现状 三维云的计算机模拟的研究取得了长足的进展。不同的基元被用于云的建模工作中。 和 采用了基于椭球体对云建模的方法，所不同的是，用的不规格的碎片纹理映射到椭球表面的方法模拟云的细节，而 和 人提出了一种使用“元球”创建人造云的方法，通过利用 速很好的实现了云的实时模拟 16。 人提出给予元细胞自动机的模拟方法对云进行模拟8101318，他们提出的方法实现了对云图的三维建模 14，此外，他们提出了全球级云的建模方法较好的完成了交互式云密度的生成 11。 2 等人提出了 法对云形成的物理过程进行了近似模拟，能够根据一定的大气参数设置生成不同类型的云。这为本文的研究工作找到了切合点，本文对气象数据进行了分析，但不同的是，采用粒子系统系统方式实现云的可视化，这里我们把粒子成为“基元”，给“基元”设置不同的纹理，并改变“ 基元”的位置和尺同济大学 硕士 学位论文 基于 气象数据三维可视化系统的研究与设计 2 寸等，然后对其进行渲染。 统原理 该系统利用 断接入传感器传送的数据（空气湿度），结合时空 带的索引查询目标时间段目标区域数据，最后通过象地描绘出目标区域的气象数据。 本实验也是基于“基元”的基本思想，但是不同的是，“基元”是不同形状的二维面片。根据原始的气象数据（大气中某区域的水分密度），组合这些不同的“基元” ,并给它们绑定不同的纹理，通过改变纹理的属性参数和“基元”的位置，大小等，以模拟现实世界中的云。 该系统主 要围绕两个模块设计：（一）：采用分布式存储，基于时空 R 树管理的数据管理模块。采用 布式管理的云存储 123，时空双重索引，时空双向游程数据压缩，（二）：基于 多线程渲染模块。气象数据到场景数据的转化；八叉树 17支持下的多细节层次管理；多粒度支持下的气象数据自适应调度 ,语义映射的气象信息自适应可视化。 文结构 本文总共分为十个章节，第一节引言，介绍了国内外关于云的渲染的研究背景，介绍了几种研究方式，同时提出了自己的研究方式，阐述了系统的 工作原理。第二章基本介绍了系统所用的相关技术，第三章集中介绍了该系统的分析与设计，介绍了系统相关类图和工作流程示意图，同时对系统的数据做了进一步说明。第四章，模块设计，描述个各个模块的设计，及相关的技术。第五章，模块实现，对第四章的内容做进一步设计，类图，活动图等。第六章，应用程序设计，系统开发中每个模块的设计，对每个模块的编程做详细介绍。第七章，实验结果分析。展示实验环境，分析实验数据，得出结论。第八章，总结与展望未来，总结结论，并对该气象数据可视化的前景做出推论。第九章，参考文献介绍。 第二章 相关技术介绍 3 第二章 相关技术介绍 空 R 树索引技术 本介绍 时空 R 树 69是一种与 B 树 15类似的高度平衡树。这种索引是动态的，不需要定期重建。索引记录（ 存在叶节点中。 时空 R 树的结点分为叶结点和中间结点。叶结点存储存储一些了元组的物理位置，每个元组代表某个对象在某个时刻、某个位置的属性，并且每个元组都有一个唯一的标示符，标示符用于检索。每个叶结点同时还记录有一个唯一的标示符，用于结点的检索。中间结点存储下层结点的时空范围，根结点则存储整棵时空 R 树的时空范围 。 图 空 R 树索引结构描述示意图 要特点 时空索引的主要特点：时空高效查询。对任何带有时间和空间属性的记录，从时间维和空间维同时构建索引，不同于普通方式的一维或者多维的索引。 大规模时空数据的管理。在索引结构中，叶结点存储一系列时空元组数据，中间结点存储下层结点的时空范围和结点标示符，时空 R 树是一种与 B 树类似的高度平衡树。大幅度增加元组数据，不会导致索引结构的复杂度增高，同时索引结构的结点的数目不会随着元组数据的大幅度插入而急剧上升。 同济大学 硕士 学位论文 基于 气象数据三维可视 化系统的研究与设计 4 简介 一款高性能的 3D 图形开发库。广泛应用在可视化仿真、游戏、虚拟现实、高端技术研发以及建模等领域。使用标准的 C+和 分利用 设计模式，发挥开源开发模型的优势来提供一个免费的开发库，并且重点集中在用户的需求上 ,可以运行在 列、 及 作系统。 性 它完全是由标准 C+程序和 的，充分利用 设计模式，发挥开源开发模型 的优势来提供一个免费的开发库，并且重点集中在用户的需求上。随着使用一个全特性的场景图 关键优势在于它的性能、可扩展性、可移植性和可快速开发。 性能 :支持视图投影剔除（ ，隐藏面剔除（ 小特性剔除（ 细节层次节点（ ，状态排序 (顶点 数组 ，顶点缓冲对象（ 色语言和 显示列表（ 以上所列都是场景图内核的一部分。 快速开发 :场景图的内核封装了包括最新扩展的大部分 能，提供诸如剔除和排序的渲染优化功能，同样提供能快速开发高性能图形应用程序的一整套补充库。应用程序开发者可以更关心实质性内容和如何操控这些它们，而不再是底层的代码 数据装载：为了读入 和写出数据库，有一个数据库的支持库（ 加了通过后缀名动态 插件 机制，从而支持大量数据格式，目前的发布版本有 55种单独的插件支持 3D 数据和 图像格式 的装载。 节点工具箱：这个场景图同样有一套节点工具集，它们是可以在你的应用程序中编译或者在运行时装载的独立库，它们增加支持 粒子系统 （ 高质量 抗锯齿 文本（ 特效框架结构（ 阴影框架结构 (交互控制（ ，与 虚拟仿真 相关的效果（ 。 可移植性：场景图的内核已经被设计成尽量少的依赖具体的平台，很少的部分 超出了标准 C+程序和 就使得这个场景图可以快速移植到大部分系统中。 第二章 相关技术介绍 5 简介 写 个定义了一个跨编程语言、跨平台的编程接口的规格，它用于三维图象（二维的亦可）。 个专业的图形程序接口，是一个功能强大，调用方便的底层图形库 . 性 一个开放的三维图形软件包，它独立于窗口系统和操作系统，以它为基础开发的应用程序可以十分方便地在各种平台间移植； 以与+紧密接口，便于实现机械手的有关计算和图形算法，可保证算法的正确性和可靠性； 用简便，效率高。它具有七大功能： 建模： 形库除了提供基本的点、线、多边形的绘制函数外，还提供了复杂的三维物体（球、锥、多面体、茶壶等）以及复杂曲线和曲面绘制函数。 变换： 形库的变换包括基本变换和投影变换。基本变换有平移、旋转、变比镜像四种变换，投影变换有平行投影（又称正射投影）和透视投 影两种变换。其变换方法有利于减少算法的运行时间，提高三维图形的显示速度。 颜色模式设置 ： 色模式有两种，即 式和颜色索引（ 光照和材质设置： 有辐射光（ 环境光（ 漫反射光（ 镜面光（ 材质是用光反射率来表示。场景（ 物体最终反映到人眼的颜色是光的红绿蓝分量与材质红绿蓝分量的反射率相乘后形成的颜色。 纹理映射（ 利用 理映射功能可以十分逼真地表达物体表面细节。 位图 显示和图象增强图象功能除了基本的拷贝和像素读写外，还提供融合（ 反走样（ 雾（ 特殊图象效果处理。以上三条可使被仿真物更具真实感，增强图形显示的效果。 双缓存动画（ 缓存即前台缓存和后台缓存，简言之，后台缓存计算场景、生成画面，前台缓存显示后台缓存已画好的画面。 此外，利用 能实现深度暗示（ 运动模糊（ 特殊效果。从而实现了消隐算法。 同济大学 硕士 学位论文 基于 气象数据三维可视化系统的研究与设计 6 基本介绍 布式文档存储数据库，由 C+语言编写，旨在为 用提供可扩展的高性能数据存储解决方案 1。 一个基于分布式文件存储的数据库。 一个介于 关系数据库 和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构 非常松散，是类似 式，因此可以存储比较复杂的数据类型 2。 大的特点是支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立 索引 。 务端可运行在 台，支持 32 位和 64位应用，默认端口为 27017。推荐运行在 64 位平台，因为 32 位模式运 行时支持的最大文件尺寸为 2。 要特点 面向集合存储，易存储对象类型的数据。模式自由。支持动态查询。支持完全索引，包含内部对象。支持查询。支持复制和故障恢复。使用高效的二进制数据存储，包括大型对象（如视频等）。自动处理碎片，以支持云计算层次的扩展性。支持 C+， C#等多种语言。文件存储格式为 种 扩展）。可通过网络访问。 第三章 系统分析与设计 7 第三章 系统分析与设计 求分析 为了实时模拟气象数据，该系统需要如下几个模块：存储模块：持续接入大气传感器传送的数据；索引模块：查询目标区域的大气数据（无论分时间段或者地理区域）；渲染模块：利用三维技术形象描绘出该目标区域的大气信息（本系统为目标区域中的水分含量）。 统流程示意图 图 统流程示意图 气象传感器不断监测大气数据，同时将监测结果发生到临时数据库中，通过对临时数据库中的监测数据建立索引，构成索引数据库，模拟终端通过查询请求获取目标矩形时空范围内的大气数据进行渲染，模拟大气信息。 图 的临时数据库用于临时存储大气传感器传送的气象数据，因为每个传感器被安放在固定的位置，每个时刻传感器发送的数据必须包括时刻属性、传感器的位置属性。时空 R 树技术根据这两个关键数据对传感器数据进行构建索引。时空数据库存储构建好索引的大气数据。模拟终端用于模拟大气信息（发送目标矩形时空区 域，获取该时空区域的大气信息，气象模拟）。 同济大学 硕士 学位论文 基于 气象数据三维可视化系统的研究与设计 8 据流程图 图 据流程图 气象传感器不断向临时数据库发送状态数据，当临时数据库中的临时数据表存储到一定的规模后，将该临时表中的状态数据进行时空 R 树索引构建，同时将索引数据存在时空数据库中。模拟终端想时空数据库发送查询请求，通过时空R 树索引获取目标气象数据，形成渲染文件，在模拟终端上渲染，以模拟目标区域的大气信息，提供研究。 细流程示意图 图 统详细流程示意图 系统整体分为 系统分为如下几个重要模块 ,数据管理模块 ：主要的功能是对于大批量的数据进行管理，以达到高效存储的效果，这是传感器大气信息数据的最初处理。数据处理模块：将获取的目标数据进行优化处理，然后形成场景的渲染文件。数据渲染模块：将渲染文件转化为场景结点，整合到场景中去，然后高效渲染这些数据。 第三章 系统分析与设计 9 统数据介绍 在本系统中，首先将传感器发送的数据进行数据预处理工作，将一个大的数据块分为几个小的数据块，每个小的数据块作为一条记录存在在时空索引数据中，并对这小的数据块进行索引构建。 据介绍 传感器数据空间分布格式： 100 100 100（ M） ，即三维空间内每隔 100 米记录着该点的大气信息。这里指大气中水分的含量。传感器数据分布格式： 502 501 59(U,V),501*501*60（ W）。 图 据介绍示意图 首先按照 X 轴上分布，箭头的指向为分布方向，然后再以 Y 轴层叠，果超过了 502 502 的数据则像 1、 2、 3 分布一样以 Z 轴层叠。 式转换与数据划分 为了能够内存中的快速索引，需将 档的内容提取然后转换成二进制数据，转换的二进制数据类型为 型，占用 4 个字节，文件的大小为 502 501 59。如 果将文件作为一个整体存储，第一数据量大，第二数据跨越区域大，不利于自适应调度。索引我们将整体数据划分为 64*64*64 的若干个数据小块。每个数据小块作为一条 储的记录进行存储、时空索引的元组数据进行构建索引。 如何对数据小块进行时空索引的构建？传感器数据中不仅包含了某个区域同济大学 硕士 学位论文 基于 气象数据三维可视化系统的研究与设计 10 的大气信息数据，同时记录了该数据集合的采集位置。如图 示的 位置。在将整个数据大块划分为 64*64*64 的小块时，同样需要计算每个数据小块集合的起始位置。设数据小块的起始位置为（ x,y,z） ,则数据小块的整体空 间为（ x+64*100,y+64*100,z+64*100）。该时空区域和采集时刻组成该数据小块的时空索引项。 第 4 章 模块设计 11 第四章 模块设计 染模块 该模块主要负责场景的渲染工作，比如场景摄像机的构建，场景构建，场景裁剪，场景渲染，时间响应等。 架结构 在渲染模块中，最重要的视景器 (如下图所示： 图 染框架结构图 如图 包括： (1)用于实现交互式场景漫游的漫游器。 (2)事件处理器组 _责处理视景器 的事件队列 _要是键盘 /鼠标的事件的处理。 同济大学 硕士 学位论文 基于 气象数据三维可视化系统的研究与设计 12 (3)场景 _包括视景器锁对应的场景图形根节点，以及用于提高节点和图像数据处理速度的两个分页数据库（线程实现）。 (4)摄像机 _ _为场景的主摄像机，后为从摄像机组，不过 没有规定一定要使用主摄像机来现实场景，它的更重要的作用是为 界矩阵的计算提供依据。 摄像机是 图显示的核心器件，没有摄像机就没有办法将场景图形的实景展现给用户，它包括： (1)视口（ 示了摄像机 的显示窗口的位置和尺寸。 (2)图形上下文（ ,通常也就是图形相关的图形显示窗口（ 于 统而言，他实际上是通过 个熟悉的 创建的），不过也可能是离屏渲染设备（例如 . 图形窗口的另外一个任务就是及时把系统和用户交互产生的事件反馈到事件处理器组去。 渲染器 (多的时候是： 这是这个选（ 绘制（ 关键。 此外， 显示设置工具 会直接对摄像机的处理工作负责，大部分的设置都可以传递到摄像机对应的窗口特性（ ，并在渲染过程中发挥作用。 的事件处理机制与 息处理紧密联系，首先获取仿真环境中所有的（ 形窗口，然后通过 数通知窗口执行消息回调函数，将消息添加到 _息队列中， 取交互的事件，并交给 理事件。 图 真环境与 间消息传递示意图 线程与 线程的结合 结合主要是在 应的视图类中