全球定位系统数据网格的体系结构

1、全球定位系统数据网格的体系结构、性能和实时的可扩展性摘要：我们描述的实时传感器网格系统，它支持全球定位系统数据的实时消息路由和处理的体系结构。当前系统进程在加利福尼亚州南部和中部从E85电台1赫兹的位置数据。我们的系统是建立一个具有网络功能的计算机，基于主题的发布/订阅系统，并且可扩展到其他数据源。为了确定性能和可伸缩性的上限，我们已经在对我们执行的系统测试进行评估。通过这些测试，我们能够显示，性能不随时间降解，该系统将同步处理多达1000个数据提供者或数据消费者的消息代理，而多个消息中介可以被链接到提供可伸缩性1000以外供应商和消费者。关键字：实时GPS，面向消息的中间设备，发布/订阅的中

2、间设备，网格计算1、介绍实时感应器正在改变我们获取我们环境数据的方式。在传感器技术的最新进展中，例如微电路，纳米技术和低功耗设计允许传感器在各种各样的环境中进行部署。环境监测，空气污染和水的质量的测量，地震事件的检测和理解只有少数地区会发生地壳的长期运动，在这些事件中传感器的部署程度是很容易看到的。广泛使用的传感装置以及能彼此通信的传感器网络的部署，实现较大的传感任务将从根本上改变信息收集和处理。实时GPS数据源在产生巨大数量的数据时，可能会超过传统的系统可以正常操作处理的能力。例如南加利福尼亚集成GPS网络（SCIGN）已部署250持续经营GPS（CGPS）电台在南加州，而为了地球透镜板块边

3、界的观测（PBO）（/），更是安装数百个电台在美国西部。日本的GPS地球观测网络系统或GEONET由1200个GPS监测站阵列覆盖整个国家，平均间距约20公里处。例如，斯克里普斯轨道和永久阵列中心（SOPAC）是在升级SIGN及PBO CGPS站实时操作作为加利福尼亚实时网络（CRTN）一部分的过程。每一次和站位置计算小于第二次延迟上的即时数据被收集。这些网络每年测量能够产生TB量级的数据。表1显示出由CRTN站产生的数据的近似量。从代理服务器最初获得的观测编码称为RYO开放二进制格式。该表显示了相同的观察不同编码尺寸的增加。表1 - 由CRTN

4、生产实时数据的近似量。该站生产二进制数据，这些数据可以被翻译成ASCII和地理标记语言（GML）。传感器的快速普及提出了与传统的计算机网络问题不同的独特挑战。一些研究已经讨论了与传感器设备的各种挑战的技术方面，例如功耗，无线通信问题，自主操作，适应性的环境条件和负载平衡。我们解决我们工作不同邻域的问题：我们描述了一个可扩展的消息接发系统的架构和实现用于处理和传递实时GPS位置的数据流来结束消费者，其可以是应用程序或（通过网络接口）人类。我们相信，我们的体系结构是通用的，并且可以被应用到其它类型的数据。需要处理庞大数据集的应用科学是伴随着计算资源的演化，网络宽带和储存能力在增加。同时，一些应用都

5、被设计成实时数据在运行，以提供近实时的结果。这样的应用诸如危机管理系统和预警系统，因为它们允许当局及时采取行动。地震数据同化是一个很好的例子，因为它们使用来自地震或GPS传感器的资料本组工具。然而，大多数的这些工具目前使用的数据来自数据库而且它们无法获得实时数据由于一些原因。图1 - 总体传感器网格架构。从持久的GPS网络（左下）站的位置被传送到代理服务器，并可以通过TCP / IP连接来获得。这些原始消息由消息代理，它出版的数据流消息代理摄入（使用世贸君澜经纪软件;见正文）。这些消息可以通过各种网络功能的过滤器，其既作为被处理，出版商（消息源）和用户（消息汇）。图1示出了整体的传感器网格架构

6、，其中包含多个过滤器进行处理，变换或聚合数据流。我们用君澜经纪消息系统为过度的电线邮件传输。拿拉达经纪也可以配置成提供服务的附加质量如安全和可靠的传送。这种方法使我们能够在飞行中重新格式化的消息，所以我们可以转换（例如）原RYO格式的源数据到开放地理空间联盟的观察和测量（OM）格式，同时保留原始邮件。用户可在任何时候连接到过滤器链，以获得用于所需的格式所需的站的消息。该架构还可以扩展（在面向对象的程序设计感，使用从碱滤波器类继承）掺入更复杂的过滤器，如数据分析和事件检测应用程序。我们更详细描述这项工作。在我们的系统中的关键概念是消息的主题发布和订阅。正如我们将描述，在我们的系统中“信息”的数据

7、包与可以通过网络连接发送的头信息相结合。一个基于主题的发布/订阅系统就是一个出版商将许多指定主题名称的消息发送到消息代理的一对多网络通信系统的例子。这些消息随后被路由给所有的主题订阅者。因此，对一个特定主题的发布者和订阅不进行直接的网络连接在一起，如在客户端-服务器系统，如Web浏览器和服务器的情况。正如我们讨论的，这种方法使我们能够建立可以单独负责相对简单原子任务发布者和订阅链复杂的应用。发布者和订阅者可以连接到使用许多不同网络协议的中介消息代理，虽然我们在这里描述的系统是使用TCP / IP实施的。本文的其余部分安排如下。第2节介绍斯克里普斯轨道和永久阵列中心的实时GPS网络。我们也更详细

8、地描述了系统架构。第3节是对我们系统测试性能和可扩展性的详细描述。第4节是规定文件总结和确认。2、全球网络定位系统的实时数据实施斯克里普斯轨道和永久阵列中心（南太地科委）维护和运行加利福尼亚实时网络由分布GPS子网络传输具有小于1秒的延迟可公开获得的1赫兹站位置。从GPS站原始数据由Geodetics RTD的Pro / CLP软件套件和瞬时站收集位置计算上的动态。在本节中，我们描述了上述技术的实施。图2显示在南加州的实时GPS子网。三角形表示连续GPS台站（即，基站不是当前在实时访问），而蓝色和红色圆圈代表的实时站（在，该站的数据可以通过网络进行访问，因为它是由传感器测得的）。图2-加州实时

9、GPS网络（CRTN）。注意连续的GPS站（CGPS）被描绘为三角形，而实时站被表示为圆。图像是从南太平洋国家获得GPS Explorer访问/projects/realtime/我们先回顾一下实时GPS网络作为系统中的初始数据源。这在图1中的左下侧表示。实时GPS网络：连续的全球定位系统（GPS）已经在大地测量被用来确定长期的构造变形和静态位移，如间地震，同震和震后变形。GPS站可以长时间运行且不需要经常维护，并且可以使用各种连接类型，如Wi-Fi无线，调制解调器和电话线或光纤线路的数据采集点进行通信。在过去的15年，个人GPS站（古迹）的网络已经沿着

10、活跃的断层线部署，并从这些数据不断被一些组织收集。其中第一个使用GPS地壳形变监测的组织是南加利福尼亚集成GPS网络（SIGN）。作为首次提出实时操作的SIGN，它的数据并没有以15-30 s的采样率进行收集检索和分析，而是以每24小时来慢慢计算随时间变化的层级位置。斯克里普斯轨道和永久阵列中心（南太地科委），一个SIGN合作者，是在升级SIGN和PBO CGPS站实时操作的过程加州实时网络（CRTN）（图2）的一部分，作为一个合作橙色和圣迭戈县和南加州大都会水区。每一次位置计算小于第二延迟的即时数据被收集。实时数据用于地震和结构监测，灾害缓解，以及提供给需要厘米级的实时定位精度土地测量师。对

11、于计算效率而言，南太平洋国家划分成CRTN约10站的实时子网。每个子网提供实时位置数据（小于1秒的延迟）都在高速率操作（1 - 2赫兹）。从GPS传感器的原始测量通过FTP站点连续收集和当地的Geodetics RTD/ CLP软件套件包括RTD的（“实时动态”服务器和CLP（CommLinkProxy）储存，随后提供给公众。在RTD服务器还广播名为RYO开放二进制格式的实时位置。每个RYO消息报告包含那个时代站的位置。从GPS监测站收集的数据各种供应格式如下：RAW和RINEX：用于归档和记录;实时不可用。RTCM: 发布实时性和无记录保存。这是对RTCM功能的GPS接收机领域非常有用。Po

12、sitions: 该站的位置。更新并提供每一秒的位置。 GPS时间序列可以使用这些位置来产生的，并且它们可以是不同的平均时间间隔，如每小时，每天等。也许最有趣的这些格式是地球物理学家在科学计算、模拟或可视化应用程序的使用位置信息。然而，RTD服务器输出名为RYO二进制格式的位置信息。这需要引入另一种复杂性的客户端应用程序，因为这些消息必须从二进制转换为到该客户机可以消费的数据格式。此外，直接从RTD服务器接收站的位置，客户有望打开套接字连接。这种方法的一个明显缺点是广泛的负载当多个客户端连接时，这可能引入到服务器。RTD服务器从点接收原始数据后，它适用于内部过滤器和为每个网络生成一条

13、消息。此消息包含用于从该位置数据已经收集在那个特定瞬间每一个人站位置信息的集合。除了位置信息还有一个其它测量信息，如质量的测量，方差等。传感器网格：我们已经开发出多种网络功能的过滤器的应用程序和Web服务，以提供给科学应用的处理实时位置信息GPS传感器流。这些过滤器使用发布/订阅网络中间件彼此连接。总之，该系统的核心是过滤器链执行格式转换或以其他方式处理源于上述实时网络中的输入数据流。这些过滤器作为两个订户（数据接收器）和出版商（数据源）。拿拉达经纪主题（其类似于计算机的文件系统上的目录和文件名的路径）用于组织不同的网络的数据流源成层次结构如表2所示。目前的过滤器正在被使用，以支持8个网络与维

14、护80的GPS站SOPAC。在我们的架构中，过滤器是小型应用程序，旨在实现简单的任务，如转化或聚集的消息。他们正在使用实现的Java编程语言（如为拿拉达经纪）。他们也可以用其他编程语言开发更复杂的数据分析应用。我们开发了一种抽象滤波器编程接口可以扩展来创建新的过滤器。一个基本的过滤器是由三部分组成：一个拿拉达经纪订户，出版商和数据处理单元。抽象过滤器接口提供用户和出版商的能力。通常的过滤器所预订指定拿拉达经纪主题以接收流信息，处理接收到的数据，并将结果发布到另一主题。然而输出不必总是发布。例如，一个数据库过滤器可能只收到站位置，以插入到数据库持久性归档。此外，过滤器可以并联或串行用于实现更复杂

15、的任务。我们已经开发了第一个过滤器是格式转换器，转换原二进制消息至不同的格式，因为地理信息系统的应用程序需要的地理数据的不同表示。一旦我们收到原始二进制数据，我们立即用空过滤器，也就是一个简单的直通过滤器，不改变该消息。接下来，另一个过滤器，转换二进制消息为ASCII订阅发布给君澜经纪话题这个话题并公布输出消息到另一个话题，这可以继续构建过滤器链。例如，我们已经制定了地理标记语言（GML）模式来描述GPS位置信息。另一个过滤器的应用程序订阅ASCII消息主题和发布位置信息，以不同的主题的GML表示，这种方法使我们能够保持原有数据不变，在不同的串流方式由多个客户端访问的消息格式。我们开发的GML

16、模式是基于丰富的观测类型是GML3观测模型的扩展版本。这种模式支持阵列的观察和观测集合类型，这是在描述地球科学委会的位置信息，因为它们是多个人站位置的集合是有用的。我们遵循强大的命名约定命名的元素，使架构更容易理解到客户端。我们使用数据绑定的目的的Apache XML豆类和创建，读取ASCII位置信息，并生成利用XML豆类生成的代码GML实例的应用程序。SOPAC GML模式和样品情况，请访问：/schemas。在GML模式开发的GPS站消息和一个示例XML输出在附录中给出。GPS站消息和过滤器：如上所述，GPS收集站的消息有几个小节。我们已经开

17、发了多种过滤器，可以简化不是由大多数客户所需要的位置信息的部分转换的消息。图3示出了包括GPS的网络，代理服务器，过滤器和代理整个系统。该ryo2nb滤波器用来使TCP / IP连接到RTD服务器和这些消息（这是在卷烟格式）发布到消息系统。Ryo2ASCII过滤器在整个RYO消息，并且不会过滤掉任何东西。然而一些包括位置信息的信息大多数是不需要客户端。例如，我们已经开发出一种用户界面，以显示在地图上台站的当前位置。对于这种特殊应用，我们只需要站名和它们在纬度和经度的位置。此客户接口我们开发ryo2pos滤波器（图中未示出），该ROY邮件转换为简单的位置信息。以下是从ryo2pos滤波器输出样本

18、信息：在该消息中，我们只包括（按顺序）站名（“LEMA”），日期，时间，纬度，经度和高度值。这个小应用程序是一个有关个别过滤器如何使用南都经纪以实现特定的任务被链接的例子。使用这种方法集成的另一示例应用是RDIMM只要求纬度，经度，和对于给定的站高度值。我们可以很容易地编写一个过滤器，剥去不需要的部分消息并只输出位置信息。下表显示了关于这些实时网络的信息。注意每个服务器地址为几个独立的GPS站点的代理服务器和出版商的位置数据的特定端口号相关联。当数据从代理服务器被导入到传感器网格架构，我们将其与主题相关联。主题构造不仅识别网络名，而且还有数据的格式。下表显示了两个过滤器君澜经纪主题名称：同样，

19、ryo2pos过滤器订阅相应的ROY主题，发布比如说/南太平洋国家/ GPS / CRTN_01/ POS的话题。在这里，我们给一些我们的传感器网格架构开发的过滤器的简要介绍：Ryo2ASCII过滤器：订阅该RYO话题接受二进制消息，将其转换为简单的ASCII格式并发布到另一个话题（即“/ ASCII”）。ASCII HTML过滤器：地理标记语言，可能是由开放地理空间联盟生产的当今最流行的地理数据格式。我们已经开发了GML模式符合了最新的观察和测量（OM）扩展来形容GPS站的消息。该过滤器的ASCII位置信息转换成GML并发布到一个新的话题（即“/ GML”）。我们预计，在不久的将来GIS应用

20、程序将被开发，以符合在GML OGC标准，并提出GPS信息将帮助我们轻松地集成科学应用。ASCII2POS过滤器： RYO消息类型包含了几个附带的物理位置等，如位置，质量和几个可选块子部分。然而，大多数的这些额外信息都不被应用所需要。这个过滤器从ASCII消息中排除可选块和不必要的信息来创建简洁的位置信息仅包括一个时间戳，站ID和位置测量。站位移过滤器：一个GPS台站的使用情况是检测地震活动。我们已经制定了一个简单的过滤器，分析了GPS站的位置信息，并输出它的实时物理位移。该过滤器可以根据不同的时间间隔来计算位移，该站的前一个小时，或在过去24小时内，即实际位移。站健康筛选：处理实时测量值的一

21、个优点是我们可以立即看到，如果任何一个网络中的传感器的未发布的位置信息。我们已开发了这种过滤器以登录站和（可能）警报管理员的停机时间，如果达到阈值。例如它可以是容忍的一个GPS站将下降为由于网络问题几分钟，但如果一台还未超过一个小时发布位置值，可能需要维修呼叫。单站过滤器：从RTD服务器原装进口的消息上面提到的包含多个站的位置信息。然而，一些应用可能需要分析的数据为特定的站。为此，我们开发了此过滤器拉从一个特定站测量。RDAHMM过滤器：RDIMM（为正则确定性退火隐马尔可夫法）是一种数据分析和分类体系。此算法和相关联的过滤器中被广泛描述。在简要中，RDA HMM过滤器可用于分类的实时数据系列

22、的序列，并可以潜在地用于模式变化检测。3、 测试实时GPS数据网格实现在部分程序中，我们所描述的传感器网格架构的执行用于管理GPS数据流。使用基于发布订阅邮件系统和过滤器的Web服务主题建造。在这个应用领域将GPS流通过一系列由南都经纪消息基板连接器提供给用户。我们的系统消耗来自包含80永久站的8 GPS子网的数据和集成加州实时网络数据。该GPS站每秒定期公布一次他们的位置。在最简单的设置系统中包括代理和多个过滤器，所以该系统的性能将主要受中间商性能的影响，因为过滤器将主要部署在不同服务器上。然而，在一些情况下是可以预期的，当大量的过滤器是在同一台服务器运行时，性能就会降低。在系统中的消息收发

23、代理负责从源到订户路由实时流。由于数据是在1Hz的频率连续流动，我们希望消息在不到1秒接收到下一个消息之前交付的，我们不希望任何形式的排队延迟的消息传递。该信息的任何排队时间超过一秒或临时存储将是有害的，因为新的消息将不断到达，队列将继续增长，从而导致交付失败。因此性能测试应侧重于找出实时提供商和单个经纪人可以不引入额外的开销或无响应支持的客户端的最大数量。存在于发布者或订阅者的支持的号码以及最大数据速率的条件限制为代理。3.1测试方法为了测试系统的性能，我们已经创建了由多个滤波器和一个单一的代理的基本设置。在此设置中，我们有三个过滤器：消息转发过滤路由信息的GPS从RTD服务器到君澜经纪服务

24、器，RYO到ASCII转换器和一个简单的客户端过滤器。在正常的操作中，我们连接到SOPAC RTD服务器接收GPS消息。然而，对于性能测试，我们记录24小时的单个网络的原始GPS消息，并使用存储并重放滤波器代替它们。使用存储的值使我们的测试有可重复性。此外，我们将讨论，我们可以利用目前存在的这些模拟更大的网络。我们已经写了两个过滤器，用于记录和重放二进制RYO消息：RYO记录过滤器和RYO发布者过滤器。第一个过滤器订阅到RYO主题，通过保存收到的消息到文件中创建日常GPS记录。它创建午夜后一个新的文件，并将其命名为以反映GPS网络已持有的记录和哪个日期。例如一个名为CRTN_01-09_11_

25、2006-12_00_00_AM.ryo文件的CRTN_01网络日期2006年9月11日，在12:00:00 AM收集第一个样品的RYO记录。在我们的性能测试中，我们使用RYO发布者过滤在这些文件中的二进制信息发布到经纪人的话题。通过这种方式，我们有过滤器，它允许我们，因为我们希望创造尽可能多的GPS网络取代实际的RTD服务器。自卷烟发布者过滤器还提供了能够更改消息的频率。目前实际的RTD服务器在1赫兹的频率，I.S.发布网络消息每秒一个消息被发布为每个网络。通过改变一个滤波器参数，我们可以改变这个频率，因此数据流速。在考虑到在不久的将来将GPS站预计上2HZ频率工作，即，发送它们的位置两次在

26、第二，自卷烟出版商滤波器的这种能力允许我们模拟未来的GPS网络。该系统的整体性能可通过测量几个特性来估计： 该系统连续运行的稳定性; 能够支持多个数据源; 能够支持多个客户端; 端到端发送消息的时间； 能够保持传入消息的顺序；图4示出了用于性能测试系统的基本配置。测试系统由三个滤波器和一个拿拉达经纪服务器。这是最简单的过滤器配置，允许客户端访问可读格式的GPS信息。第一滤波器是RYO出版商，它取代在现实世界的操作中使用与我们的存档数据RTD服务器。发布者过滤器读取每天RYO存档文件和发布GPS位置信息到1Hz的频率经纪人。以ASCII转换器过滤二进制消息转换成ASCII格式和发布到一个新的课题

27、;最后简单过滤器订阅此话题，并接收它们。为了测量平均终端到终端消息的交货时间，我们对如图所示的4个点进行测量：1、 之前的消息由RYO发布者发布。2、 只要是RYO转换成ASCII就被过滤器接收。3、 经过格式转换和正确发布到另一个话题。4、 它是什么时间被简单过滤接收。图4中的结构具有1至4个完整的网络路径，但它也包括RYO与ASCII的转换在3和4之间，因此，为了找到真正的电汇时间，我们需要用总时间减去格式转换花费的时间：Ttransfer = (T2  T1) + (T4  T3) 由于网络延迟，我

28、们还需要进行测试，以确保该消息被以正确的顺序传递。要做到这一点，RYO发布者发送的消息是以递增的顺序标记。它还记录该消息的大小，这可能会影响到传送时间。我们用南都公益经纪内置的事件属性将时间戳和其他信息从一个滤波器传递的到另一个。要做到这一点，RYO发布者需要创建一个具有三个值的字符串，并将其插入MSGSTAMP属性（内置属性）。第一个值是邮件编号，第二号码是消息的字节大小，最后一个值是毫秒的时间戳记。当后续的过滤器接收君澜经纪活动，他们先提取MSGSTAMP属性并追加当前时间戳。这样，所有发布，并在过滤器链订阅操作将被标注在MSGSTAMP属性中。当最终滤波器接收一个消息时，它提取然后字符串

29、追加其时间戳和在用于进一步分析的文件保存它。两个消息印章样本下面给出：为了测量系统的五大特点，如上所述，我们确定了以下测试案例：·该系统连续运行的稳定性;·可以由单个代理支持GPS网络的数目;·可以由单个代理支持的客户端的数目;·主题的数目可以由单个代理的支持。这些测试是在社区网格实验室的Linux服务器上执行。由于这些服务器是开放的网络，并不是专门提供给我们测试使用的，所以我们的测试偶尔会出现延迟。为了消除这些异常值，最后的测量我们需要应用递归的Z滤波器。给出了一些测量的Z过滤器，如果任何特定的值是通过使用其标准偏差值和所有的条目的平均值的离群值认定。

30、对于一个测量（×）表示z-过滤式可表示为： Z_value = abst - average / tstandard_deviation 然后计算出的值与一个截断值比较，它通常设定为2.5。也就是说，我们丢弃值从平均超过2.5个标准差。如果z值大于临界值则它被认为是异常值，并从测量除去该值。3.2测试结果3.2.1系统稳定性测试第一个测试时验证系统性能是时间独立的，特别是不会随着时间而降低。性能下降可能导致螺纹差，插座和目标管理在我们的代码，以及出现问题在Java虚拟机和操作系统中。为了执行这个测试，我们按照图4所

31、示运行24小时系统并且记录定时。在试验结束时，我们首先测量平均消息传送的时间，然后通过将定时成段，我们确定是否连续操作降低了系统的性能。我们也希望以此验证邮件将被传入订单。图5显示了第一个测试的结果。这个测试被运行了24个小时。在图4记录定时中，测试的最后一个过滤器描述了每一个消息每一秒别发布的所有步骤。我们应用一个Z-过滤器以清洁离群值，并计算出每半小时的平均值。图中的每个点对应至1800测量或大致相当于30分钟价值的数据。结果表明，该转移时间大约是超过5.6毫秒，平均的整个范围内是稳定的。整体测试表明连续操作中没有导致系统性能的劣化。3.2.2单个代理能够支持极大数量的GPS网络该系统提供

32、的另一重要特征是能够同时服务于多个出版商，这是用于管理全球定位系统数据流，还有，我们需要同时支持多个GPS网络。对于此测试中，我们保留在图4中所描述的原始配置，并通过添加新RYO中间商增加传感器数据源的数量。因此，我们模拟从多个GPS网络发布消息。本次测试的结果允许我们指定一个单一代理支持真实世界中的应用。图6显示了附加RYO发布者的测试结构，注君澜经纪主题用于连接滤波器彼此。随后，简单过滤从主题2接收ASCII消息。对于这个特殊的测试中，我们再开始新的RYO发布的过滤器。每一个新的发布者过滤器发布二进制数据到一个新的课题。每个发布者发布的相同（测试记录）之前测试中使用的数据。我们连续两天跑这

33、个测试。最初，系统包括的组件如图4中所示，但每30分钟后，我们开始50个新的发布者。我们能够达到发布的最大数量是1000，这是由于可打开的文件的最大数量描述符允许操作系统是1024。在测试结束后，我们移除了异常值结果并且将结果分割为1800段，其大致等于GPS数据流的30分钟。正如图7和图8显示出了消息传递时间总是稳定在5毫秒。我们没有注意到任何意外的增加或减少。这表明，即使在允许券商发行的最大数量，系统支持GPS消息传递是没有任何问题的。我们还证实，试运行期间消息顺序将予以保留。3.2.3单个中间商可以支持用户的最大数量在之前描述的第二次测试中，我们探讨了数据提供方对系统的限制，并发现该消息代理可以支持多达1000个独立的GPS站字段。在本部分描述的第三类测试中，我们从客户端观察系统，并试图找到例如图4描述的基本系统所能支持的客户数量。确定这个限度是非常重要它可以提供给大量客户不间断的实时数据访问。在这些试验中，我们将仅具有一个GPS网发布的数据，并增加简单的过滤器的数量来模拟的实时数据的客户端。这些测试的结果将使我们能够决定什么时候布置一个新的中间商