多源异构气象区域站数据集成技术研究

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 多源异构气象区域站数据集成技术 研究 摘要：针对大量多源异构气象区 域自动站数据在集成、监控方面的困难， 结合区域自动站数据特征，建立数据映 射关系、基于 Wabacus 开源框架、 Java、数据库等技术，开发了一套“多源 异构气象区域站数据集成系统”。实现 了多源异构区域站数据在监控平台上的 无缝集成，为多源异构区域站数据集成 方法提供了新的思路，有效解决了多源 异构数据难以在同一平台上进行统一监 控的问题。该项技术研究成果应用于 “福建省气象区域站数据集中监控系统” 中，取得了较好的效果。 中国论文网 /8/view-12937082.htm -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 关键词：气象区域站；多源异构； 数据集成；Wabacus 中图分类号：P208；TP338.6 文 献标识码：A 文章编号： 1007- 9416（2017）04-0064-03 1 前言 随着现代气象综合观测业务的快 速发展，全省综合观测种类众多。存在 每个观测项目均使用独立的中心站软件 收集数据的问题。由于引进的设备厂商 和仪器型号参差不齐，因而获取到的区 域自动站数据结构也各不相同，又都部 署在不同的服务器上，所采用的数据库 也不统一1，导致各个中心站的数据相 互独立，难以兼容，这些多源异构的数 据构成一个复杂而且庞大的数据源，监 控人员只能在每个中心站软件中进行实 时的监控2 ，3 ，无法在同一个平台中 对区域站数据进行统一的监控和管理， 很大程度上增加了数据监控压力。因为 中心站软件都部署在省级信息中心，给 市县级台站信息保障人员日常维护管理 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 也造成了不小的困扰，市县级信保人员 无法及时掌握区域站在线状态和数据要 素是否异常等状态，特别在现场维修时 需要多次通过电话询问省级值班员，降 低了工作效率，也增加了省级值班员工 作压力。因此，多源异构气象区域站数 据如何实时、快速有效的集成成为一个 急需解决的问题。 2 区域站数据特征分析 福建省区域自动站目前总共部署 了 2000 多个站，每个区域站都上传整 点数据和分钟数据，从宏观上看，区域 站数据具有“ 多源” 、 “异构”、 “量大” 等特 征4。 2.1 多源 多源，指的是多个数据源。福建 省区域站设备型号很多（如 ZQZ_A、ZQZ_B 、WUSH- RG、DZZ4 、CAWS600、HYA-M 等） ， 参差不齐，多由不同的厂商提供，使用 的中心站软件也不同，因而得到的数据 都分散在不同的数据库中5，而且数据 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 库类型也不一样（如 MySQL，SqlServer，Oracle） ，这就导 致了区域站数据的多源性。想要集成这 些数据，必须对各类型的数据库开发相 应的访问接口。 2.2 异构 异构，指的是数据库结构不统一。 由于缺乏行业数据规范，数据库结构多 由各个厂商自行定义，加上软件开发人 员的水平和对气象监测领域的不熟悉， 使得设计出来的数据库库表结构、数据 类型都不一样，给数据集成带来了很大 的困难。 3 系统关键技术 3.1 Web 网页监控 Web 网页监控利用 Wabacus 开源 框架、Jsp 网页和 Java 技g。Wabacus 框架是一个 JAVA 开发框架，而不是纯 客户端框架，可以完成 SSH 框架的功 能，它可以与任意框架（比如 SSH 框 架）在同一项目中共存，采用面向声明 的编程思想，极少编辑就可以实现复杂 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 的数据展示、数据编辑、表单等功能。 它支持热部署，高灵活性，高扩展性， 支持 IE、Firefox、Chrome、Opera 等多 种浏览器。 3.2 多数据库支持 Wabacus 框架支持 Oracle、 SqlServer、MySql、DB2 数据 库多个类型的数据库。通过标签，可配 置多个数据源，每个数据源配置一个子 标签。 3.3 异构数据处理 对于异构数据的集成，需要把不 同数据库（或者相同数据库）中不同表 结构的数据提取出来，再插入到新建的 总表中。由于存在表列名定义和列数量 不同，为此，我们需要建立一个数据映 射关系来统一数据结构。结合气象区域 站数据的特征，在监控服务器上建立了 一个总表，总表由所有区域站数据要素 来定义。这个插入过程由系统后台服务 定时完成。 3.4 定时采集服务 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 在后台设计 JAVA 定时器，定时 收集多个中心站数据库里的区域自动站 数据。区域自动站仪器不断上传采集到 的数据，要求入库系统必须稳定运行， 一旦停止运行或者出现故障，肯定会导 致监控数据的延迟、丢失，出现误告警 的情况。因此，我们对这个服务进行 “升级”，即使服务挂掉，也能通过网页 告警方式通知值班员，处理方式也很简 单，启动服务就可以自动补调丢失的数 据。 4 系统实现 4.1 总体架构 多源异构气象区域站数据集成系 统是基于面向服务的架构体系，使用 Wabacus 开源框架，Java 技术，JSP 网 页技术，结合多种数据库开发技术开发 完成的。采用 MVC 三层架构、数据映 射、转换等技术设计开发中间件，不需 要更改原始的数据格式或者存储，只需 要修改相应的配置文件就可以实现数据 集成。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 4.2 系统设计流程 多源异构气象区域站数据集成系 统设计流程如图 1 所示，通过 Java 定时 任务对多个数据源数据进行提取，得到 的数据经过中间件进行数据的映射转换 操作，得到统一的数据格式的结果集， 最后由入库程序进行入库操作。 系统的核心部分是中间件的设计， 中间件的作用是起到统一数据格式的作 用。向上为多源数据库提供数据标准和 接口，向下为集成平台数据库提供统一 格式的数据，从而完成多源异构数据的 集成。各数据源独立运行，互不干扰， 中间件只负责数据格式的转换。 中间件从定时采集程序获得原始 数据，并不能直接进行入库操作，必须 对数据格式进行转换。如果源数据表和 目标表结构相同，则中间件不处理，直 接转到结果集；如果源数据表和目标表 的字段名不同，则需要对字段名进行映 射，映射的方法是利用 SQL 语句对结 果集进行字段的映射。 Web 网 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 页监控利用 Wabacus 开源框架、Jsp 网 页和 Java 技术，实现全省区域站数据监 控，网页具有定时刷新，报表导出，收 报率统计，声音告警等各种功能。由于 区域站要素的不同，不可能用一张 XML 网页模版去显示每个站的要素， 因此需要配置站点对应的 XML 网页6。 数据库端设计遵循 SQL 语言规 范，利用 SQL 语句优化技术（比如建 立存储过程和数据库表索引等） ，快速 查询各中心站数据库信息。 4.3 系统功能 该项技术研究成果应用于福建省 气象区域站数据集中监控系统，系统首 页如图 2 所示。首页是将福建省全省的 区域站按照分地市监控起来了，页面定 时 2 分钟自动刷新，当某个地市的区域 站在线率小于 85%（阈值可根据需要设 置）时，页面就会通过声音、滚屏等方 式对故障地区进行告警，省一级值班人 员就可以快速响应处理，从而提升数据 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 的时效性。 以福州地区为例，市级监控首页 如图 3 所示。市级关心的是本市区域站 的运行情况，因此这里把该地区所有的 区域站都集中在一个页面上监控，页面 也是定时 2 分钟自动刷新。当有站点故 障没数据时，系统会对故障点进行滚屏 和声音告警，提醒市级值班员处理。要 是某些站点的确故障了，一时恢复不过 来，可以将站点监控状态设为故障，这 样系统就不会对故障站点进行报警了。 5 结语 随着现代气象综合观测业务的快 速发展，全省综合观测种类越来越多， 必须对多个数据源的数据进行无缝集成， 实现数据监控统一化。福建省区域站数 据集中监控系统已投入运行半年多时间， 运行稳定，为业展芾砣嗽薄 屑缎疟 行囊约疤救嗽碧峁凳比省区域 自动站数据监控，包括站点的在线状态、 最新到报时间、在线率和收报率统计等， 并具备监控报警功能，不