一种适用于智能船舶的分布式数据网络平台

一种适用玮能船舶的分布式数据网络平台钟伟;陆锦辉【摘要】研究并构建一种智能船舶系统分布式数据网络的整体架构.从智能船舶对数据存储和利用方面的需求出发，探讨分布式数据库在船舶网络平台中的应用，并对船舶数据预处理的应用进行论述.该平台能为船舶智能管理和和应用提供有力的数据支撑.【期刊名称】《上海船舶运输科学研究所学报》【年(卷)，期】2018(041)004【总页数】5页(P30-33,65)【关键词】智能船舶;网络平台;分布式数据库;数据预处理【作者】钟伟;陆锦辉【作者单位】海军驻上海七一所军事代表室，上海201108;上海船舶运输科学研究所，上海200135【正文语种】中文【中图分类】U675.790引言随着智能船舶系统的功能日趋多样化、复杂化，船舶数据呈现出海量、高维的特点，使得传统的船舶数据网络管理平台已不能满足现代船舶的应用需求。此外，网络化、精细化和智能化的管理已成为海上运输业赖以生存和发展的必备条件，而这种发展趋势的基础和关键是对船舶数据的合理管理与运用，进而推动船舶数据管理模式的不断发展创新。本文提出一种适用于智能船舶的分布式数据网络管理平台，结合智能船舶系统固有的特点和船舶应用需求的多样性，为船舶数据获取、处理和分析建立良好的平台，大大提高船舶数据的管理效率。1智能船舶分布式数据网络平台架构船舶数据信息具有异构性和多源性，包括船位、航速、航向、风向、风速、水深、舵角指令、主机工作状态、主机报警、货物的温度和湿度等。这些数据信息对应于船上的全球定位系统（GlobalPositioningSystem,GPS）、陀螺罗经、计程仪、测深仪、主机监控系统和冷藏集装箱传感器等设备。这些设备的型号和接口种类繁多，给数据采集带来很大困难。此外，对于必须获取的主机状态参数和报警信息及与货物有关的信息，不同船舶的信号数量和信号类型差别很大，且存在空间距离大、通信距离远、信号点多和电缆数量多等问题。由此，为有效解决上述问题，对智能船舶分布式数据网络平台进行研究。智能船舶分布式数据网络平台集数据采集、融合、分析和远程传输于一体，通过对采集的数据进行分析，实现船舶的智能网络平台管理、智能能效管理、智能航行管理和智能机舱管理等综合性管理。智能船舶分布式数据网络平台采用三层四级结构，从数据的角度可分为数据采集、数据传输、数据存储和数据应用等4部分（见图1）。图1智能船舶分布式数据网络平台整体架构数据采集主要利用传感器技术、无线接入技术、嵌入式数据采集模块和视频监控设备等对船舶系统进行全方位的数据采集，具体的采集对象和内容包括船舶航行参数（船舶位置信息、航速、航迹、风速、风向、操舵命令和回应、回声测探等）、机舱监控信息（主机系统、燃油系统、滑油系统、冷却水系统、排气系统、空气系统、舵机系统、锚机系统、锅炉系统和副机系统等）、船舶当前所处的环境信息（台风路径、海况等）及冷藏集装箱温度信息、视频监控信息等。以机舱为例，船舶机舱作为船舶系统设备最集中的部分，对其数据进行采集和处理是一项相对繁重的工作，往往需同时处理上千个来自机舱各传感器的数字信号、模拟信号和频率信号等，并对其进行报警和发出相应的控制指令。该平台通过数据接口,直接从智能机舱管理应用中获取机舱监测数据，并以标准的格式输出，存储到数据库中。对于智能航行，传感器将气象数据转换成数据采集器所需的数字信号，以便进行测量。数据采集模块通过总线挂接各种功能板来采集和处理分散配置的各传感器信号，经过处理的数据用有线的方式传输至数据库。船端各设备之间的数据传输和各服务器之间的数据传输主要通过有线和无线局域网的方式实现；船舶近岸时采用无线局域网、无线电和3G/4G接入互联网等方式通信；远洋船舶与岸基主要依靠海事卫星通信系统通信，经过船端应用服务器的分析和处理，将数据包通过Web服务器、船舶海事卫星通信设备和海事通信卫星发送到卫星地面站，由卫星地面站中转，经Internet传输到岸端数据网络平台。为提高船舶数据的存储容量和安全性，该数据网络平台建立有分布式数据库，船舶各系统数据被采集之后经数据传输网络存储到各存储节点，进行合理的数据备份和数据预处理。为提高数据的利用效率，对各存储节点进行原始数据的合理保留及对预处理后的数据进行分层，在基础应用层存储基础应用（如机舱设备故障检测等）数据模型所需的数据，在高级应用层存储高级应用（如船舶调度等）数据模型所需的数据。数据应用主要分为船端应用和公司端应用2部分，其中船端利用感知层采集的信息，经过网络层传输，可开展对船舶航行和货物监测管理相关的应用。公司端应用可分为二级公司和总公司2部分，其中：各二级公司通过网络层接收船端传输的信息，开展船舶动态监控和调度、货物监控、应急处置、远程医疗及船舶油耗管理等操作层面的应用；集团总公司系统除了可实现二级公司的功能之外，还可开展综合分析和辅助决策等宏观管理应用。对于智能船舶分布式数据网络管理平台，数据存储是至关重要的环节，数据存储的优化程度很大程度上决定着数据管理和应用的效率。2船舶数据分布式存储分布式数据库是船舶分布式数据网络平台的重要组成部分，其优化程度对船舶数据管理效率有关键性影响。常见的应用于船舶上的分布式数据库是一种关系型数据库，具有使用方便、易于维护和可用于复杂查询等特点。随着船舶数据量的不断增大，这种关系型数据库逐渐暴露出很多难以克服的问题。例如，随着船舶功能应用服务的多样化和精细化，数据库运行过程中的并发负载逐渐增大，若数据库无法承受如此高的并发量，可能会崩溃，导致用户数据丢失或受损。为满足智能船舶系统数据安全存储和管理的需求，数据库应具有高可用性、高性能、自治与集中相结合的控制结构等特点。智能船舶分布式数据网络平台采用分布式数据库，其架构见图2，包括分布式数据存储节点和数据库引擎2部分。分布式数据库引擎是系统的核心，负责SQL解析、重写和执行等操作，同时对底层的众多存储节点进行管理。分布式存储节点采用关系型数据库，主要负责数据存储、处理和同步。在船舶数据管理过程中，可灵活构建不同规模的数据库集群，通过将业务数据分片到不同的数据库存储节点中，极大地降低普通数据库面对海量数据时的压力；通过将用户的SQL请求分发到各节点子工作站上执行，充分利用各节点的计算资源，从而提高船舶系统服务器集群的运行效率。图2分布式数据库的架构基于分布式数据库基础架构，对分布式数据库集群下的各数据存储节点进行应用分层划分，数据库的2层应以相同的标准配置，船舶设备数据采集网络采集到的数据经预处理之后分别保存到实时库、时序库和关系库中。分区的关系库只保存本区的历史数据;时序数据库属于内存中实时库的扩展，主要保存具有快速顺序变化特点的数据序列，即对某些量，保存其在某段时间内产生的历史信息。在数据库的2层中，一层向下服务于船舶基础应用，如主机速度控制、舱室温度调节等；另一层服务于主站或岸基用户的高级应用，如货物状态查询、岸基船舶调度和应急指挥等。这种划分方式可实现对船舶系统数据更精细化、高效化的分类管理，实现对系统安全的差别化处理和对专业业务、高级应用及业务分析的快速响应。该设计的优越性是在子站服务器、主服务器和应用服务器等相关服务器配置好各类应用对应的数据模型的前提下，当岸基用户或船舶工作站有应用请求时，可快速、高效地从分布式数据库中准确提取数据，避免遍历数据造成船舶数据网络拥堵、耗时等。3船舶数据的预处理船舶数据监测采集设备将采集到的数据经前置数据采集网络和SQL引擎存储到分布式数据库的各存储节点中。受船舶监测设备固有的问题和数据传输通道的杂质因素影响，各存储节点不可避免地存在〃脏数据”。船舶〃脏数据”主要有缺失数据和冗余数据2种，这2种数据的存在会导致数据集呈现出不完整性和重复性，在浪费数据存储空间的同时，会使船舶故障诊断等应用产生较大的偏差。对于船舶数据缺失问题，目前相对简单有效的一种解决方法是基于聚类分析的最近邻填补算法，将马氏距离与灰色分析法相结合计算K个近邻，从而提高数值填补的准确性，减少记录属性的限制，扩大应用范围。对于船舶数据冗余问题，目前普遍采用的相似重复记录检测方法大多基于对数据库中的记录进行排序的思想，主要有生成关键字对记录进行排序、N-Gram方法和优先权对列算法等。为满足后续应用对原始数据的需求，数据预处理过程不对原始数据进行完全覆盖，而是在经数据预处理得到完整性和有效性较高的数据之后对原始数据进行选择性覆盖，应用服务器将根据需求从分布式数据库中进行针对性的提取。船舶〃脏数据”预处理过程见图3。图3船舶〃脏数据”预处理过程对于智能船舶分布式数据网络平台而言，合理的数据预处理不仅能提高船舶数据的存储量，而且能较大地提高数据的利用效率。例如智能能效管理，由于能效管理数据模型影响因子的复杂性，直接对相关原始数据进行提取和管理不仅会耗费数据库管理资源，而且会大大降低能效管理方案的可靠性。因此，合理的数据预处理也是智能船舶数据网络平台必不可少的环节，将其与分布式数据库相结合，共同助力智能船舶数据网络管理平台的高效发展。4结语本文以船舶应用需求为根本出发点，提出船舶分布式数据网络管理平台，根据智能船舶系统的固有特点进行针对性研究。该平台不仅能弥补传统数据管理平台的缺陷，而且具有全面感知、可靠传递和智能应用的优势，应用于远洋船舶运输管理中，可建立集航运企业各部门和远洋船舶于一体的安全监控平台。此外，船舶分布式数据网络平台可大大提高船岸定时交互数据和协作管理业务的效率，增强远洋船舶物资运输、航行、机务系统和油耗监测管理等方面的安全性、可靠性和高效性，为船舶智能管理业务和应用提供有力的数据支撑。【相关文献】WANGYue,YANGPingli,YANGMei,etal.TheMiddlewareofIntegrationHeterogeneousDDB’sDesigningandRealizing[J].Microelectronics