一种面向航天领域实时数据处理框架探究

1、一种面向航天领域实时数据处理框架探究【摘 要】提出一种面向航天领域的实时数据处理框 架，采用插件式框架设计方法，实现行业数据的高效实时处 理。abstract in this paper , a real-time data processing framework for aerospace field is proposed. the plug-in framework design method is used to realize the efficient and real-time processing of industry data【关键词】实时；数据处理；框架keywords

2、 real-time ; data processing ; frame【中图分类号】g15【文献标志码】a【文章编号】1673-1069 ( 2017 ) 05-0154-021引言信息与通信技术的飞速发展，已深刻影响到航空、航天、 能源、钢铁、电力等工业领域的生产模式与流程，促使行业 生产模式由传统的粗放式的以人工为主向精确化、自动化、 智能化方向转变。通过信息系统对工业生产过程中产生的大 量数据进行实时处理分析，实时监控，为生产决策提供自动 化智能化的数据支撑。航天领域的实时数据处理一般以实时传感与实时采集的数据为数据源，包括各类传感器采集的数据、现场各类控制终端的数据等，数据量大，数据

3、采集的频率高。特别是随着 物联网概念的出现与技术的应用，航天领域实时产生的数据 量在成倍增加。随着云计算与大数据等it技术的出现与发 展，互联网领域中产生了诸多数据处理框架，如hadoop、 spark等，此类框架采用批处理方式的mapreduce技术， 实现海量数据的实时处理，数据处理的延时一般为秒级，能 够满足互联网领域大部分数据实时处理需求。但在工业领 域，由于监测与控制的精度更高，一般要求在毫秒级完成数 据的实时处理，现有批处理方式的mapreduce大规模数据 处理技术难以满足此类计算需求。本文提出一种面向行业应 用的实时数据处理框架，实现满足多种数据源、多种数据类 型的实时数据处理

4、。2数据处理方法在航天领域中，测量系统作为飞行器、航天测控系统中 的重要组成部分，用于获取飞行器内部各系统的工作状态参 数和环境数据，为评定飞行器的性能和故障分析提供依据 1o而数据处理是测量过程中的一个重要环节，其任务是将 接收到的原始信息，经过挑路、拼接和运算，完成各类参数 的处理，处理结果以时间函数值表或时间函数曲线提供口。 数据处理包括从数据块中提取数据帧、对数据帧进行后处 理、处理数据帧中的参数、输出处理结果。3实时处理框架设计3.1软件框架的概念软件框架是整个系统或系统的一部分的可重用性设计， 由一组抽象出来的类及其实例间的相互作用方式组成。框架 把一个系统有机地分解成一组相对独立

5、的构件，并定义了各 个构件间的接口和作用关系，符合软件工程中设计的模块 化、独立化和信息隐藏等特征。框架提供了一个大粒度的重 用技术，即不仅支持源代码级的重用，而且支持分析和设计 以及体系结构的重用，因而被认为是一种最有前途的面向对 象技术。框架必须是健壮的、可扩展的、灵活的，它要求基于开放或共享标准。框架的设计要力求做到完备性、灵活性、可 扩展性、可理解性，同时抽象能用于不同的场合；用户能轻 松地添加和修改功能，定制框架；用户和框架的交互清晰， 文档齐全。框架设计的一个核心问题就是发现可重用的设计 和“热点”,以保证框架具备充分的灵活性，使用户能在已有 构件的基础上生成应用程序，实现“零代码

6、编写”的理想目标。3.2实时处理框架设计原则实时处理框架设计采用框架与插件相结合的设计方式,把数据处理各功能从框架中剥离出来，降低框架的复杂度, 让框架更容易实现。数据处理功能与框架以一种很松的方式 耦合，两者在保持接口不变的情况下，可以独立变化和发布。 采用该设计原则，具有以下好处：%1 无需更改或编译程序就可以扩展程序的功能；%1 可以在不需要源代码的环境下扩展程序的功能；%1 在一个程序的业务逻辑在不断发生变化仍能灵活适 应。4实时处理框架实现 4.1框架接口框架对各插件进行统一管理，软件启动时，自动识别并 加载指定目录下的所有插件。框架共抽象出数据提取器、帧 提取器、数据处理器、输出器

7、共4类插件接口，各类插件需 要实现相应类型的插件接口，才能被框架正确的调用。框架 与插件之间的关系如下图所示。4.2框架实现程序框架包括主程序模块、数据源模块、缓冲区管理模块、数据处理模块、状态管理模块、配置管理模块、插件管 理模块与日志管理模块共8个模块。主程序模块负责管理各 模块中的对象，并完成各对象的创建与初始化工作。通过调 用数据源与数据处理模块的启动与停止接口实现对两个模 块的控制。数据源模块通过调用缓冲区管理模块的写入数据 接口向缓冲区中写入数据，数据处理模块调用缓冲区管理模 块的读取数据接口从缓冲区中读取数据进行数据处理。各模 块均可调用日志记录模块的记录日志接口写操作日志或错主

8、框架模块类关系如下图所示，main函数是整个软件的 入口函数，调用日志录模块中的相应接口完成日志初始化 工作 并将命令行参数传递给cmainapp类，调用cmainapp 类的execute接口启动软件。cmainapp类通过programoption对象解析命令行参数， 获得命令行中设置的各个选项，创建插件管理模块中的 cpiuginmanager对象，完成所有插件的加载工作，并将 cpiuginmanager 对象传递给 cmultiaddrdatasource 类，调 用cprogresstimer类的对象实现程序计时工作。4.3插件实现数据处理软件总体框架采用插件式架构，抽象出数据提 取器、帧提取器、数据处理器、输出共4类插件接口，插件 采用统一接口设计，每一个插件均是实现了标准接口的动态 链接库（windows平台为.dll文件、linux平台位.so文件）, 由插件管理器进行统一管理，实现自动识别与加载。实时处 理框架根据系统配置创建若干个数据处理线程，根据配置中 插件的类别，数据处理线程对象向插件管理器请求创建插件 服务，生成所需