用于浮空观测平台的计算机系统分析与设计的中期报告

用于浮空观测平台的计算机系统分析与设计的中期报告一、项目概述本项目旨在设计一套计算机系统，用于浮空观测平台上的数据采集和处理。浮空观测平台将搭载多种传感器，可用于大气、环境、气象等方面的数据采集和监测。本系统将负责对这些数据进行采集、存储、处理和展示，为用户提供数据分析和决策支持。二、需求分析1.数据采集和存储：系统需要支持多种传感器的数据采集，并将采集到的数据存储到数据库中，以备后续处理和分析使用。2.数据处理和分析：系统需要对采集到的数据进行处理和分析，以求得有价值的信息和结论，并将这些信息展示给用户，帮助用户做出决策。3.系统稳定性：为保证系统的正常运转，系统需要考虑到高可用和故障容错的设计，弥补机器硬件单点故障影响。4.数据可视化：系统需要将处理后的数据图形化展示给用户，以方便用户更直观的了解数据变化。5.安全性：系统需要对采集到的数据进行合理的安全性规划，起到防范数据泄露等信息安全问题的目的。三、系统架构设计本系统的架构设计采用分布式架构。整个系统主要分为采集层、数据处理层、数据可视化展示层、数据存储层四个模块。1.采集层：采集层主要负责进行传感器数据的采集和预处理工作。传感器数据采用MQTT协议进行传输，采集层主要采用树莓派等轻便型单板计算机进行采集。2.数据处理层：数据处理层主要负责对数据进行处理和分析。处理层采用了Hadoop、Spark等分布式数据处理和分析平台，以保证系统的高性能和高可用性。同时，处理层还需要进行数据清洗和数据标准化等工作。3.数据可视化展示层：数据可视化展示层主要负责将处理后的数据以图形化的形式展示给用户。展示层采用了JavaScript等技术实现数据的可视化，并且保证了分布式部署，提升系统的可用性。4.数据存储层：数据存储层主要用于存储采集到的原始数据和处理后的数据。数据存储可使用分布式文件系统如HDFS或分布式数据库如Hbase、MongoDB等实现。四、系统实现1.采集层：采集层使用了MQTT协议完成数据的采集和传输。MQTT具有轻量级、可靠性高、灵活等优势，适合用于物联网设备上进行消息传递。2.数据处理层：将采集到的数据上传到分布式存储系统下的Hadoop集群中，并使用Spark进行数据分析和处理。同时，为保证计算能力，可以使用其他云计算平台进行并行计算。3.数据可视化展示层：使用JavaScript等技术实现数据的可视化，并通过Node.js等技术搭建一个Web服务器，将数据以Web形式展示给用户。考虑到用户需要随时查询数据，系统需要承担大量的请求，对部署和负载的管理是需要关注的。4.数据存储层：数据存储层采用了分布式存储系统如HDFS或分布式数据库如Hbase、MongoDB等实现，以保证数据的可靠性和持久性。五、系统测试测试环境：CPU：IntelXeonCPUE5-2620v32.40GHz内存：64GB硬盘：1T操作系统：Ubuntu18.04测试流程：1.测试采集层的数据采集和传输功能，检查是否可以顺利地进行数据采集和传输。2.测试数据处理层的数据处理和分析能力，检查系统是否可以高效地进行数据分析和处理。3.测试展示层的数据可视化展示能力和系统的可用性，检查用户是否可以通过Web页面方便地查询和浏览数据。六、系统评价本系统采用分布式架构，使系统更具有弹性和可扩展性，具有高效、高可用、高安全等优点。同时，系统采用了MQTT